WO2022024423A1

WO2022024423A1 - 内視鏡システム及びその作動方法

Info

Publication number: WO2022024423A1
Application number: PCT/JP2021/004826
Authority: WO
Inventors: 進吾増野
Original assignee: 富士フイルム株式会社
Priority date: 2020-07-28
Filing date: 2021-02-09
Publication date: 2022-02-03
Also published as: CN116194027A; JPWO2022024423A1

Abstract

ＡＩ等の認識処理によって病変部等の鑑別処理を行う場合において、内視鏡検査中に、適切な処置具の情報を提示する内視鏡システム（１０）及びその作動方法を提供する。　鑑別結果（５５ｅｐ，５５ｅｑ）や、処置具の適切度算出の精度を向上させる情報（８１ａ，８１ｂ，８２ａ，８２ｂ，８３ａ，８３ｂ，８４ａ，８４ｂ，８５ａ，８５ｂ）を参照して、処置具に係る手技支援情報（６０ａ，６０ｂ，６０ｃ，６０ｄ，６０ｅ，６０ｆ，６０ｇ，６０ｈ，６０ｉ，６０ｊ，６０ｐ，６０ｑ）を算出し、検査画像（１２１）と、手技支援情報に含まれる処置具（１２５）とをディスプレイ（１５）に表示する。

Description

内視鏡システム及びその作動方法

　本発明は、内視鏡検査中において、処置具に関する情報を取得する内視鏡システム及びその作動方法に関する。

　医療分野においては、医師等は内視鏡が取得した検査画像等を用いて、病変部の処置方法等の判断を行っている。しかしながら、医師等の画像診断を行う者の経験が浅い場合や、経験があっても、診断の対象となる画像が珍しい症例であり、専門性分野以外のものである場合には、医師がその判断を確実に行うことが難しい場合がある。

　近年においては、画像解析技術が進歩したため、医療画像の鑑別結果を医師等に提示することにより、鑑別及び手術を支援する医療装置が発明されてきている。例えば、特許文献１では、医療画像の解析により、内視鏡検査等で使用した処置具に関する情報を得ることができる。また、特許文献２では、医療画像と、手術器具の情報、標準的な処置手順、特徴部分の情報、患者情報等を保存しているデータベースとから、手術計画を作成することができる。

国際公開第２０１９／００８９４２号国際公開第２０１９／１１６５９３号

　特許文献１及び特許文献２のように、画像処理、又はAI（Artificial Intelligence）等の認識処理によって、病変部等の診断を行う場合において、認識処理で得られた認識結果に対する信頼性を高めることが求められており、近年においては、AI等の観察対象を機械的に認識するための認識処理によって、観察対象を自動的に診断し、手術内容を予測することが行われつつある。このような認識処理を用いることで、医師の経験不足を補うことができるとともに、主観的な判断を排して、客観的な診断結果を得て、より高度かつ均質な医療を提供することができる。

　しかしながら、特許文献１の診断支援装置は、病変部と、内視鏡画像に含まれる処置具とを検出してレポート作成支援を行うものであり、特許文献２は、ＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）の画像から手術内容をAIが予測するものであり、内視鏡検査中に内視鏡画像から手術内容を予測するシステムはほとんど存在しない。そこで、内視鏡検査中に、手術内容、特に処置具の情報を提供する診断支援システムが求められている。

　本発明は、AI等の認識処理によって、病変部等の鑑別処理を行う場合において、内視鏡検査中に、適切な処置具の情報を提示する内視鏡システム及びその作動方法を提供することを目的とする。

　本発明の内視鏡システムは、画像制御用プロセッサを備える。画像制御用プロセッサは、検査画像を取得し、検査画像に対して鑑別処理を行い、鑑別処理の結果である鑑別結果を参照して、処置具に係る手技支援情報を算出し、検査画像と、手技支援情報に含まれる処置具とをディスプレイに表示する。

　画像制御用プロセッサは、鑑別結果の入力により、１又は１以上の手技支援情報を出力する手技支援情報を出力する学習モデルを有し、学習モデルは学習済みであることが好ましい。画像制御用プロセッサは、鑑別結果と、処置具の在庫情報、ガイドラインに沿った病変と処置具の対応付け情報である処置パターン情報、咽頭、食道、胃、小腸、大腸等の解剖学的部位や血管の走行状況に係る周辺環境情報、患者の既往歴、検査・処置歴、使用中医薬品等の患者リスク判定情報、手術者情報を含む手技情報のうち、１もしくは１以上とを組み合わせた手技情報との入力により、処置具に係る適切度を向上させて手技支援情報を出力する学習モデルを有し、学習モデルは学習済みであることが好ましい。画像制御用プロセッサは、手技支援情報算出部が算出した処置具に係る手技支援情報の入力により、処置予想時間を出力する学習モデルを有し、学習モデルは学習済みであることが好ましい。

　在庫情報の入力を異ならせた場合に、異なる手技支援情報を出力する学習モデルを有し、学習モデルは学習済みであることが好ましい。処置パターン情報の入力を異なせた場合に、異なる手技支援情報を出力する学習モデルを有し、学習モデルは学習済みであることが好ましい。周辺環境情報の入力を異ならせた場合に、異なる手技支援情報を出力する学習モデルを有し、学習モデルは学習済みであることが好ましい。

　患者リスク判定情報の入力を異ならせた場合に、異なる手技支援情報を出力する学習モデルを有し、学習モデルは学習済みであることが好ましい。手術者情報の入力を異ならせた場合に、異なる手技支援情報を出力する学習モデルを有し、学習モデルは学習済みであることが好ましい。

　手技支援情報は、処置具の名称と、処置具に係る適切度と、処置具に係る適切度の順位とを含むことが好ましい。手技支援情報の表示は、適切度の順位にならって切り替えが可能であることが好ましい。

　手技支援情報提示スイッチが押された後に、手技支援情報を表示することが好ましい。処置具の適切度が特定の条件を満たさない場合に警告表示を行うことが好ましい。特定の条件を満たす処置具が複数選択される場合、特定の条件を変更できることが好ましい。

　画像制御用プロセッサを備え、画像制御用プロセッサは、検査画像を取得し、テンプレート画像記憶メモリに保存され、処置具と対応付けられた診断済みのテンプレート画像の特徴量を算出し、検査画像の特徴量を算出し、検査画像の特徴量と、診断済みのテンプレート画像の特徴量と比較して総合一致度を算出し、総合一致度が第１条件を満たすテンプレート画像を選出し、処置具の在庫情報を含む手技情報を参照して、選出されたテンプレート画像に対応付けられた処置具に対して適切度を算出し、適切度が第２条件を満たす処置具を含む手技支援情報を出力し、検査画像と、手技支援情報に含まれる処置具をディスプレイに表示することが好ましい。検査画像をテンプレート画像として取得し、検査画像と、検査画像に係る鑑別結果と、処置具とを対応付けてテンプレート画像記憶メモリに保存することが好ましい。

　光源用プロセッサを備え、光源用プロセッサは、検査画像を取得する場合に、互いに発光スペクトルが異なる第１照明光及び第２照明光の発光を制御し、第１照明光を発光する第１照明期間と第２照明光を発光する第２照明期間とを自動的に切り替える場合において、第１照明光を第１発光パターンで発光し、第２照明光を第２発光パターンで発光し、第１照明光に基づく第１照明光画像と、第２照明光に基づく第２照明光画像と、第２照明光画像に対する鑑別処理の結果を、第１照明光画像に基づく表示用画像に重畳表示した重畳画像と、を検査画像として取得することが好ましい。第１発光パターンは、第１照明期間のフレーム数が、それぞれの第１照明期間において同じである第１Ａ発光パターンと、第１照明期間のフレーム数が、それぞれの第１照明期間において異なっている第１Ｂ発光パターンとのうちのいずれか１つであることが好ましい。第２発光パターンは、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ａパターン、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｂパターン、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ｃパターン、及び、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｄパターンのうちのいずれか１つであることが好ましい。

　画像制御用プロセッサを備える内視鏡システムの作動方法において、画像制御用プロセッサは、検査画像を取得し、検査画像に対して鑑別処理を行い、鑑別処理の結果である鑑別結果を参照して、処置具に係る手技支援情報を算出し、検査画像と、手技支援情報に含まれる処置具とをディスプレイに表示することが好ましい。

　本発明によれば、内視鏡検査中に病変部等の診断を行う場合において、検査画像から適切な処置具を提示することによって、手術を支援することができる。

内視鏡システムの構成を説明する説明図である。内視鏡システムの機能を示すブロック図である。紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒのスペクトルを示すグラフである。第１特殊光の発光スペクトルを示すグラフである。第２特殊光の発光スペクトルを示すグラフである。重畳モード時の第１Ａ発光パターン又は第２Ａパターンを示す説明図である。重畳モード時の第１Ｂ発光パターンを示す説明図である。重畳モード時の第２Ｃパターンを示す説明図である。重畳モード時の第２Ｂパターンを示す説明図である。重畳モード時の第２Ｄパターンを示す説明図である。撮像センサの各カラーフィルタの分光透過率を示すグラフである。第１撮像期間及び第２撮像期間を示す説明図である。重畳画像生成部の構成を示す説明図である。重畳モードにおける照明制御、鑑別処理、及び画像表示を時系列順で示す説明図である。第１実施形態におけるプロセッサ装置の鑑別処理部、手技支援情報提示モード切替部、第１手技支援情報算出部、手技情報記憶メモリ及び表示制御部に関する制御関係を示す説明図である。第１実施形態におけるプロセッサ装置の第１手技支援情報算出モデルに入力される情報について示す説明図である。鑑別結果Ｐを手技支援情報算出モデルに入力した場合、手技支援情報Ｐが出力されることを示す説明図である。鑑別結果Ｑを手技支援情報算出モデルに入力した場合、手技支援情報Ｑが出力されることを示す説明図である。鑑別結果Ｐと処置具の在庫情報Ｓを手技支援情報算出モデルに入力した場合、手技支援情報Ａが出力されることを示す説明図である。鑑別結果Ｐと処置具の在庫情報Ｔを手技支援情報算出モデルに入力した場合、手技支援情報Ｂが出力されることを示す説明図である。鑑別結果Ｐと処置パターン情報Ｓを手技支援情報算出モデルに入力した場合、手技支援情報Ｃが出力されることを示す説明図である。鑑別結果Ｐと処置パターン情報Ｔを手技支援情報算出モデルに入力した場合、手技支援情報Ｄが出力されることを示す説明図である。鑑別結果Ｐと周辺環境情報Ｓを手技支援情報算出モデルに入力した場合、手技支援情報Ｅが出力されることを示す説明図である。鑑別結果Ｐと周辺環境情報Ｔを手技支援情報算出モデルに入力した場合、手技支援情報Ｆが出力されることを示す説明図である。鑑別結果Ｐと患者リスク判定情報Ｓを手技支援情報算出モデルに入力した場合、手技支援情報Ｇが出力されることを示す説明図である。鑑別結果Ｐと患者リスク判定情報Ｔを手技支援情報算出モデルに入力した場合、手技支援情報Ｈが出力されることを示す説明図である。鑑別結果Ｐと手術者情報Ｓを手技支援情報算出モデルに入力した場合、手技支援情報Ｉが出力されることを示す説明図である。鑑別結果Ｐと手術者情報Ｔを手技支援情報算出モデルに入力した場合、手技支援情報Ｊが出力されることを示す説明図である。処置具の適切度が１位である場合の手技支援情報提示画面を示す説明図である。処置具の適切度が２位である場合の手技支援情報提示画面を示す説明図である。警告表示を行う場合の手技支援情報提示画面を示す説明図である。処置開始ボタンが表示されている手技支援情報提示画面を示す説明図である。手技支援情報Ｐを処置時間算出モデルに入力した場合、処置予想時間Ｐが出力されることを示す説明図である。手技支援情報Ｑを処置時間算出モデルに入力した場合、処置予想時間Ｑが出力されることを示す説明図である。処置予想時間が算出された手技支援情報提示画面を示す説明図である。第１実施形態における手技支援情報提示モードの切り替えと手技支援情報提示モードの一連の流れを示す説明図である。第２実施形態におけるプロセッサ装置の第２手技支援情報算出部が受信する情報、送信する情報についての関係を示す説明図である。第２実施形態におけるプロセッサ装置の画像処理部、手技支援情報提示モード切替部、第２手技支援情報算出部、テンプレート画像記憶メモリ、手技情報記憶メモリ及び表示制御部の関係を示す説明図である。第２実施形態におけるプロセッサ装置、画像処理部、手技支援情報提示モード切替部、第２手技支援情報算出部の内部、テンプレート画像記憶メモリ、手技情報記憶メモリ、表示制御部、静止画像取得部及び診断結果入力部の関係を示す説明図である。第２実施形態におけるプロセッサ装置の第２手技支援情報算出部内の関係を示す説明図である。第２実施形態における手技支援情報提示モードの切り替えと手技支援情報提示モードの一連の流れを示す説明図である。

　[第１実施形態]
　図１において、内視鏡システム１０は、内視鏡１２と、光源装置１３と、プロセッサ装置１４と、ディスプレイ１５と、ＵＩ（User InterFace、ユーザーインターフェース）１６とを有する。内視鏡１２は、光源装置１３と光学的に接続され、且つ、プロセッサ装置１４と電気的に接続される。内視鏡１２は、挿入部１２ａ、操作部１２ｂ、湾曲部１２ｃ及び先端部１２ｄを有している。挿入部１２ａは、観察対象の体内に挿入される。操作部１２ｂは、挿入部１２ａの基端部分に設けられる。湾曲部１２ｃ及び先端部１２ｄは、挿入部１２ａの先端側に設けられる。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。

　また、操作部１２ｂには、アングルノブ１２ｅ、観察モード切替スイッチ１２ｆ、手技支援情報提示スイッチ１２ｇ、静止画像取得指示スイッチ１２ｈ及びズーム操作部１２ｉが設けられている。観察モード切替スイッチ１２ｆは、観察モードの切り替え操作に用いる。手技支援情報提示スイッチ１２ｇは、処置具に係る手技支援情報１２３の提示に用いる。静止画像取得指示スイッチ１２ｈは、観察対象の静止画の取得指示に用いる。ズーム操作部１２ｉは、ズームレンズ４２の操作に用いる。

　なお、内視鏡システム１０は、観察モードとして、第１照明観察モード、第２照明観察モード及び重畳モードの３つのモードを有する。観察モード切替スイッチ１２ｆを押すと、画像処理切替部５４を介してモードが切り替わる。さらに、内視鏡システム１０は、表示モードとして、検査画像表示モード及び手技支援情報提示モードの２つのモードを有する。手技支援情報提示スイッチ１２ｇを押すと、手技支援情報提示モード切替部５６を介して表示モードが切り替わる。なお、手技支援情報提示モードは、観察モードが重畳モードである場合のみに使用することできる。すなわち、本発明の内視鏡システム１０に搭載されるモードとしては、検査画像表示第１照明観察モード、検査画像表示第２照明観察モード、検査画像表示重畳モード、手技支援情報提示重畳モードの、計４つのモードが存在する。本段落以降、単に「検査画像表示モード」と記載してある際は、検査画像表示第１照明観察モード、検査画像表示第２照明観察モード、検査画像表示重畳モードのいずれかの３つのモードの場合すべてを指すが、通常は、検査画像表示重畳モードである。また、単に「手技支援情報提示モード」と記載してある際は、手技支援情報提示重畳モードのことを指す。

　検査画像表示第１照明観察モードでは、白色光等の通常光（第１照明光）を観察対象に照明して撮像することによって、自然な色合いの第１照明光画像をディスプレイ１５に表示する。検査画像表示第２照明観察モードでは、通常光と波長帯域が異なる特殊光（第２照明光）を観察対象に照明して撮像することによって、特定の構造を強調した第２照明光画像をディスプレイ１５に表示する。検査画像表示重畳モード及び手技支援情報提示重畳モードでは、発光スペクトルが異なる第１照明光と第２照明光とを切り替えて発光する。また、第２照明光に基づく画像に対して、AIに関する処理の他、観察対象に関する特徴量等を得る処理等の鑑別処理を行う。そして、鑑別処理の結果を、第１照明光画像に基づく表示用画像に重畳表示した重畳画像をディスプレイ１５に表示する（図１４参照）。なお、本明細書、特許請求の範囲、図面、要約書において、単に「検査画像」という言葉は、第１照明光画像、第２照明光画像、重畳画像の少なくともいずれか１つ、もしくはすべてのことを指す。

　検査画像表示モードでは、観察モードの３態様において表示される画面をディスプレイ１５に表示する。手技支援情報提示モードでは、後述の通り、検査画像１２１と処置具に係る手技支援情報１２３とを、手技支援情報提示画面１２０に表示する。

　検査画像表示モード及び手技支援情報提示モードにおいて、ユーザーが検査画像の静止画を取得したい場合は、静止画像取得指示スイッチ１２ｈをユーザーが操作することにより、静止画像取得指示に関する信号が内視鏡１２、光源装置１３、及びプロセッサ装置１４に送られる。検査画像表示モードにおいて静止画像取得指示スイッチ１２ｈが押された場合、プロセッサ装置１４では、第１照明期間もしくは第２照明期間、あるいはその両方において観察対象の静止画がメモリ（図示しない）に保存される。なお、手技支援情報提示モードにおける静止画の保存については、後に詳説する。

　プロセッサ装置１４は、ディスプレイ１５及びＵＩ１６と電気的に接続される。ディスプレイ１５は、観察対象の画像や、観察対象の画像に付帯する情報等を出力表示する。ＵＩ１６は、キーボード、マウス、タッチパッド、マイク等を有し、機能設定等の入力操作を受け付ける機能を有する。プロセッサ装置１４には、手技情報記憶メモリ８０が接続されており、処置具の在庫情報、処置パターン情報、周辺環境情報、患者リスク判定情報、手術者情報を含む手技情報、画像、その画像に係る情報等が記録されている。なお、プロセッサ装置１４に外付けのメモリ（図示しない）を接続してもよい。

　図２において、光源装置１３は、光源部２０と、光源部を制御する光源用プロセッサ２１とを備えている。光源部２０は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯又は消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。

　図３に示すように、Ｖ－ＬＥＤは、中心波長４０５±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤは、中心波長４５０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。

　光源用プロセッサ２１は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを制御する。光源用プロセッサ２１は、各ＬＥＤ２０ａ～２０ｄをそれぞれ独立に制御することで、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、又は赤色光Ｒをそれぞれ独立に光量を変えて発光可能である。また、光源用プロセッサ２１は、第１照明観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる白色光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。なお、Ｖｃ、Ｂｃ、Ｇｃ、Ｒｃ＞０である。

　なお、図４に示すように、第２照明光として、紫色光Ｖの光量を他の青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光量よりも大きくした第１特殊光を用いてもよい。また、図５に示すように、第２照明光として、緑色光Ｇの光量を、他の紫色光Ｖ、青色光Ｂ、及び赤色光Ｒの光量よりも大きくした第２特殊光を用いてもよい。

　また、光源用プロセッサ２１は、第２照明観察モード時には、短波長の狭帯域光としての紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒとの光量比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。光量比Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓは、第１照明観察モード時に使用する光量比Ｖｃ：Ｂｃ：Ｇｃ：Ｒｃと異なっており、観察目的に応じて適宜定められる。例えば、表層血管を強調する場合には、Ｖｓを、他のＢｓ、Ｇｓ、Ｒｓよりも大きくすることが好ましく、中深層血管を強調する場合には、Ｇｓを、他のＶｓ、Ｇｓ、Ｒｓよりも大きくすることが好ましい。

　また、光源用プロセッサ２１は、重畳モード時に、第１照明光と第２照明光とを自動的に切り替えて発光する場合において、第１照明光を第１発光パターンで発光し、第２照明光を第２発光パターンで発光する。具体的には、第１発光パターンは、図６に示すように、第１照明期間のフレーム数が、それぞれの第１照明期間において同じである第１Ａ発光パターンと、図７に示すように、第１照明期間のフレーム数が、それぞれの第１照明期間において異なっている第１Ｂ発光パターンとのうちのいずれかであることが好ましい。なお、図において、timeは時間経過の方向を表す。

　第２発光パターンは、図６に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ａパターン、図８示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｂパターン、図９に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ｃパターン、図１０に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｄパターンのうちのいずれか１つであることが好ましい。なお、第１照明光の発光スペクトルは、それぞれの第１照明期間において同じであってもよく、異なってもよい。

　ここで、第１照明期間は第２照明期間よりも長くすることが好ましく、第１照明期間は２フレーム以上とすることが好ましい。例えば、図６では、第１発光パターンを第１Ａパターンとし、第２発光パターンを第２Ａパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：同じ）とする場合において、第１照明期間を２フレームとし、第２照明期間を１フレームとしている。第１照明光は、ディスプレイ１５に表示する表示用画像の生成に用いられることから、第１照明光を観察対象に照明することによって、明るい画像が得られることが好ましい。

　第１照明光は、白色光であることが好ましい。一方、第２照明光は、鑑別処理に用いることから、第２照明光を観察対象に照明することによって、鑑別処理に適した画像が得られることが好ましい。例えば、血管深さが異なる複数の血管の形状情報に基づいて鑑別処理を行う場合には、第２照明光として、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒを用いることが好ましい。この場合、第２発光パターンを第２Ａパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：同じ）又は第２Ｃパターン（第２照明期間のフレーム数：異なる、第２照明光の発光スペクトル：同じ）とする場合には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒのうちのいずれか１つの光を用いることが好ましい。一方、第２発光パターンを第２Ｂパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：異なる）又は第２Ｄパターン（第２照明期間のフレーム数：異なる、第２照明光の発光スペクトル：異なる）とする場合には、第２照明期間において、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒのうち少なくとも２つの光を特定の順番で切り替えて発光することが好ましい。後述の図１４では、紫色光Ｖ、緑色光Ｇ、及び赤色光Ｒの３つの光を、その順番で順次発光している。

　ここで、第２照明光として、第１特殊光と第２特殊光の両方を用いる場合は、第２発光パターンを第２Ｂパターン又は第２Ｄパターンとして、第１特殊光と第２特殊光を交互に発光するようにしてもよい。

　なお、第１照明期間と第２照明期間の切替パターンである第１、２発光パターンの詳細については、撮像用プロセッサ４４による撮像センサ４３の撮像制御に基づいて定められることから、後述する。また、フレームとは、撮像センサ４３において特定タイミングから信号読み出し完了までの間の期間を少なくとも含む期間の単位のことをいう。

　例えば、粘膜表面からの深さが５０μｍの範囲内にある表層血管、粘膜表面からの深さが２００μｍの範囲内にある中層血管、及び、粘膜表面からの深さが６００μｍの範囲内にある深層血管に関する血管の形状情報を取得し、これら表層、中層、深層の血管の形状情報に基づいて鑑別処理を行う場合には、表層血管を強調する紫色光Ｖ、中層血管を強調する緑色光Ｇ、深層血管を強調する赤色光Ｒを用いることが好ましい。

　なお、本明細書において、光量比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つ又は２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光量比を有するものとする。

　図２に示すように、各ＬＥＤ２０ａ～２０ｄが発する光は、ミラーやレンズ等で構成される光路結合部２２を介して、ライトガイド２３に入射される。ライトガイド２３は、光路結合部２２からの光を、内視鏡１２の先端部１２ｄまで伝搬する。

　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３１を有しており、ライトガイド２３によって伝搬した照明光は照明レンズ３１を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４１、撮像センサ４３を有している。照明光を照射したことによる観察対象からの光は、対物レンズ４１及びズームレンズ４２を介して撮像センサ４３に入射する。これにより、撮像センサ４３に観察対象の像が結像される。ズームレンズ４２は観察対象を拡大するためのレンズであり、ズーム操作部１２ｉを操作することによって、テレ端とワイド端と間を移動する。

　撮像センサ４３は、原色系のカラーセンサであり、青色カラーフィルタを有するＢ画素（青色画素）、緑色カラーフィルタを有するＧ画素（緑色画素）、及び、赤色カラーフィルタを有するＲ画素（赤色画素）の３種類の画素を備える。図１１に示すように、青色カラーフィルタＢＦは、主として青色帯域の光、具体的には波長帯域が３８０～５６０ｎｍの波長帯域の光を透過する。青色カラーフィルタＢＦの透過率は、波長４６０～４７０ｎｍ付近においてピークになる。緑色カラーフィルタはＧＦ、主として緑色帯域の光、具体的には、４６０～６２０ｎｍの波長帯域の光を透過する。赤色カラーフィルタＲＦは、主として赤色帯域の光、具体的には、５８０～７６０ｎｍの波長帯域の光を透過する。

　また、撮像センサ４３は、ＣＣＤ（Charge-Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）であることが好ましい。撮像用プロセッサ４４は、撮像センサ４３を制御する。具体的には、撮像用プロセッサ４４により撮像センサ４３の信号読み出しを行うことによって、撮像センサ４３から画像信号が出力される。第１照明観察モードでは、白色光が撮像センサ４３に露光された状態で、撮像用プロセッサ４４が信号読み出しを行うことにより、撮像センサ４３のＢ画素からＢｃ画像信号が出力され、Ｇ画素からＧｃ画像信号が出力され、Ｒ画素からＲｃ画像信号が出力される。第２照明観察モードでは、特殊光が撮像センサ４３に露光された状態で、撮像用プロセッサ４４が信号読み出しを行うことによって、撮像センサ４３のＢ画素からＢｓ画像信号が出力され、Ｇ画素からＧｓ画像信号が出力され、Ｒ画素からＲｓ画像信号が出力される。

　重畳モードでは、撮像用プロセッサ４４は、図１２に示すように、第１照明期間において第１照明光を撮像センサ４３に露光させた状態で、信号読み出しを行うことにより、撮像センサ４３から第１画像信号を出力させる。第１画像信号を出力する期間を第１撮像期間とする。第１画像信号には、Ｂ画素から出力されるＢ１画像信号、Ｇ画素から出力されるＧ１画像信号、及び、Ｒ画素から出力されるＲ１画像信号が含まれる。また、撮像用プロセッサ４４は、第２照明期間において第２照明光を撮像センサ４３に露光させた状態で、信号読み出しを行うことにより、撮像センサ４３から第２画像信号を出力させる。第２画像信号を出力する期間を第１撮像期間とする。第２画像信号には、Ｂ画素から出力されるＢ２画像信号、Ｇ画素から出力されるＧ２画像信号、及び、Ｒ画素から出力されるＲ２画像信号が含まれる。

　図２に示すように、ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４６は、撮像センサ４３から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４５を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４８により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号がプロセッサ装置１４に入力される。

　以下で記載するプロセッサ装置１４の構成及び作動方法は、画像処理部５５及び表示制御部６１を介する検査画像の取得と表示に関して、検査画像表示モードと、手技支援情報提示モードとにおいて共通である。

　プロセッサ装置１４においては、画像制御用プロセッサによって構成される中央制御部７０によって、プログラム用メモリ内のプログラムが動作することによって、画像取得部５０と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５３と、画像処理切替部５４と、画像処理部５５と、表示制御部６１の機能が実現される。なお、重畳モードにおいては、画像制御用プロセッサは第１画像信号又は第２画像信号に基づいて画像処理を行い、ディスプレイ１５に対する制御を行う。

　画像取得部５０は、内視鏡１２から入力されるカラー画像を取得する。カラー画像には、撮像センサ４３のＢ画素、Ｇ画素、Ｒ画素から出力される青色信号（Ｂ画像信号）、緑色信号（Ｇ画像信号）、赤色信号（Ｒ画像信号）が含まれている。取得したカラー画像はＤＳＰ５２に送信される。ＤＳＰ５２は、受信したカラー画像に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行う。

　ゲイン補正処理後の各色の画像信号には、色再現性を高めるマトリクス処理が施される。その後、ガンマ変換処理によって、カラー画像の明るさや彩度が整えられる。マトリクス処理後のカラー画像には、デモザイク処理（等方化処理，同時化処理とも言う）が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ＤＳＰ５２は、デモザイク処理後のカラー画像にＹＣ変換処理を施し、輝度信号Ｙと色差信号Ｃｂ及び色差信号Ｃｒをノイズ低減部５３に出力する。

　なお、第２照明光として第１特殊光を用いた場合には、第２画像信号に対して、観察対象に含まれる正常部と異常部（病変部等）との色の差を拡張する色差拡張処理を行ってもよい。色差拡張処理済みの第２画像信号に対して、鑑別処理を行ってもよい。

　ノイズ低減部５３は、ＤＳＰ５２でデモザイク処理等を施したカラー画像に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減したカラー画像は、画像処理切替部５４に入力される。

　画像処理切替部５４は、設定されているモードによって、ノイズ低減部５３からの画像信号の送信先を、画像処理部５５内の、第１照明光画像生成部５５ａと、第２照明光画像生成部５５ｂと、重畳画像生成部５５ｃのいずれか１つに切り替える。具体的には、検査画像表示第１照明観察モードにセットされている場合には、ノイズ低減部５３からの画像信号第１照明光画像生成部５５ａに入力する。検査画像表示第２照明観察モードにセットされている場合には、ノイズ低減部５３からの画像信号を第２照明光画像生成部５５ｂに入力する。重畳モードにセットされている場合には、ノイズ低減部５３からの画像信号を重畳画像生成部５５ｃに入力する。

　次の段落以降で、ノイズ低減部５３から、画像処理切替部５４を介して画像処理部５５に送信された画像信号について行う、第１照明光画像用画像処理、第２照明光画像用画像処理、重畳画像表示制御処理について説明する。

　検査画像表示第１照明観察モードの場合、第１照明光画像生成部５５ａは、入力された１フレーム分のＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号に対して、第１照明光画像用画像処理を施す。第１照明光画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。第１照明光画像用画像処理が施されたＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号は、第１照明光画像として、手技支援情報提示モード切替部５６を介して表示制御部６１に入力される。検査画像表示第１照明観察モードにおいて、第１照明光画像は後述する第１手技支援情報算出部６０を介さず、直接、表示制御部６１に入力される（図１５参照）。表示制御部６１は、第１照明光画像をディスプレイ１５に表示する。

　検査画像表示第２照明観察モードの場合、第２照明光画像生成部５５ｂは、入力された１フレーム分のＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に対して、第２照明光画像用画像処理を施す。第２照明光画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。第２照明光画像用画像処理が施されたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号は、第２照明光画像として、手技支援情報提示モード切替部５６を介して表示制御部６１に入力される。検査画像表示第２照明観察モードにおいて、第２照明光画像は後述する第１手技支援情報算出部６０を介さず、直接、表示制御部６１に入力される（図１５参照）。表示制御部６１は、第１照明光画像をディスプレイ１５に表示する。

　検査画像表示重畳モードの場合、図１３に示す重畳画像生成部５５ｃにおいて重畳画像が生成される。重畳画像生成部５５ｃは、表示用画像生成部５５ｄ、鑑別処理部５５ｅ、及び、重畳処理部５５ｆを備えている。表示用画像生成部５５ｄは、入力した１フレーム分のＲ１画像信号、Ｇ１画像信号、Ｂ１画像信号に対して、上述と同様の第１照明光画像用画像処理を施す。第１照明光画像信号用画像処理が施されたＲ１画像信号、Ｇ１画像信号、Ｂ１画像信号は、表示用画像として使用される。鑑別処理部５５ｅは、入力した特定フレーム分のＲ２画像信号、Ｇ２画像信号、Ｂ２画像信号に対して、鑑別処理を行う。重畳処理部５５ｆは、鑑別処理の結果である鑑別結果を表示用画像に重畳表示させるなどの重畳画像処理を行うことによって、重畳画像を生成する。

　表示用画像又は重畳画像は、手技支援情報提示モード切替部５６を介して、表示制御部６１に入力される。表示制御部６１は、表示用画像又は重畳画像をディスプレイ１５に表示する重畳画像表示制御処理を行う。なお、後述する手技支援情報提示重畳モードにおいても、同様に、下記の重畳画像表示制御処理がなされる。

　重畳画像表示制御処理について、以下説明する。図１４に示すように、第１発光パターンを第１Ａ発光パターンとし、第２発光パターンを第２Ｂパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：異なる）とする場合、第１照明光として白色光Ｗを２フレーム分、第２照明光としての紫色光Ｖ、緑色光Ｇ、赤色光Ｒを、白色光Ｗの発光の間に、それぞれ１フレーム分だけ観察対象に照明する場合には、白色光の照明により得られる第１画像信号に対して第１照明光画像用画像処理を施すことによって、表示用画像を得る。

　一方、紫色光Ｖの照明により得られる第２画像信号（Ｒ２画像信号、Ｇ２画像信号、Ｂ２画像信号）に対して鑑別結果を行って、鑑別結果Ｖを得る。同様にして、緑色光Ｇの照明により得られる第２画像信号（Ｒ２画像信号、Ｇ２画像信号、Ｂ２画像信号）に対して鑑別処理を行って、鑑別結果Ｇを得る。また、赤色光Ｒの照明により得られる第２画像信号（Ｒ２画像信号、Ｇ２画像信号、Ｂ２画像信号）に対して鑑別処理を行って、鑑別結果Ｒを得る。これら鑑別結果Ｖ、Ｇ、Ｒは、赤色光Ｒに関する鑑別処理が完了した後、一まとめにした鑑別結果Ｔとして、表示用画像に表示される。なお、鑑別結果Ｖ、Ｇ、Ｒは、それぞれ単独で表示用画像に表示してもよく、また、鑑別結果Ｖ、Ｇ、Ｒのうち少なくとも２つ組み合わせて得られる鑑別結果を、重畳画像としてもよい。

　上記の表示用画像又は重畳画像は、手技支援情報提示モード切替部５６を介して、表示制御部６１に入力される。表示制御部６１は、特定の表示条件に基づいて、表示用画像又は重畳画像をディスプレイ１５に表示する。特定の表示条件としては、例えば、鑑別結果が進行度の高い病変部の検出である場合である。この場合、表示制御部６１は、特定の表示条件を満たさない場合に、表示用画像をディスプレイ１５に表示し、特定の表示条件を満たす場合に重畳画像をディスプレイ１５に表示する。

　なお、第１実施形態においては、第１照明光に基づく第１画像信号は、表示用画像に用い、第２照明光に基づく第２画像信号は、鑑別処理にのみに用いて、ディスプレイ１５への表示に用いていないが、第２画像信号についても、ディスプレイ１５への表示に用いてもよい。この場合には、第１画像信号に基づく表示用画像と、第２画像信号に基づく表示用画像とを、ディスプレイ１５に対して切り替えて表示することになる。第２画像信号に基づく画像のディスプレイ１５への表示又は非表示については、ＵＩ１６によって適宜設定できるようにすることが好ましい。

　以下、鑑別結果に基づいた、処置具に係る手技支援情報の算出について具体的に説明する。図１５に示すように、鑑別処理部５５ｅは、第２照明光画像に係る特徴量の算出、第２照明光画像に係る注目領域の設定、診断結果の決定と対応付け等を行って鑑別結果を出力し、表示制御部６１に送信する。ここで、具体的に出力される鑑別結果は、診断結果と、注目領域を強調表示した第1照明光画像、第２照明光画像、又は重畳画像である（本願において、「診断結果」は「鑑別結果」の一つであり、「鑑別結果」に包含される概念である。）。診断結果は、第２照明光画像の鑑別モデル５５ｅＭへの入力により、第２照明光画像に係る特徴量に基づいて出力されるものである。注目領域の強調表示については後述する。

　鑑別処理部５５ｅが出力する鑑別結果は、ノイズ低減部５３から画像処理切替部５４を介して鑑別処理部５５ｅに送信された画像信号を、鑑別処理部５５ｅに搭載する機械学習における学習モデルである鑑別モデル５５ｅＭに入力した結果として、出力されたものである。学習とは、教師あり学習、教師なし学習、強化学習、深層強化学習、ニューラルネットワークを用いた学習、深層学習等を含む。

　特徴量は、観察対象が表層、中層、深層の少なくともいずれか１つに位置するかによって分類されることが好ましい。特徴量とは、観察対象の形状、色又はそれら形状や色等から得られる値であることが好ましい。特徴量の項目としては、例えば、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報である。特徴量はこれらの少なくともいずれか１つ、もしくは、これらの２以上を組み合わせた値であることが好ましい。なお、特徴量の項目については、この限りではなく、使用状況に応じて適宜追加されてもよい。

　また、診断結果は、病変部もしくは正常部であること、活動期又は寛解期であること、国際疾病分類、UICC TNM（Union for International Cancer Control Tumor Lymph Nodes Metastasis）分類、TNM（Tumor Lymph Nodes Metastasis）分類、Dukes分類、その他の分類、診断基準、ガイドライン、教科書及びアトラスに基づく診断名、種類、タイプ（type）、進展度、ステージのいずれか１つ以上を含むことが好ましい。

　なお、画像とともに表示する鑑別結果のディスプレイ１５への表示又は非表示については、ＵＩ１６によって適宜設定できるようにすることが好ましい。

　本段落以降では、手技支援情報提示モードについて開示する。手技支援情報提示モードへの切り替えは、手技支援情報提示スイッチ１２ｇが押された場合に、手技支援情報提示モード切替部５６を介して検査画像表示重畳モードから手技支援情報提示重畳モードに切り替わることによってなされる。

　図１５に示す、手技支援情報提示モードの切り替えと、手技支援情報提示モードの概要について説明する。デフォルトの表示モードは検査画像表示モードであるところ、ユーザーにより手技支援情報提示スイッチ１２ｇが押されると、手技支援情報提示モード切替部５６を操作して、手技支援情報提示モードに切り替わり、算出された鑑別結果が第１手技支援情報算出部６０に送信される。

　次いで、第１手技支援情報算出部６０が、鑑別結果に基づいて処置具に係る手技支援情報１２３を出力する。ここで算出する手技支援情報１２３を、特定の条件を満たすものに限定してもよい。具体的には、適切度が一定値よりも高く算出された処置具に係る手技支援情報１２３を選出する。最終的に、検査画面と、算出された手技支援情報１２３に含む処置具とを、一画面に手技支援情報提示画面１２０として表示し、ユーザーが視認できる状態にする（図２９参照）。上記構成により、内視鏡検査中、ユーザーの任意のタイミングで手技支援情報提示モードに切り替え、検査画像の鑑別結果に合わせた適切な処置具を手技支援情報１２３として表示することができる。

　第１実施形態において、第１手技支援情報算出部６０が出力する手技支援情報１２３（図２９参照）は、図１５及び図１６に示す、重畳画像生成部５５ｃ内の鑑別処理部５５ｅで得た鑑別結果と、第２照明光画像とを、第１手技支援情報算出部６０に搭載する機械学習における学習モデルである手技支援情報算出モデル６０Ｍに入力した結果として出力されたものである。第２実施形態において第１手技支援情報算出部６０が算出する情報については後述する。

　本実施形態において、鑑別処理部５５ｅで鑑別モデル５５ｅＭが出力した鑑別結果は第１手技支援情報算出部６０に送信される。第１手技支援情報算出部６０の手技支援情報算出モデル６０Ｍは、鑑別結果が入力されると、処置具に係る手技支援情報１２３を出力する。手技支援情報算出モデル６０Ｍは、鑑別結果の入力により、１もしくは１以上の処置具に係る手技支援情報１２３を出力する学習モデルであることが好ましい。また、手技支援情報算出モデル６０Ｍは、鑑別結果の入力が異なる場合に、異なる手技支援情報１２３の出力を行うように学習がなされたモデルであることが好ましい。例えば、手技支援情報算出モデル６０Ｍは、図１７及び図１８に示すように、鑑別処理部５５ｅで出力された鑑別結果が鑑別結果Ｐ５５ｅｐである場合は手技支援情報Ｐ６０ｐを出力し、鑑別処理部５５ｅで出力された鑑別結果が鑑別結果Ｑ５５ｅｑである場合は手技支援情報Ｑ６０ｑを出力することが好ましい。

　具体的な例としては、図１７に示すように、手技支援情報算出モデル６０Ｍに入力される鑑別結果Ｐ５５ｅｐが、「長径が３０ｍｍ、粘膜下層に至らない、有茎、ポリープ」である場合、出力される手技支援情報Ｐ６０ｐは、「処置方法：ポリペクトミー、適切度の最も高い処置具：ポリペクトミースネア」となる。一方、図１８に示すように、手技支援情報算出モデル６０Ｍに入力される鑑別結果Ｑ５５ｅｑが、「長径が５０ｍｍ、粘膜下層に至らない、無茎、ステージIのがん」である場合、出力される手技支援情報Ｑ６０ｑは、「処置方法：ＥＳＤ、適切度の最も高い処置具：ディスポーザブル高周波ナイフ」となる。上記構成により、鑑別結果に合わせて１もしくは１以上の適切な処置具をユーザーに提示することができ、手術リスク、特にユーザーの経験の浅い場合や珍しい症例の場合におけるリスクを低減し、処置時間を短縮させることができる。

　手技支援情報算出モデル６０Ｍが出力する手技支援情報１２３に含まれる処置方法とは、第１手技支援情報算出部６０で出力された病変部の処置方法である。具体的な例を挙げると、内視鏡的ポリープ切除術（ポリペクトミー、スネアポリペクトミー）、内視鏡的粘膜切除術（EMR; Endoscopic mucosal resection）、内視鏡的粘膜下層剥離術（ESD; Endoscopic submucosal dissection）、超音波内視鏡下穿刺吸引術、内視鏡的粘膜焼灼術等であり、この限りではない。

　第１手技支援情報算出部６０の手技支援情報算出モデル６０Ｍに入力する情報としては、鑑別モデル５５ｅＭが出力した鑑別結果に加えて、手技情報記憶メモリ８０に記憶されている手技情報を入力することが好ましい。この場合、第１手技支援情報算出部６０に搭載された手技支援情報算出モデル６０Ｍは、鑑別結果と、手技情報記憶メモリ８０に記憶されている手技情報との入力により、処置具に係る適切度を向上させて手技支援情報１２３を出力する。手技支援情報算出モデル６０Ｍは、後述の手技情報記憶メモリ８０に記憶されている手技情報によって予め学習がなされていることが好ましい。上記構成により、鑑別結果と、その他の情報とを組み合わせて、より適切度が高い処置具をユーザーに提示することができ、手術リスクをより低減し、処置時間をより短縮させることができる。

　手技情報記憶メモリ８０には、処置具の在庫情報８１、ガイドラインに沿った病変と処置具の対応付け情報である処置パターン情報８２、咽頭、食道、胃、小腸、大腸等の解剖学的部位や血管の走行状況に係る周辺環境情報８３、患者の既往歴、検査・処置歴、使用中医薬品等の患者リスク判定情報８４、手術者情報８５等を含む手技情報、さらに、第２実施形態において用いられるテンプレート画像、テンプレート画像に対応付けられた鑑別結果及び処置具の情報等が記憶されている。手技支援情報算出モデル６０Ｍに入力する手技情報は、１もしくは１以上を組み合わせたものを入力し、処置具に係る適切度を向上させて手技支援情報を出力することが好ましい。

　第１手技支援情報算出部６０は、鑑別結果の入力が共通で、かつ、処置具の在庫情報８１の入力が異なる場合に、異なる手技支援情報１２３の出力を行うように学習がなされた手技支援情報算出モデル６０Ｍを有することが好ましい。

　例えば、図１９及び図２０に示すように、鑑別処理部５５ｅで出力され、第１手技支援情報算出部６０に入力された鑑別結果が、共通の鑑別結果Ｐ５５ｅｐであり、手技情報記憶メモリ８０から入力された処置具の在庫情報が、互いに異なる処置具の在庫情報Ｓ８１ａ（図１９）もしくは処置具の在庫情報Ｔ８１ｂ（図２０）である場合、手技支援情報算出モデル６０Ｍは、処置具の在庫情報Ｓ８１ａが入力された場合には手技支援情報Ａ６０ａを（図１９）、処置具の在庫情報Ｔ８１ｂが入力された場合には手技支援情報Ｂ６０ｂを（図２０）出力する。

　具体的な例としては、図１９に示すように、鑑別結果Ｐ５５ｅｐの入力から導かれる、適切度の最も高い処置具がディスポーザブル高周波はさみ鉗子である場合に、入力される処置具の在庫情報Ｓ８１ａとして、ディスポーザブル高周波はさみ鉗子の在庫が１０であった場合は、手技支援情報Ａ６０ａとして、適切度の最も高い処置具がディスポーザブル高周波はさみ鉗子であると提示する。一方、図２０に示すように、入力される処置具の在庫情報Ｔ８１ｂとして、ディスポーザブル高周波はさみ鉗子の在庫が０であった場合は、手技支援情報Ｂ６０ｂとして、他の処置具（例えば、ディスポーザブル高周波止血鉗子）が適切度の最も高い処置具であると提示する。なお、手技支援情報１２３を異ならせるための在庫数の閾値は自動的もしくはユーザーが手動的に設定できる。

　また、処置具の在庫情報８１は、外部の管理システム（図示しない）を使用してもよい。さらに、後述する手技支援情報提示画面１２０に、処置具の在庫数を表示してもよい。また、本来であれば出力されていた手技支援情報１２３が、在庫が閾値未満であった故に、その他の処置具に係る手技支援情報１２３に変更された場合に、後述する手技支援情報提示画面１２０に、本来であれば出力されていた処置具の在庫が閾値未満であったことを警告表示してもよい。上記構成により、適切度が最も高くとも在庫が無い処置具を提示してしまうことによる、予期せぬ手術の停滞を防止できる。また、自社製の処置具の消費をユーザーに促すことができる。

　第１手技支援情報算出部６０は、鑑別結果の入力が共通で、かつ、処置パターン情報８２の入力が異なる場合に、異なる手技支援情報１２３の出力を行うように学習がなされた手技支援情報算出モデル６０Ｍを有することが好ましい。

　例えば、図２１及び図２２に示すように、鑑別処理部５５ｅで出力され、第１手技支援情報算出部６０に入力された鑑別結果が、共通の鑑別結果Ｐ５５ｅｐであり、手技情報記憶メモリ８０から入力された処置パターン情報が、互いに異なる処置パターン情報Ｓ８２ａ（図２１）もしくは処置パターン情報Ｔ８２ｂ（図２２）である場合、手技支援情報算出モデル６０Ｍは、処置パターン情報Ｓ８２ａが入力された場合には手技支援情報Ｃ６０ｃを（図２１）、処置パターン情報Ｔ８２ｂが入力された場合には手技支援情報Ｄ６０ｄを（図２２）出力する。

　具体的な例としては、図２１に示すように、鑑別結果Ｐ５５ｅｐの入力から導かれる、適切度の最も高い処置具がポリペクトミースネアである場合に、入力される処置パターン情報Ｓ８２ａとして、２０１９年版の胃癌治療ガイドラインで使用の推奨されている処置具がポリペクトミースネアであった場合は、手技支援情報Ｃ６０ｃとして、適切度の最も高い処置具がポリペクトミースネアであると提示する。一方、図２２に示すように、入力される処置パターン情報Ｔ８２ｂとして、２０２０年版の胃癌治療ガイドラインで使用が推奨されている処置具がディスポーザブル高周波はさみ鉗子であった場合は、新しいガイドラインを、より適切度を高める情報と認識し、手技支援情報Ｄ６０ｄとして、適切度の最も高い処置具がディスポーザブル高周波はさみ鉗子であると提示する。なお、処置パターン情報８２については、自動的もしくはユーザーが手動的に手技情報記憶メモリ８０を更新できる。

　また、後述する手技支援情報提示画面１２０に、参照した処置パターン情報を表示してもよい。上記構成により、処置の際に最新のガイドラインを参照した処置具を提示できる。

　第１手技支援情報算出部６０は、鑑別結果の入力が共通で、かつ、周辺環境情報８３の入力が異なる場合に、異なる手技支援情報１２３の出力を行うように学習がなされた手技支援情報算出モデル６０Ｍを有することが好ましい。

　例えば、図２３及び図２４に示すように、鑑別処理部５５ｅで出力され、第１手技支援情報算出部６０に入力された鑑別結果が、共通の鑑別結果Ｐ５５ｅｐであり、手技情報記憶メモリ８０から入力された周辺環境情報が、互いに異なる周辺環境情報Ｓ８３ａ（図２３）もしくは周辺環境情報Ｔ８３ｂ（図２４）である場合、手技支援情報算出モデル６０Ｍは、周辺環境情報Ｓ８３ａが入力された場合には手技支援情報Ｅ６０ｅを（図２３）、周辺環境情報Ｔ８３ｂが入力された場合には手技支援情報Ｆ６０ｆを（図２４）出力する。

　具体的な例としては、図２３に示すように、鑑別結果Ｐ５５ｅｐの入力から導かれる、適切度の最も高い処置具がモノポーラ止血鉗子である場合に、入力される周辺環境情報Ｓ８３ａとして、現在の検査部位が胃底である場合は、手技支援情報Ｅ６０ｅとして、適切度の最も高い処置具がモノポーラ止血鉗子であると提示する。一方、図２４に示すように、入力される周辺環境情報Ｔ８３ｂとして、現在の検査部位が直腸の血管が多い部位である場合は、手技支援情報Ｆ６０ｆとして、適切度の最も高い処置具がバイポーラ止血鉗子であると提示する。

　なお、周辺環境情報８３については、自動的もしくはユーザーが手動的に手技情報記憶メモリ８０を更新できる。また、検査部位入力部（図示しない）を設けて、予めユーザーが検査部位を入力してもよい。上記構成により、手術対象になる解剖学的部位や血管の走行状況によって最適な処置具を提示することができ、処置の安全性を向上させることができる。

　第１手技支援情報算出部６０は、鑑別結果の入力が共通で、かつ、患者リスク判定情報８４の入力が異なる場合に、異なる手技支援情報１２３の出力を行うように学習がなされた手技支援情報算出モデル６０Ｍを有することが好ましい。

　例えば、図２５及び図２６に示すように、鑑別処理部５５ｅで出力され、第１手技支援情報算出部６０に入力された鑑別結果が、共通の鑑別結果Ｐ５５ｅｐであり、手技情報記憶メモリ８０から入力された患者リスク判定情報が、互いに異なる患者リスク判定情報Ｓ８４ａ（図２５）もしくは患者リスク判定情報Ｔ８４ｂ（図２６）である場合、手技支援情報算出モデル６０Ｍは、患者リスク判定情報Ｓ８４ａが入力された場合には手技支援情報Ｇ６０ｇを（図２５）、患者リスク判定情報Ｔ８４ｂが入力された場合には手技支援情報Ｈ６０ｈを（図２６）出力する。

　具体的な例としては、図２５に示すように、鑑別結果Ｐ５５ｅｐの入力から導かれる、適切度の最も高い処置具がディスポーザブル高周波はさみ鉗子である場合に、入力される患者リスク判定情報Ｓ８４ａとして、現在投薬している薬がない場合は、手技支援情報Ｇ６０ｇとして、適切度の最も高い処置具がディスポーザブル高周波はさみ鉗子であると提示する。一方、図２６に示すように、入力される患者リスク判定情報Ｔ８４ｂとして、２日前にワルファリンカリウム等の抗凝固薬を処方したため出血リスクが高い場合は、手技支援情報Ｈ６０ｈとして、適切な処置具が存在しないと提示する。なお、患者リスク判定情報８４は自動的もしくはユーザーが手動的に設定できる。

　また、患者リスク判定情報８４は、外部の電子カルテや管理システム（図示しない）の情報を使用してもよい。さらに、後述する手技支援情報提示画面１２０に、患者情報を表示してもよい。上記構成により、患者情報に合わせて適切な処置具を提示することができる。また、患者リスクに由来する予期せぬ医療事故を防止することができる。

　第１手技支援情報算出部６０は、鑑別結果の入力が共通で、かつ、手術者情報８５の入力が異なる場合に、異なる手技支援情報１２３の出力を行うように学習がなされた手技支援情報算出モデル６０Ｍを有することが好ましい。

　例えば、図２７及び図２８に示すように、鑑別処理部５５ｅで出力され、第１手技支援情報算出部６０に入力された鑑別結果が、共通の鑑別結果Ｐ５５ｅｐであり、手技情報記憶メモリ８０から入力された処置具の在庫情報が、互いに異なる手術者情報Ｓ８５ａ（図２７）もしくは手術者情報Ｔ８５ｂ（図２８）である場合、手技支援情報算出モデル６０Ｍは、手術者情報Ｓ８５ａが入力された場合には手技支援情報Ｉ６０ｉを（図２７）、手術者情報Ｔ８５ｂが入力された場合には手技支援情報Ｊ６０ｊを（図２８）出力する。

　具体的な例としては、図２７に示すように、鑑別結果Ｐ５５ｅｐの入力から導かれる、適切度の最も高い処置具がＡ社製の止血鉗子である場合に、入力される手術者情報Ｓ８５ａとして、Ａ社製の止血鉗子の使用歴が５０回であり、Ｂ社製の止血鉗子の使用歴が５回である場合は、手技支援情報Ｇ６０ｇとして、適切度の最も高い処置具がＡ社製の止血鉗子であると提示する。一方、図２８に示すように、入力される手術者情報Ｔ８５ｂとして、Ａ社製の止血鉗子の使用歴が５回であり、Ｂ社製の止血鉗子の使用歴が５０回である場合は、手技支援情報Ｈ６０ｈとして、適切度の最も高い処置具がＢ社製の止血鉗子であると提示する。

　なお、手術者情報８５は自動的もしくはユーザーが手動的に設定できる。また、手術者情報８５は、ＩＤ等を利用した外部の管理システム（図示しない）の情報を使用してもよく、手術者情報入力部（図示しない）を設けて、予めユーザーが手術者情報を入力してもよい。上記構成により、手術者の専門や経験に合わせて適切な処置具を提示することができる。

　手技情報記憶メモリ８０から第１手技支援情報算出部６０に入力される手技情報は、処置具の在庫情報、処置パターン情報、周辺環境情報、患者の既往歴、患者リスク判定情報、手術者情報のうち、１もしくは１以上を組み合わせたものであり、複数の手技情報の組み合わせであることが好ましい。第１手技支援情報算出部６０が出力する手技支援情報１２３の処置具に係る適切度を向上させるためである。なお、手技情報は上記に限られない。

　第１手技支援情報算出部６０が出力する手技支援情報１２３は、処置具の候補の名称と、処置具の適切度を含むことが好ましい。処置具の名称とは、「ディスポーザブル高周波はさみ鉗子」のような一般名と、商品名や商標名のことを指す（図２９参照）。一般名のみ図示したが、デフォルトでは商標名と一般名を表示することを想定している。また、処置具の適切度とは、処置具の適切度合いを示すスコアである。このスコアは、手技支援情報算出モデル６０Ｍによって、複数種類の処置具に対して加点及び減点され、最終的なスコアが手技支援情報１２３に反映される。また、手技支援情報１２３は、処置具の名称と、検査画像の診断結果と、処置方法と、処置具の適切度と、処置具の適切度の順位と、処置具の画像１２５を含むことがさらに好ましい。第１手技支援情報算出部６０が出力した手技支援情報１２３は、表示制御部６１に送信される。

　処置具の適切度の順位とは、第１手技支援情報算出部６０が出力した処置具の適切度によって付与される順位である。例えば、各処置具に係る適切度が、それぞれ９５、９０、８０、４０である４つの処置具が出力された場合、適切度が９５の処置具に１位、９０の処置具に２位、８０の処置具に３位、４０の処置具に４位、と順位を付与する。

　第１手技支援情報算出部６０は、手技支援情報１２３として出力する処置具を、特定の条件を満たすものに限定してもよい。特定の条件とは、処置具の適切度に対する閾値である。例えば、適切度９５（１位）の処置具、適切度９０（２位）の処置具、適切度８０（３位）の処置具、適切度４０（４位）の処置具を出力しようとする場合において、特定の条件を「適切度が８０以上」と設定したとする。この条件では、適切度が４０の処置具は、特定の条件を満たさないため表示制御部６１に送信されず、一方、適切度が９５、９０、８０の処置具は、特定の条件を満たすため、複数の手技支援情報１２３として表示制御部６１に送信される。

　特定の条件は変更可能であり、手技支援情報算出モデル６０Ｍが自動的に設定しても、ユーザーが手動的に設定してもよい。上記構成により、提示する処置具を処置具の適切度の値によって取捨選択できる。例えば、処置具が第１手技支援情報算出部６０によって複数選択され、選択された処置具が想定よりも多い場合に、処置具の適切度の閾値を上げることで、より適切度が高い処置具のみを提示することができる。

　手技支援情報提示モードにおいて、表示制御部６１は、検査画像１２１と特定の条件を満たす処置具を含む手技支援情報１２３とを一画面にし、手技支援情報提示画面１２０としてディスプレイ１５に表示する。また、図２９に示すように、手技支援情報１２３として、処置具の名称と、検査画像の診断結果と、処置方法と、処置具の適切度と、処置具の適切度の順位と、処置具の画像１２５とを、検査画像１２１と一画面にして、手技支援情報提示画面１２０として表示することが好ましい。上記構成により、ユーザーが、検査画像１２１に表示している病変に対する適切な処置具を提示することができる。さらに、ユーザーと、ディスプレイ１５を同時に観察している第三者との情報伝達を容易にする。

　手技支援情報提示画面１２０において、図２９に示すように、検査画像１２１中の注目領域は注目領域を囲うような円形の枠と符号Ｉ１を付して強調表示している。第１実施形態において、この強調表示は、前述の通り、鑑別処理部５５ｅの鑑別モデル５５ｅＭによってなされる。

　この強調表示の表示態様としては、図２９の実施例に限られず、枠の形状、色、大きさ、太さを適宜変更したり、疑似カラーや模様による表示でもよい。また、検査画像１２１中に注目領域が複数存在する場合、各注目領域によって異なる形状、色、大きさ、太さの枠等を使用したり、異なる色や模様によって表示してもよい。各強調表示に数字や文字等の記号を付記してもよい。さらに、病変が極めて要注意であることをユーザーに意識させる場合は、黄色や赤色等の警告色を用いた表示を行ってもよい。また、強調表示をしない設定も可能であることが好ましい。

　なお、検査画像１２１中に注目領域が複数存在する場合、各注目領域を選択し、それぞれの注目領域に係る手技支援情報１２３が手技支援情報提示画面１２０に表示されることが好ましい。この場合、いずれの注目領域に対する手技支援情報１２３が表示されているかが判明できるように、現在表示中の手技支援情報１２３に対応する注目領域に対する強調表示を、その他の注目領域に対する強調表示と異ならせることが好ましい。例えば、強調表示の形状、色、大きさ、太さを変更したり、点滅させてもよい。

　また、手技支援情報１２３を表示する注目領域を切り替えたい場合に、ディスプレイ１５上で、ＵＩ１６を介して操作できることがよい。例えば、手技支援情報１２３を表示する注目領域に、マウスポインタを合わせてのクリック、タッチパネル上でのタップを切り替えのトリガーとしてもよい。後述するように、手技支援情報提示スイッチ１２ｇを使用してもよく、切り替え方法は上記に限らない。

　手技支援情報提示画面１２０において、デフォルトでは最も処置具の適切度の順位が高い処置具に係る手技支援情報１２３が表示される。図２９において、表示中の手技支援情報１２３を、適切度の順位が下位の処置具に係る手技支援情報１２３に切り替えるための操作用アイコンとして、下位方向の順位切り替え用アイコン１２６ａが、また、適切度の順位が上位の処置具に係る手技支援情報１２３に切り替えるための操作用アイコンとして、上位方向の順位切り替え用アイコン１２６ｂ（図３０参照）が、手技支援情報提示画面１２０に表示されている。下位方向の順位切り替え用アイコン１２６ａは手技支援情報１２３の右側に、上位方向の順位切り替え用アイコン１２６ｂは手技支援情報１２３の左側に設けられている。下位方向の順位切り替え用アイコン１２６ａは、三角形のアイコンで表され、右方向に向いている。上位方向の順位切り替え用アイコン１２６ｂは、三角形のアイコンで表され、左方向に向いている。下位方向の順位切り替え用アイコン１２６ａを操作することで、適切度の順位が下位の処置具に係る手技支援情報１２３に切り替わる。一方、上位方向の順位切り替え用アイコン１２６ｂを操作することで、処置具に係る手技支援情報１２３が上位のものに切り替わる。なお、下位方向の順位切り替え用アイコン１２６ａ及び上位方向の順位切り替え用アイコン１２６ｂの形状や表示態様はこの限りではない。

　下位方向の順位切り替え用アイコン１２６ａ及び上位方向の順位切り替え用アイコン１２６ｂに対する操作は、ＵＩ１６のマウスやタッチパネルなどを用いてユーザーが操作することが好ましい。また、ＵＩ１６と手技支援情報提示スイッチ１２ｇとを組み合わせて操作してもよい。例えば、ユーザーが、ＵＩ１６のマウスやタッチパネルを介して、下位方向の順位切り替え用アイコン１２６ａ又は上位方向の順位切り替え用アイコン１２６ｂのいずれかを選択し、選択済みのアイコンをアクティブにした上で、手技支援情報提示スイッチ１２ｇを押すと、アクティブにしたアイコンに対応する表示が切り替わる。

　下位方向の順位切り替え用アイコン１２６ａ及び上位方向の順位切り替え用アイコン１２６ｂを用いる処置具に係る手技支援情報１２３の切り替えについて、以下説明する。例えば、図２９に示すように、適切度の順位が１位の処置具に係る手技支援情報１２３が表示されている場合において、下位方向の順位切り替え用アイコン１２６ａをアクティブにした上で手技支援情報提示スイッチ１２ｇを押すと、適切度の順位が２位の処置具に係る手技支援情報１２３に切り替わることで、処置具名、処置方法、処置具に係る適切度、適切度の順位、処置具の画像１２５の表示が切り替わり、図３０に示す画面が表示される。すなわち、手技支援情報提示スイッチ１２ｇは、鑑別結果に係る適切な処置具の表示を切り替えるトグルスイッチとしても機能させることができる。

　なお、内視鏡１２やＵＩ１６に、新たに順位切り替え用ボタンを設けてもよい。

　なお、前後の順位の手技支援情報１２３の表示に切り替えたい場合、ディスプレイ１５上で、ＵＩ１６を介して操作してもよい。例えば、手技支援情報１２３を表示する注目領域に、マウスポインタを合わせてのクリック、タッチパネル上でのタップ、スワイプをする動作を切り替えのトリガーとしてもよく、これに限られない。上記構成により、ユーザーが、適切度の高い処置具を適切度の順位によって見比べることができる。

　処置具の適切度が特定の条件を満たす処置具に係る手技支援情報１２３が存在しない場合、もしくは、処置具の適切度が設定した閾値を下回る場合、第１手技支援情報算出部６０は表示制御部６１に警告の表示を行う旨の指示を送り、手技支援情報提示画面１２０において警告表示１３０を行う。例えば、図３１に示すように、「処置具を提示できません」と表示してもよい。警告表示はこの方法に限られない。例えば、処置具の適切度が設定した閾値を下回る場合は、処置具の適切度の文字色を変更させたり、点滅させたり、太枠で囲って表示してもよい。ランプ（図示しない）や音声によって警告してもよい。上記構成により、適切な処置具が存在しない場合に、もしくは処置具の適切度が低い場合に、ユーザーが安全性の低い処置を行うことを防止できる。

　手技支援情報提示画面１２０において、ユーザーが、１又は１以上の処置具に係る手技支援情報１２３の中から、１つの処置具に係る手技支援情報１２３を選択し、処置開始ボタン１５２を押すと、第１手技支援情報算出部６０が算出した処置具に係る手技支援情報１２３を、処置時間算出部６２に入力し、処置予想時間を出力する。

　具体的には、図３２に示すような手技支援情報提示画面１２０において、ユーザーが「処置開始」で示す処置開始ボタン１５２を選択すると、現在表示中の処置具に係る手技支援情報１２３が処置時間算出部６２の処置時間算出モデル６２Ｍに入力され、処置時間算出モデル６２Ｍは、選択した処置具に係る処置予想時間を出力する。この場合に、処置予想時間１４０を表示する。例えば、処置時間算出モデル６２Ｍは、図３３に示すように、第１手技支援情報算出部６０で出力された手技支援情報１２３が手技支援情報Ｐ６０ｐである場合は処置予想時間Ｐ６２ｐを、図３４に示すように、第１手技支援情報算出部６０で出力された手技支援情報１２３が手技支援情報Ｑ６０ｑである場合は処置予想時間Ｑ６２ｑを出力することが好ましい。

　上記構成により、ユーザーが選択した処置具を用いた場合の処置予想時間をユーザーに提示することができ、手術時間の目安を知らせることができる。なお、処置予想時間は、初めて適切な処置具をユーザーに提示する際に、手技支援情報提示画面１２０に処置予想時間１４０を表示してもよい。この場合、第１手技支援情報算出部６０で出力された１又は１以上の手技支援情報１２３が、処置時間算出部６２の処置時間算出モデル６２Ｍに直接入力される。なお、処置予想時間１４０とともに、病変部のマーキングや粘膜下層への注水等、処置具を使用するために必要なプロトコルや、シリンジ、注射針等の器具、染色のための試薬や局注剤の量等を表示してもよい。

　図３５に示す手技支援情報提示画面１２０には、手技支援情報１２３として表示された処置具を、ユーザーが承認又は否認するための、「Ｙｅｓ」で示す承認ボタン１５０及び「Ｎｏ」で示す否認ボタン１５１、処置開始ボタン１５２、検査画像保存ボタン１５３及びスクリーンショットボタン１５４が表示されている。ユーザーは、手技支援情報提示画面１２０で提示された処置具を使用することを、承認ボタン１５０をもってプロセッサ装置１４に入力することができる。また、手技支援情報提示画面１２０で提示された処置具を使用しないことを、否認ボタン１５１をもってプロセッサ装置１４に入力することができる。承認ボタン１５０もしくは否認ボタン１５１を押すことで、手技支援情報提示モードを終了し、検査画像表示モードに切り替えるようにしてもよい。ユーザーが入力した結果は、手技支援情報算出モデル６０Ｍに送信される（図示しない）。上記構成により、手技支援情報算出モデル６０Ｍの入出力の結果をもって、手技支援情報算出モデル６０Ｍに学習をさせることができる。

　処置開始ボタン１５２は、処置予想時間１４０が表示された後に、ユーザーが実際に処置を開始する際に押すと、処置開始時間がメモリ（図示しない）に記録されてもよい。上記構成により、検査記録システムや電子カルテ等の保存媒体に処置開始時間を記録することができる。さらに、後述するように、検査画像１２１を静止画として取得した場合に、処置時間算出モデル６２Ｍが出力した処置具と、実際に処置に掛かった時間とを対応付け、再び、処置時間算出モデル６２Ｍに入力することで、処置時間算出モデル６２Ｍに学習をさせることができる。

　図３５に示す手技支援情報提示画面１２０において、ユーザーが検査画像保存ボタン１５３を押すと、静止画像取得部６３が、検査画像１２１を静止画として取得し、診断結果入力部６４に送信される。診断結果入力部６４は、検査画像１２１と、鑑別処理部５５ｅが算出した鑑別結果とを対応付け、メモリ（図示しない）や、手技情報記憶メモリ８０に保存する。なお、検査画像保存ボタン１５３に替えて、静止画像取得指示スイッチ１２ｈを検査画像取得のトリガーとしてもよい。上記構成により、検査記録システムや電子カルテ等に、検査画像を記録することができる。

　手技支援情報提示画面１２０には、スクリーンショットボタン１５４が表示されている。ユーザーがスクリーンショットボタン１５４を押すと、ディスプレイ１５に表示されている手技支援情報提示画面１２０を静止画として取得し、メモリ（図示しない）や手技情報記憶メモリ８０に保存できる。上記構成により、検査記録システムや電子カルテ等の保存媒体に手技支援情報提示画面１２０を記録することができ、症例の記録の収集を検査中において容易に行うことができる。

　第１実施形態における手技支援情報提示モードの切り替えと、手技支援情報提示モードの一連の流れについて、図３６に示すフローチャートに沿って説明を行う。通常は検査画像表示モードであり、検査画像が取得され（ステップＳ１０１）、検査画像が鑑別処理部５５ｅに入力され、鑑別処理部５５ｅが検査画像に係る鑑別結果を出力する（ステップＳ１０２）。この際、手技支援情報提示スイッチ１２ｇが押されると、手技支援情報提示モード切替部５６を操作して、手技支援情報提示モードに切り替える（ステップＳ１０３）。手技支援情報提示スイッチ１２ｇが押されない場合は、検査画像表示モードであり、検査画像は表示制御部６１に送信される（ステップＳ１０４）。手技支援情報提示スイッチ１２ｇが押される操作により、鑑別結果と、手技情報記憶メモリ８０の手技情報とが第１手技支援情報算出部６０に入力され（ステップＳ１０５）、第１手技支援情報算出部６０が特定の条件を満たす手技支援情報１２３を出力し、表示制御部６１へ送信する（ステップＳ１０６）。次に、ユーザーが任意の処置具に係る手技支援情報１２３を選択する（ステップＳ１０７）。この操作により、ユーザーが選択した手技支援情報１２３が処置時間算出部６２に入力され（ステップＳ１０８）、処置予想時間が出力される（ステップＳ１０９）。上記の制御を経て、最終的に、検査画像１２１と、手技支援情報１２３と、処置予想時間１４０とが表示制御部６１に送信され、表示部に表示される。

　［第２実施形態］
　本段落以降、第２実施形態における手技支援情報提示モードについて説明する。第２実施形態では、図３８に示すように、第１実施形態の第１手技支援情報算出部６０に代えて、学習モデルを使用しないテンプレートマッチング型の第２手技支援情報算出部２００が設けられている。第２手技支援情報算出部２００には、テンプレート画像記憶メモリ２０２が接続されている。テンプレート画像記憶メモリ２０２は、第２照明光画像とのテンプレートマッチングに用いられ、処置具が対応付けられた診断済みのテンプレート画像を保存している。それ以外については、第２実施形態は、図１５などに示す第１実施形態と同様である（手技情報記憶メモリ８０等は第１実施形態と同様）。

　テンプレート画像記憶メモリ２０２に保存されたテンプレート画像は、白色光画像又は特殊光画像である。診断済みのテンプレート画像である診断済みの白色光画像もしくは診断済みの特殊光画像は、第２照明光画像又は重畳画像と比較できるように、画像の色相、色調等に関して色合わせを行なった上で比較を行うことが好ましい。

　診断済みのテンプレート画像に対応づけられている処置具としては、医師などが、テンプレート画像の観察対象に対して用いた処置具であることが好ましい。例えば、テンプレート画像の観察対象が有茎のポリープである場合、テンプレート画像に対応付けられた処置具は、ポリープを切除するためのスネアなどであることが好ましい。また、テンプレート画像の観察対象に出血が含まれている場合には、止血のための止血鉗子などであることが好ましい。

　診断済みのテンプレート画像に対応付けされている診断結果は、第１実施形態の鑑別処理部５５ｅにおいて出力される診断結果と共通するため、記載を省略する。

　以下、第２実施形態における手技支援情報提示モードの詳細について、説明する。手技支援情報提示スイッチ１２ｇを操作して、手技支援情報提示モードに切り替わると、図３９に示すように、第２照明光画像は、画像処理部５５から第２手技支援情報算出部２００内の第２照明光画像の特徴量算出部２０３に送信される。診断済みのテンプレート画像は、テンプレート画像記憶メモリ２０２から第２手技支援情報算出部２００内のテンプレート画像の特徴量算出部２０４に送信される。算出された第２照明光画像の特徴量と診断済みのテンプレート画像の特徴量は、総合一致度算出部２０５に送信される。次に、第２照明光画像の特徴量とテンプレート画像の特徴量の間で総合一致度を算出する。

　第２手技支援情報算出部２００における特徴量の算出と、総合一致度の算出についての具体例を説明する。第２照明光画像の特徴量算出部２０３で、第２照明光画像に係る表層の血管の形状・分岐の特徴量がＡ１、表層の血管の均一度の特徴量がＡ２…と、テンプレート画像の特徴量算出部２０４で、診断済みのテンプレート画像に係る表層の血管の形状・分岐の特徴量がａ１、表層の血管の均一度の個別特徴量がａ２…と、第２照明光画像及び診断済みのテンプレート画像のそれぞれについて、特徴量の項目に係る値が算出される。各特徴量の項目に係る特徴量は、総合一致度算出部２０５に送信される。

　総合一致度算出部２０５において、まず、表層の血管の形状・分岐に係る類似度について、Ａ１とａ１の値を比較し（図３９では「Ａ１ｖｓａ１」と表記）、一致度がα１であると算出している。ここで述べた、「表層の血管の形状・分岐」のような特徴量の一項目に係る一致度（ここではα１）を個別一致度と呼ぶ。次に、個別一致度の総和を総合一致度として算出する。当該の第２照明光画像もしくは重畳画像と当該のテンプレート画像との間の総合一致度はαβγという値として算出されている。

　テンプレート画像選出部２０７は、総合一致度が第１条件を満たすテンプレート画像を選出する。第１条件は、総合一致度が第１条件用閾値以上であることが好ましい。適切度算出部２０９は、手技情報記憶メモリ８０を参照して、選出されたテンプレート画像に対応付けられた処置具に対して適切度を算出する。例えば、図４０に示すように、テンプレート画像選出部２０７で３つのテンプレート画像Ｋ、Ｌ、Ｍが選出された場合において、各テンプレート画像Ｋ、Ｌ、Ｍに対応付けられた処置具Ｘ、Ｙ、Ｚの適切度を、手技情報記憶メモリ８０の手技情報に含まれる処置具Ｘ、Ｙ、Ｚの在庫情報等を参照し、算出する。なお、手技情報は、処置具の在庫情報などであり、第１実施形態と同様であるため、説明を省略する。

　手技情報として在庫情報のみを参照して、処置具の適切度を算出する場合の例を説明する。例えば、図４０に示すように、手技情報記憶メモリ８０の在庫情報では、処置具Ｘの在庫が「０」で、処置具Ｙの在庫が「１０」、処置具Ｚの在庫が「５」であった場合には、処置具Ｙの適切度ＹＰを一番高く算出し、処置具Ｘの適切度ＸＰを一番低くする。処置具Ｚの適切度ＺＰについては、適切度ＹＰと適切度ＸＰの間の値とする。

　手技支援情報出力部２１１は、適切度が第２条件を満たす処置具を含む手技支援情報を出力する。第２条件は、適切度が第２条件用閾値以上であることが好ましい。図４０の場合であれば、適切度が適切度ＺＰ以上である処置具Ｙ、Ｚが、適切な処置具とされ、処置具Ｙ、Ｚを含む手技支援情報が出力される。出力された手技支援情報については、第１実施形態と同様に、検査画面とともに手技支援情報提示画面１２０に表示される。手技支援情報提示画面１２０の表示態様は、第１実施形態と同様であるため、説明を省略する。

　第２実施形態の、図３５に示す手技支援情報提示画面１２０において、ユーザーが検査画像保存ボタン１５３を押すと、静止画像取得部６３が、検査画像１２１を静止画として取得し、診断結果入力部６４に送信する。図３９に示すように、診断結果入力部６４は、検査画像１２１と、鑑別処理部５５ｅが算出した検査画像に係る鑑別結果と、処置具とを対応付け、テンプレート画像記憶メモリ２０２に保存することができる。なお、検査画像保存ボタン１５３に替えて、静止画像取得指示スイッチ１２ｈを検査画像取得のトリガーとしてもよい。上記構成により、手技情報記憶メモリ８０にテンプレート画像を増やすことができる。

　手技支援情報提示画面１２０における注目領域の表示、適切度の順位に沿った表示画面の切り替え、特定の条件を満たす処置具に係る手技支援情報１２３が存在しない場合や処置具の適切度が設定した閾値を下回る場合の警告表示、承認ボタン１５０、否認ボタン１５１、処置を行う際の処置開始ボタン１５２、検査画像保存ボタン１５３、スクリーンショットボタン１５４の操作や、順位切り替えアイコンを用いた表示の切り替えについては、第１実施形態と共通するため、記載を省略する。

　第２実施形態の手技支援情報提示モードの一連の流れについて、図４１に示すフローチャートに沿って説明を行う。通常は検査画像表示モードである。この際、手技支援情報提示スイッチ１２ｇが押されると、手技支援情報提示モード切替部５６を操作して、手技支援情報提示モードに切り替える（ステップＳ２０１）。手技支援情報提示スイッチ１２ｇが押されない場合は、検査画像表示モードであり、重畳画像が表示制御部６１に送信される（ステップＳ２０２）。手技支援情報提示モードの場合、テンプレート画像がテンプレート画像記憶メモリ２０２から第２手技支援情報算出部２００のテンプレート画像の特徴量算出部２０４に送信され（ステップＳ２０３）、テンプレート画像の特徴量算出部２０４がテンプレート画像に係る特徴量を算出する（ステップＳ２０４）。また、第２照明光画像が重畳画像生成部５５ｃから第２手技支援情報算出部２００の第２照明光画像の特徴量算出部２０３に送信され（ステップＳ２０５）、第２照明光画像の特徴量算出部２０３が第２照明光画像に係る特徴量を算出する（ステップＳ２０６）。

　次に、テンプレート画像に係る特徴量と、第２照明光画像に係る特徴量が、総合一致度算出部２０５に送信され、個別一致度と総合一致度を算出する（ステップＳ２０７）。次いで、総合一致度が第１条件を満たすテンプレート画像を選出する（ステップＳ２０８）。次に、処置具の在庫情報を含む手技情報を参照して、選出されたテンプレート画像に対応付けられた処置具に対して適切度を算出する（ステップＳ２０９）。次に、適切度が第２条件を満たす処置具を含む手技支援情報を出力する（ステップＳ２１０）。重畳画像と、手技支援情報に含まれる処置具がディスプレイ１５に表示される（ステップ２１１）。

　なお、上記実施形態では、医用画像として、内視鏡画像を取得する内視鏡システムに対して、本発明の医療用画像処理装置を適用しているが、カプセル内視鏡等、さまざまな内視鏡システムに対して、適用可能であることはいうまでもなく、その他の医用画像として、X線画像、CT画像、MRI画像、超音波画像、病理画像、ＰＥＴ（Positron Emission Tomography）画像等を取得する各種医用画像装置に対しても、本発明の医療用画像処理装置の適用は可能である。

　上記実施形態において、光源用プロセッサ２１、撮像用プロセッサ４４、画像取得部５０、ＤＳＰ５２、ノイズ低減部５３、画像処理切替部５４、鑑別処理部５５ｅ、中央制御部７０といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) 等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよく、同種又は異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。

１０　内視鏡システム
１２　内視鏡
１２ａ　挿入部
１２ｂ　操作部
１２ｃ　湾曲部
１２ｄ　先端部
１２ｆ　観察モード切替スイッチ
１２ｇ　手技支援情報提示スイッチ
１２ｈ　静止画像取得指示スイッチ
１２ｉ　ズーム操作部
１３　光源装置
１４　プロセッサ装置
１５　ディスプレイ
１６　ＵＩ
２０　光源部
２０ａ　Ｖ－ＬＥＤ
２０ｂ　Ｂ－ＬＥＤ
２０ｃ　Ｇ－ＬＥＤ
２０ｄ　Ｒ－ＬＥＤ
２１　光源用プロセッサ
２２　光路結合部
２３　ライトガイド
３０ａ　照明光学系
３０ｂ　撮像光学系
３１　照明レンズ
４１　対物レンズ
４２　ズームレンズ
４３　撮像センサ
４４　撮像用プロセッサ
４５　ＣＤＳ／ＡＧＣ回路
４６　Ａ／Ｄコンバータ
５０　画像取得部
５２　ＤＳＰ
５３　ノイズ低減部
５４　画像処理切替部
５５　画像処理部
５５ａ　第１照明光画像生成部
５５ｂ　第２照明光画像生成部
５５ｃ　重畳画像生成部
５５ｄ　表示用画像生成部
５５ｅ　鑑別処理部
５５ｅＭ　鑑別モデル
５５ｅｐ　鑑別結果Ｐ
５５ｅｑ　鑑別結果Ｑ
５５ｆ　重畳処理部
５６　手技支援情報提示モード切替部
６０　第１手技支援情報算出部
６０Ｍ　手技支援情報算出モデル
６０ａ　手技支援情報Ａ
６０ｂ　手技支援情報Ｂ
６０ｃ　手技支援情報Ｃ
６０ｄ　手技支援情報Ｄ
６０ｅ　手技支援情報Ｅ
６０ｆ　手技支援情報Ｆ
６０ｇ　手技支援情報Ｇ
６０ｈ　手技支援情報Ｈ
６０ｉ　手技支援情報Ｉ
６０ｊ　手技支援情報Ｊ
６０ｐ　手技支援情報Ｐ
６０ｑ　手技支援情報Ｑ
６１　表示制御部
６２　処置時間算出部
６２Ｍ　処置時間算出モデル
６２ｐ　処置予想時間Ｐ
６２ｑ　処置予想時間Ｑ
６３　静止画像取得部
６４　診断結果入力部
７０　中央制御部
８０　手技情報記憶メモリ
８１　処置具の在庫情報
８１ａ　処置具の在庫情報Ｓ
８１ｂ　処置具の在庫情報Ｔ
８２　処置パターン情報
８２ａ　処置パターン情報Ｓ
８２ｂ　処置パターン情報Ｔ
８３　周辺環境情報
８３ａ　周辺環境情報Ｓ
８３ｂ　周辺環境情報Ｔ
８４　患者リスク判定情報
８４ａ　患者リスク判定情報Ｓ
８４ｂ　患者リスク判定情報Ｔ
８５　手術者情報
８５ａ　手術者情報Ｓ
８５ｂ　手術者情報Ｔ
１２０　手技支援情報提示画面
１２１　検査画像
１２３　手技支援情報
１２５　処置具の画像
１２６ａ　下位方向の順位切り替えアイコン
１２６ｂ　上位方向の順位切り替えアイコン
１３０　警告表示
１４０　処置予想時間
１５０　承認ボタン
１５１　否認ボタン
１５２　処置開始ボタン
１５３　検査画像保存ボタン
１５４　スクリーンショットボタン
２００　第２手技支援情報算出部
２０２　テンプレート画像記憶メモリ
２０３　第２照明光画像の特徴量算出部
２０４　テンプレート画像の特徴量算出部
２０５　総合一致度算出部
２０７　テンプレート画像選出部
２０９　適切度算出部
２１１　手技支援情報出力部

Claims

　画像制御用プロセッサを備え、
　前記画像制御用プロセッサは、
　検査画像を取得し、
　前記検査画像に対して鑑別処理を行い、
　前記鑑別処理の結果である鑑別結果を参照して、処置具に係る手技支援情報を算出し、
　前記検査画像と、前記手技支援情報に含まれる前記処置具とをディスプレイに表示する内視鏡システム。
　前記画像制御用プロセッサは、
　前記鑑別結果の入力により、１又は１以上の前記手技支援情報を出力する学習モデルを有し、前記学習モデルは学習済みである請求項１に記載の内視鏡システム。
　前記画像制御用プロセッサは、
　前記鑑別結果と、前記処置具の在庫情報、ガイドラインに沿った病変と前記処置具の対応付け情報である処置パターン情報、咽頭、食道、胃、小腸、大腸等の解剖学的部位や血管の走行状況に係る周辺環境情報、患者の既往歴、検査・処置歴、使用中医薬品等の患者リスク判定情報、手術者情報を含む手技情報のうち、１もしくは１以上とを組み合わせた手技情報との入力により、前記処置具に係る適切度を向上させて前記手技支援情報を出力する前記学習モデルを有し、前記学習モデルは学習済みである請求項２に記載の内視鏡システム。
　前記画像制御用プロセッサは、
　前記処置具に係る前記手技支援情報の入力により、処置予想時間を出力する前記学習モデルを有し、前記学習モデルは学習済みである請求項２に記載の内視鏡システム。
　前記処置具の在庫情報の入力を異ならせた場合に、異なる前記手技支援情報を出力する前記学習モデルを有し、前記学習モデルは学習済みである請求項３に記載の内視鏡システム。
　前記処置パターン情報の入力を異なせた場合に、異なる前記手技支援情報を出力する前記学習モデルを有し、前記学習モデルは学習済みである請求項３に記載の内視鏡システム。
　前記周辺環境情報の入力を異ならせた場合に、異なる前記手技支援情報を出力する前記学習モデルを有し、前記学習モデルは学習済みである請求項３に記載の内視鏡システム。
　前記患者リスク判定情報の入力を異ならせた場合に、異なる前記手技支援情報を出力する前記学習モデルを有し、前記学習モデルは学習済みである請求項３に記載の内視鏡システム。
　前記手術者情報の入力を異ならせた場合に、異なる前記手技支援情報を出力する前記学習モデルを有し、前記学習モデルは学習済みである請求項３に記載の内視鏡システム。
　前記手技支援情報は、前記処置具の名称と、前記処置具に係る適切度と、前記処置具に係る適切度の順位とを含む請求項１ないし９のいずれか１項に記載の内視鏡システム。
　前記手技支援情報の表示は、前記適切度の順位にならって切り替えが可能である請求項１０に記載の内視鏡システム。
　手技支援情報提示スイッチが押された後に、前記手技支援情報を表示する請求項１ないし１１のいずれか１項に記載の内視鏡システム。
　前記処置具に係る前記適切度が特定の条件を満たさない場合に警告表示を行う請求項１０に記載の内視鏡システム。
　前記特定の条件を満たす前記処置具が複数選択される場合、前記特定の条件を変更できる請求項１３に記載の内視鏡システム。
　画像制御用プロセッサを備え、
　前記画像制御用プロセッサは、
　検査画像を取得し、
　テンプレート画像記憶メモリに保存され、処置具と対応付けられた診断済みのテンプレート画像の特徴量を算出し、
　前記検査画像の特徴量を算出し、
　前記検査画像の特徴量と、前記診断済みのテンプレート画像の特徴量と比較して総合一致度を算出し、
　前記総合一致度が第１条件を満たすテンプレート画像を選出し、
　処置具の在庫情報を含む手技情報を参照して、選出されたテンプレート画像に対応付けられた処置具に対して適切度を算出し、
　前記適切度が第２条件を満たす処置具を含む手技支援情報を出力し、
　前記検査画像と、前記手技支援情報に含まれる前記処置具をディスプレイに表示する内視鏡システム。
　前記検査画像を前記診断済みのテンプレート画像として取得し、前記検査画像と、前記検査画像に係る鑑別結果と、前記処置具とを対応付けて前記テンプレート画像記憶メモリに保存する請求項１５に記載の内視鏡システム。
　光源用プロセッサを備え、
　前記光源用プロセッサは、
　互いに発光スペクトルが異なる第１照明光及び第２照明光の発光を制御し、
　前記第１照明光を発光する第１照明期間と前記第２照明光を発光する第２照明期間とを自動的に切り替える場合において、前記第１照明光を第１発光パターンで発光し、前記第２照明光を第２発光パターンで発光し、
　前記第１照明光に基づく第１照明光画像と、前記第２照明光に基づく第２照明光画像と、前記第２照明光画像に対する前記鑑別処理の結果を、前記第１照明光画像に基づく表示用画像に重畳表示した重畳画像と、を前記検査画像として取得する請求項１又は請求項１５に記載の内視鏡システム。
　前記第１発光パターンは、前記第１照明期間のフレーム数が、それぞれの前記第１照明期間において同じである第１Ａ発光パターンと、前記第１照明期間のフレーム数が、それぞれの前記第１照明期間において異なっている第１Ｂ発光パターンとのうちのいずれか１つである請求項１７に記載の内視鏡システム。
　前記第２発光パターンは、
　前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において同じであり、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において同じである第２Ａパターン、
　前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において同じであり、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において異なっている第２Ｂパターン、
　前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において異なっており、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において同じである第２Ｃパターン、及び、
　前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において異なっており、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において異なっている第２Ｄパターンのうちのいずれか１つである請求項１７又は１８に記載の内視鏡システム。
　画像制御用プロセッサを備える内視鏡システムの作動方法において、
　前記画像制御用プロセッサは、
　検査画像を取得し、
　前記検査画像に対して鑑別処理を行い、
　前記鑑別処理の結果である鑑別結果を参照して、処置具に係る手技支援情報を算出し、
　前記検査画像と、前記手技支援情報に含まれる前記処置具とをディスプレイに表示する内視鏡システムの作動方法。