WO2019049503A1

WO2019049503A1 - 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法

Info

Publication number: WO2019049503A1
Application number: PCT/JP2018/025873
Authority: WO
Inventors: 駿平加門
Original assignee: 富士フイルム株式会社
Priority date: 2017-09-07
Filing date: 2018-07-09
Publication date: 2019-03-14
Also published as: US11398033B2; EP3679853A1; CN111065314A; EP3679853A4; JPWO2019049503A1; US20200193602A1; JP7091349B2; CN111065314B

Abstract

本発明は、有用な情報をユーザに提示することができる診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法を提供することを目的とする。本発明の一の態様に係る診断支援システムによれば、検出された薬剤及び／または器材を示す第１の検出情報と、検出された関心領域を示す第２の検出情報とを医用画像に付与し、検出情報に応じた態様で一覧表示するので、ユーザは検出情報（第１，第２の検出情報）及び検出情報と画像との関係を容易に把握することができる。このように、第１の態様によれば有用な情報（検出情報）をユーザに提示することができ、ユーザは効率的に診断、レポート作成等を行うことができる。

Description

診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法

　本発明は診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法に関する。

　医用機器を用いた診断では、薬剤及び／または器材を用いて検査、処置を行い被検体の画像を取得する場合がある。この場合、使用した薬剤及び／または器材、手技の内容等を診断後に作成するレポートに記載する必要があるが、医師等のユーザの作業負担が大きいため、作業負担を軽減する技術が知られている。

　例えば下記特許文献１では、内視鏡画像から検査で使用された薬剤及び／または器材を画像認識により検出し、検出結果をもとに医療従事者による医療文書作成（内視鏡検査レポート、検査実施記録）のための入力操作を補助することが記載されている。具体的には内視鏡検査レポートにおいて、検出情報または検出情報から抽出された反映情報が、処置エリアの処置情報欄、実施エリアの手技欄、加算欄、薬剤欄、器材欄等に自動入力される。また特許文献１では、検出した薬剤及び／または器材の名称を表示する（画像のタブに薬剤名、処置具名を表示する等）ことが記載されている。

特開２０１６－６２４８８号公報

　内視鏡等で取得した画像に基づく検査を行う場合、使用した薬剤及び／または器材と関心領域（病変、病変候補等）との関係（どのような関心領域に対してどのような薬剤及び／または器材を用いたか）が重要である。しかしながら、上述した特許文献１ではそのような関係は考慮されておらず、薬剤及び／または器材と関心領域との関係が把握困難であった。ユーザが関係付けを行うのは負担が大きく、誤りのおそれもある。

　このように、従来の技術では提示される情報の有用性が低く、ユーザは画像に基づく診断、レポート作成等を効率的に行うことが困難であった。

　本発明はこのような事情に鑑みてなされたもので、有用な情報をユーザに提示することができる診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法を提供することを目的とする。

　上述した目的を達成するため、本発明の第１の態様に係る診断支援システムは、複数の医用画像を取得する医用画像取得部と、複数の医用画像を表示装置に一覧表示させる表示制御部と、複数の医用画像を撮影する際に使用された薬剤及び／または器材を複数の医用画像から画像認識により検出する第１の検出部と、複数の医用画像における関心領域を画像認識により検出する第２の検出部と、検出された薬剤及び／または器材を示す第１の検出情報を薬剤及び／または器材が検出された医用画像に付与する第１の検出情報付与部と、検出された関心領域を示す第２の検出情報を関心領域が検出された医用画像に付与する第２の検出情報付与部と、を備え、表示制御部は、第１の検出情報及び第２の検出情報に応じた態様で複数の医用画像を一覧表示する。

　第１の態様によれば、検出された薬剤及び／または器材を示す第１の検出情報と、検出された関心領域を示す第２の検出情報とを医用画像に付与し、検出情報に応じた態様で一覧表示するので、ユーザは薬剤及び／または器材、関心領域、及び画像の関係を容易に把握することができる。このように、第１の態様によれば有用な情報をユーザに提示することができ、ユーザは効率的に診断、レポート作成等を行うことができる。

　第１の態様及び以下の各態様において、「薬剤」とは関心領域（病変部等）の形状、凹凸等を観察するための色素剤及び染色剤を含み、「器材（器具）」とは被検体に対して生検、切除等を行うための処置具を含む。また、「関心領域」とは病変領域、病変候補領域、処置後の領域を含む。なお第１の態様において、医用画像取得部は撮影光学系及び撮像素子を含む撮像装置により画像を撮影して複数の医用画像を取得してもよいし、別途記録された複数の医用画像をネットワーク及び／または記録媒体経由で取得してもよい。

　第１の態様及び以下の各態様において、医用画像は医療画像ともいう。また、医用画像撮影の際に用いる光源は白色帯域の光、白色帯域として複数の波長（狭帯域光）を含む光、赤外光、励起光を発生する光源を用いることができる。また、第１の態様で取得する医用画像は白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像でもよいし、通常光画像に基づいて取得した、特定の波長帯域の情報を有する特殊光画像でもよい。

　第２の態様に係る診断支援システムは第１の態様において、複数の医用画像のうちの画像である対象画像に含まれる関心領域と同一の関心領域が、複数の医用画像のうちの他の医用画像であって薬剤及びまたは器材が検出された医用画像である比較画像に含まれているか否かを判定する関心領域判定部をさらに備え、第１の検出情報付与部は、比較画像に同一の関心領域が含まれる場合は、対象画像から薬剤及び／または器材が検出されない場合においても対象画像に第１の検出情報を付与する。第２の態様によれば、「薬剤及び／または器材は映っていないが、薬剤及び／または器材が検出された画像と同一の関心領域が含まれる画像」に対しても第１の検出情報（薬剤及び／または器材を示す情報）を付与し、付与した第１の検出情報に応じた態様で画像を表示する。したがって第２の態様によれば、ユーザに有用な情報（表示されている画像は、実際には薬剤及び／または器材は映っていないが、薬剤及び／または器材に関する画像であること）を提示することができる。なお、「同一の関心領域が他の医用画像に含まれているか否か」の判定は画像の類似度、特徴量等に基づいて行うことができる。

　第３の態様に係る診断支援システムは第１の態様において、医用画像取得部は複数のフレーム画像から構成される動画像を取得し、第２の検出部は複数のフレーム画像から画像認識により関心領域を検出し、複数の医用画像のうちの画像である対象画像に含まれる関心領域と同一の関心領域が、複数のフレーム画像に含まれる画像であって薬剤及びまたは器材が検出された画像である比較画像に含まれているか否かを判定する関心領域判定部をさらに備え、第１の検出情報付与部は、比較画像に同一の関心領域が含まれる場合は、対象画像から薬剤及び／または器材が検出されない場合においても対象画像に第１の検出情報を付与する。

　第３の態様によれば、一覧表示される複数の医用画像のうちの画像（対象画像）が薬剤及び／または器材が含まれていない画像であっても、薬剤及び／または器材が検出されたフレーム画像（比較画像）に含まれる関心領域と同一の関心領域が含まれる場合は第１の検出情報が付与されるので、ユーザに有用な情報（表示されている画像は、実際には薬剤及び／または器材は映っていないが、薬剤及び／または器材に関する画像であること）を提示することができる。なお、「同一の領域が他の医用画像に含まれているか否か」の判定は画像の類似度、特徴量等に基づいて行うことができる。なお、第３の態様において「動画像」は記録を前提としないライブビュー画像でもよいし、記録用の動画像でもよい。

　第４の態様に係る診断支援システムは第１から第３の態様のいずれか１つにおいて、医用画像取得部はユーザの撮影指示操作に応じて複数の医用画像を構成する医用画像を取得する。第４の態様によれば、ユーザは自らの操作により所望の画像を撮影することができる。

　第５の態様に係る診断支援システムは第１から第４の態様のいずれか１つにおいて、医用画像取得部は薬剤及び／または器材の検出に応じて医用画像を取得する。第５の態様によれば、薬剤及び／または器材の検出に応じて医用画像を自動撮影し、診断に適した画像（例えば検査、処置等の場面の画像）を効率的に取得、表示することができる。第５の態様において、薬剤及び／または器材の検出対象はライブビュー画像を構成するフレーム画像でもよいし、記録用の動画像を構成するフレーム画像でもよい。

　第６の態様に係る診断支援システムは第１から第５の態様のいずれか１つにおいて、医用画像取得部は関心領域の検出に応じて医用画像を取得する。第６の態様によれば、関心領域の検出に応じて医用画像を自動撮影し、検査、診断に適した画像を効率的に取得、表示することができる。第６の態様において、関心領域の検出対象はライブビュー画像を構成するフレーム画像でもよいし、記録用の動画像を構成するフレーム画像でもよい。

　第７の態様に係る診断支援システムは第１から第６の態様のいずれか１つにおいて、表示制御部は関心領域が検出された医用画像のみを一覧表示する。第７の態様によれば、関心領域が検出された医用画像のみを一覧表示することにより診断、レポート作成等を効率的に行うことができる。

　第８の態様に係る診断支援システムは第１から第７の態様のいずれか１つにおいて、表示制御部は、薬剤及び／または器材が検出された医用画像に第１の検出情報に応じて文字、数字、記号、色彩のうち少なくとも１つを付し、関心領域が検出された医用画像に第２の検出情報に応じて文字、数字、記号、色彩のうち少なくとも１つを付して複数の医用画像を一覧表示させる。第８の態様は識別表示の具体的態様を規定するものである。

　第９の態様に係る診断支援システムは第１から第８の態様のいずれか１つにおいて、表示制御部は、薬剤及び／または器材の特徴に応じた配置で複数の医用画像を一覧表示する。第９の態様では、薬剤及び／または器材の有無、種類等の特徴に応じた配置（例えば、特徴が同一あるいは近似している画像をまとめて配置する）で一覧表示を行うことができ、ユーザは表示された画像を効率的に閲覧することができる。

　第１０の態様に係る診断支援システムは第１から第９の態様のいずれか１つにおいて、表示制御部は、関心領域の特徴に応じた配置で複数の医用画像を一覧表示する。第１０の態様では、画像における関心領域の有無、大きさ等の特徴に応じた配置（例えば、特徴が同一あるいは近似している画像をまとめて配置する）で一覧表示を行うことができる。

　第１１の態様に係る診断支援システムは第１から第１０の態様のいずれか１つにおいて、薬剤及び／または器材の特徴を指定する特徴指定部をさらに備え、表示制御部は指定された特徴を有する薬剤及び／または器材が検出された医用画像のみを一覧表示する。第１１の態様によれば、ユーザは特定の薬剤及び／または器材が使用された画像を表示させ、表示された画像を閲覧することで効率的に診断、レポート作成を行うことができる。

　上述した目的を達成するため、本発明の第１２の態様に係る内視鏡システムは第１から第１１の態様のいずれか１つに係る診断支援システムと、表示装置と、被検体に挿入される挿入部であって、先端硬質部と、先端硬質部の基端側に接続された湾曲部と、湾曲部の基端側に接続された軟性部とを有する挿入部と、挿入部の基端側に接続された操作部と、被写体の光学像を結像させる撮影レンズと、光学像が結像される撮像素子と、を備える撮像部と、を有し撮影レンズが先端硬質部に設けられた内視鏡と、を備える内視鏡システムであって、医用画像取得部は撮像部により複数の医用画像を取得する。第１２の態様に係る内視鏡システムは第１から第１１の態様のいずれか１つに係る診断支援システムを備えるので、内視鏡で取得した画像に基づいて有用な情報（検出情報）をユーザに提示することができ、ユーザは効率的に診断、レポート作成等を行うことができる。

　上述した目的を達成するため、本発明の第１３の態様に係るプロセッサは、第１２の態様に係る内視鏡システムのプロセッサであって、表示制御部と、第１の検出部と、第２の検出部と、第１の検出情報付与部と、第２の検出情報付与部と、を備える。第１３の態様によれば、第１２の態様に係る内視鏡システムにおいて有用な情報（検出情報）をユーザに提示するための処理を実行することができる。

　上述した目的を達成するため、本発明の第１４の態様に係る診断支援方法は複数の医用画像を取得する医用画像取得工程と、複数の医用画像を表示装置に一覧表示させる表示制御工程と、複数の医用画像を撮影する際に使用された薬剤及び／または器材を複数の医用画像から画像認識により検出する第１の検出工程と、複数の医用画像における関心領域を画像認識により検出する第２の検出工程と、検出された薬剤及び／または器材を示す第１の検出情報を薬剤及び／または器材が検出された医用画像に付与する第１の検出情報付与工程と、検出された関心領域を示す第２の検出情報を関心領域が検出された医用画像に付与する第２の検出情報付与工程と、を備え、表示制御工程では、第１の検出情報及び第２の検出情報に応じた態様で複数の医用画像を一覧表示する。第１４の態様によれば、第１の態様と同様に有用な情報（検出情報）をユーザに提示することができ、ユーザは効率的に診断、レポート作成等を行うことができる。なお、第１４の態様の構成に対し第２から第１１の態様と同様の構成をさらに有する診断支援方法、及びこれら態様の診断支援方法を診断支援システムに実行させるプログラムのコンピュータ読み取り可能なコードを記録した記録媒体も本発明の態様として挙げることができる。

　以上説明したように、本発明の診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法によれば、有用な情報をユーザに提示することができる。

図１は、第１の実施形態に係る内視鏡システムの外観図である。図２は、内視鏡システムの構成を示すブロック図である。図３は、内視鏡の先端硬質部の構成を示す図である。図４は、画像処理部の機能構成を示す図である。図５は、記憶部に記憶される画像及び情報を示す図である。図６は、医用画像と第１，第２の検出情報との対応付けの様子を示す図である。図７は、診断支援方法の処理を示すフローチャートである。図８は、診断支援方法の処理を示す他のフローチャートである。図９は、撮影条件設定画面の例を示す図である。図１０は、表示条件設定画面の例を示す図である。図１１は、第１，第２の検出情報の付与の処理を示すフローチャートである。図１２は、画像の一覧表示の様子を示す図である。図１３は、画像の一覧表示の様子を示す他の図である。図１４は、画像の一覧表示の様子を示すさらに他の図である。図１５は、画像の一覧表示の様子を示すさらに他の図である。図１６は、表示条件設定画面の例を示す他の図である。図１７は、指定画像の保存の様子を示す図である。図１８は、関心領域の検出に応じた自動撮影の処理を示す図である。図１９は、動画を撮影しながら静止画を撮影する様子を示す図である。図２０は、第２の実施形態における画像処理部の機能構成を示す図である。図２１は、第１，第２の検出情報の付与の処理を示すフローチャートである。図２２は、他の画像との比較に基づく検出情報の付与の様子を示す図である。図２３は、フレーム画像との比較に基づく検出情報の付与の処理を示すフローチャートである。

　以下、添付図面を参照しつつ、本発明に係る診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法の実施形態について、詳細に説明する。

　＜第１の実施形態＞
　図１は、第１の実施形態に係る内視鏡システム１０（診断支援システム、診断支援装置、内視鏡システム、プロセッサ、医療画像処理装置）を示す外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１，２に示すように、内視鏡システム１０は、内視鏡本体１００（内視鏡）、プロセッサ２００（プロセッサ、医療画像処理装置）、光源装置３００、及びモニタ４００（表示装置）から構成される。

　＜内視鏡本体の構成＞
　内視鏡本体１００は、手元操作部１０２（操作部）と、この手元操作部１０２に連設される挿入部１０４（挿入部）とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタンＢＴ１、吸引ボタンＢＴ２、及び各種の機能を割り付けられる機能ボタンＢＴ３、及び撮影指示操作を受け付ける撮影ボタンＢＴ４が設けられている。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２（軟性部）、湾曲部１１４（湾曲部）、先端硬質部１１６（先端硬質部）で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０（医用画像取得部、医用画像撮影部、撮影装置、撮像部）、照明部１２３、鉗子口１２６等が設けられる（図１～図３参照）。

　観察、処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから可視光と赤外光のいずれか、または両方を照射することができる。また、送気送水ボタンＢＴ１の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系１３０の撮影レンズ１３２（撮影レンズ）、及び照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。先端硬質部１１６で開口する鉗子口１２６には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。

　図１～図３に示すように、先端硬質部１１６の先端側端面１１６Ａには撮影レンズ１３２（撮像部）が配設されている。撮影レンズ１３２の奥にはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子１３４（撮像素子、撮像部、撮影装置、医療画像取得部）、駆動回路１３６、ＡＦＥ１３８（ＡＦＥ：Analog Front End）が配設されて、これらの要素により画像信号を出力する。撮像素子１３４はカラー撮像素子であり、特定のパターン配列（ベイヤー配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置（２次元配列）された複数の受光素子により構成される複数の画素を備える。撮像素子１３４の各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。撮影光学系１３０は、赤，緑，青の３色の画素信号からカラー画像を生成することもできるし、赤，緑，青のうち任意の１色または２色の画素信号から画像を生成することもできる。なお、第１の実施形態では撮像素子１３４がＣＭＯＳ型の撮像素子である場合について説明するが、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。

　被検体（腫瘍部、病変部）の光学像は撮影レンズ１３２により撮像素子１３４の受光面（撮像面）に結像されて電気信号に変換され、不図示の信号ケーブルを介してプロセッサ２００に出力されて映像信号に変換される。これにより、プロセッサ２００に接続されたモニタ４００に観察画像が表示される。

　また、先端硬質部１１６の先端側端面１１６Ａには、撮影レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ（可視光用）、１２３Ｂ（赤外光用）が設けられている。照明用レンズ１２３Ａ，１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。

　＜光源装置の構成＞
　図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、照明光（可視光または赤外光）をライトガイド１７０に入射させる。光源３１０は、可視光源３１０Ａ及び赤外光源３１０Ｂを備えており、可視光及び赤外光の一方または両方を照射可能である。可視光源３１０Ａ及び赤外光源３１０Ｂによる照明光の照度は光源制御部３５０により制御され、必要に応じて照明光の照度を下げたり、照明を停止したりすることができる。

　＜光源の波長帯域＞
　光源３１０（可視光源３１０Ａ）は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。

　上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍの波長帯域を含み、かつ、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。

　また、光源３１０（赤外光源３１０Ｂ）が発生する光は７９０ｎｍ以上８２０ｎｍ以下、または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。

　また、光源３１０は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を照射する光源を備えていてもよい。この場合、被検体（生体）内の蛍光物質が発する蛍光の情報を有する医用画像（生体内画像）を取得することができる。蛍光画像を取得する場合は、蛍光法用色素剤（フルオレスチン、アクリジンオレンジ等）を使用してもよい。

　光源３１０の光源種類（レーザ光源、キセノン光源、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）等）、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて照明光の波長を組合せ及び／または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。

　また、本発明を実施する際に用いる撮像素子は撮像素子１３４のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、照明光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する照明光の波長を（紫色、青色、緑色、赤色）の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色等）により出射する照明光の波長を切り替えてもよい。また、１または複数の狭帯域光（緑色、青色等）を照射してロータリカラーフィルタ（緑色、青色等）により出射する照明光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光でもよい。

　ライトガイドコネクタ１０８（図１参照）を光源装置３００に連結することにより、光源装置３００から照射された照明光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。

　＜プロセッサの構成＞
　図２に基づきプロセッサ２００の構成を説明する。プロセッサ２００は、内視鏡本体１００から出力される画像信号を画像入力コントローラ２０２及び画像入力インタフェース２０５を介して入力し、画像処理部２０４で必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００（表示装置）に観察画像（生体内画像）が表示される。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit）の制御下で行われる。すなわち、ＣＰＵ２１０は医用画像取得部、表示制御部、第１の検出部、第２の検出部、第１の検出情報付与部、第２の検出情報付与部、関心領域判定部、特徴指定部としての機能を有する。記憶部２０７には、被写体の画像（医用画像、撮影画像）及び後述する検出情報（第１，第２の検出情報）が記憶される。音声処理部２０９は、ＣＰＵ２１０及び画像処理部２０４の制御により、表示条件設定の際の警告メッセージ（音声）等をスピーカ２０９Ａから出力する。

　また、ＲＯＭ２１１（ＲＯＭ：Read Only Memory）は不揮発性の記憶素子（非一時的記録媒体）であり、本発明に係る診断支援方法をＣＰＵ２１０及び／または画像処理部２０４に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。ＲＡＭ２１２（ＲＡＭ：Random Access Memory）は各種処理の際の一時記憶用の記憶素子であり、また画像取得時のバッファとしても使用することができる。

　＜画像処理部の機能＞
　図４は画像処理部２０４（医療画像取得部、医療画像解析処理部、医療画像解析結果取得部）の機能構成を示す図である。画像処理部２０４は医用画像取得部２０４Ａ、表示制御部２０４Ｂ、第１の検出部２０４Ｃ、第２の検出部２０４Ｄ、第１の検出情報付与部２０４Ｅ、第２の検出情報付与部２０４Ｆ、特徴指定部２０４Ｇ、記憶制御部２０４Ｈを有する。第１の検出部２０４Ｃ及び第２の検出部２０４Ｄは医療画像解析処理部としても動作する。

　また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）あるいはＣＭＹ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の色情報に基づく演算により得ることができる。

　また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医用画像（医療画像）としての特徴量画像を取得及び表示してもよい。

　画像処理部２０４のこれらの機能による処理については、詳細を後述する。なお、これらの機能による処理はＣＰＵ２１０の制御下で行われる。

　上述した画像処理部２０４の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。
また、上述した各種のプロセッサには、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

　各部の機能は１つのプロセッサにより実現されてもよいし、複数のプロセッサを組み合わせて実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、クライアント、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各部の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

　上述したプロセッサ（あるいは電気回路）がソフトウェア（プログラム）を実行する際は、実行するソフトウェア（本発明に係る診断支援方法を実行するプログラムを含む）のコンピュータ読み取り可能なコードをＲＯＭ２１１（図２を参照）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。ソフトウェアを用いた処理の際には例えばＲＡＭ２１２（図２を参照）が一時的記憶領域として用いられ、また例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータが参照される。なお、図４ではＥＥＰＲＯＭ等のデバイスの図示は省略する。

　＜操作部の構成＞
　プロセッサ２００は操作部２０８を備えている。操作部２０８は図示せぬ操作モード設定スイッチ等を備えており、可視光及び／または赤外光の照射を操作することができる。また、操作部２０８は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して撮影条件及び表示条件の設定操作を行うことができる（後述）。なお、操作モードの設定は、上述のように手元操作部１０２の機能ボタンＢＴ３（図１参照）に操作モード設定機能を割り付けて行ってもよい。

　＜記憶部の構成＞
　記憶部２０７（記録装置）はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体により構成され、図５に示す画像及び情報を互いに関連付けて記憶する。図５に示すように、記憶部２０７には撮影画像２０７Ａ、第１の検出情報２０７Ｂ、第２の検出情報２０７Ｃ、指定画像２０７Ｄ、及び関連付け情報２０７Ｅが記憶される。撮影画像２０７Ａ、指定画像２０７Ｄと第１の検出情報２０７Ｂ及び／または第２の検出情報２０７Ｃとは、関連付け情報２０７Ｅにより例えば図６に示すように対応させて記録される。図６において、「ｉ１０１」等は画像の識別情報である。撮影画像２０７Ａ、指定画像２０７Ｄ、第１の検出情報２０７Ｂ、及び第２の検出情報２０７Ｃは、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御によりモニタ４００に表示される。

　上述した画像の他に、医用画像（医療画像）に含まれる注目すべき領域である注目領域（関心領域）と、注目すべき態様の有無のいずれか、もしくは両方と、についての解析結果を記憶部２０７（記録装置）に記憶してもよい。この場合、画像処理部２０４（医療画像解析処理部、医療画像解析結果取得部）がそれら解析結果を記憶部２０７から取得してモニタ４００に表示することができる。

　＜表示装置の構成＞
　モニタ４００（表示装置）は、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御により撮影画像（医用画像）、撮影条件設定画面、表示条件設定画面、第１の検出情報、第２の検出情報等を表示する（図９～１１等を参照）。また、モニタ４００は撮影条件設定操作及び／または表示条件設定操作を行うための図示せぬタッチパネルを有する。

　＜診断支援方法の処理＞
　内視鏡システム１０を用いた被検体の診断支援方法について説明する。図７，８は第１の実施形態に係る診断支援方法の処理を示すフローチャートである。

　＜撮影条件の設定＞
　図７，８のフローチャートでは、撮影に先立って、ユーザ指示に基づいて撮影条件及び表示条件の設定を行う（ステップＳ１００，Ｓ１０２）。ただしこの設定は撮影中、あるいは撮影後に行ってもよい。図９は撮影条件設定画面の例を示す図である。図９では、撮影条件の各項目について条件名（領域Ｃ０１～Ｃ０６）、設定条件の内容（領域Ｖ０１～Ｖ０６）、及びプルダウン用のボタン（ボタンＡ０１～Ａ０６）が示されている。画面下部に設けられたボタンＢ０１は表示条件確定用、ボタンＢ０２は条件変更のキャンセル用、ボタンＢ０３は初期設定に戻すためのボタンである。図９の画面はモニタ４００に表示され、モニタ４００のタッチパネル及び／または操作部２０８のキーボード及び／またはマウスを介したユーザの操作により表示条件を設定することができる。

　領域Ｃ０１，Ｖ０１は「取得した画像から関心領域を検出するか否か」を示しており、ボタンＡ０１を介したＯＮ（検出する）またはＯＦＦ（検出しない）を指定することができる。ＯＮが選択された場合、画像処理部２０４（第２の検出部２０４Ｄ）により関心領域（病変領域、病変候補領域等；注目領域ともいう）が検出される。領域Ｃ０２，Ｖ０２は「関心領域を検出した場合に自動撮影を行うか否か」を示しており、ボタンＡ０２を介した操作により、ＯＮ（自動撮影する）またはＯＦＦ（自動撮影しない）を指定することができる。ＯＮが選択された場合、医用画像取得部２０４Ａ（医用画像取得部）が関心領域の検出に応じて撮影光学系１３０を制御して撮影が行われる。領域Ｃ０３，Ｖ０３は「取得した画像から器材を検出するか否か」を示しており、ボタンＡ０３を介した操作によりＯＮ（検出する）またはＯＦＦ（検出しない）を選択することができる。「器材」は被検体に対して生検、切除等を行うための処置具（例えば鉗子、注射針、クリップ、チューブ等）を含み、鉗子口１２６から被検体内に挿入できる。また、領域Ｃ０４，Ｖ０４は「器材が検出された場合に、自動的に撮影を行うか否か」を示しており、ボタンＡ０４を介した選択操作によりＯＮ（自動撮影する）またはＯＦＦ（自動撮影しない）を選択することができる。ＯＮが選択された場合、第１の検出部２０４Ｃ（第１の検出部）による器材の検出に応じて、医用画像取得部２０４Ａが撮影光学系１３０を制御して撮影が行われる。

　領域Ｃ０５，Ｖ０５は「取得した画像から薬剤を検出するか否か」を示しており、ボタンＡ０５を介した操作によりＯＮ（検出する）またはＯＦＦ（検出しない）を選択することができる。「薬剤」は病変の形状、凹凸等を観察するための色素剤及び染色剤を含む。また、領域Ｃ０６，Ｖ０６は「薬剤が検出された場合に、自動的に撮影を行うか否か」を示しており、ボタンＡ０６を介した選択操作によりＯＮ（自動撮影する）またはＯＦＦ（自動撮影しない）を選択することができる。ＯＮが選択された場合、第１の検出部２０４Ｃによる薬剤の検出に応じて、医用画像取得部２０４Ａが撮影光学系１３０を制御して撮影が行われる。

　このような設定画面を介して条件を設定することにより所望の条件で撮影を行うことができるので、ユーザは効率的に診断、レポート作成等を行うことができる。なお、図９における条件設定は一例であり、条件の追加または削除、内容の変更を行ってもよい。

　＜表示条件の設定＞
　図１０は一覧表示条件設定画面の例を示す図である。領域Ｃ０７，Ｖ０７は検出された薬剤の表示態様を示しており、ボタンＡ０７を介した選択操作により名称の文字表示、記号表示等を指定することができる。領域Ｃ０８，Ｖ０８は検出された器材の表示態様を示しており、ボタンＡ０８を介した選択操作により名称表示、手技名表示等を指定することができる。領域Ｃ０９，Ｖ０９は関心領域が検出された画像の識別表示態様を示しており、ボタンＡ０９を介した選択操作により枠（図形）付与、文字及び／または数字付与、色彩付与等を指定することができる。領域Ｃ１０，Ｖ１０は「関心領域が検出された画像のみを表示するか否か」を示しており、ボタンＡ１０を介した選択操作によりＯＮまたはＯＦＦを指定することができる。領域Ｃ１１，Ｖ１１は「薬剤の種類ごとに画像を表示するか否か」を示しており、ボタンＡ１１を介した選択操作によりＯＮまたはＯＦＦを指定することができる。領域Ｃ１２，Ｖ１２は「特定種類の薬剤のみ画像を表示するか否か」を示しており、ボタンＡ１２を介した選択操作によりＯＮまたはＯＦＦを指定することができる。

　このような設定画面を介して条件を設定することにより所望の条件で画像を表示させることができるので、ユーザは効率的に診断、レポート作成等を行うことができる。

　ステップＳ１００，Ｓ１０２で撮影条件及び表示条件の設定が終了し、内視鏡本体１００の挿入部１０４が被検体内に挿入されると、撮影光学系１３０及び画像処理部２０４（医用画像取得部２０４Ａ）によりライブビュー画像の取得及びモニタ４００への表示が開始される（ステップＳ１０４）。これによりユーザは被検体内の様子を観察することができる。ユーザが挿入部１０４の挿入操作及び湾曲操作により先端硬質部１１６を所望の方向に向け撮影ボタンＢＴ４を操作すると、医用画像取得部２０４Ａが撮影指示操作を受け付ける。これによりステップＳ１０６での判断（撮影指示の有無）が肯定されてステップＳ１０８（医用画像取得工程）へ進み、撮影光学系１３０（医用画像撮影部、撮影装置、医療画像取得部）及び医用画像取得部２０４Ａ（撮影制御部、医療画像取得部）により医用画像（静止画；医療画像、内視鏡画像）が取得される。また、撮影ボタンＢＴ４の操作がない場合でも、関心領域検出、薬剤検出等による自動撮影（図９参照）がＯＮの場合、設定条件が満たされると医用画像取得部２０４Ａにより撮影指示がなされて（ステップＳ１０６でＹＥＳ）医用画像が撮影される（ステップＳ１０８）。ステップＳ１０８で撮影する画像は静止画像でも動画像でもよいが、以下では静止画像を撮影するものとして説明する。

　ステップＳ１０８で医用画像が取得されたら、取得された医用画像を記憶部２０７に記憶する。医用画像取得部２０４Ａは、医用画像の取得及び記憶を撮影終了（ステップＳ１１０でＹＥＳ）まで継続し、複数の医用画像を取得する。撮影終了の場合、医用画像取得部２０４Ａはライブビュー画像の取得及び表示を終了する。

　＜薬剤及び／または器材の検出＞
　ステップＳ１１０までの処理で複数の医用画像が取得されたら、画像処理部２０４（第１の検出部２０４Ｃ）は取得した複数の医用画像から画像認識により薬剤及び／または器材を検出する（ステップＳ１１２：第１の検出工程）。また、第２の検出部２０４Ｄ（第２の検出部）は取得した複数の医用画像から画像認識により関心領域を検出する（ステップＳ１１４：第２の検出工程）。ステップＳ１１２，Ｓ１１４はどちらを先に行ってもよい。

　＜薬剤の検出方法＞
　ステップＳ１１２における薬剤（色素剤、染色剤を含む）の検出は、例えば上述した特許文献１（特開２０１６－６２４８８号公報）に記載されている手法を用いて、色調特徴量に基づいて行うことができる。具体的には、画像処理部２０４（第１の検出部２０４Ｃ）は医用画像の各画素におけるＲ（赤色），Ｇ（緑色），Ｂ（青色）の画素値に基づいて暗部画素及びハレーション画素を除外し、除外されなかった各画素について色調特徴量（Ｇ／Ｒ、Ｂ／Ｇ）を算出して、医用画像を分割した小ブロックごとに色調特徴量の平均値を算出する。Ｇ／Ｒについての平均値をμＧＲとし、Ｂ／Ｇについての平均値をμＢＧとしてμＧＲ、μＢＧをプロットすると、プロット結果は個々の薬剤（色素剤、染色剤等）により異なる分布を示す。したがって、検出対象薬剤についてのプロット結果（特徴量空間における位置）を個々の薬剤についての分布と比較することにより、取得した医用画像において使用されている薬剤を判別することができる。検出結果（例えば薬剤の種類、名称）に対しその種類を用いて行う処置、手技の内容等をあらかじめ関連付けておき、画像に付与する検出情報（第１の検出情報）に含めてもよい。

　なお、薬剤の検出は、機械学習（深層学習等）の結果を利用して行ってもよい（関心領域の検出について後述する記載を参照）。

　＜器材の検出方法＞
　ステップＳ１１２における器材の検出も、上述した特許文献１に記載されている手法を用いて行うことができる。具体的には、各処置具を鉗子チャネル（鉗子口１２６に連通する不図示の管路）に挿通した際の内視鏡画像をテンプレート画像とし、第１の検出部２０４Ｃがテンプレート画像と検査時の内視鏡画像とを照合することにより、いずれかの処置具が使用されたことを検出する。テンプレート画像は処置具ごとに、鉗子チャネル方向、突出長、開閉状態が異なる画像を複数用意する。また回転により画像上の形状が変化する非対称形状の処置具については、回転角度が異なる画像を複数用意する。

　内視鏡画像から処置具を検出するために、第１の検出部２０４Ｃは内視鏡画像からエッジを検出する。エッジ検出用の画像にはＲ画像（赤色画素の画素信号から生成した画像）またはＧ画像（緑色画素の画素信号から生成した画像）を用いる。処置具シースが赤い場合はＧ画像を用いるとよい。エッジ画像内からテンプレートマッチング、ハフ変換などを用いて線分形状を検出し、検出した線分形状とテンプレート画像を照合し、一致度を算出する。一致度が最も高いテンプレート画像の処置具を検出結果とする。なお、検出結果（例えば器材の種類、名称）に対しその器材を用いて行う処置、手技の内容等をあらかじめ関連付けておき、画像に付与する検出情報（第１の検出情報）に含めてもよい。

　なお器材の検出は、薬剤の検出と同様に、機械学習（深層学習等）の結果を利用して行ってもよい（関心領域の検出について後述する記載を参照）。

　＜関心領域の検出方法＞
　ステップＳ１１４における関心領域の検出は、第２の検出部２０４Ｄが例えば公知のＣＡＤシステム（ＣＡＤ：Computer Aided Diagnosis）を備えることにより行うことができる。具体的には、例えば医用画像の画素の特徴量に基づいて、関心領域（注目すべき領域である注目領域）及び関心領域における対象（注目すべき対象）の有無を抽出することができる。この場合、第２の検出部２０４Ｄが検出対象画像を複数の矩形領域に分割し、分割した各矩形領域を局所領域として設定する。第２の検出部２０４Ｄは検出対象画像の局所領域ごとに局所領域内の画素の特徴量（例えば色相）を算出し、各局所領域の中から特定の色相を有する局所領域を関心領域として決定する。

　関心領域の検出は、機械学習（深層学習等）の結果を利用して行ってもよい。例えば、新たな画像が記憶部２０７に記憶されるごとに（または新たな画像が撮影されるごとに）、第２の検出部２０４Ｄが深層学習アルゴリズムに基づき深層学習（ディープラーニング）を用いた画像解析処理を行うことにより、画像に関心領域が含まれるか否かを解析する。深層学習アルゴリズムは、公知のコンボリューションニューラルネットワーク（畳み込みニューラルネットワーク）の手法、すなわち畳み込み層及びプーリング層の繰り返しと、全結合層と、出力層とを経て、画像に関心領域が含まれている否かを認識するアルゴリズムである。「このような機械学習を行うか否か」、及び／または「学習結果を利用するか否か」を図９に示すような条件設定画面で設定できるようにしてもよい。

　なお、ステップＳ１１４では関心領域の種類、数、形状、大きさ等を検出対象とすることができる。また、図７では全画像についての撮影終了（ステップＳ１１０でＹＥＳ）後に薬剤及び／または器材、及び関心領域の検出を行っているが、薬剤及び／または器材、及び関心領域の検出は画像を撮影するごと（ステップＳ１０８とステップＳ１１０の間）に行ってもよい。

　＜検出情報の付与＞
　ステップＳ１１２，Ｓ１１４で薬剤及び／または器材、関心領域を検出したら、画像処理部２０４（第１の検出情報付与部２０４Ｅ、第２の検出情報付与部２０４Ｆ）は検出結果に基づいて撮影画像に第１，第２の検出情報を付与する（ステップＳ１１６：第１の検出情報付与工程、第２の検出情報付与工程）。検出情報の付与について、図１１を参照して説明する。

　第１の検出情報付与部２０４Ｅ（第１の検出情報付与部）は、第１の検出部２０４Ｃが薬剤及び／または器材を検出したか否か判断する（ステップＳ１１６－１）。薬剤及び／または器材が検出されている場合（ステップＳ１１６－１でＹＥＳ）、第１の検出情報付与部２０４Ｅは薬剤及び／または器材を示す第１の検出情報（第１の検出情報２０７Ｂ）を薬剤及び／または器材が検出された画像（医用画像）に付与して（ステップＳ１１６－２）、ステップＳ１１６－３へ進む。薬剤及び／または器材が検出されない場合（ステップＳ１１６－１でＮＯ）、第１の検出情報付与部２０４Ｅが第１の検出情報を付与することなくステップＳ１１６－３へ進む。

　ステップＳ１１６－３では、第２の検出情報付与部２０４Ｆ（第２の検出情報付与部）は、第２の検出部２０４Ｄが関心領域を検出したか否か判断する。関心領域が検出されている場合（ステップＳ１１６－３でＹＥＳ）、第２の検出情報付与部２０４Ｆは関心領域を示す第２の検出情報（第２の検出情報２０７Ｃ）を関心領域が検出された画像（医用画像）に付与して（ステップＳ１１６－４）、ステップＳ１１６－５へ進む。関心領域が検出されない場合（ステップＳ１１６－３でＮＯ）、第２の検出情報付与部２０４Ｆは第２の検出情報を付与せずにステップＳ１１６－５へ進む。ステップＳ１１６－５では第１の検出情報付与部２０４Ｅ及び第２の検出情報付与部２０４Ｆは全画像について処理を終了したか否かを判断し、処理が終了したら（ステップＳ１１６－５でＹＥＳ）図７，８のフローチャート（図８のステップＳ１１８）に戻る。処理が終了していない場合は（ステップＳ１１６－５でＮＯ）、ステップＳ１１６－１に戻る。

　上述したステップにおいて、第１の検出情報付与部２０４Ｅは例えば薬剤及び／または器材の種類、名称、検出された薬剤及び／または器材を用いて行う手技の内容を第１の検出情報として付与することができる。また第２の検出情報付与部２０４Ｆは例えば関心領域の種類（病変、病変候補等）、大きさ、形状を第２の検出情報として付与することができる。

　＜医用画像の一覧表示＞
　第１，第２の検出情報の処理が終了すると、表示制御部２０４Ｂ（表示制御部）は撮影画像（複数の医用画像）をモニタ４００に一覧表示する（ステップＳ１１８：表示制御工程）。一覧表示の条件は、図９について上述した撮影条件の設定と同様に、図１０に示す表示条件設定画面を介して行うことができる。ユーザは操作部２０８により表示条件設定操作を行い、その操作に基づいて表示制御部２０４Ｂが表示条件を設定する。表示条件の設定は撮影前、撮影中、撮影後のいずれでもよい。なお、図１０に示す項目及び内容は表示条件の一例であり、他の項目及び内容を採用してもよい。

　＜一覧表示の態様１＞
　図１２は一覧表示の態様１を示す図である。態様１では、ステップＳ１１６で付与された第１，第２の検出情報を文字及び／または記号で付与して画像をモニタ４００（表示装置）に一覧表示する。具体的には、図１２の（ａ）部分に示す例では第１の検出情報（薬剤の名称、手技の内容）を画像に文字情報として付与しており、図１２の（ｂ）部分に示す例は（ａ）部分と同じ画像について第１の検出情報を記号として付与している。これらの文字及び記号は内容に応じて異なる数字、色を付してもよい。このような画像の表示制御は、表示制御部２０４Ｂが行う。

　なお、図１２において二重線の枠線（第２の検出情報を図形表示した例）を付した画像は関心領域（関心領域ＲＯＩ）が検出された画像であることを示す。また、図１２の（ａ）部分，（ｂ）部分の右上の画像は関心領域が検出されず枠線を付していない画像であり、右下の画像は関心領域ＲＯＩ及び鉗子ＦＲが検出された画像である。関心領域が検出された画像を識別表示することで、有用な情報（表示された画像が確認の必要性が高い画像であること）をユーザに提示することができ、ユーザは効率的に診断、レポート作成等を行うことができる。なお、ボタンＢ０４は表示された画像より前に撮影された画像を表示させるためのボタンであり、ボタンＢ０５は表示された画像より後に撮影された画像を表示させるためのボタンである。

　＜一覧表示の態様２＞
　態様２では、表示制御部２０４Ｂは薬剤及び／または器材の特徴に応じた配置で画像（複数の医用画像）をモニタ４００に一覧表示する。例えば、図１２と同じ画像の場合、態様２では図１３に示すように薬剤及び／または器材の種類に応じて画像の表示位置を領域Ｒ１～Ｒ４に分ける。また表示の際、属する画像の数に応じて表示位置を変更している（画像の数が多い種類を上に表示している）。

　＜一覧表示の態様３＞
　態様３では、表示する画像の特徴（薬剤及び／または器材の種類、手技の内容、関心領域の有無等）をユーザの操作に基づいて指定し、指定された特徴を有する画像のみを表示制御部２０４Ｂが一覧表示する。具体的には、ユーザは操作部２０８のキーボード及び／またはマウス、モニタ４００のタッチパネルを介して特徴指定の操作を行い、この操作にしたがって特徴指定部２０４Ｇ（特徴指定部）が表示する画像の特徴を指定して、指定された特徴により表示制御部２０４Ｂが画像をモニタ４００に一覧表示する。図１４は態様３による表示の例である。図１４の（ａ）部分は「処置なし」の画像のみを一覧表示した様子を示しており、指定された画像の特徴（「処置なし」）が画面左上の領域Ｒ５に示されている。また、画面右下には他の種類（「生検画像」）の画像を表示させるためのボタンＢ０６が表示されており、ユーザが操作部２０８を介してボタンＢ０６を操作すると、画像の特徴として「生検」が指定されて図１４の（ｂ）部分のように生検画像のみが一覧表示される。これに合わせて、表示制御部２０４Ｂは領域Ｒ５に一覧表示されている画像の種類を「生検」に変更し、またボタンＢ０６の表示を他の特徴（この場合、「切除」）に変更する。

　＜一覧表示の態様４＞
　態様４では、表示制御部２０４Ｂは関心領域が検出された画像のみを一覧表示する。表示の際は、関心領域の特徴（例えば、大きさ）に応じて表示位置を変更する。具体的には、図１５の例に示すように関心領域が検出された画像のみを、関心領域の大きさ（図１５の例では、「５ｍｍ以上」と「３ｍｍ以上５ｍｍ未満」）に応じて一覧表示する。一覧表示する関心領域の大きさの設定は、例えば図１６に示す画面（チェックされた種類の大きさの関心領域が検出された画像を表示する；黒丸印がチェックされた種類を示す）を介して行うことができる。関心領域の大きさは第２の検出部２０４Ｄが撮影条件（撮影倍率、関心領域の画素数等）等に基づいて算出することができるが、第２の検出部２０４Ｄでの大きさ算出に代えて、またはこれに加えて、大きさ計測用のスケール、あるいはマーカを画像と共に表示してもよい。

　＜指定画像の保存＞
　ステップＳ１１８における画像の一覧表示が終了したら、画像処理部２０４（記憶制御部２０４Ｈ）は保存する画像の指定があるか否かを判断する（図８のステップＳ１２０）。この判断は、図１７の例に示すように一覧表示された画像ｉ１～ｉ６に対しチェックボックスＣＢを設け、ボタンＢ０７が操作された時点でチェックされている画像があるか否かを記憶制御部２０４Ｈが判断することにより行うことができる。なお、ボタンＢ０８はキャンセルボタンである。記憶制御部２０４Ｈは、チェックボックスＣＢがチェックされている画像（図１７の例では、画像ｉ１，ｉ３，ｉ４，ｉ５，ｉ６）を指定画像２０７Ｄとして記憶部２０７に保存する（ステップＳ１２２）。これらの画像は例えば診断レポートのひな形に添付する（関連付ける）ことができ、これによりレポート作成を効率的に行うことができる。

　なお記憶制御部２０４Ｈは、ステップＳ１１６で付与した第１，第２の検出情報を、それぞれ第１の検出情報２０７Ｂ，第２の検出情報２０７Ｃとして指定画像２０７Ｄと関連付けて記憶部２０７に記憶させる（ステップＳ１２２；図５参照）。この際、記憶制御部２０４Ｈは指定画像２０７Ｄと第１の検出情報２０７Ｂ，第２の検出情報２０７Ｃとを関連付ける情報を、関連付け情報２０７Ｅ（図５，６参照）として記憶部２０７に記憶させる。

　指定画像を保存したら、ＣＰＵ２１０及び画像処理部２０４は処理を終了するか否か判断する（ステップＳ１２４）。ＹＥＳなら処理を終了し、ＮＯならステップＳ１０４のライブビュー画像表示開始に戻る。

　＜撮影及び表示の他の態様＞
　医用画像の撮影及び表示の他の態様について説明する。以下で説明する態様は、撮影条件設定画面（図９）、表示条件設定画面（図１０）を介した設定に応じて実行される。

　＜関心領域等の検出に応じた自動撮影＞
　図９の撮影条件設定画面において「関心領域検出」（領域Ｖ０１）及び「関心領域検出時の自動撮影」（領域Ｖ０２）がＯＮの場合、関心領域の検出及び検出時の自動撮影が実行される。具体的には、第２の検出部２０４Ｄがフレーム画像（複数のフレーム画像により構成される、ライブビュー画像または記録用動画像のフレーム画像）から関心領域を検出したら（図１８のステップＳ１０５－１でＹＥＳ）、撮影光学系１３０及び医用画像取得部２０４Ａにより医用画像が取得される（ステップＳ１０８）。関心領域の検出により自動撮影された画像は、表示制御部２０４Ｂにより上述した図１５のように一覧表示することができる。関心領域（病変候補等）の検出は、ステップＳ１１４で上述したのと同様に行うことができる。

　薬剤及び／または器材の検出、及び検出に応じた自動撮影についても、関心領域の場合と同様に、図９の撮影条件設定画面を介した条件設定（領域Ｖ０３～Ｖ０６をＯＮ）により実行し、画像を表示することができる。

　このような関心領域、薬剤及び／または器材の検出に応じた自動撮影を行う態様によれば、ユーザは診断に適した画像を容易に取得、表示することができ、これによりレポート作成を効率的に行うことができる。

　＜動画撮影と平行した静止画撮影＞
　上述した態様では、図７，８に示すフローチャートにおいてライブビュー画像を取得、表示させ（ステップＳ１０４）ユーザの指示に応じて静止画像を撮影する（ステップＳ１０６，Ｓ１０８）場合について説明したが、画像の撮影はこのような態様に限定されるものではない。動画を撮影しつつ、ユーザの指示に応じて静止画を撮影してもよい。具体的には例えば図１９のフローチャートに示すように、ステップＳ１０４でのライブビュー画像表示開始後、操作部２０８及び／または撮影ボタンＢＴ４を介した動画撮影指示に応じて（ステップＳ１０５－２でＹＥＳ）、医用画像取得部２０４Ａが動画撮影を開始する（ステップＳ１０５－３）。また、医用画像取得部２０４Ａは操作部２０８及び／または撮影ボタンＢＴ４を介した動画撮影指示に応じて（ステップＳ１０５－４でＹＥＳ）静止画を撮影し（ステップＳ１０５－５）、静止画及び動画撮影が終了する（ステップＳ１０５－６でＹＥＳ）までステップＳ１０５－４，Ｓ１０５－５の処理を繰り返す。静止画及び動画撮影が終了したら（ステップＳ１０５－６でＹＥＳ）図７のステップＳ１１２へ進む。このような態様によれば、連続的な観察のための動画像を撮影しつつ特に注目すべき状況で静止画を撮影することができる。

　以上説明したように、第１の実施形態によれば有用な情報（検出情報）をユーザに提示することができ、ユーザは効率的に診断、レポート作成等を行うことができる。

　＜第２の実施形態＞
　上述した第１の実施形態では実際に薬剤及び／または器材、関心領域が実際に検出された画像に対して第１，第２の検出情報を付与している（図１１参照）が、第２の実施形態では、条件を満たす場合は実際に薬剤及び／または器材が検出されない画像に対しても第１の検出情報を付与する。このような第２の実施形態における検出情報の付与について、以下説明する。なお、第２の実施形態における内視鏡システムの構成は画像処理部２０４が関心領域判定部２０４Ｉ（関心領域判定部；図２０参照）を備えている点で異なるが、他の要素については第１の実施形態と同様であるので、同一の要素については同一の参照符号を付し詳細な説明を省略する。

　＜他の一覧表示画像との比較に基づく検出情報付与（態様１）＞
　実際に薬剤及び／または器材が映っている画像のみに第１の検出情報を付与する場合、病変部（関心領域）に対する薬剤散布前、処置前等に撮影したこと等により薬剤及び／または器材が映っていない画像には検出情報を付与することができない。しかしながら、そのような薬剤及び／または器材が映っていない画像であっても、「関心領域に対する処置に関連する画像である」ことが把握できるようにすることが好ましい。そこで態様１では、一覧表示する複数の画像において「薬剤及び／または器材が検出された画像に含まれるのと同一の関心領域が映っているか否か」の判定を行い、同一の関心領域が映っている画像の場合は薬剤及び／または器材が検出されていなくても第１の検出情報を付与する。画像の一覧表示はこのようにして付与した第１の検出情報に基づいて行われる。したがって態様１によれば、ユーザは薬剤及び／または器材が映っていない画像であっても「関心領域に対する処置に関連する画像である」ことを把握することができる。

　図２１は、第２の実施形態（態様１）における検出情報の付与（図７のステップＳ１１６に相当）の詳細を示すフローチャートである。第１の検出情報付与部２０４Ｅは、対象画像（一覧表示する複数の医用画像を構成する個々の画像；検出情報付与の判断対象）において第１の検出部２０４Ｃが薬剤及び／または器材を検出したか否か判断する（ステップＳ１１６－６）。この判断は、ステップＳ１１２の結果に基づいて行うことができる。薬剤及び／または器材が検出されている場合（ステップＳ１１６－６でＹＥＳ）はステップＳ１１６－７へ進み、第２の検出情報付与部２０４Ｆは第２の検出部２０４Ｄが対象画像から関心領域を検出したか否か判断する。この判断は、ステップＳ１１４の結果に基づいて行うことができる。関心領域も検出されている場合（ステップＳ１１６－７でＹＥＳ）、第１の検出情報付与部２０４Ｅは薬剤及び／または器材を示す第１の検出情報（第１の検出情報２０７Ｂ）を対象画像に付与する（ステップＳ１１６－８）。

　またステップＳ１１６－８では、第２の検出情報付与部２０４Ｆは関心領域を示す第２の検出情報（第２の検出情報２０７Ｃ）を対象画像に付与する。対象画像から薬剤及び／または器材が検出されているが関心領域が検出されていない場合（ステップＳ１１６－７でＮＯ）、第１の検出情報付与部２０４Ｅにより第１の検出情報のみが付与される（ステップＳ１１６－９）。上述したステップにおいて、第１の検出情報付与部２０４Ｅは例えば薬剤及び／または器材の種類、名称、検出された薬剤及び／または器材を用いて行う手技の内容を第１の検出情報として付与することができる。また第２の検出情報付与部２０４Ｆは例えば関心領域の種類（病変、病変候補等）、大きさ、形状を第２の検出情報として付与することができる。

　一方、対象画像から薬剤及び／または器材が検出されていない場合も（ステップＳ１１６－６でＮＯ）、第２の検出情報付与部２０４Ｆは第２の検出部２０４Ｄが関心領域を検出したか否か判断する（ステップＳ１１６－１０）。この判断は、ステップＳ１１４の結果に基づいて行うことができる。関心領域が検出されている場合（ステップＳ１１６－１０でＹＥＳ）、すなわち対象画像から薬剤及び／または器材は検出されていないが関心領域が検出されている場合はステップＳ１１６－１１に進む。ステップＳ１１６－１１では、「対象画像に含まれるのと同一の関心領域が、一覧表示する複数の医用画像のうちの他の画像であって、薬剤及び／または器材が検出された画像（比較画像）に含まれているか否か」を判断する。ステップＳ１１６－１１における関心領域の同一性の判断は、関心領域判定部２０４Ｉが例えば画像の類似度、画像の特徴量、各画像の撮像時間の情報、画像間の動きベクトル、及びこれらの判断基準の複合に基づいて行うことができる。また、比較画像において薬剤及び／または器材が検出されているか否かは、ステップＳ１１２の結果に基づいて判断することができる。

　同一の関心領域が他の画像（比較画像）に含まれている場合（ステップＳ１１６－１１でＹＥＳ）は、第２の検出情報付与部２０４Ｆが第２の検出情報を付与し、さらに第１の検出情報付与部２０４Ｅが、第１の検出情報を対象画像に付与する（ステップＳ１１６－１２）。対象画像に付与する第１の検出情報は比較画像と全く同じでもよいし、関心領域の同一性を考慮して付与した情報であることが識別できるように変えてもよい。例えば、「生検器材：みなし検出」のような検出情報を付すことができる。ステップＳ１１６－１１，１２における検出情報付与の様子を図２２に示す。図２２に示す例では画像ｉ７（比較画像）から生検器材が検出されており、画像ｉ８（対象画像）からは生検器材が検出されていないが、画像ｉ８に含まれる関心領域は画像ｉ７に含まれる関心領域と同一なので、画像ｉ８に「生検器材：検出」の検出情報（第１の検出情報）を付与する。同様に比較画像から薬剤が検出された場合も、第１の検出情報付与部２０４Ｅが、第１の検出情報（例えば、「ピオクタニン：検出」、「ピオクタニン：みなし検出」）を対象画像に付与する。

　１つの画像についての処理が終了すると、第１の検出情報付与部２０４Ｅ及び第２の検出情報付与部２０４ＦはステップＳ１１６－１５で全画像（一覧表示する複数の画像の全て）について処理を終了したか否かを判断し、処理が終了したら（ステップＳ１１６－１５でＹＥＳ）図７のフローチャート（ステップＳ１１８）に戻る。処理が終了していない場合（ステップＳ１１６－１５でＮＯ）はステップＳ１１６－６に戻る。

　このように、第２の実施形態（態様１）では「実際には薬剤及び／または器材は映っていないが、薬剤及び／または器材が検出された画像（比較画像）と同一の関心領域が含まれる画像（対象画像）」に対しても第１の検出情報を付与する。画像の一覧表示は、第１の実施形態について上述したように第１，第２の検出情報に応じた態様で行われる。したがって第２の実施形態（態様１）によれば、ユーザに有用な情報（薬剤及び／または器材が映っていない画像であっても「関心領域に対する処置に関連する画像である」こと）を提示することができる。

　なお、同一の関心領域が他の画像に含まれない場合（ステップＳ１１６－１１でＮＯ）は、第２の検出情報付与部２０４Ｆにより関心領域を示す第２の検出情報のみが画像に付与される（ステップＳ１１６－１３）。また、ステップＳ１１６－１０でＮＯの場合、すなわち薬剤及び／または器材も関心領域も検出されていない場合は、第１の検出情報も第２の検出情報も付与しない（ステップＳ１１６－１４）。

　＜動画のフレーム画像との比較に基づく検出情報付与（態様２）＞
　上述した態様１では一覧表示する複数の画像において１つの画像を他の画像と比較した結果に基づいて検出情報を付与するが、態様２では、一覧表示する複数の医用画像に含まれる個々の画像（対象画像）を、動画像を構成する複数のフレーム画像であって薬剤及び／または器材が検出された画像（比較画像）と比較して検出情報を付与する。

　撮影画像に第１，第２の検出情報を付与する際に、薬剤及び／または器材を使用している場面をユーザが撮影していない（薬剤及び／または器材が映った画像が、一覧表示の対象である複数の画像に含まれていない）可能性がある。この場合、撮影画像どうしの比較を行っただけでは、対象画像が薬剤及び／または器材に関する画像であることを判断するのは困難であり、検出情報を適切に付与することができない場合がある。このため態様２では、検査中に取得した動画像を構成する複数のフレーム画像について薬剤及び／または器材を検出し、薬剤及び／または器材が検出されたフレーム画像（比較画像）と対象画像とで同一の関心領域が映っているか否かの判定を行う。同一の関心領域が映っている場合は、対象画像に検出情報を付与する。このように処理することで、薬剤及び／または器材が映っている画像が一覧表示する画像に含まれていなくても、薬剤及び／または器材を示す第１の検出情報を付与することができる。

　態様２の処理は態様１と同様である。ただし態様２では、図２１のステップＳ１１６－１１における「他の画像」に代えて、動画像を構成する複数のフレーム画像に含まれる画像であって薬剤及び／または器材が検出された画像を比較画像とする。動画像と平行した静止画像の撮影は、例えば図１９について上述した態様により行うことができる。態様２における対象画像と比較画像との比較部分の処理を図２３（ステップＳ１１６－１１ａ）に示す。薬剤及び／または器材、関心領域が検出されたか否かはステップＳ１１２，Ｓ１１４の結果に基づいて判断することができる。ステップＳ１１６－１１ａでＹＥＳの場合は、ステップＳ１１６－１２において、第２の検出情報に加えて第１の検出情報付与部２０４Ｅが第１の検出情報を加える。ステップＳ１１６－１２で対象画像に付与する第１の検出情報は比較画像と全く同じでもよいし、関心領域の同一性を考慮して付与した情報であることが識別できるように変えてもよい。例えば、「生検器材：みなし検出」のような検出情報を付すことができる。

　このように、第２の実施形態（態様２）では「実際には薬剤及び／または器材は映っていないが、薬剤及び／または器材が検出された画像（比較画像）と同一の関心領域が含まれる画像（対象画像）」に対しても第１の検出情報を付与する。画像の一覧表示は、態様１と同様に第１，第２の検出情報に応じた態様で行われる。したがって態様２によれば、ユーザに有用な情報（薬剤及び／または器材が映っていない画像であっても「関心領域に対する処置に関連する画像である」こと）を提示することができる。

　態様１，２について上述したように、第２の実施形態においても有用な情報（検出情報）をユーザに提示することができ、ユーザは効率的に診断、レポート作成等を行うことができる。なお、第１の実施形態について上述したのと同様に、関心領域の検出、及び「同一の関心領域が映っているか否か」の判断を機械学習（深層学習等）の結果を用いて行ってもよい。

　（付記）
　上述した実施形態の各態様に加えて、以下に記載の構成も本発明の範囲に含まれる。

　（付記１）
　医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
　医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

　（付記２）
　医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
　医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

　（付記３）
　医療画像解析結果取得部は、
　医療画像の解析結果を記録する記録装置から取得し、
　解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。

　（付記４）
　医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。

　（付記５）
　医療画像は、特定の波長帯域の光を照射して得た画像であり、
　特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。

　（付記６）
　特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。

　（付記７）
　特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

　（付記８）
　特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。

　（付記９）
　特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

　（付記１０）
　特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。

　（付記１１）
　特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

　（付記１２）
　医療画像は生体内を写した生体内画像であり、
　生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。

　（付記１３）
　蛍光は、ピークが３９０以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。

　（付記１４）
　医療画像は生体内を写した生体内画像であり、
　特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。

　（付記１５）
　特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

　（付記１６）
　医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
　医療画像は特殊光画像である医療画像処理装置。

　（付記１７）
　特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得る医療画像処理装置。

　（付記１８）
　白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
　医療画像は特徴量画像である医療画像処理装置。

　（付記１９）
　付記１から１８のいずれか１つに記載の医療画像処理装置と、
　白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
　を備える内視鏡装置。

　（付記２０）
　付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。

　（付記２１）
　付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。

　以上で本発明の実施形態及び他の態様に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１０　　　内視鏡システム
１００　　内視鏡本体
１０２　　手元操作部
１０４　　挿入部
１０６　　ユニバーサルケーブル
１０８　　ライトガイドコネクタ
１１２　　軟性部
１１４　　湾曲部
１１６　　先端硬質部
１１６Ａ　先端側端面
１２３　　照明部
１２３Ａ　照明用レンズ
１２３Ｂ　照明用レンズ
１２６　　鉗子口
１３０　　撮影光学系
１３２　　撮影レンズ
１３４　　撮像素子
１３６　　駆動回路
１３８　　ＡＦＥ
１７０　　ライトガイド
２００　　プロセッサ
２０２　　画像入力コントローラ
２０４　　画像処理部
２０４Ａ　医用画像取得部
２０４Ｂ　表示制御部
２０４Ｃ　第１の検出部
２０４Ｄ　第２の検出部
２０４Ｅ　第１の検出情報付与部
２０４Ｆ　第２の検出情報付与部
２０４Ｇ　特徴指定部
２０４Ｈ　記憶制御部
２０４Ｉ　関心領域判定部
２０５　　画像入力インタフェース
２０６　　ビデオ出力部
２０７　　記憶部
２０７Ａ　撮影画像
２０７Ｂ　第１の検出情報
２０７Ｃ　第２の検出情報
２０７Ｄ　指定画像
２０７Ｅ　関連付け情報
２０８　　操作部
２０９　　音声処理部
２０９Ａ　スピーカ
２１０　　ＣＰＵ
２１１　　ＲＯＭ
２１２　　ＲＡＭ
３００　　光源装置
３１０　　光源
３１０Ａ　可視光源
３１０Ｂ　赤外光源
３３０　　絞り
３４０　　集光レンズ
３５０　　光源制御部
４００　　モニタ
Ａ０１　　ボタン
Ａ０２　　ボタン
Ａ０３　　ボタン
Ａ０４　　ボタン
Ａ０５　　ボタン
Ａ０６　　ボタン
Ａ０７　　ボタン
Ａ０８　　ボタン
Ａ０９　　ボタン
Ａ１０　　ボタン
Ａ１１　　ボタン
Ａ１２　　ボタン
Ｂ０１　　ボタン
Ｂ０２　　ボタン
Ｂ０３　　ボタン
Ｂ０４　　ボタン
Ｂ０５　　ボタン
Ｂ０６　　ボタン
Ｂ０７　　ボタン
Ｂ０８　　ボタン
ＢＴ１　　送気送水ボタン
ＢＴ２　　吸引ボタン
ＢＴ３　　機能ボタン
ＢＴ４　　撮影ボタン
Ｃ０１　　領域
Ｃ０２　　領域
Ｃ０３　　領域
Ｃ０４　　領域
Ｃ０５　　領域
Ｃ０６　　領域
Ｃ０７　　領域
Ｃ０８　　領域
Ｃ０９　　領域
Ｃ１０　　領域
Ｃ１１　　領域
Ｃ１２　　領域
ＣＢ　　　チェックボックス
ＦＲ　　　鉗子
Ｒ１　　　領域
Ｒ２　　　領域
Ｒ３　　　領域
Ｒ４　　　領域
Ｒ５　　　領域ＲＯＩ　　関心領域
Ｓ１００～Ｓ１２４　診断支援方法の各ステップ
Ｖ０１　　領域
Ｖ０２　　領域
Ｖ０３　　領域
Ｖ０４　　領域
Ｖ０５　　領域
Ｖ０６　　領域
Ｖ０７　　領域
Ｖ０８　　領域
Ｖ０９　　領域
Ｖ１０　　領域
Ｖ１１　　領域
Ｖ１２　　領域
ｉ１　　　画像
ｉ２　　　画像
ｉ３　　　画像
ｉ４　　　画像
ｉ５　　　画像
ｉ６　　　画像
ｉ７　　　画像
ｉ８　　　画像

Claims

　複数の医用画像を取得する医用画像取得部と、
　前記複数の医用画像を表示装置に一覧表示させる表示制御部と、
　前記複数の医用画像を撮影する際に使用された薬剤及び／または器材を前記複数の医用画像から画像認識により検出する第１の検出部と、
　前記複数の医用画像における関心領域を画像認識により検出する第２の検出部と、
　前記検出された前記薬剤及び／または器材を示す第１の検出情報を前記薬剤及び／または器材が検出された医用画像に付与する第１の検出情報付与部と、
　前記検出された前記関心領域を示す第２の検出情報を前記関心領域が検出された医用画像に付与する第２の検出情報付与部と、
　を備え、
　前記表示制御部は、前記第１の検出情報及び前記第２の検出情報に応じた態様で前記複数の医用画像を一覧表示する診断支援システム。
　前記複数の医用画像のうちの画像である対象画像に含まれる関心領域と同一の関心領域が、前記複数の医用画像のうちの他の医用画像であって前記薬剤及びまたは器材が検出された医用画像である比較画像に含まれているか否かを判定する関心領域判定部をさらに備え、
　前記第１の検出情報付与部は、前記比較画像に前記同一の関心領域が含まれる場合は、前記対象画像から前記薬剤及び／または器材が検出されない場合においても前記対象画像に前記第１の検出情報を付与する請求項１に記載の診断支援システム。
　前記医用画像取得部は複数のフレーム画像から構成される動画像を取得し、
　前記第２の検出部は前記複数のフレーム画像から画像認識により前記関心領域を検出し、
　前記複数の医用画像のうちの画像である対象画像に含まれる関心領域と同一の関心領域が、前記複数のフレーム画像に含まれる画像であって前記薬剤及びまたは器材が検出された画像である比較画像に含まれているか否かを判定する関心領域判定部をさらに備え、
　前記第１の検出情報付与部は、前記比較画像に前記同一の関心領域が含まれる場合は、前記対象画像から前記薬剤及び／または器材が検出されない場合においても前記対象画像に前記第１の検出情報を付与する請求項１に記載の診断支援システム。
　前記医用画像取得部はユーザの撮影指示操作に応じて前記複数の医用画像を構成する医用画像を取得する請求項１から３のいずれか１項に記載の診断支援システム。
　前記医用画像取得部は前記薬剤及び／または器材の検出に応じて前記複数の医用画像を取得する請求項１から４のいずれか１項に記載の診断支援システム。
　前記医用画像取得部は前記関心領域の検出に応じて前記複数の医用画像を取得する請求項１から５のいずれか１項に記載の診断支援システム。
　前記表示制御部は前記関心領域が検出された医用画像のみを一覧表示する請求項１から６のいずれか１項に記載の診断支援システム。
　前記表示制御部は、前記薬剤及び／または器材が検出された医用画像に前記第１の検出情報に応じて文字、数字、記号、色彩のうち少なくとも１つを付し、前記関心領域が検出された医用画像に前記第２の検出情報に応じて文字、数字、記号、色彩のうち少なくとも１つを付して前記複数の医用画像を一覧表示させる請求項１から７のいずれか１項に記載の診断支援システム。
　前記表示制御部は、前記薬剤及び／または器材の特徴に応じた配置で前記複数の医用画像を一覧表示する請求項１から８のいずれか１項に記載の診断支援システム。
　前記表示制御部は、前記関心領域の特徴に応じた配置で前記複数の医用画像を一覧表示する請求項１から９のいずれか１項に記載の診断支援システム。
　前記薬剤及び／または器材の特徴を指定する特徴指定部をさらに備え、
　前記表示制御部は前記指定された特徴を有する前記薬剤及び／または器材が検出された医用画像のみを一覧表示する請求項１から１０のいずれか１項に記載の診断支援システム。
　請求項１から１１のいずれか１項に記載の診断支援システムと、
　前記表示装置と、
　被検体に挿入される挿入部であって、先端硬質部と、前記先端硬質部の基端側に接続された湾曲部と、前記湾曲部の基端側に接続された軟性部とを有する挿入部と、前記挿入部の基端側に接続された操作部と、被写体の光学像を結像させる撮影レンズと、前記光学像が結像される撮像素子と、を備える撮像部と、を有し前記撮影レンズが前記先端硬質部に設けられた内視鏡と、
　を備える内視鏡システムであって、
　前記医用画像取得部は前記撮像部により前記複数の医用画像を取得する内視鏡システム。
　請求項１２に記載の内視鏡システムのプロセッサであって、
　前記表示制御部と、前記第１の検出部と、前記第２の検出部と、前記第１の検出情報付与部と、前記第２の検出情報付与部と、を備えるプロセッサ。
　複数の医用画像を取得する医用画像取得工程と、
　前記複数の医用画像を表示装置に一覧表示させる表示制御工程と、
　前記複数の医用画像を撮影する際に使用された薬剤及び／または器材を前記複数の医用画像から画像認識により検出する第１の検出工程と、
　前記複数の医用画像における関心領域を画像認識により検出する第２の検出工程と、
　前記検出された前記薬剤及び／または器材を示す第１の検出情報を前記薬剤及び／または器材が検出された医用画像に付与する第１の検出情報付与工程と、
　前記検出された前記関心領域を示す第２の検出情報を前記関心領域が検出された医用画像に付与する第２の検出情報付与工程と、
　を備え、
　前記表示制御工程では、前記第１の検出情報及び前記第２の検出情報に応じた態様で前記複数の医用画像を一覧表示する診断支援方法。