JP7386347B2 - 内視鏡システム及びその作動方法 - Google Patents

Description

本発明は、検査画像と、診断済みのリファレンス画像のうち、検査画像との類似度が高いリファレンス画像を表示する内視鏡システム及びその作動方法に関する。

医療分野においては、内視鏡画像等を用いて、患者の病状の診断や経過観察などの画像診断が行われている。このような画像診断に基づき、医師等は治療方針の決定などを行っている。しかしながら、医師などの画像診断を行う者の経験が浅い場合や、経験があっても、診断の対象となる画像が珍しい症例であり、専門性分野以外のものである場合には、医師が診断を確実に行うことが難しい場合がある。

このような状況において、医師などの経験不足等を補うため、診断時に取得した診断時取得画像に合わせて、過去の症例の画像を用いることが行われている。例えば、特許文献１では、観察対象を撮像部で撮像して得られる第１の医用画像と、データベースに蓄積した第２の医用画像とを比較し、画像的特徴量の類似度の高い第２の医用画像を検索して、それら検索した第２の医用画像を表示装置に並べて表示している。

国際公開第２０１８／１８０６３１号

近年の内視鏡システムにおいては、特定の波長帯域を有する光を観察対象に照明して、観察対象上の病変部の視認性を向上することによって、病変部の検出をし易くすることが盛んに行われている。したがって、内視鏡診断においては、白色光により得られる白色光画像の他、特定の波長帯域を有する光により得られる特殊光画像が用いられつつある。また、特殊光画像については、近年の光源等の開発によって、種類が増えてきている傾向にある。

以上のような、白色光、及び、複数種類の特殊光については、検査中に都度切り替える操作を行うと、ユーザーに負担を強いることになることから、白色光、及び、複数種類の特殊光などの複数の照明光を自動的に切り替えて病変部などに照明し、それら白色光に基づく白色光画像、及び複数種類の特殊光に基づく特殊光画像を検査画像として提供することが好ましい。なお、特許文献１には、このように照明光の自動照明切替により複数種類の検査画像を取得し、各検査画像と、各検査画像と比較するためのリファレンス画像を合わせて表示することについては、記載されていない。

本発明は、複数種類の照明光の照明切替などによって、ユーザーに負担をかけることなく、複数種類の照明光に基づく複数種類の検査画像と、各検査画像と比較するためのリファレンス画像とをディスプレイに表示することができる内視鏡システム及びその作動方法を提供することを目的とする。

本発明の内視鏡システムは、光源ユニットと、画像制御用プロセッサを備える。光源ユニットは、互いに発光スペクトルが異なる第１照明光と第２照明光とを発する。光源ユニットは、第１照明光を発光する第１照明期間と第２照明光を発光する第２照明期間とを自動的に切り替える場合において、第１照明光を第１発光パターンで発光し、第２照明光を第２発光パターンで発光する。画像制御用プロセッサは、第１照明光を被写体に照射して撮像した第１照明光画像、第２照明光を被写体に照射して撮像した第２照明光画像、及び、第２照明光画像を解析処理して得られた解析結果を第１照明光画像に重畳表示した重畳画像のうち少なくともいずれか１つを検査画像として取得し、検査画像とリファレンス画像とを特徴量に基づいて比較して総合類似度を算出し、診断済みのリファレンス画像を記憶するリファレンス画像記憶メモリを参照して、総合類似度が算出された複数のリファレンス画像のうち、総合類似度が特定の条件を満たすリファレンス画像を選択し、検査画像と、選択されたリファレンス画像とをディスプレイに表示し、ディスプレイに表示される検査画像と同じ種類の照明光で撮像されたリファレンス画像を表示するように、リファレンス画像を自動的に切り替える。

画像制御用プロセッサは、リファレンス画像提示スイッチが押された後に、リファレンス画像の特徴量を算出し、検査画像及びリファレンス画像の特徴量に基づいて総合類似度が算出された上で、特定の条件を満たすリファレンス画像と検査画像とを表示することが好ましい。

リファレンス画像の表示は、総合類似度の順位にならって切り替えが可能であることが好ましい。検査画像として表示する画像は、重畳画像、第１照明光画像又は第２照明光画像の少なくともいずれか１つであり、互いに切り替えが可能であることが好ましい。リファレンス画像として表示する画像は、白色光画像又は特殊光画像のいずれか１つであり、互いに切り替えが可能であることが好ましい。

検査画像とリファレンス画像の特徴量の比較は、第１照明光画像と白色光画像との間、又は、第２照明光画像と特殊光画像との間で行うことが好ましい。特定の条件が満たされない場合に警告表示を行うことが好ましい。リファレンス画像を複数選択する場合、特定の条件を変更できることが好ましい。

検査画像を静止画として取得し、静止画をリファレンス画像としてリファレンス画像記憶メモリに保存できることが好ましい。静止画と、診断結果とを対応付け、新規の診断済みのリファレンス画像としてリファレンス画像記憶メモリに保存できることが好ましい。

検査画像及びリファレンス画像における、注目領域の診断結果を表示することが好ましい。

検査画像及びリファレンス画像と同一の画面上に、総合類似度とリファレンス画像に対応付けた総合類似度の順位とをディスプレイに表示することが好ましい。検査画像とリファレンス画像を同一の画面上に表示し、かつ、検査画像が第２照明光画像である場合、検査画像を撮像した際に照射した第２照明光と同じ発光スペクトルの特殊光を照射して撮像されたリファレンス画像の表示に自動的に切り替えることが好ましい。画像制御用プロセッサは、解析処理によって、注目領域を検出した場合に、リファレンス画像の特徴量を算出し、特徴量に基づいて総合類似度が算出された上で、特定の条件を満たすリファレンス画像と検査画像とを表示することが好ましい。画像制御用プロセッサは、検査画像、及び、リファレンス画像記憶メモリに記憶されるリファレンス画像を、類似度出力用の学習モデルに入力することにより、リファレンス画像毎に、総合類似度を出力することが好ましい。

第１発光パターンは、第１照明期間のフレーム数が、それぞれの第１照明期間において同じである第１Ａパターンと、第１照明期間のフレーム数が、それぞれの第１照明期間において異なっている第１Ｂパターンとのうちのいずれか１つであることが好ましい。第２発光パターンは、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ａパターン、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｂパターン、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ｃパターン、及び、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｄパターンのうちのいずれか１つであることが好ましい。

本発明の内視鏡システムの作動方法は、互いに発光スペクトルが異なる第１照明光と第２照明光とを発する光源ユニットであって、第１照明光を発光する第１照明期間と第２照明光を発光する第２照明期間とを自動的に切り替える場合において、第１照明光を第１発光パターンで発光し、第２照明光を第２発光パターンで発光する光源ユニット、及び、画像制御用プロセッサを備える内視鏡システムの作動方法において、画像制御用プロセッサは、第１照明光を被写体に照射して撮像した第１照明光画像、第２照明光を被写体に照射して撮像した第２照明光画像、及び、第２照明光画像を解析処理して得られた解析結果を第１照明光画像に重畳表示した重畳画像のうち少なくともいずれか１つを検査画像として取得し、検査画像とリファレンス画像とを特徴量に基づいて比較して総合類似度を算出し、診断済みのリファレンス画像を記憶するリファレンス画像記憶メモリを参照して、総合類似度が算出された複数のリファレンス画像のうち、総合類似度が特定の条件を満たすリファレンス画像を選択し、検査画像と、選択されたリファレンス画像とをディスプレイに表示し、ディスプレイに表示される検査画像と同じ種類の照明光で撮像されたリファレンス画像を表示するように、リファレンス画像を自動的に切り替える。

本発明によれば、複数種類の照明光の照明切替などによって、ユーザーに負担をかけることなく、複数種類の照明光に基づく複数種類の検査画像と、各検査画像と比較するためのリファレンス画像とを表示することができる。

内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒのスペクトルを示すグラフである。 第１特殊光の発光スペクトルを示すグラフである。 第２特殊光の発光スペクトルを示すグラフである。 重畳モード時の第１Ａパターン及び第２Ａパターンを示す説明図である。 重畳モード時の第１Ｂパターンを示す説明図である。 重畳モード時の第２Ｂパターンを示す説明図である。 重畳モード時の第２Ｃパターンを示す説明図である。 重畳モード時の第２Ｄパターンを示す説明図である。 撮像センサの各カラーフィルタの分光透過率を示すグラフである。 第１撮像期間及び第２撮像期間を示す説明図である。 重畳モードにおける照明制御、解析処理、及び画像表示を時系列順で示す説明図である。 検査画像取得部、リファレンス画像記憶メモリ、類似度算出部、リファレンス画像選択部、表示制御部における関係を示す説明図である。 類似度算出部内の、検査画像の特徴量算出部、リファレンス画像の特徴量選択部、個別類似度及び総合類似度算出部、注目領域強調処理部における関係を示す説明図である。 リファレンス画像選択部内の関係を示す説明図である。 リファレンス画像提示画面を示す説明図である。 総合類似度の異ならせた場合のリファレンス画像提示画面を示す説明図である。 内視鏡画像の種類を異ならせた場合のリファレンス画像提示画面を示す説明図である。 特定の条件が満たされない場合のリファレンス画像提示画面を示す説明図である。 リファレンス画像提示モードの制御の流れを示すフローチャートである。 第２実施形態におけるリファレンス画像提示画面を示す説明図である。 第２実施形態における制御の流れを示すフローチャートである。

[第１実施形態]
図１において、内視鏡システム１０は、内視鏡１２と、光源装置１３と、プロセッサ装置１４と、ディスプレイ１５と、ＵＩ（User InterFace、ユーザーインターフェース）１６とを有する。内視鏡１２は、光源装置１３と光学的に接続され、且つ、プロセッサ装置１４と電気的に接続される。内視鏡１２は、挿入部１２ａ、操作部１２ｂ、湾曲部１２ｃ及び先端部１２ｄを有している。挿入部１２ａは、観察対象の体内に挿入される。操作部１２ｂは、挿入部１２ａの基端部分に設けられる。湾曲部１２ｃ及び先端部１２ｄは、挿入部１２ａの先端側に設けられる。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。

また、操作部１２ｂには、アングルノブ１２ｅ、観察モード切替スイッチ１２ｆ、リファレンス画像提示スイッチ１２ｇ及びズーム操作部１２ｉが設けられている。観察モード切替スイッチ１２ｆは、観察モードの切り替え操作に用いる。リファレンス画像提示スイッチ１２ｇは、リファレンス画像の提示に用いる。静止画像取得指示スイッチ１２ｈは、観察対象の静止画の取得指示に用いる。ズーム操作部１２ｉは、ズームレンズ４２の操作に用いる。

なお、内視鏡システム１０は、観察モードとして、第１照明観察モード、第２照明観察モード及び重畳モードの３つのモードを有する。観察モード切替スイッチ１２ｆを押すと、画像処理切替部５４を介してモードが切り替わる。さらに、内視鏡システム１０は、表示モードとして、検査画像表示モード及びリファレンス画像提示モードの２つのモードを有する。リファレンス画像提示スイッチ１２ｇを押すと、リファレンス画像提示モード切替部５６を介して表示モードが切り替わる。すなわち、本発明の内視鏡システムに搭載されるモードとしては、検査画像表示第１照明観察モード、検査画像表示第２照明観察モード、検査画像表示重畳モード、リファレンス画像提示第１照明観察モード、リファレンス画像表示第２照明観察モード及びリファレンス画像提示重畳モードの、計６つのモードが存在する。本段落以降、単に「検査画像表示モード」と記載してある際は、検査画像表示第１照明観察モード、検査画像表示第２照明観察モード、検査画像表示重畳モードのいずれかの３つのモードの場合すべてを指すが、デフォルトとしては、検査画像表示重畳モードを想定している。また、単に「リファレンス画像提示モード」と記載してある際は、リファレンス画像提示第１照明観察モード、リファレンス画像表示第２照明観察モード及びリファレンス画像提示重畳モードのいずれかの３つのモードの場合すべてを指すが、デフォルトとしては、リファレンス画像提示重畳モードを想定している。

検査画像表示第１照明観察モード及びリファレンス画像提示第１照明観察モードでは、白色光などの通常光（第１照明光）を観察対象に照明して撮像することによって、自然な色合いの第１照明光画像を表示部としてのディスプレイ１５に表示する。検査画像表示第２照明観察モード及びリファレンス画像提示第２照明観察モードでは、通常光と波長帯域が異なる特殊光（第２照明光）を観察対象に照明して撮像することによって、特定の構造を強調した第２照明光画像をディスプレイ１５に表示する。検査画像表示重畳モード及びリファレンス画像提示重畳モードでは、発光スペクトルが異なる第１照明光と第２照明光とを切り替えて発光し、且つ、第１照明光に基づく画像に対して、ディスプレイ１５に表示するための表示用画像とする処理を行い、一方、第２照明光に基づく画像に対して、AI（Artificial Intelligence）に関する処理、観察対象に関する特徴量等を得る処理などの解析処理を行う。解析処理の結果は、第１照明光画像に重畳表示される。また、検査画像表示モードでは、類似度算出部６０が、検査画像から個別特徴量の値及び総合特徴量の値を算出する。総合特徴量は注目領域強調処理部１１１又は表示制御部６２に送信される。類似度算出部６０については後述する（図１５参照）。

検査画像表示モードでは、観察モードの３態様において表示される画面をディスプレイ１５に表示する。リファレンス画像提示モードでは、後述の通り、検査画像と特定の条件を満たすリファレンス画像を、リファレンス画像提示画面１２０として表示する。

検査画像表示モード及びリファレンス画像提示モードにおいて、静止画像取得指示スイッチ１２ｈをユーザーが操作することにより、静止画取得指示に関する信号が内視鏡１２、光源装置１３、及びプロセッサ装置１４に送られる。検査画像表示モードにおいて静止画像取得指示スイッチ１２ｈが押された場合、プロセッサ装置１４では、第１照明期間もしくは第２照明期間、あるいはその両方において観察対象の静止画がメモリ（図示しない）に保存される。なお、リファレンス画像提示モードにおける静止画保存については、後に詳説する。

プロセッサ装置１４は、ディスプレイ１５及びＵＩ１６と電気的に接続される。ディスプレイ１５は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。ＵＩ１６は、キーボード、マウス、タッチパッド、マイク等を有し、機能設定などの入力操作を受け付ける機能を有する。プロセッサ装置１４には、画像や画像情報などを記録するリファレンス画像記憶メモリ８０が接続される（図２、図１４参照）。なお、リファレンス画像記憶メモリ８０は、Ｗｅｂシステム上のストレージであってもよい。また、プロセッサ装置１４に外付けのメモリ（図示しない）を接続してもよい。

図２において、光源装置１３は、光源ユニット２０と、光源ユニット２０を制御する光源用プロセッサ２１とを備える。光源ユニット２０は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯又は消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。光源ユニット２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。

図３に示すように、Ｖ－ＬＥＤは、中心波長４０５±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤは、中心波長４５０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。

光源用プロセッサ２１は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを制御する。光源用プロセッサ２１は、各ＬＥＤ２０ａ～２０ｄをそれぞれ独立に制御することで、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、又は赤色光Ｒをそれぞれ独立に光量を変えて発光可能である。また、光源用プロセッサ２１は、第１照明観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる白色光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。なお、Ｖｃ、Ｂｃ、Ｇｃ、Ｒｃ＞０である。

なお、図４に示すように、第２照明光として、紫色光Ｖの光量を他の青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光量よりも大きくした第１特殊光を用いてもよい。また、図５に示すように、第２照明光として、緑色光Ｇの光量を、他の紫色光Ｖ、青色光Ｂ、及び赤色光Ｒの光量よりも大きくした第２特殊光を用いてもよい。

また、光源用プロセッサ２１は、第２照明観察モード時には、短波長の狭帯域光としての紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒとの光量比がＶｋ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。光量比Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓは、第１照明観察モード時に使用する光量比Ｖｃ：Ｂｃ：Ｇｃ：Ｒｃと異なっており、観察目的に応じて適宜定められる。例えば、表層血管を強調する場合には、Ｖｓを、他のＢｓ、Ｇｓ、Ｒｓよりも大きくすることが好ましく、中層血管を強調する場合には、Ｇｓを、他のＶｓ、Ｇｓ、Ｒｓよりも大きくすることが好ましい。

また、光源用プロセッサ２１は、重畳モード時に、第１照明光と第２照明光とを自動的に切り替えて発光する場合において、第１照明光を第１発光パターンで発光し、第２照明光を第２発光パターンで発光する。具体的には、第１発光パターンは、図６に示すように、第１照明期間のフレーム数が、それぞれの第１照明期間において同じである第１Ａパターンと、図７に示すように、第１照明期間のフレーム数が、それぞれの第１照明期間において異なっている第１Ｂパターンとのうちのいずれか１つであることが好ましい。

第２発光パターンは、図６に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ａパターン、図８示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｂパターン、図９に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ｃパターン、図１０に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｄパターンのうちのいずれか１つであることが好ましい。なお、第１照明光の発光スペクトルは、それぞれの第１照明期間において同じであってもよく、異なってもよい。

ここで、第１照明期間は第２照明期間よりも長くすることが好ましく、第１照明期間は２フレーム以上とすることが好ましい。例えば、図６では、第１発光パターンを第１Ａパターンとし、第２発光パターンを第２Ａパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：同じ）とする場合において、第１照明期間を２フレームとし、第２照明期間を１フレームとしている。第１照明光は、ディスプレイ１５に表示する表示用画像の生成に用いられることから、第１照明光を観察対象に照明することによって、明るい画像が得られることが好ましい。

第１照明光は、白色光であることが好ましい。一方、第２照明光は、解析処理に用いることから、第２照明光を観察対象に照明することによって、解析処理に適した画像が得られることが好ましい。例えば、血管深さが異なる複数の血管の形状情報に基づいて、解析処理を行う場合には、第２照明光として、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒを用いることが好ましい。この場合、第２発光パターンを第２Ａパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：同じ）又は第２Ｃパターン（第２照明期間のフレーム数：異なる、第２照明光の発光スペクトル：同じ）とする場合には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒのうちのいずれか１つの光を用いることが好ましい。一方、第２発光パターンを第２Ｂパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：異なる）又は第２Ｄパターン（第２照明期間のフレーム数：異なる、第２照明光の発光スペクトル：異なる）とする場合には、第２照明期間において、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒのうち少なくとも２つの光を特定の順番で切り替えて発光することが好ましい。後述の図１３では、紫色光Ｖ、緑色光Ｇ、及び赤色光Ｒの３つの光を、その順番で順次発光している。

ここで、第２照明光として、第１特殊光と第２特殊光の両方を用いる場合は、第２発光パターンを第２Ｂパターン又は第２Ｄパターンとして、第１特殊光と第２特殊光を交互に発光するようにしてもよい。

なお、第１照明期間と第２照明期間の切替パターンである第１、２発光パターンの詳細については、撮像用プロセッサ４４による撮像センサ４３の撮像制御に基づいて定められることから、後述する。また、フレームとは、撮像センサ４３において特定タイミングから信号読み出し完了までの間の期間を少なくとも含む期間の単位のことをいう。

例えば、粘膜表面からの深さが５０μｍの範囲内にある表層血管、粘膜表面からの深さが２００μｍの範囲内にある中層血管、及び、粘膜表面からの深さが６００μｍの範囲内にある深層血管に関する血管の形状情報を取得し、これら表層、中層、深層の血管の形状情報に基づいて解析処理を行う場合には、表層血管を強調する紫色光Ｖ、中層血管を強調する緑色光Ｇ、深層血管を強調する赤色光Ｒを用いることが好ましい。

なお、本明細書において、光量比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つ又は２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光量比を有するものとする。

図２に示すように、各ＬＥＤ２０ａ～２０ｄが発する光は、ミラーやレンズなどで構成される光路結合部２２を介して、ライトガイド２３に入射される。ライトガイド２３は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１３及びプロセッサ装置１４を接続するコード）に内蔵されている。ライトガイド２３は、光路結合部２２からの光を、内視鏡１２の先端部１２ｄまで伝搬する。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３１を有しており、ライトガイド２３によって伝搬した照明光は照明レンズ３１を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４１、撮像センサ４３を有している。照明光を照射したことによる観察対象からの光は、対物レンズ４１及びズームレンズ４２を介して撮像センサ４３に入射する。これにより、撮像センサ４３に観察対象の像が結像される。ズームレンズ４２は観察対象を拡大するためのレンズであり、ズーム操作部１２ｉを操作することによって、テレ端とワイド端と間を移動する。

撮像センサ４３は、原色系のカラーセンサであり、青色カラーフィルタを有するＢ画素（青色画素）、緑色カラーフィルタを有するＧ画素（緑色画素）、及び、赤色カラーフィルタを有するＲ画素（赤色画素）の３種類の画素を備える。図１１に示すように、青色カラーフィルタＢＦは、主として青色帯域の光、具体的には３８０～５６０ｎｍの波長帯域の光を透過する。青色カラーフィルタＢＦの透過率は、波長４６０～４７０ｎｍ付近においてピークになる。緑色カラーフィルタＧＦは、主として緑色帯域の光、具体的には、４６０～６２０ｎｍの波長帯域の光を透過する。赤色カラーフィルタＲＦは、主として赤色帯域の光、具体的には、５８０～７６０ｎｍの波長帯域の光を透過する。

また、撮像センサ４３は、ＣＣＤ（Charge-Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）であることが好ましい。撮像用プロセッサ４４は、撮像センサ４３を制御する。具体的には、撮像用プロセッサ４４により撮像センサ４３の信号読み出しを行うことによって、撮像センサ４３から画像信号が出力される。第１照明観察モードでは、白色光が撮像センサ４３に露光された状態で、撮像用プロセッサ４４が信号読み出しを行うことにより、撮像センサ４３のＢ画素からＢｃ画像信号が出力され、Ｇ画素からＧｃ画像信号が出力され、Ｒ画素からＲｃ画像信号が出力される。第２照明観察モードでは、特殊光が撮像センサ４３に露光された状態で、撮像用プロセッサ４４が信号読み出しを行うことによって、撮像センサ４３のＢ画素からＢｓ画像信号が出力され、Ｇ画素からＧｓ画像信号が出力され、Ｒ画素からＲｓ画像信号が出力される。

重畳モードでは、撮像用プロセッサ４４は、図１２に示すように、第１照明期間において第１照明光を撮像センサ４３に露光させた状態で、信号読み出しを行うことにより、撮像センサ４３から第１画像信号を出力させる。第１画像信号を出力する期間を第１撮像期間とする。第１画像信号には、Ｂ画素から出力されるＢ１画像信号、Ｇ画素から出力されるＧ１画像信号、及び、Ｒ画素から出力されるＲ１画像信号が含まれる。また、撮像用プロセッサ４４は、第２照明期間において第２照明光を撮像センサ４３に露光させた状態で、信号読み出しを行うことにより、撮像センサ４３から第２画像信号を出力させる。第２画像信号を出力する期間を第２撮像期間とする。第２画像信号には、Ｂ画素から出力されるＢ２画像信号、Ｇ画素から出力されるＧ２画像信号、及び、Ｒ画素から出力されるＲ２画像信号が含まれる。

図２に示すように、ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４５は、撮像センサ４３から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４５を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４６により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号がプロセッサ装置１４に入力される。

本段落以降で記載するプロセッサ装置１４の構成及び作動方法は、検査画像取得部５５及び表示制御部６２を介する検査画像の取得と表示に関して、検査画像表示モードと、リファレンス画像提示モードとにおいて共通である。

プロセッサ装置１４においては、画像制御用プロセッサによって構成される中央制御部７０によって、プログラム用メモリ内のプログラムが動作することによって、画像取得部５０と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５３と、画像処理切替部５４と、画像処理部５８と、表示制御部６２の機能が実現される。また、画像処理部５８の機能実現に伴って、検査画像取得部５５において、第１照明光画像生成部５５ａと、第２照明光画像生成部５５ｂと、重畳画像生成部５５ｃとの機能が実現される。なお、重畳モードにおいては、画像制御用プロセッサは、第１画像信号又は第２画像信号に基づいて画像処理を行い、ディスプレイ１５に対する制御を行う。

画像取得部５０は、内視鏡１２から入力されるカラー画像を取得する。カラー画像には、撮像センサ４３のＢ画素、Ｇ画素、Ｒ画素から出力される青色信号（Ｂ画像信号）、緑色信号（Ｇ画像信号）、赤色信号（Ｒ画像信号）が含まれている。取得したカラー画像はＤＳＰ５２に送信される。ＤＳＰ５２は、受信したカラー画像に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行う。ノイズ低減部５３は、ＤＳＰ５２でデモザイク処理等を施したカラー画像に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減したカラー画像は、画像処理切替部５４に入力される。

ゲイン補正処理後の各色の画像信号には、色再現性を高めるマトリクス処理が施される。その後、ガンマ変換処理によって、カラー画像の明るさや彩度が整えられる。マトリクス処理後のカラー画像には、デモザイク処理（等方化処理，同時化処理とも言う）が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ＤＳＰ５２は、デモザイク処理後のカラー画像にＹＣ変換処理を施し、輝度信号Ｙと色差信号Ｃｂ及び色差信号Ｃｒをノイズ低減部５３に出力する。

なお、第２照明光として第１特殊光を用いた場合には、第２画像信号に対して、観察対象に含まれる正常部と異常部（病変部など）との色の差を拡張する色差拡張処理を行ってもよい。色差拡張処理済みの第２画像信号に対して、解析処理を行ってもよい。

ノイズ低減部５３は、ＤＳＰ５２でデモザイク処理等を施したカラー画像に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減したカラー画像は、画像処理切替部５４に入力される。

画像処理切替部５４は、設定されているモードによって、ノイズ低減部５３からの画像信号の送信先を、検査画像取得部５５内の、第１照明光画像生成部５５ａと、第２照明光画像生成部５５ｂと、重畳画像生成部５５ｃのいずれか１つに切り替える。具体的には、第１照明観察モードにセットされている場合には、ノイズ低減部５３からの画像信号を第１照明光画像生成部５５ａに入力する。第２照明観察モードにセットされている場合には、ノイズ低減部５３からの画像信号を第２照明光画像生成部５５ｂに入力する。重畳モードにセットされている場合には、ノイズ低減部５３からの画像信号を重畳画像生成部５５ｃに入力する。

第１照明光画像生成部５５ａは、入力した１フレーム分のＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号に対して、第１照明光画像用画像処理を施す。第１照明光画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。第１照明光画像用画像処理が施されたＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号は、第１照明光画像として表示制御部６２に入力される。

第２照明光画像生成部５５ｂは、入力した１フレーム分のＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に対して、第２照明光画像用画像処理を施す。第２照明光画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。第２照明光画像用画像処理が施されたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号は、第２照明光画像として表示制御部６２に入力される。

重畳画像生成部５５ｃは、入力した１フレーム分のＲ１画像信号、Ｇ１画像信号、Ｂ１画像信号に対して、上述と同様の第１照明光画像用画像処理を施す。第１照明光画像用画像処理が施されたＲ１画像信号、Ｇ１画像信号、Ｂ１画像信号は、表示用画像として使用される。また、重畳画像生成部５５ｃは、入力した特定フレーム分のＲ２画像信号、Ｇ２画像信号、Ｂ２画像信号に対して、解析処理を行う。また、重畳画像生成部５５ｃは、特徴量を算出した解析処理の結果である解析結果を重畳画像として表示させる表示制御処理を行う。

例えば、第１発光パターンを第１Ａパターンとし、第２発光パターンを第２Ｂパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：異なる）とする場合において、第１照明光として白色光Ｗを２フレーム分、第２照明光としての紫色光Ｖ、緑色光Ｇ、赤色光Ｒを、白色光Ｗの発光の間に、それぞれ１フレーム分だけ観察対象に照明する場合には、図１３に示すように、白色光の照明により得られる第１画像信号に対して第１照明光画像用画像処理を施すことによって、重畳画像を得る。

一方、紫色光Ｖの照明により得られる第２画像信号（Ｒ２画像信号、Ｇ２画像信号、Ｂ２画像信号）に対して解析処理を行って、解析結果Ｖを得る。同様にして、緑色光Ｇの照明により得られる第２画像信号（Ｒ２画像信号、Ｇ２画像信号、Ｂ２画像信号）に対して解析処理を行って、解析結果Ｇを得る。また、赤色光Ｒの照明により得られる第２画像信号（Ｒ２画像信号、Ｇ２画像信号、Ｂ２画像信号）に対して解析処理を行って、解析結果Ｒを得る。これら解析結果Ｖ、Ｇ、Ｒは、赤色光Ｒに関する解析処理が完了した後、一まとめにした解析結果Ｔとして、表示用画像に表示される。なお、解析結果Ｖ、Ｇ、Ｒは、それぞれ単独で表示用画像に表示してもよく、また、解析結果Ｖ、Ｇ、Ｒのうち少なくとも２つ組み合わせて得られる解析結果を、重畳画像としてもよい。

なお、解析処理としては、後述する類似度算出部６０における検査画像の特徴量算出部１０１における特徴量の算出、及び、算出した解析結果を表示用画像に重畳表示するための重畳表示制御処理が含まれる。解析処理の結果が表示された重畳画像は、表示制御部６２に入力される。なお、特徴量算出部１００における解析処理の詳細については後述する。

検査画像表示モードとリファレンス画像提示モードの両方において、表示制御部６２は、画像処理部５８から出力される画像をディスプレイ１５に表示するための制御を行う。具体的には、表示制御部６２は、第１照明光画像、第２照明光画像、又は、重畳画像を、ディスプレイ１５においてフルカラーで表示可能にする映像信号に変換する。変換済みの映像信号はディスプレイ１５に入力される。これにより、ディスプレイ１５には第１照明光画像、第２照明光画像、又は、重畳画像が表示される。

第２照明光を発光する第２照明期間は、第１照明期間よりもフレーム数が少ないことから、光量制御値を大きくして光量を大きくしたとしても、光量が大きくなる時間は短時間且つ間欠的であるため、内視鏡の先端部１２ｄの温度上昇は一時的で安全性が確保される。

撮像用プロセッサ４４は、第１照明期間において第１照明光が照明された観察対象を撮像センサ４３で撮像させることにより、撮像センサ４３から第１画像信号を出力する。撮像用プロセッサ４４は、第２照明期間において第２照明光が照明された観察対象を撮像センサ４３で撮像させることにより、撮像センサ４３から第２画像信号を出力する。表示制御部６２は、第１画像信号に基づく表示用画像に対して、第２画像信号に基づく解析処理により得られた解析結果を表示する重畳画像をディスプレイ１５に表示する。

なお、第１実施形態においては、第１照明光に基づく第１画像信号は、表示用画像に用い、第２照明光に基づく第２画像信号は、解析処理にのみに用いて、ディスプレイ１５への表示に用いていないが、第２画像信号についても、ディスプレイ１５への表示に用いてもよい。この場合には、第１画像信号に基づく表示用画像と、第２画像信号に基づく表示用画像とを、ディスプレイ１５に対して切り替えて表示することになる。第２画像信号に基づく画像のディスプレイ１５への表示又は非表示については、ＵＩ１６によって適宜設定できるようにすることが好ましい。

本段落以降で、検査画像が取得された後の制御である、リファレンス画像提示モードについて開示する。リファレンス画像提示モードの概略を説明すると、図１４の通り、検査画像取得部５５で取得された検査画像は、類似度算出部６０において、リファレンス画像記憶メモリ８０を参照し、保存されている診断済みのリファレンス画像と、特徴量に基づいて比較され、結果として、総合類似度が算出される。次に、リファレンス画像選択部６１において、総合類似度が特定の条件を満たすリファレンス画像が選択され、表示制御部６２に送信される。具体的には、総合類似度が一定値以上よりも高いリファレンス画像を選択する。最終的に、検査画像と、特定の条件を満たすリファレンス画像とが、一画面にリファレンス画像提示画面１２０として表示され、ユーザーが視認できる状態になる。

以降、リファレンス画像提示モードについての詳細を説明する。リファレンス画像提示スイッチ１２ｇが押されると、リファレンス画像提示モード切替部５６を介し、検査画像表示第１照明観察モードからリファレンス画像提示第１照明観察モードに、検査画像表示第２照明観察モードからリファレンス画像提示第２照明観察モードに、検査画像表示重畳モードからリファレンス画像提示重畳モードに切り替わる。上記構成により、ユーザーの任意のタイミングで、リファレンス画像提示モードに切り替え、リファレンス画像を表示することができる。

リファレンス画像提示モードである場合、検査画像取得部５５で取得された第１照明光画像、第２照明光画像又は重畳画像、もしくは、そのすべてが、類似度算出部６０内の検査画像の特徴量算出部１０１に送信される。また、リファレンス画像記憶メモリ８０から、複数の診断済みの白色光画像又は複数の診断済みの特殊光画像の両方、もしくは、その両方が送信される。なお、検査画像表示第２照明観察モード及び検査画像表示重畳モードにおいても、前述の通り、特定の構造を強調した第２照明光画像もしくは重畳画像を生成するため、検査画像取得部５５から特徴量算出部１００に画像が送信され、特徴量算出の解析処理を行う。

リファレンス画像記憶メモリ８０には、診断済みの白色光画像及び診断済みの特殊光画像が保存されている。リファレンス画像記憶メモリ８０に保存されている診断済みの白色光画像及び診断済みの特殊光画像は、教科書又はアトラスの画像、学会で基準として用いられる画像、症例報告又は論文で用いられた画像、ユーザーが登録した画像があり、この限りではない。診断済みの白色光画像及び診断済みの特殊光画像に対応付けされている診断結果としては、病変部もしくは正常部であること、活動期又は寛解期であること、国際疾病分類、UICC TNM（Union for International Cancer Control Tumor Lymph Nodes Metastasis）分類、TNM（Tumor Lymph Nodes Metastasis）分類、Dukes分類、その他の分類、診断基準、ガイドライン、教科書及びアトラスに基づく診断名、種類、タイプ（type）、進展度、ステージのいずれかひとつ以上を含むことが好ましい。

類似度算出部６０は、図１５に示すように、特徴量算出部１００、個別類似度及び総合類似度算出部１１０、注目領域強調処理部１１１を含む。

検査画像の特徴量算出部１０１及びリファレンス画像の特徴量算出部１０２は、図１５に示す通り、検査画像取得部５５及びリファレンス画像記憶メモリ８０から送信された画像の特徴量を算出する。特徴量は、観察対象が表層、中層、深層の少なくともいずれか１つに位置するかによって分類されることが好ましい。また、特徴量は、観察対象の形状、色又はそれら形状や色などから得られる値であることが好ましい。特徴量の項目としては、例えば、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報である。特徴量はこれらの少なくともいずれか１つ、もしくは、これらの２以上を組み合わせた値であることが好ましい。なお、特徴量の項目については、この限りではなく、使用状況に応じて適宜追加されてもよい。

検査画像の特徴量算出部１０１又はリファレンス画像の特徴量算出部１０２によって算出された、各内視鏡画像に係る個別特徴量の総和を総合特徴量とすることが好ましい。総合特徴量は、図１５に示す通り、注目領域強調処理部１１１に送信される。注目領域強調処理部１１１については後述する。

なお、リファレンス画像記憶メモリ８０に保存されているリファレンス画像の個別特徴量が算出された後、リファレンス画像と、このリファレンス画像に係る個別特徴量とを対応付けてリファレンス画像記憶メモリ８０に保存してもよい。また、過去に個別特徴量が算出されたリファレンス画像は、同一の個別特徴量を算出する工程をスキップしてもよい。プロセッサ装置１４の演算領域の節約のためである。

リファレンス画像提示モードである場合、特徴量算出部１００によって算出された各検査画像又は各診断済みのリファレンス画像に係る個別特徴量の値は、個別類似度及び総合類似度算出部１１０に送信される。

個別類似度及び総合類似度算出部１１０は、第１照明光画像、第２照明光画像あるいは重畳画像である検査画像と、複数の、１種類又は複数種類の診断済みのリファレンス画像と、に係る個別特徴量の比較をおこなう。個別特徴量の比較は、第１照明光画像と診断済みの白色光画像との間、もしくは、第２照明光画像と診断済みの特殊光画像との間でおこない、それぞれの画像間における個別類似度を算出する。図１５の具体例では、検査画像に係る表層の血管の形状・分岐の個別特徴量がＡ１、表層の血管の均一度の個別特徴量がＡ２…と、リファレンス画像に係る表層の血管の形状・分岐の個別特徴量がａ１、表層の血管の均一度の個別特徴量がａ２…と、検査画像とリファレンス画像のそれぞれについて、個別特徴量の項目に係る値が算出される。個別特徴量が算出されると、これらを総和した総合特徴量が算出される。図１５の具体例では、検査画像の総合特徴量がＡＢＣ、リファレンス画像の総合特徴量がａｂｃと算出される。総合特徴量は注目領域強調処理部１１１に送信され、検査画像とリファレンス画像とのそれぞれに注目領域の強調表示を行う解析処理に使用される。さらに、各特徴量の項目に係る個別特徴量は個別類似度及び総合類似度算出部１１０に送信される。図１５の具体例では、表層の血管の形状・分岐に係る個別類似度について、Ａ１とａ１の値を比較し（図１５では「Ａ１ｖｓ ａ１」と表記）、個別類似度がα１であると算出している。続いて、個別類似度の総和を総合類似度として算出し、リファレンス画像選択部６１に送信する。図１５の具体例では、当該検査画像と当該リファレンス画像との間の総合類似度はαβγという値として算出され、この値がリファレンス画像選択部６１に送信される。

なお、類似度算出部６０に、Convolutional Neural Network等を用いた人工知能を搭載し、人工知能を用いて、総合類似度を算出してもよい。例えば、類似度算出部６０は、機械学習等による類似度出力用の学習モデルで構成し、検査画像、及び、リファレンス画像記憶メモリ８０に記憶されるリファレンス画像を、類似度出力用の学習モデルに入力することにより、リファレンス画像毎に、総合類似度を出力することが好ましい。

なお、リファレンス画像として重畳画像が存在する場合は、検査画像取得部５５から送信された重畳画像と、リファレンス画像記憶メモリ８０から送信された重畳画像との間で個別類似度及び総合類似度が算出される。また、第１照明光画像と比較するための診断済みの白色光画像、もしくは、第２照明光画像と比較するための診断済みの特殊光画像が存在しない場合は、リファレンス画像である診断済みの白色光画像もしくは診断済みの特殊光画像を、第１照明光画像又は第２照明光画像と比較できるように、画像の色相、色調等に関して色合わせを行なった上で比較を行う。

リファレンス画像選択部６１は、類似度算出部６０から、１又は複数のリファレンス画像と、リファレンス画像毎に算出又は出力された総合類似度を受信する。リファレンス画像選択部６１は、図１６に示すように、総合類似度によって複数のリファレンス画像に順位を付与する。続いて、複数のリファレンス画像のうち、総合類似度が特定の条件を満たすリファレンス画像を選択し、表示制御部６２に送信する。特定の条件とは、総合類似度の値によって決定される閾値である。この特定の条件となる閾値は変更可能であり、自動的もしくはユーザーにより手動的に設定される。具体的には、総合類似度が一定値（閾値）よりも高いリファレンス画像を選出し、表示するようにする。第１実施形態では、総合類似度が特定の条件以上（閾値以上）であるリファレンス画像が表示用のリファレンス画像として選択され、表示制御部６２に送信される。具体的には、図１５で、検査画像との比較により総合類似度がαβγと算出されたリファレンス画像が、リファレンス画像選択部６１に送信される。ここでは、図１６で示すような、総合類似度がそれぞれ８７、９５、９２、３０と算出されたリファレンス画像がリファレンス画像選択部６１に送信されたとする。これらのリファレンス画像の中で順位付けを行うと、総合類似度が９５のリファレンス画像が１位、９２のリファレンス画像が２位、８７のリファレンス画像が３位、３０のリファレンス画像が４位と順位付けされる。ここで、特定の条件を「総合類似度が３１以上」としたとする。この条件では、総合類似度が３０のリファレンス画像は特定の条件を満たさないため、表示制御部６２に送信されず、総合類似度が９５、９２、８７のリファレンス画像は選択され、表示制御部６２に送信される。上記構成により、提示するリファレンス画像を総合類似度の値によって取捨選択できる。例えば、リファレンス画像がリファレンス画像選択部６１によって複数選択され、選択されたリファレンス画像がユーザーの想定よりも多い場合に、総合類似度の閾値を上げることで、より類似度が高いリファレンス画像のみを提示することができる。

注目領域強調処理部１１１は、前述の通り、総合特徴量の値に応じて、検査画像又はリファレンス画像における注目領域をマーキングとして強調表示する注目領域強調処理を行う。注目領域強調処理済みの検査画像と、注目領域強調処理済みのリファレンス画像とは、表示制御部６２に送信されて、ディスプレイ１５に表示される。以下、注目領域強調処理済みの検査画像については単に検査画像と表記し、注目領域強調処理済みのリファレンス画像についても単にリファレンス画像と表記する。なお、注目領域強調処理については、行わなくともよい。この場合には、注目領域のマーキング等が表示されていない検査画像又はリファレンス画像が、表示制御部６２に送信されて、ディスプレイ１５に表示される。

なお、注目領域強調処理に基づくマーキングの表示態様の例としては、図１７に示すように、注目領域を囲うような円形の枠と符号（検査画像：Ｉ１、リファレンス画像：Ｒ１）で示している。なお、マーキングの表示態様としてはこの例に限られず、形状、色、大きさ、太さを適宜変更可能である。注目領域が複数存在する場合、各注目領域によって異なる形状、色、大きさ、太さ等のマーキングを使用してもよい。各マーキングに数字や文字等の記号を付記してもよい。なお、病変が極めて要注意であることをユーザーに意識させる場合は、黄色や赤色等で表示させてもよい。また、マーキングを表示させる総合特徴量の値は自動的もしくは手動的に設定される閾値によって設定されることが好ましい。なお、ディスプレイ１５に表示される各内視鏡画像にマーキングを表示するか否かは、ユーザーが適宜設定できる。上記構成により、ユーザーが注目領域を容易に認識できるようになる。

表示制御部６２は、検査画像と、リファレンス画像選択部６１で選択されたリファレンス画像とを一画面にし、リファレンス画像提示画面１２０としてディスプレイ１５に表示する。また、リファレンス画像と、リファレンス画像の診断結果と、総合類似度と、総合類似度の順位とを、リファレンス画像提示画面１２０として一画面に表示することが好ましい。第１実施形態における表示例を図１７に示す。図１７では、ディスプレイ１５に検査画像ナンバー、検査画像の種類１２１、注目領域が強調表示された検査画像（この場合は重畳画像）１２３、リファレンス画像ナンバー、リファレンス画像の種類１２２、注目領域が強調表示されたリファレンス画像（白色光画像）１２４、リファレンス画像の診断結果１２５、総合類似度及び総合類似度の順位１２６が表示されている。上記構成により、ユーザーが、検査画像と診断済みのリファレンス画像を比較することで画像診断の鑑別精度を向上させることが可能になる。さらに、ユーザーと、ディスプレイ１５を同時に観察している第三者との情報伝達を容易にする。また、検査画像中にリファレンス画像と比較するための情報（例えば、注目領域の画面中における大きさ、画面のブレ、明るさ、フォーカス）が不足しているかどうかの気づきを、内視鏡検査中においてユーザーに促すことができ、検査のやり直しを防止することができる。

リファレンス画像提示画面１２０において、デフォルトでは最も総合類似度の順位が高いリファレンス画像１２４が表示される。表示中のリファレンス画像１２４を、総合類似度が上位又は下位のリファレンス画像に切り替えるための操作用アイコンとして、順位切り替え用アイコン１２７がリファレンス画像提示画面１２０に表示されている。順位切り替え用アイコン１２７は、リファレンス画像１２４の右側又は左側に設けられている。順位切り替え用アイコン１２７は三角形のアイコンで表され、右方向又は左方向に向いている。左側の順位切り替え用アイコン１２７（図１８参照）を操作することで、総合類似度が上位のリファレンス画像に切り替わる。一方、右側の順位切り替え用アイコン１２７を操作することで、総合類似度が下位のリファレンス画像に切り替わる。なお、順位切り替え用アイコン１２７の形状や表示態様はこの限りではない。

また、リファレンス画像提示画面１２０においては、検査画像１２３とリファレンス画像１２４の上側又は下側には、検査画像及びリファレンス画像の種類を切り替え可能であることを示す画像種類切替用アイコン１２８が表示されている。画像種類切替用アイコン１２８は三角形で表され、上方向又は下方向に向いている。なお、画像種類切替用アイコン１２８の形状や表示態様はこの限りではない。

順位切り替え用アイコン１２７又は画像種類切替用アイコン１２８に対する操作は、ＵＩ１６のマウスやタッチパネルなどを用いてユーザーが操作することが好ましい。また、ＵＩ１６とリファレンス画像提示スイッチ１２ｇとを組み合わせて操作してもよい。例えば、ユーザーが、ＵＩ１６のマウスやタッチパネルを介して、順位切り替え用アイコン１２７又は画像種類切替用アイコン１２８のいずれか１つを選択し、選択済みのアイコンをアクティブにした上で、リファレンス画像提示スイッチ１２ｇを押すと、アクティブにしたアイコンに対応する表示が切り替わる。

順位切り替え用アイコン１２７を用いるリファレンス画像の切り替えについて、以下説明する。例えば、図１７に示すように、総合類似度の順位が１位のリファレンス画像１２４が表示されている場合において、右側の順位切り替え用アイコン１２７をアクティブにした上でリファレンス画像提示スイッチ１２ｇを押すと、総合類似度が２位のリファレンス画像に切り替わる他、リファレンス画像の診断結果、総合類似度及び総合類似度の順位の表示が切り替わり、図１８に示す画面が表示される。すなわち、リファレンス画像提示スイッチ１２ｇは、リファレンス画像の表示を切り替えるトグルスイッチとしても機能させることができる。

なお、ユーザー設定により、順位切り替え用アイコン１２７のみをアクティブにすることも可能である。この場合には、ＵＩ１６による順位切り替え用アイコン１２７をアクティブにする操作は不要である。例えば、リファレンス画像提示スイッチ１２ｇの普通押しにより、右側の順位切り替え用アイコン１２７を操作して、総合類似度が下位のリファレンス画像に表示を切り替え、リファレンス画像提示スイッチ１２ｇの早押し（普通押しよりも短い間隔での押圧操作）により、左側の順位切り替え用アイコン１２７を操作して、総合類似度が上位のリファレンス画像に表示を切り替えるようにしてもよい。

なお、内視鏡１２やＵＩ１６に、新たに順位切り替え用ボタンや表示画像切り替え用ボタンを設けてもよい。上記構成により、ユーザーが、診断済みのリファレンス画像を見比べることができ、診断精度を向上させることが可能になる。さらに、ユーザーが経験した症例に類似の症例を収集しやすくすることができる。

画像種類切替用アイコン１２８を用いる検査画像の切り替えについて、以下説明する。例えば、図１７に示すように、リファレンス画像提示画面１２０において、デフォルトでは、検査画像１２３として表示される画像は重畳画像であり、リファレンス画像１２４として表示される画像は診断済みの白色光画像である。

検査画像１２３としてディスプレイ１５に表示可能な画像は、第１照明光画像、第２照明光画像もしくは重畳画像の少なくともいずれか１つであり、検査画像側の画像種類切替用アイコン１２８を操作することによって、互いに切り替えが可能である。また、リファレンス画像１２４として表示可能な画像は、リファレンス画像記憶メモリ８０に記憶されている診断済みの画像、例えば、診断済みの白色光画像もしくは診断済みの特殊光画像である。リファレンス画像側の画像種類切替用アイコン１２８を操作することによって、診断済みの白色光画像もしくは診断済みの特殊光画像を互いに切り替えが可能である。なお、検査画像側又はリファレンス画像側の画像種類切替用アイコン１２８の操作方法については、画像種類切替用アイコン１２８の操作方法と同様である。

例えば、図１７に示すように、検査画像１２３として重畳画像が、リファレンス画像１２４として白色光画像が表示されている場合において、検査画像側の画像種類切替用アイコン１２８を操作すると、図１９に示すように、表示中の検査画像１２３が、重畳画像から第２照明光画像に切り替わる。また、リファレンス画像側の画像種類切替用アイコン１２８を操作すると、表示中のリファレンス画像１２４が、白色光画像から特殊光画像に切り替わる。上記構成により、ユーザーが希望する内視鏡画像の種類で、検査画像とリファレンス画像とを比較することができる。加えて、リファレンス画像として白色光画像もしくは特殊光画像のどちらかのみが存在する場合における、検査画像とリファレンス画像との比較においても上記構成は有用である。

リファレンス画像提示画面１２０において、検査画像側の画像種類切替用アイコン１２８で特殊光画像（第２照明光画像）に設定した場合には、リファレンス画像側の画像種類切替用アイコン１２８を操作しなくとも、検査画像と同じ種類の同じ種類の特殊光で撮像したリファレンス画像（特殊光画像）の表示に自動的に切り替えるようにしてもよい。なお、この場合、検査画像の種類に合わせてリファレンス画像の種類を自動的に切り替える設定ができるとよい。上記構成により、ユーザーが使い慣れていない特殊光画像を観察する場合においても、リファレンス画像と見比べることで着目すべき領域を把握し、鑑別を行いやすくすることができる。本願発明の内視鏡システムでは、複数種類の第２照明光を自動的に切り替えて被写体を撮像することを想定しているため、ユーザーが使い慣れていない種類の第２照明光画像が検査画像として表示される場合がある。また、第２照明光の種類が増えると、ユーザーはあらゆる第２照明光の種類で撮影された被写体の鑑別方法を習得しなければならないため、第２照明光の種類によっては、ユーザーが観察に慣れていないことが想定される。上記構成により、検査画像の第２照明光の種類と同じ種類の第２照明光を用いて撮像されたリファレンス画像を観察できるため、ユーザーが見慣れていない種類の第２照明光画像の観察を容易にすることができる。

総合類似度が特定の条件を満たすリファレンス画像が存在しない場合、あるいはリファレンス画像の数が適宜設定した閾値を下回る場合、リファレンス画像選択部６１は表示制御部６２に警告表示を行う旨の指示を送り、リファレンス画像提示画面１２０において警告を表示する。例えば、図２０に示すように、総合類似度と総合類似度の順位を示す枠を通常より太く表示し、警告表示１３０としてもよい。警告表示１３０はこの方法に限られない。例えば、総合類似度や総合類似度の順位の色、大きさ、太さを変更してもよく、通常リファレンス画像が表示される位置に「リファレンス画像が存在しません」と文字で警告表示してもよく、ランプ（図示しない）や音声によって警告してもよい。上記構成により、類似度が低い場合、もしくは適切なリファレンス画像が存在しない場合に、ユーザーが精度の低い診断を行うことを防止できる。また、ユーザーに対し、検査画像における新しい症例や珍しい症例の発見を促すことができる。

第１実施形態におけるリファレンス画像提示モードの一連の流れについて、図２１に示すフローチャートに沿って説明を行う。検査画像が取得されているもしくはされた際に（ステップＳ１１）、リファレンス画像提示スイッチ１２ｇが押されると、リファレンス画像提示モード切替部５６を操作して、リファレンス画像提示モードに切り替える（ステップＳ１２）。この操作により、検査画像及びリファレンス画像記憶メモリ８０に保存されている診断済みのリファレンス画像が類似度算出部６０に送信され（ステップＳ１３、ステップＳ１４）、検査画像とリファレンス画像との間における総合類似度が算出される（ステップＳ１５）。次に、特定の条件を満たすリファレンス画像がリファレンス画像選択部で選択され（ステップＳ１６）、最終的に、検査画像と、特定の条件を満たすリファレンス画像と、当該の画像間における総合類似度とが、リファレンス画像提示画面１２０としてディスプレイ１５に表示される（ステップＳ１７）。

上記段落までにおいて、リファレンス画像提示スイッチ１２ｇをユーザーが手動で操作することにより、リファレンス画像提示モードに切り替えて、リファレンス画像を提示する例を示したが、これに加えて、解析処理に基づいて、リファレンス画像提示モードに自動的に切り替えるようにしてもよい。例えば、解析処理によって、注目領域を検出した場合、注目領域の検出をトリガーとして、リファレンス画像提示スイッチ１２ｇを押さなくとも、自動的にリファレンス画像提示モードに切り替えて、検査画像とリファレンス画像とをディスプレイ１５に表示する。リファレンス画像提示モードに切り替えた後の処理等については、リファレンス画像提示スイッチ１２ｇによって手動で切り替えた場合の処理等と同様である。

［第２実施形態］
第２実施形態では、検査画像をリファレンス画像として保存するために、検査画像保存ボタン１５０、静止画像取得部６３、診断結果入力部６４を有する場合について記載する。

リファレンス画像提示画面１２０をディスプレイ１５に表示するに至るまでの構成は第１実施形態と共通であるため、記載を省略する。リファレンス画像提示画面１２０において、第２実施形態においては、図２２が表示される。図２２では、リファレンス画像提示画面１２０として、第１実施形態において表示される、検査画像ナンバー、検査画像の種類１２１、注目領域が強調表示された検査画像（重畳画像）１２３、リファレンス画像ナンバー、リファレンス画像の種類１２２、注目領域が強調表示された最も総合類似度の順位が高いリファレンス画像（白色光画像）１２４、リファレンス画像の診断結果１２５、総合類似度及び総合類似度の順位１２６に加えて、リファレンス画像の診断結果を検査画像の診断結果としてユーザーが承認又は否認するための、「Ｙｅｓ」もしくは「Ｎｏ」で示す承認ボタン１４０及び否認ボタン１４１、否認ボタン１４１の近傍に表示される診断結果入力フォーム１４２、検査画像保存ボタン１５０、スクリーンショットボタン１５１、処置開始ボタン１５２が表示されている。

ユーザーがリファレンス画像の診断結果と、検査画像の診断結果が一致しないと認識し、否認ボタン１４１が押された場合、ユーザーは検査画像に係る診断結果を、ＵＩ１６を通じて、診断結果入力フォーム１４２に入力することができる。否認ボタン１４１が押され、診断結果が入力され、検査画像保存ボタン１５０が押された場合、静止画像取得部６３が、検査画像を静止画として取得し、診断結果入力部６４が、静止画として取得した検査画像と、特徴量と、ユーザーが入力した診断結果とを対応付けて、新規の診断済みのリファレンス画像としてリファレンス画像記憶メモリ８０に保存することができる。なお、検査画像保存ボタン１５０に替えて、静止画像取得指示スイッチ１２ｈを検査画像取得のトリガーとしてもよい。なお、上記の実施例では、否認ボタン１４１が押され、診断結果入力フォーム１４２に診断結果が入力された後に、検査画像保存ボタン１５０もしくは静止画像取得指示スイッチ１２ｈが押される構成であるが、検査画像保存ボタン１５０もしくは静止画像取得指示スイッチ１２ｈが押されるタイミングは、否認ボタン１４１が押されて診断結果が入力される。

上記構成の具体例を挙げると、例えば、図２２において、検査画像の注目領域Ｉ１が、リファレンス画像の注目領域Ｒ１に係る鑑別結果（腫瘍の種類がＴｙｐｅ１、腫瘍のステージがＳｔａｇｅ１）と異なるとユーザーが判断した場合、否認ボタン１４１を押すと診断結果入力フォーム１４２に入力ができるようになる。ここで、ユーザーが診断した検査画像の注目領域Ｉ１に係る診断結果（例えば、腫瘍の種類がＴｙｐｅ１、腫瘍のステージがＳｔａｇｅ２）を入力し、検査画像保存ボタン１５０を押すと、現在表示されている検査画像１２３が静止画として取得されて診断結果入力部６４に送信され、診断結果入力部６４において、静止画に「腫瘍の種類がＴｙｐｅ１、腫瘍のステージがＳｔａｇｅ２」という診断結果が対応付けられる。上記構成により、検査画像と、検査画像に対応付けられる診断結果とを、診断済みのリファレンス画像として、リファレンス画像記憶メモリ８０に保存することができる。また、その上で、AI（Artificial Intelligence）の教師データとして学習に用い、リファレンス画像を提示する精度を向上させることができる。

第２実施形態において、検査画像をリファレンス画像として保存する一連の流れについて、図２３に示すフローチャートに沿って説明を行う。まず、リファレンス画像提示画面１２０に否認ボタン１４１が押されると（ステップＳ２１）、診断結果が診断結果入力フォーム１４２に入力される（ステップＳ２２）。次に、検査画像保存ボタン１５０が押されると（ステップＳ２３）、静止画像取得部６３が、検査画像を静止画として取得する（ステップＳ２４）。次いで、診断結果入力部６４が、静止画として取得された検査画像と、診断結果入力フォーム１４２に入力された診断結果とを対応付ける（ステップＳ２５）。最終的に、診断結果が対応付けられたことで診断済みになった静止画が、新規にリファレンス画像記憶メモリ８０に保存される（ステップＳ２６）。

第２実施形態において、リファレンス画像記憶メモリ８０に、検査画像が新規のリファレンス画像として１つ以上保存されている場合、リファレンス画像提示画面１２０においてデフォルトでリファレンス画像として表示される画像は重畳画像である。この場合において、リファレンス画像として表示する画像は、白色光画像（第１照明光画像）、特殊光画像（第２照明光画像）もしくは重畳画像の少なくともいずれか１つであり、リファレンス画像提示スイッチ１２ｇを押すことで、互いに切り替えが可能であることが好ましい。

リファレンス画像提示画面１２０には、スクリーンショットボタン１５１が表示されている。ユーザーがスクリーンショットボタン１５１を押すと、ディスプレイ１５に表示されているリファレンス画像提示画面１２０を静止画として取得し、メモリ（図示しない）に保存できる。上記構成により、検査記録システムや電子カルテなどの保存媒体にリファレンス画像提示画面１２０を記録することができる。さらに、症例記録の収集を検査中において容易に行うことができる。

リファレンス画像提示画面１２０には、処置開始ボタン１５２が表示されている。ユーザーが処置開始ボタン１５２を押すと、処置開始時間がメモリ（図示しない）に記録される。上記構成により、検査記録システムや電子カルテなどの保存媒体に処置開始時間を記録することができる。さらに、検査画像を静止画として取得した場合に、静止画中の注目領域の処置に掛かる時間を、静止画に対応付けて保存することができる。

なお、上記実施形態では、医用画像として、内視鏡画像を取得する内視鏡システムに対して、本発明の医療用画像処理装置を適用しているが、カプセル内視鏡など、さまざまな内視鏡システムに対して、適用可能であることはいうまでもなく、その他の医用画像として、X線画像、CT画像、MR画像、超音波画像、病理画像、ＰＥＴ（Positron Emission Tomography）画像などを取得する各種医用画像装置に対しても、本発明の医療用画像処理装置の適用は可能である。

上記実施形態において、光源用プロセッサ２１、撮像用プロセッサ４４、画像取得部５０、ＤＰＳ５２、ノイズ低減部５３、画像処理切替部５４、画像処理部５８に含まれる第１照明光画像生成部５５ａ、第２照明光画像生成部５５ｂ、重畳画像生成部５５ｃ、中央制御部７０といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよく、同種又は異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ 観察モード切替スイッチ
１２ｇ リファレンス画像提示スイッチ
１２ｈ 静止画像取得指示スイッチ
１２ｉ ズーム操作部
１３ 光源装置
１４ プロセッサ装置
１５ ディスプレイ
１６ ＵＩ
２０ 光源ユニット
２０ａ Ｖ－ＬＥＤ
２０ｂ Ｂ－ＬＥＤ
２０ｃ Ｇ－ＬＥＤ
２０ｄ Ｒ－ＬＥＤ
２１ 光源用プロセッサ
２２ 光路結合部
２３ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３１ 照明レンズ
４１ 対物レンズ
４２ ズームレンズ
４３ 撮像センサ
４４ 撮像用プロセッサ
４５ ＣＤＳ／ＡＧＣ回路
４６ Ａ／Ｄコンバータ
５０ 画像取得部
５２ ＤＳＰ
５３ ノイズ低減部
５４ 画像処理切替部
５５ 検査画像取得部
５５ａ 第１照明光画像生成部
５５ｂ 第２照明光画像生成部
５５ｃ 重畳画像生成部
５６ リファレンス画像提示モード切替部
６０ 類似度算出部
６１ リファレンス画像選択部
６２ 表示制御部
６３ 静止画像取得部
６４ 診断結果入力部
７０ 中央制御部
８０ リファレンス画像記憶メモリ
１００ 特徴量算出部
１０１ 検査画像の特徴量算出部
１０２ リファレンス画像の特徴量算出部
１１０ 個別類似度及び総合類似度算出部
１１１ 注目領域強調処理部
１２０ リファレンス画像提示画面
１２１ 検査画像の種類
１２２ リファレンス画像の種類
１２３ 検査画像
１２４ リファレンス画像
１２５ リファレンス画像の診断結果
１２６ 総合類似度及び総合類似度の順位
１２７ 順位切り替え用アイコン
１２８ 画像種類切替用アイコン
１３０ 警告表示
１４０ 承認ボタン
１４１ 否認ボタン
１４２ 診断結果入力フォーム
１５０ 検査画像保存ボタン
１５１ スクリーンショットボタン
１５２ 処置開始ボタン

Claims (18)

1. 互いに発光スペクトルが異なる第１照明光と第２照明光とを発する光源ユニットであって、前記第１照明光を発光する第１照明期間と前記第２照明光を発光する第２照明期間とを自動的に切り替える場合において、前記第１照明光を第１発光パターンで発光し、前記第２照明光を第２発光パターンで発光する光源ユニットと、
   画像制御用プロセッサを備え、
   前記画像制御用プロセッサは、
   前記第１照明光を被写体に照射して撮像した第１照明光画像、前記第２照明光を被写体に照射して撮像した第２照明光画像、及び、前記第２照明光画像を解析処理して得られた解析結果を前記第１照明光画像に重畳表示した重畳画像のうち少なくともいずれか１つを検査画像として取得し、
   前記検査画像とリファレンス画像とを特徴量に基づいて比較して総合類似度を算出し、
   診断済みの前記リファレンス画像を記憶するリファレンス画像記憶メモリを参照して、総合類似度が算出された複数の前記リファレンス画像のうち、前記総合類似度が特定の条件を満たす前記リファレンス画像を選択し、
   前記検査画像と、選択された前記リファレンス画像とをディスプレイに表示し、
   前記ディスプレイに表示される前記検査画像と同じ種類の照明光で撮像された前記リファレンス画像を表示するように、前記リファレンス画像を自動的に切り替える内視鏡システム。
2. 前記画像制御用プロセッサは、
   リファレンス画像提示スイッチが押された後に、前記リファレンス画像の前記特徴量を算出し、
   前記検査画像及び前記リファレンス画像の前記特徴量に基づいて前記総合類似度が算出された上で、前記特定の条件を満たす前記リファレンス画像と前記検査画像とを表示する請求項１に記載の内視鏡システム。
3. 前記リファレンス画像の表示は、前記総合類似度の順位にならって切り替えが可能である請求項１又は２に記載の内視鏡システム。
4. 前記検査画像として表示する画像は、前記重畳画像、前記第１照明光画像又は前記第２照明光画像の少なくともいずれか１つであり、互いに切り替えが可能である請求項１ないし３のいずれか１項に記載の内視鏡システム。
5. 前記リファレンス画像として表示する画像は、白色光画像又は特殊光画像のいずれか１つであり、互いに切り替えが可能である請求項１ないし４のいずれか１項に記載の内視鏡システム。
6. 前記検査画像と前記リファレンス画像の前記特徴量の比較は、前記第１照明光画像と前記白色光画像との間、又は、前記第２照明光画像と前記特殊光画像との間で行う請求項５に記載の内視鏡システム。
7. 前記特定の条件が満たされない場合に警告表示を行う請求項１ないし６のいずれか１項に記載の内視鏡システム。
8. 前記リファレンス画像を複数選択する場合、前記特定の条件を変更できる請求項１ないし７のいずれか１項に記載の内視鏡システム。
9. 前記検査画像を静止画として取得し、前記静止画を前記リファレンス画像として前記リファレンス画像記憶メモリに保存する請求項１ないし８のいずれか１項に記載の内視鏡システム。
10. 前記静止画と、診断結果とを対応付け、新規の診断済みの前記リファレンス画像として前記リファレンス画像記憶メモリに保存する請求項９に記載の内視鏡システム。
11. 前記検査画像及び前記リファレンス画像における、注目領域の診断結果を前記ディスプレイに表示する請求項１ないし１０のいずれか１項に記載の内視鏡システム。
12. 前記検査画像及び前記リファレンス画像と同一の画面上に、前記総合類似度と前記リファレンス画像に対応付けた前記総合類似度の順位とを前記ディスプレイに表示する請求項１ないし１１のいずれか１項に記載の内視鏡システム。
13. 前記検査画像と前記リファレンス画像を同一の画面上に表示し、かつ、前記検査画像が前記第２照明光画像である場合、前記検査画像を撮像した際に照射した前記第２照明光と同じ発光スペクトルの特殊光を照射して撮像された前記リファレンス画像の表示に自動的に切り替える請求項１ないし１２のいずれか１項に記載の内視鏡システム。
14. 前記画像制御用プロセッサは、
    前記解析処理によって、注目領域を検出した場合に、前記リファレンス画像の前記特徴量を算出し、前記特徴量に基づいて前記総合類似度が算出された上で、前記特定の条件を満たす前記リファレンス画像と前記検査画像とを表示する請求項１ないし１３のいずれか１項記載の内視鏡システム。
15. 前記画像制御用プロセッサは、
    前記検査画像、及び、前記リファレンス画像記憶メモリに記憶される前記リファレンス画像を、類似度出力用の学習モデルに入力することにより、前記リファレンス画像毎に、前記総合類似度を出力する請求項１ないし１４のいずれか１項記載の内視鏡システム。
16. 前記第１発光パターンは、前記第１照明期間のフレーム数が、それぞれの前記第１照明期間において同じである第１Ａパターンと、前記第１照明期間のフレーム数が、それぞれの前記第１照明期間において異なっている第１Ｂパターンとのうちのいずれか１つである、請求項１ないし１５のいずれか１項に記載の内視鏡システム。
17. 前記第２発光パターンは、
    前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において同じであり、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において同じである第２Ａパターン、
    前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において同じであり、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において異なっている第２Ｂパターン、
    前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において異なっており、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において同じである第２Ｃパターン、及び、
    前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において異なっており、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において異なっている第２Ｄパターンのうちのいずれか１つである、請求項１ないし１６のいずれか１項に記載の内視鏡システム。
18. 互いに発光スペクトルが異なる第１照明光と第２照明光とを発する光源ユニットであって、前記第１照明光を発光する第１照明期間と前記第２照明光を発光する第２照明期間とを自動的に切り替える場合において、前記第１照明光を第１発光パターンで発光し、前記第２照明光を第２発光パターンで発光する光源ユニット、及び、画像制御用プロセッサを備える内視鏡システムの作動方法において、
    前記画像制御用プロセッサは、
    前記第１照明光を被写体に照射して撮像した第１照明光画像、前記第２照明光を被写体に照射して撮像した第２照明光画像、及び、前記第２照明光画像を解析処理して得られた解析結果を前記第１照明光画像に重畳表示した重畳画像のうち少なくともいずれか１つを検査画像として取得し、
    前記検査画像とリファレンス画像とを特徴量に基づいて比較して総合類似度を算出し、
    診断済みの前記リファレンス画像を記憶するリファレンス画像記憶メモリを参照して、前記総合類似度が算出された複数の前記リファレンス画像のうち、前記総合類似度が特定の条件を満たす前記リファレンス画像を選択し、
    前記検査画像と、選択された前記リファレンス画像とをディスプレイに表示し、
    前記ディスプレイに表示される前記検査画像と同じ種類の照明光で撮像された前記リファレンス画像を表示するように、前記リファレンス画像を自動的に切り替える内視鏡システムの作動方法。

Images