JPWO2019220859A1 - 画像処理装置、内視鏡システム、及び画像処理方法 - Google Patents

Abstract

本発明は、特定対象の検出結果に基づいて適切な撮影モードで画像を取得することができる画像処理装置、内視鏡システム、及び画像処理方法を提供することを目的とする。本発明の第１の態様に係る画像処理装置では、特定対象の検出結果（特定対象が検出されたか否か、どのような特定対象であるか）に基づいて、第１の画像取得モード、または第１の画像取得モードよりも第２画像の取得比率が高い第２の画像取得モードにより第１画像及び第２画像を取得する。例えば、特定対象検出の有無、及び特定対象の種類によって第２画像取得の必要性が低い場合は第１の画像取得モードにより第１画像及び第２画像を取得し、逆に第２画像取得の必要性が高い場合は第２画像の取得比率が高い第２の画像取得モードにより第１画像及び第２画像を取得することができる。

Description

本発明は画像処理装置、内視鏡システム、及び画像処理方法に関し、特に複数の観察光で画像を取得する画像処理装置、内視鏡システム、及び画像処理方法に関する。

医療現場では、医用機器を用いて撮影した被検体の画像が診断、治療等に用いられているが、「撮影された画像で被写体のどのような構造が明確に（あるいは不明確に）映るか」は撮影に用いる観察光に依存する。例えば、短波長成分が強い狭帯域光等の特殊光の下で撮影した画像では表層の血管がコントラストよく描写されるため病変の検出に適しており、一方で長波長成分が強い特殊光の下で撮影した画像では深層の血管がコントラストよく描写される。また、医師による観察は特殊光ではなく通常光（白色光）で行われることが多い。このように、撮影では画像の使用目的や対象に応じた観察光を照射することが好ましい。

観察光を用いて取得した画像から特定の対象を検出する技術として、例えば特許文献１が知られている。特許文献１には、検査で使用された薬剤及び／または器材を画像認識により検出することが記載されている。また、観察対象に応じて観察光を切り替える技術としては、例えば特許文献２が知られている。特許文献２には、観察する層の深さに応じて狭帯域観察光の波長セットを切り替えることが記載されている。表層観察用の波長セットは観察光の波長が短く、深層観察用では観察光の波長が長い。

内視鏡は観察、処置等様々な目的に用いられ、取得する画像からは多様な対象が検出されうる。例えば、観察の場合は病変等の注目領域が検出され、処置の場合は処置具等の器具、器材、あるいは薬剤が検出される場合がある。この場合、どのような観察光が適切であるかは検出される対象によって異なる。

対象に応じた観察光を用いる撮影としては、複数の異なる観察光を決められたフレームレートで順次切り替えながら、各観察光に対応した画像を取得する「マルチフレーム撮影」が行われる場合がある。例えば、主として通常光で取得した画像での観察を継続しつつ、決められたレートで特殊光により画像を取得して注目領域を精度よく検出する、といった態様が可能である。このようなマルチフレーム撮影によれば、ユーザには見慣れた通常光画像を提示しながら、より精度の高い注目領域の検出が可能となる。

特開２０１６−０６２４８８号公報 特開２０１２−２１３５５０号公報

本発明は特定対象の検出結果に基づいて適切な撮影モードで画像を取得することができる画像処理装置、内視鏡システム、及び画像処理方法を提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、それぞれ異なる時刻に撮影された第１画像及び第２画像を取得する画像取得部であって、第１観察光により撮影された第１画像と、第１観察光とは異なる第２観察光により撮影された第２画像と、を取得する画像取得部と、あらかじめ決められた時間範囲における第１画像の取得フレーム数に対する第２画像の取得フレーム数の比を第１の比として第１画像及び第２画像を取得する第１の画像取得モードと、時間範囲における第１画像の取得フレーム数に対する第２画像の取得フレーム数の比を第１の比より高い第２の比として第１画像及び第２画像を取得する第２の画像取得モードと、のいずれかにより画像取得部に第１画像及び第２画像を取得させるモード制御部と、第１画像及び／または第２画像から特定対象を検出する特定対象検出部と、第１画像を表示装置に表示させる表示制御部と、を備え、モード制御部は、特定対象の検出結果に基づいて第１の画像取得モードまたは第２の画像取得モードにより画像取得部に第１画像及び第２画像を取得させる。

上述したマルチフレーム撮影の場合、注目領域検出用の画像（例えば、特殊光画像）を取得するフレームの分、観察用画像（例えば、通常光画像）のフレームレートが低下するため、検査の全ての時間において実施するのは必ずしも好ましくない。このような事情を考慮すると、「画像から何らかの対象が検出されたか否か、検出された場合にどのような対象であるか」を考慮して撮影モード（マルチフレーム撮影を行うか否か、及び行う場合の観察光及び／またはレート等の条件）を設定することが好ましい。しかしながら、上述した特許文献２では対象（観察する層の深さ）に応じて複数の観察光を切り替えて撮影しているものの、画像から検出された対象に応じて撮影モードをどのように設定するかについては考慮されていない。

このような従来技術に対し、第１の態様では、特定対象の検出結果（特定対象が検出されたか否か、どのような特定対象であるか）に基づいて、第１の画像取得モード、または第１の画像取得モードよりも第２画像の取得比率が高い第２の画像取得モードにより第１画像及び第２画像を取得する。例えば、特定対象検出の有無、及び特定対象の種類によって第２画像取得の必要性が低い場合は第１の画像取得モードにより第１画像及び第２画像を取得し、逆に第２画像取得の必要性が高い場合は第２画像の取得比率が第１の画像取得モードよりも高い第２の画像取得モードにより第１画像及び第２画像を取得することができる。このように、第１の態様によれば特定対象の検出結果に基づいた適切な撮影モードで画像（第１画像、第２画像）を取得することができる。なお、いずれの画像取得モードにおいても第１画像を表示装置に表示させるので、画像取得モードによらず第１画像による観察を継続することができる。

なお、第１の態様及び以下の各態様において、「特定対象」は画像の使用目的上重要な対象、画像の使用目的に応じて定めてよい。例えば、観察の場合の特定対象の例としては病変等の注目領域（関心領域ともいう）、処置の場合の例としては処置具等の器具、器材、あるいは薬剤を挙げることができるが、これらの例に限定されるものではない。また、第１の比及び第２の比の値（第１，第２画像の取得比率に対応）は、検査の目的や特定対象の種類等に応じて設定してよい。ユーザの指定に応じて設定してもよいし、ユーザの指定によらずに画像処理装置が設定してもよい。

第１の態様及び以下の各態様において、第１観察光及び第２観察光は一方が白色光で他方が狭帯域光でもよいし、双方が異なる狭帯域光でもよい。また、第１観察光及び第２観察光は光源から出射された光をそのまま用いてもよいし、光源から出射された光（例えば白色光）に特定の波長帯域を透過させるフィルタを適用して生成した光でもよい。また、第１観察光及び／または第２観察光として狭帯域光を用いる場合、用いる狭帯域光は狭帯域光用の光源から照射された狭帯域光でもよいし、白色光に対し特定の波長帯域を透過させるフィルタを適用して生成した狭帯域光でもよい。この場合、フィルタを順次切り替えることにより異なる狭帯域光が異なるタイミングで照射されるようにしてもよい。

なお第１の態様では、第１観察光により撮影された第１画像と、第２観察光により撮影された第２画像とを取得する。第１画像の撮影には第２観察光は用いられておらず、第２画像の撮影には第１観察光は用いられていないので、波長分離しきれずに第１画像，第２画像の画質が低下することはない。

なお、第１の態様及び以下の各態様において、「第１観察光と第２観察光とが異なる」とは、第１観察光と第２観察光とで波長帯域または分光スペクトルの少なくとも一方が同一でないことを意味する。また、第２画像は必要により（例えば、ユーザの指示入力に応じて、あるいは第２画像を処理した結果に応じて）表示することができる。また、第１画像及び第２画像は生体等の被検体を撮影した医用画像でもよい。

第１の態様及び以下の各態様において、医用画像は医療画像ともいう。また、医用画像撮影の際に用いる光源は白色帯域の光、白色帯域として複数の波長（狭帯域光）を含む光、赤外光、励起光を発生する光源を用いることができる。また、第１の態様で取得する医用画像は白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像でもよいし、通常光画像に基づいて取得した、特定の波長帯域の情報を有する特殊光画像でもよい。

第２の態様に係る画像処理装置は第１の態様において、特定対象検出部は注目領域を検出する注目領域検出部であり、注目領域検出部が注目領域を検出していない場合、モード制御部は第１の画像取得モードにより画像取得部に第１画像及び第２画像を取得させ、注目領域検出部が注目領域を検出した場合、モード制御部は第１の終了条件を満たすまで第２の画像取得モードにより画像取得部に第１画像及び第２画像を取得させる。第２の態様では、注目領域が検出されていない場合は画像表示（第１画像の表示）のフレームレートをできるだけ低下させないことが好ましいため第１の画像取得モードとし、注目領域を検出したら第１の画像取得モードよりも第２画像の取得比率が高い第２の画像取得モードとする。第２画像は、例えば注目領域の計測、分類等に用いることができる。なお、注目領域は関心領域ともいう。

第２の態様において、注目領域検出部は第１画像及び／または第２画像に対し注目領域の検出処理を行ってよい。検出処理は第１画像及び／または第２画像の全フレームに対して行ってもよいし、一部のフレームについて間欠的に行ってもよい。なお第２の態様において、「第１の終了条件」としては例えば設定時間の経過、指定枚数の静止画取得、注目領域が検出されなくなった、ユーザによる終了指示等を用いることができるが、これらの例に限定されるものではない。

第３の態様に係る画像処理装置は第２の態様において、モード制御部は、第１の終了条件を満たした場合は第１の画像取得モードで画像取得部に第１画像及び第２画像を取得させる。第３の態様によれば、第１の終了条件を満たした場合は第１の画像取得モードとすることにより、画像表示（第１画像の表示）のフレームレートの低下を防止することができる。

第４の態様に係る画像処理装置は第２または第３の態様において、第１画像及び第２画像のうち少なくとも第２画像に基づいて注目領域を分類する分類部をさらに備える。第４の態様では、生体内を撮影する場合、ポリープの種類（腫瘍性か非腫瘍性か）、癌のステージ診断、管腔内の位置（撮影位置）の判断等を「分類」として行うことができる。

第５の態様に係る画像処理装置は第４の態様において、表示制御部は分類の結果を示す情報を表示装置に表示させる。第５の態様において、情報の表示は例えば分類結果に応じた文字、数字、図形、記号、色彩等により行うことができ、これによりユーザは注目領域の情報を容易に認識することができる。なお、情報は画像に重畳表示してもよいし、画像とは別に表示してもよい。

第６の態様に係る画像処理装置は第１の態様において、特定対象検出部は被検体に使用されている薬剤及び／または器材を検出する検出器であり、検出器が薬剤及び／または器材を検出した場合、モード制御部は第２の終了条件を満たすまで第１の画像取得モードにより画像取得部に第１画像及び第２画像を取得させる。処置の際は精細な操作が要求されることが多いので、画像表示（第１画像の表示）のフレームレートの低下は好ましくなく、また処置を行う段階では病変の鑑別結果が確定していると考えられるため、第２画像を利用した自動鑑別も不要と考えられる。このため、処置等に用いられる薬剤及び／または器材が検出された場合は第１画像の取得比率が第２の画像取得モードよりも高くなる第１の画像取得モードにすることが好ましい。

また、病変に対して色素剤または染色剤を散布している場合、ユーザは病変の微細構造を精査するため、画像表示（第１画像の表示）のフレームレートの低下は好ましくない。このため、色素剤、染色剤等の薬剤が検出された場合は第１画像の取得比率が第２の画像取得モードよりも高くなる第１の画像取得モードにすることが好ましい。このような事情に鑑み、第６の態様では検出器が薬剤及び／または器材を検出した場合、モード制御部は第２の終了条件を満たすまで第１の画像取得モードにより画像取得部に第１画像及び第２画像を取得させるので、ユーザは処置や病変の観察を正確に行うことができる。第２の終了条件は例えば規定時間の経過、薬剤及び／または器材が検出されなくなる、規定枚数の静止画取得、ユーザの終了指示等を用いることができるが、これらの例に限定されるものではない。

なお、第１の態様について上述したように、第２の画像取得モードでは第２画像の取得比率が第１の画像取得モードよりも高いので、第１画像の取得比率について言えば、第２の画像取得モードよりも第１の画像取得モードの方が高くなる。

第７の態様に係る画像処理装置は第１から第６の態様のいずれか１つにおいて、モード制御部は、第１の比及び／または第２の比を設定する比率設定部を有する。第１の比及び／または第２の比はユーザの指定に応じて設定してもよいし、比率設定部がユーザの指定によらずに設定してもよい。

第８の態様に係る画像処理装置は第７の態様において、比率設定部は、第１の比をゼロに設定し、第２の比をゼロより高い値に設定する。第８の態様では、第１の比がゼロに設定されるので第１の画像取得モードではマルチフレーム撮影がオフになって第１画像のみを取得する。一方、第２の比はゼロより高い値に設定されるので、第２の画像取得モードではマルチフレーム撮影により第１画像及び第２画像を取得する。

第９の態様に係る画像処理装置は第１から第８の態様のいずれか１つにおいて、第１画像と第２画像とを位置合わせするパラメータを算出するパラメータ算出部と、パラメータを第１画像に適用して位置合わせ第１画像を生成する画像生成部と、をさらに備え、表示制御部は、第２画像を取得したタイミングでは位置合わせ第１画像を表示装置に表示させる。第９の態様では、位置合わせをするパラメータを第１画像に適用して位置合わせ第１画像を生成するので、第１画像のフレームレートの実質的な低下を防止することができ、またフレーム間（第１画像のフレームと位置合わせ第１画像のフレーム間）で被写体の色味及び構造の変化を小さくすることができる。なお、第９の態様及び以下の各態様において「位置合わせ第１画像」とは、「第１画像に対して位置合わせのパラメータを適用することにより生成した、第２画像の撮影時刻における第１画像」を意味する。

第９の態様において、パラメータ算出部は第１画像と第２画像との相対的な移動、回転、及び変形のうち少なくとも１つについてのパラメータをパラメータとして算出してもよい。「変形」には拡大、縮小を含めることができる。また、パラメータ算出部は第１画像と第２画像との射影変換を行うパラメータをパラメータとして算出し、画像生成部は算出したパラメータに基づく射影変換を第１画像に施して位置合わせ第１画像を生成してもよい。

第１０の態様に係る画像処理装置は第９の態様において、パラメータ算出部は、第２画像と、第２画像の撮影時刻より前であって第２画像の撮影時刻との時間差がしきい値以下である撮影時刻に撮影された第１画像と、を位置合わせするパラメータを算出する。第２画像の撮影時刻より後の撮影時刻に撮影された第１画像を用いる場合、撮影時刻の時間差によっては位置合わせ第１画像の生成及び表示が遅れる可能性がある。また、撮影時刻の時間差がしきい値を超える場合、被写体の動き等に起因して撮影範囲、撮影角度等が変化し、位置合わせ精度が低下する可能性がある。このような事情に鑑み、第１０の態様では第２画像の撮影時刻より前であって第２画像の撮影時刻との時間差がしきい値以下である撮影時刻に撮影された第１画像を取得するので、第１画像と比較して被写体の構造の変化が少ない位置合わせ第１画像を生成することができる。

第１１の態様に係る画像処理装置は第１から第１０の態様のいずれか１つにおいて、画像取得部は、中心波長が第１観察光よりも短い光を第２観察光として撮影された画像を第２画像として取得する。画像に映る被写体の構造は観察光の波長によって異なるので、病変等の微細な構造を撮影、検出するには波長の短い観察光を用いるのが好ましい。第１１の態様では、第１画像の表示により観察を継続しつつ、第２画像を用いて微細な構造の検出等を精度良く行うことができる。

上述した目的を達成するため、本発明の第１２の態様に係る内視鏡システムは第１から第１１の態様のいずれか１つに係る画像処理装置と、表示装置と、被検体に挿入される挿入部であって、先端硬質部と、先端硬質部の基端側に接続された湾曲部と、湾曲部の基端側に接続された軟性部とを有する挿入部と、挿入部の基端側に接続された手元操作部と、を有する内視鏡と、第１観察光または第２観察光を被検体に照射する光源装置と、被検体の光学像を結像させる撮影レンズと、撮影レンズにより光学像が結像される撮像素子と、を有する撮像部と、を備え、撮影レンズは先端硬質部に設けられる。第１２の態様に係る内視鏡システムは、第１から第１１の態様のいずれか１つに係る画像処理装置を備えるので、特定対象の検出結果に基づいた適切な撮影モード（第１の画像取得モードまたは第２の画像取得モード）で画像を取得することができる。また、いずれの画像取得モードにおいても第１画像を表示装置に表示させるので、画像取得モードによらず第１画像による観察を継続することができる。

また、第１２の態様に係る内視鏡システムは第１から第１１の態様のいずれか１つに係る画像処理装置を備えるので、その画像処理装置を備えることの有利な効果（特定対象の検出結果に基づいて第１の画像取得モードまたは第２の画像取得モードを適切に設定することができる）が奏される。すなわち、第２画像の必要性が低い場合にまで第２の画像取得モードが設定されて第２画像の取得比率が高くなり観察光の照射と非照射の繰り返しの増加により光源の劣化が無駄に早まるのを防止することができる。

第１２の態様において、光源から出射された光をそのまま観察光として用いてもよいし、光源から出射された光に特定の波長帯域を透過させるフィルタを適用して生成した光を観察光としてもよい。例えば、狭帯域光を第１観察光及び／または第２観察光として用いる場合、狭帯域光用の光源から照射された光を観察光として用いてもよいし、白色光に対し特定の波長帯域を透過させるフィルタを適用して生成した光を観察光としてもよい。この場合、白色光に適用するフィルタを順次切り替えることで、異なる狭帯域光を異なるタイミングで照射してもよい。

第１３の態様に係る内視鏡システムは第１２の態様において、光源装置は、第１観察光として赤色、青色、及び緑色の波長帯域の光を含む白色光を被検体に照射し、第２観察光として赤色、青色、及び緑色のうちいずれかの波長帯域に対応する狭帯域光を被検体に照射する。第１３の態様によれば、白色光（第１観察光）により撮影した第１画像を表示させて観察しつつ、狭帯域光（第２観察光）により撮影した第２画像を用いて注目領域の検出、分類を行うこと等が可能である。なお、紫色及び赤外の波長帯域に対応する狭帯域光を用いてもよい。

第１４の態様に係る内視鏡システムは第１３の態様において、光源装置は、励起光としての白色光用レーザを照射する白色光用レーザ光源と、白色光用レーザを照射されることにより第１観察光としての白色光を発光する蛍光体と、第２観察光としての狭帯域光を照射する狭帯域光用レーザ光源と、を備える。第１観察光としての白色光を得るために励起光用のレーザ光源を用いる場合、第２画像の取得比率が高いと第１観察光の照射と非照射の繰り返しが多くなり、このため白色光用レーザ光源の励起と非励起の繰り返しが多くなり光源の劣化が早まる可能性がある。しかしながら、第１４の態様に係る内視鏡システムは第１から第１１の態様のいずれか１つに係る画像処理装置を備えるので、その画像処理装置を備えることの有利な効果（特定対象の検出結果に基づいて第１の画像取得モードまたは第２の画像取得モードを適切に設定することができる）が奏される。すなわち、第２画像の必要性が低い場合（例えば、特定対象が検出されない場合）にまで第２の画像取得モードが設定されて第２画像の取得比率が高くなり第１観察光の照射と非照射の繰り返しの増加により光源の劣化が無駄に早まるのを防止することができる。

第１５の態様に係る内視鏡システムは第１３の態様において、光源装置は、白色光を発光する白色光源と、白色光を透過させる白色光フィルタと、白色光のうち狭帯域光の成分を透過させる狭帯域光フィルタと、白色光源が発光する白色光の光路に白色光フィルタまたは狭帯域光フィルタを挿入する第１のフィルタ切替制御部と、を備える。フィルタを切り替えて複数種類の観察光（白色光、狭帯域光）を生成する場合、フィルタの切替とイメージセンサ（撮像素子）の読み出しタイミングとの同期ズレにより第１画像及び／または第２画像の色バランスが崩れる可能性があるが、第１５の態様に係る内視鏡システムは第１から第１１の態様のいずれか１つに係る画像処理装置を備えるので、その画像処理装置を備えることの有利な効果（特定対象の検出結果に基づいて第１の画像取得モードまたは第２の画像取得モードを適切に設定することができる）が奏される。すなわち、第２画像の必要性が低い場合（例えば、特定対象が検出されない場合）にまで第２の画像取得モードが設定され光源またはフィルタの切替回数が増えて第１画像及び／または第２画像の色バランスが崩れる度合いを低減することができる。

第１６の態様に係る内視鏡システムは第１２の態様において、光源装置は、第１観察光として赤色、青色、及び緑色のうちいずれかの波長帯域に対応する第１狭帯域光を被検体に照射し、第２観察光として赤色、青色、及び緑色のうちいずれかの波長帯域に対応し第１狭帯域光とは波長帯域が異なる第２狭帯域光を被検体に照射する。第１６の態様は複数の狭帯域光を用いる態様を規定するものであり、例えば波長が異なる複数の青色狭帯域光、青色狭帯域光と緑色狭帯域光、波長が異なる複数の赤色狭帯域光等の組合せを用いることができるが、観察光はこれらの組合せに限定されるものではない。なお、紫色及び赤外の波長帯域に対応する狭帯域光を用いてもよい。

第１７の態様に係る内視鏡システムは第１６の態様において、光源装置は、赤色、青色、及び緑色の波長帯域の光を含む白色光を発光する白色光源と、白色光のうち第１狭帯域光の成分を透過させる第１狭帯域光フィルタと、白色光のうち第２狭帯域光の成分を透過させる第２狭帯域光フィルタと、白色光源が発光する白色光の光路に第１狭帯域光フィルタまたは第２狭帯域光フィルタを挿入する第２のフィルタ切替制御部と、を備える。第２のフィルタ切替制御部によりフィルタを切り替えて複数種類の観察光（第１狭帯域光、第２狭帯域光）を生成する場合、フィルタの切替とイメージセンサ（撮像素子）の読み出しタイミングとの同期ズレにより第１画像及び／または第２画像の色バランスが崩れる可能性がある。しかしながら、第１７の態様に係る内視鏡システムは第１から第１１の態様のいずれか１つに係る画像処理装置を備えるので、その画像処理装置を備えることの有利な効果（特定対象の検出結果に基づいて第１の画像取得モードまたは第２の画像取得モードを適切に設定することができる）が奏される。すなわち、第２画像の必要性が低い場合（例えば、特定対象が検出されない場合）にまで第２の画像取得モードが設定され光源またはフィルタの切替回数が増えて第１画像及び／または第２画像の色バランスが崩れる度合いを低減することができる。

上述した目的を達成するため、本発明の第１８の態様に係る画像処理方法はそれぞれ異なる時刻に撮影された第１画像及び第２画像を取得する画像取得工程であって、第１観察光により撮影された第１画像と、第１観察光とは異なる第２観察光により撮影された第２画像と、を取得する画像取得工程と、あらかじめ決められた時間範囲における第１画像の取得フレーム数に対する第２画像の取得フレーム数の比を第１の比として第１画像及び第２画像を取得する第１の画像取得モードと、時間範囲における第１画像の取得フレーム数に対する第２画像の取得フレーム数の比を第１の比より高い第２の比として第１画像及び第２画像を取得する第２の画像取得モードと、のいずれかにより画像取得工程で第１画像及び第２画像を取得させるモード制御工程と、第１画像及び／または第２画像から特定対象を検出する特定対象検出工程と、を有し、モード制御工程は、特定対象の検出結果に基づいて第１の画像取得モードまたは第２の画像取得モードにより画像取得工程で第１画像及び第２画像を取得させる。第１８の態様によれば、第１の態様と同様に特定対象の検出結果に基づいて適切な撮影モードで画像（第１画像、第２画像）を取得することができる。

なお、第１８の態様に係る画像処理方法に対し、第２から第１１の態様と同様の構成をさらに含めてもよい。また、それら態様の画像処理方法を内視鏡システムに実行させるプログラム、並びにそのプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。

以上説明したように、本発明の画像処理装置、内視鏡システム、及び画像処理方法によれば、特定対象の検出結果に基づいて適切な撮影モードで画像を取得することができる。

図１は、第１の実施形態に係る内視鏡システムの外観図である。 図２は、内視鏡システムの構成を示すブロック図である。 図３は、内視鏡の先端硬質部の構成を示す図である。 図４は、画像処理部の機能構成を示す図である。 図５は、注目領域を検出した場合の処理を示すフローチャートである。 図６は、注目領域を検出した場合の処理を示すフローチャート（図５の続き）である。 図７は、注目領域を検出した場合の処理を示すフローチャート（図６の続き）である。 図８は、第１画像及び第２画像の取得パターンの例を示す図である。 図９は、第１画像及び第２画像の取得パターンの例を示す図である。 図１０は、位置合わせ第１画像の処理を示す図である。 図１１は、第１画像及び第２画像の例を示す図である。 図１２は、共通波長成分に重み付けをした第１画像の例を示す図である。 図１３は、位置合わせ第１画像の例を示す図である。 図１４は、注目領域についての情報の表示例を示す図である。 図１５は、第１画像及び第２画像の表示例を示す図である。 図１６は、薬剤及び／または器材を検出した場合の処理を示すフローチャートである。 図１７は、薬剤及び／または器材を検出した場合の処理を示すフローチャート（図１６の続き）である。 図１８は、薬剤及び／または器材を検出した場合の処理を示すフローチャート（図１７の続き）である。 図１９は、光源の構成の例を示す図である。 図２０は、光源の構成の他の例を示す図である。 図２１は、回転フィルタの例を示す図である。 図２２は、回転フィルタの他の例を示す図である。

以下、添付図面を参照しつつ、本発明に係る画像処理装置、内視鏡システム、及び画像処理方法の実施形態について詳細に説明する。

＜第１の実施形態＞

図１は、第１の実施形態に係る内視鏡システム１０（画像処理装置、診断支援装置、内視鏡システム、医療画像処理装置）を示す外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１，２に示すように、内視鏡システム１０は、内視鏡本体１００（内視鏡）、プロセッサ２００（プロセッサ、画像処理装置、医療画像処理装置）、光源装置３００（光源装置）、及びモニタ４００（表示装置）から構成される。

＜内視鏡本体の構成＞

内視鏡本体１００は、手元操作部１０２（操作部）と、この手元操作部１０２に連設される挿入部１０４（挿入部）とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作を受け付ける撮影ボタン１４４が設けられている。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２（軟性部）、湾曲部１１４（湾曲部）、先端硬質部１１６（先端硬質部）で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０（撮像部）、照明部１２３、鉗子口１２６等が設けられる（図１〜図３参照）。

観察、処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから白色光及び／または狭帯域光（赤色狭帯域光、緑色狭帯域光、及び青色狭帯域光のうち１つ以上）を照射することができる。また、送気送水ボタン１４１の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系１３０の撮影レンズ１３２（撮影レンズ）、及び照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。先端硬質部１１６で開口する鉗子口１２６には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。

図１〜図３に示すように、先端硬質部１１６の先端側端面１１６Ａには撮影レンズ１３２（撮像部）が配設されている。撮影レンズ１３２の奥にはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子１３４（撮像素子、撮像部）、駆動回路１３６、ＡＦＥ１３８（ＡＦＥ：Analog Front End）が配設されて、これらの要素により画像信号を出力する。撮像素子１３４はカラー撮像素子であり、特定のパターン配列（ベイヤー配列、Ｘ−Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置（２次元配列）された複数の受光素子により構成される複数の画素を備える。撮像素子１３４の各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。撮影光学系１３０は、赤，緑，青の３色の画素信号からカラー画像を生成することもできるし、赤，緑，青のうち任意の１色または２色の画素信号から画像を生成することもできる。なお、第１の実施形態では撮像素子１３４がＣＭＯＳ型の撮像素子である場合について説明するが、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。なお、撮像素子１３４の各画素は紫色光源に対応した紫色カラーフィルタ、及び／または赤外光源に対応した赤外用フィルタをさらに備えていてもよい。

被検体（腫瘍部、病変部）の光学像は撮影レンズ１３２により撮像素子１３４の受光面（撮像面）に結像されて電気信号に変換され、不図示の信号ケーブルを介してプロセッサ２００に出力されて映像信号に変換される。これにより、プロセッサ２００に接続されたモニタ４００に観察画像が表示される。

また、先端硬質部１１６の先端側端面１１６Ａには、撮影レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ、１２３Ｂが設けられている。照明用レンズ１２３Ａ，１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。

＜光源装置の構成＞

図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂを備えており、赤色、緑色、及び青色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を下げること、及び照明を停止することができる。

光源３１０は赤色、緑色、青色の狭帯域光を任意の組合せで発光させることができる。例えば、赤色、緑色、青色の狭帯域光を同時に発光させて白色光（通常光）を観察光として照射することもできるし、いずれか１つもしくは２つを発光させることで狭帯域光（特殊光）を照射することもできる。光源３１０は、紫色光（狭帯域光の一例）を照射する紫色光源、及び／または赤外光（狭帯域光の一例）を照射する赤外光源をさらに備えていてもよい。また、白色光を照射する光源と、白色光及び各狭帯域光を透過させるフィルタとにより、白色光または狭帯域光を観察光として照射してもよい（例えば、図２０〜２２を参照）。

＜光源の波長帯域＞

光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。

上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍの波長帯域を含み、かつ、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。

また、光源３１０が発生する光は７９０ｎｍ以上８２０ｎｍ以下、または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。

また、光源３１０は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を照射する光源を備えていてもよい。この場合、被検体（生体）内の蛍光物質が発する蛍光の情報を有する医用画像（生体内画像）を取得することができる。蛍光画像を取得する場合は、蛍光法用色素剤（フルオレスチン、アクリジンオレンジ等）を使用してもよい。

光源３１０の光源種類（レーザ光源、キセノン光源、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）等）、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて観察光の波長を組合せ及び／または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい（図２０〜２２を参照）。

また、本発明を実施する際に用いる撮像素子は撮像素子１３４のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、観察光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する観察光の波長を（青色、緑色、赤色）の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色等）により出射する観察光の波長を切り替えてもよい。また、１または複数の狭帯域光（緑色、青色等）を照射してロータリカラーフィルタ（緑色、青色等）により出射する観察光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光（第１狭帯域光、第２狭帯域光）でもよい。

ライトガイドコネクタ１０８（図１参照）を光源装置３００に連結することにより、光源装置３００から照射された観察光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。

＜プロセッサの構成＞

図２に基づきプロセッサ２００の構成を説明する。プロセッサ２００は、内視鏡本体１００から出力される画像信号を画像入力コントローラ２０２を介して入力し、画像処理部２０４で必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００（表示装置）に観察画像（生体内画像）が表示される。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit）の制御下で行われる。すなわち、ＣＰＵ２１０は画像取得部、モード制御部、特定対象検出部、注目領域検出部、分類部、表示制御部、検出器、比率設定部、パラメータ算出部、画像生成部としての機能を有する。通信制御部２０５は、図示せぬ病院内システム（ＨＩＳ：Hospital Information System）、病院内ＬＡＮ（Local Area Network）等との通信制御を行う。記録部２０７には、被写体の画像（医用画像、撮影画像）、注目領域の検出及び／または分類結果を示す情報等が記録される。音声処理部２０９は、ＣＰＵ２１０及び画像処理部２０４の制御により、注目領域の検出及び／または分類の結果に応じたメッセージ（音声）等をスピーカ２０９Ａから出力する。

また、ＲＯＭ２１１（ＲＯＭ：Read Only Memory）は不揮発性の記憶素子（非一時的記録媒体）であり、本発明に係る画像処理方法をＣＰＵ２１０及び／または画像処理部２０４（画像処理装置、コンピュータ）に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。ＲＡＭ２１２（ＲＡＭ：Random Access Memory）は各種処理の際の一時記憶用の記憶素子であり、また画像取得時のバッファとしても使用することができる。

＜画像処理部の機能＞

図４は画像処理部２０４（医療画像取得部、医療画像解析処理部、医療画像解析結果取得部）の機能構成を示す図である。画像処理部２０４は画像取得部２０４Ａ（画像取得部）、モード制御部２０４Ｂ（モード制御部）、注目領域検出部２０４Ｃ（特定対象検出部、注目領域検出部）、分類部２０４Ｄ（分類部）、表示制御部２０４Ｅ（表示制御部）、検出器２０４Ｆ（特定対象検出部、検出器）、比率設定部２０４Ｇ（比率設定部）、パラメータ算出部２０４Ｈ（パラメータ算出部）、及び画像生成部２０４Ｉ（画像生成部）を有する。注目領域検出部２０４Ｃ，検出器２０４Ｆ、及び分類部２０４Ｄは医療画像解析処理部としても動作する。

また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）あるいはＣＭＹ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の色情報に基づく演算により得ることができる。

また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医用画像（医療画像）としての特徴量画像を取得及び表示してもよい。

画像処理部２０４のこれらの機能による処理については、詳細を後述する。なお、これらの機能による処理はＣＰＵ２１０の制御下で行われる。

上述した画像処理部２０４の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、画像処理装置本体、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力及び被写体の計測を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。

＜操作部の構成＞

プロセッサ２００は操作部２０８を備えている。操作部２０８は図示せぬ操作モード設定スイッチ等を備えており、観察光の波長（白色光か狭帯域光か、狭帯域光の場合いずれの狭帯域光を用いるか）を設定することができる。また、操作部２０８は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して撮影条件及び表示条件の設定操作を行うことができる。これらの設定操作は図示せぬフットスイッチを介して行っても良いし、音声、視線、ジェスチャ等により行ってもよい。なお、操作モードの設定は、上述のように手元操作部１０２の機能ボタン１４３（図１参照）に操作モード設定機能を割り付けて行ってもよい。また、ユーザは操作部２０８を介して第１の画像取得モードにおける「第１の比」及び第２の画像取得モードにおける「第２の比」の設定操作を行うことができる。さらに、ユーザは操作部２０８を介して第１の画像取得モード、第２の画像取得モードの終了条件設定（第１の終了条件、第２の終了条件：経過時間、静止画取得枚数等の設定）、終了指示を行うことができる。

＜記録部の構成＞

記録部２０７（記録装置）は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びこれら記録媒体の制御部を含んで構成され、撮影画像（第１画像、第２画像）、位置合わせ第１画像、注目領域を示す情報、注目領域の分類結果、薬剤及び／または器材の検出結果を示す情報等を互いに関連付けて記録する。これらの画像及び情報は、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御によりモニタ４００に表示される。

上述した画像の他に、医用画像（医療画像）に含まれる注目すべき領域である注目領域（関心領域）と、注目すべき態様の有無のいずれか、もしくは両方と、についての解析結果を記録部２０７（記録装置）に記録してもよい。この場合、画像処理部２０４（医療画像解析処理部、医療画像解析結果取得部）がそれら解析結果を記録部２０７から取得してモニタ４００に表示することができる。

＜表示装置の構成＞

モニタ４００（表示装置）は、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御により第１画像、第２画像、位置合わせ第１画像、撮影条件設定画面、表示条件設定画面、注目領域の検出結果を示す情報、注目領域の分類結果を示す情報、薬剤及び／または器材の検出結果を示す情報等を表示する。また、モニタ４００は撮影条件設定操作及び／または表示条件設定操作を行うための図示せぬタッチパネルを有する。

＜画像処理方法＞

＜特定対象が注目領域である場合の処理＞

上述した構成の内視鏡システム１０を用いた画像処理方法について説明する。図５〜７は第１の実施形態に係る画像処理方法（特定対象が注目領域である場合）の処理を示すフローチャートである。

＜第１画像及び第２画像の観察光＞

第１の実施形態では、白色光を観察光（第１観察光）とした白色光画像（通常画像）を第１画像として取得し、狭帯域光としての青色光（中心波長は第１観察光より短い）を観察光（第２観察光）とした青色光画像（特殊光画像）を第２画像として取得する場合について説明する。しかしながら、本発明において観察光はこのような組合せに限定されるものではない。例えば、第２画像は狭帯域光としての緑色光、赤色光、赤外光、紫色光等を観察光として取得した特殊光画像でもよい。また、第１観察光、第２観察光の双方を狭帯域光（例えば青色光と緑色光、あるいは波長の異なる赤色光等の、第１狭帯域光及び第２狭帯域光）としてとして第１画像及び第２画像を取得してもよい。なお、第１の実施形態では、１つのフレームでは第１観察光のみ、または第２観察光のみを照射して第１画像、第２画像を撮影するものとする。

＜第１画像及び第２画像の取得パターン＞

図８，９は、第１の実施形態における第１画像及び第２画像の取得パターンの例を示す図である。これらの図は、時間軸ｔに沿って図の左側から右側に向けて画像が取得されていく様子を示している。図８の（ａ）部分は、第１観察光（白色光、通常光）を例えば毎秒３０フレーム、６０フレーム等の指定されたフレームレート（フレーム間隔：Δｔ）で５フレーム連続して照射して５枚の白色光画像（画像５０１〜５０５，５０７〜５１１）を撮影し、次いで１フレームで第２観察光（青色狭帯域光、特殊光）を照射して１枚の青色光画像（画像５０６，５１２）を撮影するパターンを示している。このパターンにおいて、白色光画像と青色光画像とはそれぞれ異なる時刻に撮影された画像である。図８の（ｂ）部分は、第１観察光（白色光、通常光）を２フレーム連続して照射して２枚の白色光画像（画像５２１，５２２，５２４，５２５，５２７，５２８，５３０，５３１）を撮影し、次いで１フレームで第２観察光（青色狭帯域光、特殊光）を照射して１枚の青色光画像（画像５２３，５２６，５２９、５３２）を撮影するパターンを示している。このパターンにおいても、白色光画像と青色光画像とはそれぞれ異なる時刻に撮影された画像である。図８の（ｃ）部分は、第１観察光（白色光、通常光）と第２観察光（青色狭帯域光、特殊光）とを交互に照射するパターンを示しており、これにより白色光画像（画像５４１，５４３，５４５，５４７，５４９，５５１）と、青色光画像（画像５４２，５４４，５４６，５４８，５５０，５５２）が交互に得られる。

第１の画像取得モード及び第２の画像取得モードは、図８に示すパターンに加えて、第２画像の取得比率が異なる他のパターンも含めたパターンの中から選択することができる。ただし、第２の画像取得モードにおける第２画像の取得比率（第２の比：あらかじめ決められた時間範囲における第１画像の取得フレーム数に対する第２画像の取得フレーム数の比）を、第１の画像取得モードにおける第２画像の取得比率（第１の比：あらかじめ決められた時間範囲における第１画像の取得フレーム数に対する第２画像の取得フレーム数の比）よりも高くする。例えば、図８の（ａ）部分に示すパターンを第１の画像取得モードとし、図８の（ｂ）部分に示すパターンを第２の画像取得モードとすることができる。

この場合、図８の（ａ）部分に示すパターンでは、時間範囲Ｔにおける第１画像の取得フレーム数に対する第２画像の取得フレーム数の比（第１の比）は５分の１（５：１）であり、これに対し図８の（ｂ）部分に示すパターンでは、時間範囲Ｔにおける第１画像の取得フレーム数に対する第２画像の取得フレーム数の比（第２の比）は２分の１（２：１）である。このような第１の画像取得モード及び第２の画像取得モードにおける撮影パターンの設定（具体的には、第１の比及び／または第２の比）は、例えば操作部２０８を介したユーザの操作に応じて比率設定部２０４Ｇが行うことができる。なお、第２画像の取得比率はユーザの操作等に応じて設定できるが、モード制御部２０４Ｂは第１画像を全く取得せず全てのフレームで第２画像を取得するパターンは設定しないものとする。

なお、第１の画像取得モードについては、図８のように第１観察光（白色光、通常光）及び第２観察光（青色狭帯域光、特殊光）を照射するパターンに加え、図９のように第１観察光のみを照射するパターンを採用することができる（第２画像を取得しないので、第２の画像取得モードとすることはできない）。図９に示すパターンの場合、時間範囲Ｔにおける第１画像の取得フレーム数に対する第２画像の取得フレーム数の比（第１の比）はゼロ（５：０）である。第１の画像取得モードにおいて図９に示すパターンを用いる場合、第２の画像取得モードにおいて例えば図８に示すいずれかのパターンを用いれば、第２の比が第１の比より高くなる。

＜特定対象が注目領域である場合の処理＞

図５〜７は特定対象が注目領域である場合の処理を示しており、この場合は注目領域検出部２０４Ｃ（特定対象検出部）が特定対象としての注目領域を検出する。モード制御部２０４Ｂは、初期状態（注目領域を検出していない状態）では画像取得部２０４Ａを第１の画像取得モードに設定して（ステップＳ１００：モード制御工程）、第１画像（白色光画像、通常画像）の表示フレームレートが低下しないようにしている。

＜第１の画像取得モードでの画像取得＞

＜第１画像についての処理＞

画像取得部２０４Ａは第１の画像取得モード（図８の（ａ）部分に示すパターンとする）により光源制御部３５０を制御して赤色光源３１０Ｒ、緑色光源３１０Ｇ、及び青色光源３１０Ｂを発光させて白色光（第１観察光）を被検体に照射し（ステップＳ１０２：撮影工程、画像取得工程）、撮影光学系１３０、撮像素子１３４等により被検体の画像（第１画像、通常光画像）を撮影する（ステップＳ１０４：撮影工程、画像取得工程）。撮影した画像は、画像入力コントローラ２０２を介して画像取得部２０４Ａが取得（入力）する（ステップＳ１０４：画像取得工程）。

＜注目領域の検出＞

注目領域検出部２０４Ｃ（特定対象検出部）は、取得された第１画像から注目領域を検出する（ステップＳ１０６：特定対象検出工程、注目領域検出工程）。注目領域の検出は、注目領域検出部２０４Ｃが例えば公知のＣＡＤシステム（ＣＡＤ：Computer Aided Diagnosis）を備えることにより行うことができる。具体的には、例えば医用画像の画素の特徴量に基づいて、注目領域（注目すべき領域である注目領域）及び注目領域における対象

（注目すべき対象）の有無を抽出することができる。この場合、注目領域検出部２０４Ｃは検出対象画像を例えば複数の矩形領域に分割し、分割した各矩形領域を局所領域として設定する。注目領域検出部２０４Ｃは検出対象画像の局所領域ごとに局所領域内の画素の特徴量（例えば色相）を算出し、各局所領域の中から特定の色相を有する局所領域を注目領域として決定する。なお、ステップＳ１０６において「注目領域を検出する」とは画像に対し検出処理を施すことを意味する。

＜深層学習アルゴリズムに基づく注目領域の検出＞

注目領域の検出は、深層学習の結果を利用して行ってもよい。例えば、新たな画像が記録部２０７に記録されるごとに（または新たな画像が撮影されるごとに）、注目領域検出部２０４Ｃが深層学習アルゴリズムに基づき深層学習（ディープラーニング）を用いた画像解析処理を行うことにより、画像に注目領域が含まれるか否かを解析する。深層学習アルゴリズムは、公知のコンボリューションニューラルネットワーク（畳み込みニューラルネットワーク）の手法、すなわち畳み込み層及びプーリング層の繰り返しと、全結合層と、出力層とを経て、画像に注目領域が含まれている否かを認識するアルゴリズムである。深層学習を用いた画像解析処理においては、「注目領域である」あるいは「注目領域ではない」とのラベルを付した画像を教師データとして与えて生成した学習器を用いてもよい。「このような機械学習を行うか否か」、及び／または「学習結果を利用するか否か」を、操作部２０８及びモニタ４００を介したユーザの操作に応じて設定してもよい。

ステップＳ１０６で検出する注目領域（関心領域）の例としては、ポリープ、癌、大腸憩室、炎症、治療痕（ＥＭＲ瘢痕（ＥＭＲ：Endoscopic Mucosal Resection）、ＥＳＤ瘢痕（ＥＳＤ：Endoscopic Submucosal Dissection）、クリップ箇所等）、出血点、穿孔、血管異型性などを挙げることができる。

＜第１画像の表示及び記録＞

注目領域検出部２０４Ｃ及び表示制御部２０４Ｅは、白色光画像（第１画像）についての出力（表示、記録）を行う（ステップＳ１０８：表示制御工程、記録工程）。出力は、表示制御部２０４Ｅ、注目領域検出部２０４Ｃ、及び分類部２０４Ｄが白色光画像（第１画像）、検出結果を示す情報、分類結果を示す情報をモニタ４００に表示する（表示制御工程）他、これらの情報を記録部２０７に記録する（記録工程）こと等により行うことができる。注目領域検出部２０４Ｃ、及び分類部２０４Ｄは、注目領域の検出結果を示す情報を音声処理部２０９及びスピーカ２０９Ａを介して音声で報知してもよい。なお、第１画像についての表示例は後述する。また、第１画像（及び後述する位置合わせ第１画像）を動画像として連続的に記録しつつ、注目領域が検出されたフレームを静止画像として記録してもよい。

注目領域検出部２０４Ｃは、注目領域を検出したか否かを判断する（ステップＳ１１０）。注目領域を検出した場合はステップＳ１１２に進んで分類部２０４Ｄが注目領域を分類してステップＳ１３０に進み、モード制御部２０４Ｂが画像取得部２０４Ａを第２の画像取得モードに設定する。注目領域を検出していない場合（ステップＳ１１０でＮＯ）はステップＳ１１４に進み、画像取得部２０４ＡがＭフレーム分（ステップＳ１１４でＮＯの間）の第１画像取得処理を繰り返す。第１の画像取得モードが図８の（ａ）部分に示すパターンである場合、Ｍ＝５である。Ｍフレーム分の第１画像取得処理が終了したら、ステップＳ１１６に進む。

＜注目領域の分類＞

注目領域を検出した場合、分類部２０４Ｄは検出した注目領域を分類する（ステップＳ１１２：注目領域分類工程）。分類の例としては、ポリープの分類（腫瘍性か非腫瘍性か）、癌のステージ診断、管腔内の現在位置（上部であれば咽頭、食道、胃、十二指腸等、下部であれば盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸等）等を挙げることができる。これらの分類においても、検出の場合と同様に機械学習（深層学習）の結果を利用することができる。なお、注目領域の分類は検出と一体として行ってもよい。なお、第１観察光が白色光、第２観察光が青色狭帯域光の場合、分類部２０４Ｄは、第１画像及び第２画像のうち少なくとも第２画像に基づいて注目領域を分類することが好ましい。これは、上述の例では第２画像は第１観察光（白色光）よりも中心波長が短い青色狭帯域光により撮影されており、病変等の微細な構造を分類するのに適しているからである。なお、どのような画像に基づいて注目領域を分類するかは、操作部２０８を介したユーザの操作に基づいて設定してもよいし、ユーザの操作によらずに分類部２０４Ｄが設定してもよい。

病変等の注目領域が検出された画像（以下、「病変画像」という）については、特定の病変（有病率の低いもの、検出困難症例等）が発見された検査について保存（記録）してもよい。例えば、病変のサイズが小さい場合、あるいは病変の形状が平坦で隆起がほとんどない場合に「検出が困難な病変」として病変画像（静止画像、動画像）を保存することができる。また、例えば病理生検を行った場合（この場合、「生検をとる病変は、内視鏡所見で判断することが難しい」と考えられる）、あるいは病理生検の結果と内視鏡所見とに不整合がある場合（例えば、内視鏡所見では「線種疑い」となり生検をとったが病理結果は過形成ポリープであった、など）に「診断が困難な病変」として病変画像を保存することができる。さらに、病変画像を入力として機械学習により学習器を構築する場合、学習器の利用目的に応じて病変画像を保存してもよい。例えば、スクリーニング中の病変検出（拾い上げ）を目的とする学習器を構築する場合はスクリーニング目的の検査のみ保存する（ＥＳＤ（Endoscopic Submucosal Dissection：内視鏡的粘膜下層剥離術）などの手技動画は機械学習等での利用価値が低い）、癌のステージ判別（粘膜内癌、進行癌など）を目的とする学習器を構築する場合はＥＳＤ、ＥＭＲ（ＥＭＲ：Endoscopic Mucosal Resection）等治療目的の検査についての病変画像のみを保存する、等が考えられる。

＜第２画像についての処理＞

第１の画像取得モードにおいて第１の比がゼロでない場合（画像取得パターンが、例えば図８のいずれかに示すパターンの場合）は、第１画像についての処理をＭフレーム分行った後に（ステップＳ１１４でＹＥＳ）、第２画像についての処理を行う。ステップＳ１１６〜ステップＳ１２２における第２画像についての処理は、観察光の波長が異なる（上述の例では、第１観察光が白色光で第２観察光が青色狭帯域光）他は上述したステップＳ１０２〜ステップＳ１０８における第１画像についての処理と同様である。具体的には、ステップＳ１１６〜ステップＳ１２２の処理（画像取得工程、モード制御工程、特定対象検出工程、注目領域分類工程、出力工程）は、画像処理部２０４の各部（画像取得部２０４Ａ、注目領域検出部２０４Ｃ、分類部２０４Ｄ等）の制御により行うことができる。

第２観察光が青色光（白色光よりも中心波長が短い）である場合、第２画像では微細な血管等の構造が高コントラストに描写されるため注目領域を高精度に検出及び分類することができ、学習器に入力して分類する、あるいは教師用画像として記録する等の利用が可能である。このため、分類部２０４Ｄは第１画像及び第２画像のうち少なくとも第２画像に基づいて注目領域を分類することが好ましい。なお、第１の実施形態では第１画像（通常画像）がモニタ４００に継続して表示されるので、第２画像、あるいは第２画像についての検出結果及び分類結果は、必要に応じて（例えば操作部２０８を介したユーザの指示入力があった場合、指定された条件を満たす注目領域（特定対象）が検出された場合等）に出力（表示、記録等）してもよい（ステップＳ１２２；後述するステップＳ１５０，Ｓ３２０，Ｓ３４４も同様）。

なお、図５〜７のフローチャートでは、第１の画像取得モードにおいて図８の（ａ）部分に示すパターンにより第１画像及び第２画像を取得する場合（第１の比がゼロでない場合）についての処理を記載している。第１の画像取得モードにおいて第１の比がゼロである場合（図９に示すパターンの場合）は第２画像に関する処理（ステップＳ１１４〜ステップＳ１２８）を行わずにステップＳ１０２からステップＳ１１０の処理を繰り返し、第１画像から注目領域が検出された場合（ステップＳ１１０でＹＥＳ）に第２の画像モードに移行する（ステップＳ１３０）。

＜第１画像のフレームレート低下防止＞

第１の実施形態では、波長分離に起因する画質低下防止のために観察光としては第１観察光または第２観察光のみを照射し第１観察光と第２観察光は同時照射しないので、第２観察光の照射タイミングでは第１画像は得られない。例えば、図８の（ａ）部分に示すパターンで第１画像及び第２画像を取得する場合、画像５０６、５１２（第２画像）の取得タイミングでは第１画像が取得できない。そこで第１の実施形態では、以下のように「位置合わせ第１画像」（「第１画像に対して位置合わせのパラメータを適用することにより生成した、第２画像の撮影時刻における第１画像」）を生成し表示することで、第１画像についての実質的なフレームレートの低下を防止している（ステップＳ１２４）。位置合わせ第１画像の生成処理については、詳細を後述する。

ステップＳ１２６では、注目領域検出部２０４Ｃは第２画像から注目領域が検出されたか否かを判断する。判断が肯定されたら分類部２０４Ｄが注目領域を分類し（ステップＳ１２８）、判断が否定されたらステップＳ１０２に戻って第１の画像取得モードでの処理を繰り返す。なお、第１画像での分類（ステップＳ１１２）について上述したように、第２画像が第１観察光（白色光）よりも中心波長が短い青色狭帯域光により撮影されている場合は、病変等の微細な構造を分類するのに適しているため、少なくとも第２画像に基づいて注目領域を分類することが好ましい。

＜第２の画像取得モードでの画像取得＞

注目領域検出部２０４Ｃ（特定対象検出部、注目領域検出部）が注目領域を検出した場合、モード制御部２０４Ｂは第１の終了条件を満たすまで（ステップＳ１５４の判断がＹＥＳとなるまで）第２の画像取得モードにより画像取得部２０４Ａに第１画像及び第２画像を取得させ、ステップＳ１３２〜ステップＳ１５４の処理が繰り返される。第２の画像取得モードでは、あらかじめ決められた時間範囲における第１画像の取得フレーム数に対する第２画像の取得フレーム数の比を第１の比より高い第２の比として第１画像及び第２画像を取得する。第１の画像取得モードが図８の（ａ）部分に示す撮影パターン（第１の比：１／５）である場合、第２の画像取得モードは例えば図８の（ｂ）部分（第２の比：１／２）や（ｃ）部分に示す撮影パターン（第２の比：１）とすることができるが、第２画像の取得フレーム数の比に対する条件（第２の比は第１の比より高い）を満たす他のパターンでもよい。第２の画像取得モードが図８の（ｂ）部分（第２の比：１／２）に示すパターンである場合、第１画像についての処理（ステップＳ１３２〜ステップＳ１４０）を２フレーム分行い（ステップＳ１４０においてＮが２となるまで）、その後、第２画像についての処理（ステップＳ１４２〜ステップＳ１５２）を１フレーム分行う。このように、特定対象としての注目領域が検出された場合に第２画像の取得比率が高い第２の画像取得モードに移行するので、第２画像の必要性に応じて適切な撮影モードを設定することができる。

＜第１画像についての処理＞

第２の画像取得モードにおいて、第１画像の取得等の処理（図６のステップＳ１３２〜ステップＳ１３８）は第１の画像取得モードでの処理（ステップＳ１０２〜ステップＳ１０８）と同様に行うことができるので詳細な説明を省略する。

＜第２画像についての処理＞

ステップＳ１４０では、モード制御部２０４Ｂは「第１画像をＮフレーム処理したか否か」を判断する。例えば図８の（ｂ）部分に示す撮影パターンの場合、Ｎは２である。第１画像の処理（取得、注目領域検出、画像表示等）がＮフレーム行われるとステップＳ１４０の判断結果がＹＥＳになり、画像取得部２０４Ａ等の制御により第２観察光が照射されて第２画像が取得される（ステップＳ１４２，Ｓ１４４）。画像取得後の注目領域検出等の処理（ステップＳ１４６〜ステップＳ１５２）は上述したステップＳ１２０〜ステップＳ１２４と同様に行うことができる。

＜終了条件の充足に応じた画像取得モードの設定＞

モード制御部２０４Ｂは、第１の終了条件を満たすか否かを判断する（ステップＳ１５４）。判断が肯定された場合、すなわち第１の終了条件を満たした場合はステップＳ１００に戻り、モード制御部２０４Ｂは第１の画像取得モードで画像取得部２０４Ａに第１画像及び第２画像を取得させる。これにより、第２画像の必要性に応じて適切な撮影モードを設定して画像を取得し、また画像表示（第１画像の表示）のフレームレートの低下を防止することができる。「第１の終了条件」としては例えば設定時間の経過、指定枚数の静止画（注目領域が映った画像等）取得、注目領域が検出されなくなった、ユーザによる終了指示等を用いることができるが、これらの例に限定されるものではない。一方、ステップＳ１５４の判断が否定された場合（第１の終了条件を満たさない場合）はステップＳ１３２へ戻り、モード制御部２０４Ｂは引き続き第２の画像取得モードで画像取得部２０４Ａに第１画像及び第２画像を取得させる。

以上説明したように、特定対象（注目領域）を検出していない場合は第１の画像取得モード、検出した場合は第１の終了条件を満たすまで第２の画像取得モードとして第１画像及び第２画像を取得する。これにより検出結果に基づいた適切な撮影モードで画像（第１画像、第２画像）を取得し、第１画像による観察を継続しつつ、注目領域が検出されたら鑑別、分類等に適した第２画像による処理を行うことができる。

＜位置合わせ第１画像についての処理＞

以下、図１０のフローチャートを参照しつつ、図６のステップＳ１２４における位置合わせ第１画像についての処理について詳細に説明する。図７のステップＳ１５２における処理も同様である。

＜位置合わせ第１画像の生成に用いる画像＞

位置合わせ第１画像の生成には、例えば図８の（ｂ）部分の画像５２５（第１画像の例）と画像５２６（第２画像の例）のように、第１画像の欠落タイミング（第２画像である画像５２６の撮影タイミング）より前に取得された第１画像（画像５２５）を使用することができる。また、このようなパターン以外に、例えば撮影時刻が異なる複数の第１画像

（図８の（ｂ）部分では、例えば画像５２４，５２５）を用いてもよいし、第１画像の欠落タイミングより後に取得された第１画像（図８の（ｂ）部分では、例えば画像５２７）を用いてもよい。しかしながら、第２画像の撮影時刻より後の撮影時刻に撮影された第１画像を用いる場合、撮影時刻の時間差によっては位置合わせ第１画像の生成及び表示が遅れる可能性がある。また、撮影時刻の時間差がしきい値を超える場合、被写体の動き等に起因して撮影範囲、撮影角度等が変化し、位置合わせ精度が低下する可能性がある。

このような事情により、位置合わせ第１画像の生成においては、「第２画像の撮影時刻より前であって第２画像の撮影時刻との時間差がしきい値以下である撮影時刻に撮影された第１画像」を用いることが好ましい。これにより、時間遅れが少なくフレーム間での被写体の色味及び構造の変化が小さい位置合わせ第１画像を生成することができる。撮影時刻に対するしきい値は、位置合わせ精度、画像の生成及び表示の遅れに対する許容時間等に応じて定めることができる。以下では、第１画像としての画像５２５及び第２画像としての画像５２６を用いて位置合わせ第１画像を生成する場合について説明する。

＜位置合わせ前の補正（前処理）＞

第１画像と第２画像とでは、撮影タイミングに加えて観察光の波長が異なっている。これにより白色光を観察光とする第１画像（画像５２５）では、例えば図１１の（ａ）部分に示すように太い血管６０１は鮮明に映っているが、細かい血管６０２ははっきり映っていない。これに対し青色狭帯域光を観察光とする第２画像（画像５２６）では、例えば図１１の（ｂ）部分に示すように、第１画像（画像５２５）と比較して太い血管６０１は不鮮明であるが、細かい血管６０２は鮮明に映っている。そこで第１の実施形態では、画像処理部２０４（画像生成部２０４Ｉ）は第１観察光と第２観察光との相違に起因する第１画像と第２画像との差異を低減させる補正（前処理）を行う（ステップＳ２００：画像補正工程）。

具体的には、画像生成部２０４Ｉは第１画像の画像信号と第２画像の画像信号とのうち第１観察光と第２観察光とで共通する波長の成分を抽出し、抽出した波長の成分を第１画像の画像信号と第２画像の画像信号とのうち少なくとも一方に重み付けして、共通する波長の成分の信号強度を共通する波長の成分以外の成分の信号強度よりも相対的に強くした画像を生成する。第１の実施形態では第１観察光が白色光で第２観察光が青色光なので、画像生成部２０４Ｉは第１画像の画像信号と第２画像の画像信号とのうち共通する波長である青色光の成分の重みを強くする。図１２は画像５２５（第１画像）において青色光成分に重み付けをした状態を示す例であり、細かい血管６０２が相対的に強調されている。

第１の実施形態では、このような補正（前処理）により位置合わせ精度を向上させフレーム間での被写体の色味及び構造の変化が小さい画像（位置合わせ第１画像）を得ることができる。なお、上述のように共通する波長成分（青色光成分）に対して重み付けをするのではなく、共通する波長成分のみを用いて位置合わせ第１画像を生成してもよい。

＜パラメータの算出及び位置合わせ＞

パラメータ算出部２０４Ｈは、補正（前処理）を施した画像５２５（第１画像）と画像５２６（第２画像）とを位置合わせにより一致させるパラメータを算出する（ステップＳ２０２：パラメータ算出工程）。算出するパラメータは相対的な移動、回転、及び変形のうち少なくとも１つについてのパラメータであり、「変形」は拡大または縮小を含んでいてよい。画像生成部２０４Ｉは、生成したパラメータを補正後の第１画像（画像５２５）に適用して位置合わせ第１画像を生成する（ステップＳ２０４：画像生成工程）。なお、ステップＳ２０２、Ｓ２０４では、パラメータ算出部２０４Ｈが第１画像と第２画像との間の射影変換を行うパラメータを算出し、画像生成部２０４Ｉが算出したパラメータに基づく射影変換を第１画像に施して位置合わせ第１画像を生成することができる。位置合わせ第１画像の例（画像５８０）を図１３に示す。上述のように、パラメータ算出の際に第２画像を用いているが、位置合わせ第１画像は第１画像が移動、変形等されて生成されるので、第２画像の画素値の影響により位置合わせ第１画像の色味が変化することはない。

＜注目領域の検出及び分類＞

注目領域検出部２０４Ｃは、生成した位置合わせ第１画像から注目領域を検出する（ステップＳ２０６：注目領域検出工程）。また、分類部２０４Ｄは、検出した注目領域を分類する（ステップＳ２０８：注目領域分類工程）。位置合わせ第１画像についての注目領域の検出及び分類はステップＳ１０６，Ｓ１１２等について上述したのと同様に行うことができ、検出と分類とを一体として行ってもよい。

＜位置合わせ第１画像についての出力＞

表示制御部２０４Ｅ、注目領域検出部２０４Ｃ、及び分類部２０４Ｄは、位置合わせ第１画像についての出力を行う（ステップＳ２１０：表示制御工程、出力工程）。位置合わせ第１画像についての出力は、第１画像について上述したのと同様に、表示制御部２０４Ｅ、注目領域検出部２０４Ｃ、及び分類部２０４Ｄが位置合わせ第１画像、注目領域の検出結果を示す情報、注目領域の分類結果を示す情報をモニタ４００に表示する（表示制御工程、出力工程）他、これらの情報を記録部２０７に記録する（出力工程）こと等により行うことができる。位置合わせ第１画像についての出力は、第１画像についての出力に続いて順次行うことができる。例えば、表示制御部２０４ＥはＭフレーム（第１の画像取得モードの場合）またはＮフレーム（第２の画像取得モードの場合）の第１画像の表示と１フレームの位置合わせ第１画像の表示とを繰り返す（順次表示）。このような順次表示は、被写体の検査中にリアルタイムに行ってもよいし、第１画像及び位置合わせ第１画像を記録部２０７に記録しておきユーザが後から画像を見返す際に行ってもよい。なお、第１画像について上述した補正（青色光成分の重み付け）を行って位置合わせ第１画像を生成している場合、位置合わせ第１画像を出力（表示等）する際に、画像生成部２０４Ｉが波長成分のバランスを元に戻して白色光と同じにしてもよい。これにより、波長バランスの異なる画像がモニタ４００に表示されてユーザが違和感を覚えるのを防ぐことができる。

このように、第１の実施形態では、通常の第１画像の表示（ステップＳ１０８，Ｓ１３８）に加えて第１画像が取得できないタイミングでも位置合わせ第１画像を表示することができる（ステップＳ１２４，Ｓ１５２）。これにより第１画像のフレームレートの実質的な低下を防止し、ユーザは通常光（白色光）により撮影された通常光画像（第１画像）により観察を継続することができる。

＜注目領域についての出力＞

第１画像及び位置合わせ第１画像についての出力（表示、記録）において、表示制御部２０４Ｅ、注目領域検出部２０４Ｃ、及び分類部２０４Ｄは、第１画像及び／または位置合わせ第１画像から注目領域が検出されている場合は、注目領域の検出結果を示す情報及び／または注目領域の分類結果を示す情報を出力することができる。情報の出力は、表示制御部２０４Ｅ、注目領域検出部２０４Ｃ、及び分類部２０４Ｄが注目領域を示す情報（例えば注目領域の位置、大きさ）、及び／または分類結果を示す情報（例えば注目領域の種類、ポリープの分類、癌のステージ診断等）を文字、数字、記号、色彩等によりモニタ４００に表示することにより行うことができる。これらの情報は、第１画像及び／または位置合わせ第１画像に重畳表示してもよい。

図１４は注目領域についての情報の表示例を示す図である。図１４の（ａ）部分は注目領域６４２の位置を示す記号（矢印６４４）を画像６４０に重畳表示した状態を示している。また、図１４の（ｂ）部分は、注目領域６４２の大きさを測定するためのマーカ６４６（例えば、直径５ｍｍに相当する円）を画像６４０に重畳表示した状態を示している。

＜第１画像及び第２画像についての出力例＞

第１の実施形態では、上述した第１画像及び／または位置合わせ第１画像についての出力（ステップＳ１０８，Ｓ１３８，Ｓ２１０）に加えて、表示制御部２０４Ｅ、注目領域検出部２０４Ｃ、及び分類部２０４Ｄが第２画像について画像、注目領域の検出結果、注目領域の分類結果を出力（表示、記録）することができる（ステップＳ１２２，Ｓ１５０：表示制御工程、出力工程）。第２画像についての出力により、ユーザは通常光（白色光）による第１画像を連続的に観察しつつ、第２画像（上述の例では青色狭帯域光）により注目領域等を正確に検出、分類することができる。図１５は、第１画像（位置合わせ第１画像）である画像６５０及び第２画像である画像６６０をモニタ４００に表示した様子を示す図である。図１５は、注目領域６５２が検出され、その大きさを測定するためのマーカ６５４を表示した様子を示している。

このようなモニタ４００への表示に加えて、または表示に代えて、注目領域検出部２０４Ｃ、及び分類部２０４Ｄが、検出結果を示す情報及び／または分類結果を示す情報を、音声処理部２０９及びスピーカ２０９Ａにより音声出力してもよい。また、注目領域検出部２０４Ｃ、及び分類部２０４Ｄが、検出結果を示す情報及び／または分類結果を示す情報を記録部２０７に記録させてもよい。

位置合わせ第１画像についての処理（ステップＳ２００からステップＳ２１０まで）が終了したら、上述のようにステップＳ１２６へ進んで注目領域を検出したか否かを判断する。ステップＳ１５２において位置合わせ第１画像についての処理を行った場合はステップＳ１５４へ進んで第１の終了条件を満たすか否か判断する。

以上説明したように、第１の実施形態に係る内視鏡システム１０では、特定対象（注目領域）を検出していない場合は第１の画像取得モード、検出した場合は第１の終了条件を満たすまで第２の画像取得モードとして第１画像及び第２画像を取得する。これにより検出結果に基づいた適切な撮影モードで画像（第１画像、第２画像）を取得し、第１画像による観察を継続しつつ注目領域が検出されたら鑑別、分類等に適した第２画像による処理を行うことができる。また、複数の観察光（第１画像、第２画像）を用いて画像を取得する場合に、位置合わせ第１画像の生成及び表示により画像表示（第１画像）のフレームレートの実質的な低下を防止しつつ、フレーム間での被写体の色味及び構造の変化が小さい画像を得ることができ、これにより被写体の正確な構造を観察することができる。

＜特定対象が薬剤及び／または器材である場合の処理＞

図１６〜１８は特定対象が薬剤及び／器材である場合の処理を示すフローチャートである。処置の際は精細な操作が要求されることが多いので、画像表示（第１画像の表示）のフレームレートの低下は好ましくなく、また処置を行う段階では病変の鑑別結果が確定していると考えられるため、第２画像を利用した自動鑑別も必要性が低いと考えられる。このため、処置等に用いられる薬剤及び／または器材が検出された場合は第１画像の取得比率が第２の画像取得モードよりも高くなる第１の画像取得モードにすることが好ましい。また、病変に対して色素剤または染色剤を散布している場合、ユーザは病変の微細構造を精査するため、画像表示（第１画像の表示）のフレームレートの低下は好ましくない。このため、色素剤、染色剤等の薬剤が検出された場合は第１画像の取得比率が第２の画像取得モードよりも高くなる第１の画像取得モードにすることが好ましい。

なお、本態様においても、上述した注目領域についての処理の場合と同様に白色光を観察光（第１観察光）とした白色光画像（通常画像）を第１画像として取得し、狭帯域光としての青色光（中心波長は第１観察光より短い）を観察光（第２観察光）とした青色光画像（特殊光画像）を第２画像として取得する場合について説明する。しかしながら、観察光及び取得する画像はこのような組合せに限定されるものではなく、注目領域についての処理の場合と同様に第２画像は狭帯域光としての緑色光、赤色光、赤外光、紫色光等を観察光として取得した特殊光画像でもよい。また、第１観察光、第２観察光の双方を狭帯域光（例えば青色光と緑色光、あるいは波長の異なる赤色光等の、第１狭帯域光及び第２狭帯域光）としてとして第１画像及び第２画像を取得してもよい。なお、本態様においても、１つのフレームでは第１観察光のみ、または第２観察光のみを照射して第１画像、第２画像を撮影するものとする。

図１６のフローチャートにおいて、モード制御部２０４Ｂは、初期状態（薬剤及び／または器材を検出していない状態）では画像取得部２０４Ａを第２の画像取得モードに設定する（ステップＳ３００：モード制御工程）。なお、初期状態で第２の画像取得モードを設定する場合について説明するのは、初期状態で第１の画像取得モードに設定するのであれば、薬剤及び／または器材を検出した場合にモードを切り替えることなくそのまま第１の画像取得モードを継続すれば良いからである。

薬剤及び／または器材の検出の場合も、注目領域を特定対象とする場合と同様に第１，第２の画像取得モードを設定することができる。ここでは、第１の画像取得モードにおける画像取得パターンを図８の（ａ）部分に示すパターンとし、第２の画像取得モードにおける画像取得パターンを図８の（ｂ）部分に示すパターンとするが、画像取得のパターンはこの例に限定されるものではない。例えば、第１の画像取得モードは図９に示すパターンとし、第２の画像取得モードは図８の（ａ）部分に示すパターンとしてもよいし、第２画像の取得比率が異なる他のパターンを用いてもよい。

画像取得部２０４Ａは光源制御部３５０を制御して赤色光源３１０Ｒ、緑色光源３１０Ｇ、及び青色光源３１０Ｂを発光させて白色光（第１観察光）を被検体に照射し（ステップＳ３０２：撮影工程、画像取得工程）、撮影光学系１３０、撮像素子１３４等により被検体の画像（第１画像、通常光画像）を撮影する（ステップＳ３０４：撮影工程、画像取得工程）。撮影した画像は、画像入力コントローラ２０２を介して画像取得部２０４Ａが取得（入力）する（ステップＳ３０４：画像取得工程）。

＜薬剤の検出方法＞

検出器２０４Ｆ（特定対象検出部、検出器）は、取得した第１画像から、特定対象としての薬剤及び／または器材を検出する（ステップＳ３０６：特定対象検出工程、検出工程）。ステップＳ３０６における薬剤（色素剤、染色剤を含む）の検出は、例えば上述した特許文献１（特開２０１６−６２４８８号公報）に記載されている手法を用いて、色調特徴量に基づいて行うことができる。具体的には、画像処理部２０４（検出器２０４Ｆ）は医用画像の各画素におけるＲ（赤色），Ｇ（緑色），Ｂ（青色）の画素値に基づいて暗部画素及びハレーション画素を除外し、除外されなかった各画素について色調特徴量（Ｇ／Ｒ、Ｂ／Ｇ）を算出して、医用画像を分割した小ブロックごとに色調特徴量の平均値を算出する。Ｇ／Ｒについての平均値をμＧＲとし、Ｂ／Ｇについての平均値をμＢＧとしてμＧＲ、μＢＧをプロットすると、プロット結果は個々の薬剤（色素剤、染色剤等）により異なる分布を示す。したがって、検出対象薬剤についてのプロット結果（特徴量空間における位置）を個々の薬剤についての分布と比較することにより、取得した医用画像において使用されている薬剤を判別することができる。検出結果（例えば薬剤の種類、名称）に対しその種類を用いて行う処置、手技の内容等をあらかじめ関連付けておき、画像に付与する検出情報に含めてもよい。

なお、薬剤の検出は、「深層学習アルゴリズムに基づく注目領域の検出」の項で上述したのと同様に深層学習アルゴリズムにより行ってもよい。

＜器材の検出方法＞

ステップＳ３０６における器材の検出も、上述した特許文献１に記載されている手法を用いて行うことができる。具体的には、各処置具を鉗子チャネル（鉗子口１２６に連通する不図示の管路）に挿通した際の内視鏡画像をテンプレート画像とし、検出器２０４Ｆがテンプレート画像と検査時の内視鏡画像とを照合することにより、いずれかの処置具が使用されたことを検出する。テンプレート画像は処置具ごとに、鉗子チャネル方向、突出長、開閉状態が異なる画像を複数用意する。また回転により画像上の形状が変化する非対称形状の処置具については、回転角度が異なる画像を複数用意する。

内視鏡画像から処置具を検出するために、検出器２０４Ｆは内視鏡画像（ここでは、第１画像）からエッジを検出する。エッジ検出用の画像にはＲ画像（赤色画素の画素信号から生成した画像）またはＧ画像（緑色画素の画素信号から生成した画像）を用いる。処置具シースが赤い場合はＧ画像を用いるとよい。エッジ画像内からテンプレートマッチング、ハフ変換などを用いて線分形状を検出し、検出した線分形状とテンプレート画像を照合し、一致度を算出する。一致度が最も高いテンプレート画像の処置具を検出結果とする。

なお、検出結果（例えば器材の種類、名称）に対しその器材を用いて行う処置、手技の内容等をあらかじめ関連付けておき、画像に付与する検出情報に含めてもよい。

なお器材の検出は、薬剤の検出と同様に深層学習アルゴリズムを用いて行ってもよい。

＜第１画像の表示及び記録＞

検出器２０４Ｆ及び表示制御部２０４Ｅは、白色光画像（第１画像）についての出力（表示、記録）を行う（ステップＳ３０８：表示制御工程、出力工程）。出力は、注目領域の場合と同様に、白色光画像（第１画像）、検出結果を示す情報等をモニタ４００に表示する（表示制御工程）他、これらの情報を記録部２０７に記録する（出力工程）、スピーカ２０９Ａから音声出力する等により行うことができる。また、第１画像（及び位置合わせ第１画像）を動画像として連続的に記録しつつ、薬剤及び／または器材が検出されたフレームを静止画像として記録してもよい。

検出器２０４Ｆは取得した第１画像から薬剤及び／または器材が検出されたか否か判断し（ステップＳ３１０）、判断が肯定された場合はステップＳ３２６へ進む。この場合、モード制御部２０４Ｂは第２の終了条件を満たすまで第１の画像取得モードにより画像取得部２０４Ａに第１画像及び第２画像を取得させる（ステップＳ３２８〜ステップＳ３４８）。一方、ステップＳ３１０の判断が否定された場合は、Ｎフレーム（Ｎは整数；図８の（ｂ）部分のパターンの場合は２）の第１画像について処理を繰り返し（ステップＳ３１２でＮＯの間）、この処理が終了したら（ステップＳ３１２でＹＥＳ）、ステップＳ３１４に進む。

ステップＳ３１４では、画像取得部２０４Ａは光源制御部３５０を制御して青色光源３１０Ｂを発光させて青色狭帯域光（特殊光、第２観察光）を被検体に照射し（撮影工程、画像取得工程）、撮影光学系１３０、撮像素子１３４等により被検体の画像（第２画像、特殊光画像）を撮影（取得）する（ステップＳ３１６：撮影工程、画像取得工程）。取得した第２画像に対する薬剤及び／または器材の検出処理（ステップＳ３１８）、出力（表示、記録）処理（ステップＳ３２０）等は第１画像と同様に実施することができる。また、位置合わせ第１画像の処理（図１７のステップＳ３２２）についても上述したステップＳ１２４と同様に実施することができ、これにより第１画像のフレームレートの実質的な低下を防止し、ユーザは通常光（白色光）により撮影された通常光画像（第１画像）により観察を継続することができる。

検出器２０４Ｆは、取得した第２画像から薬剤及び／または器材が検出されたか否か判断し（ステップＳ３２４）、判断が肯定された場合はステップＳ３２６へ進んで第１の画像取得モードによる画像取得を行う。一方、ステップＳ３２４の判断が否定された場合はステップＳ３０２に戻り、第２の画像取得モードによる画像取得（第１画像、第２画像）を継続する。

ステップＳ３２６では、モード制御部２０４Ｂは画像取得部２０４Ａを第１の画像取得モードに設定し、第２の終了条件を満たすまで（ステップＳ３３４またはステップＳ３４８でＹＥＳ）、第１の画像取得モードにより画像取得部２０４Ａに第１画像及び第２画像を取得させ、取得した画像に対し薬剤及び／または器材の検出等の処理を行う（ステップＳ３２８〜ステップＳ３４８）。第１画像及び第２画像の取得、及びこれら画像に関する処理（ステップＳ３２８〜ステップＳ３４８）は第２画像の取得比率の相違を除けばステップＳ３０２〜ステップＳ３２４について上述した内容と同様なので、詳細な説明を省略する。なお、ここでは第１の画像取得モードが図８の（ａ）部分に示すパターン、第２の画像取得モードが図８の（ｂ）部分に示すパターンであるとしており、この場合は第１の画像取得モードで第２画像の取得比率（第１の比）がゼロでないので、第１の画像取得モードでも第２画像を取得する。しかしながら第１の画像取得モードにおいて第２画像の取得比率がゼロである場合（第１の画像取得モードが図９に示すパターン）である場合は、ステップＳ３３６〜ステップＳ３４６の処理は行われない。

ステップＳ３３４、Ｓ３４８における「第２の終了条件」としては、例えば規定時間の経過、薬剤及び／または器材が検出されなくなる、規定枚数の静止画取得、ユーザの終了指示等を用いることができるが、これらの例に限定されるものではない。ステップＳ３３４またはステップＳ３４８（図１８）で第２の終了条件を満たした場合はステップＳ３００に戻り、モード制御部２０４Ｂは第２の画像取得モードにより画像取得部２０４Ａに第１画像及び第２画像を取得させる（ステップＳ３０２〜ステップＳ３２４）。

以上説明したように、内視鏡システム１０では、特定対象としての薬剤及び／または器材を検出した場合は第２の終了条件を満たすまで第１の画像取得モードとして第１画像及び第２画像を取得する。これにより検出結果に基づいた適切な撮影モードで画像（第１画像、第２画像）を取得し、注目領域が検出されたら精細な操作や微細構造の観察等に適した第１の画像取得モードで画像の取得、表示を行うことができる。また、第１の画像取得モードでは第１画像の取得比率が第１の画像取得モードよりも高いので、画像表示（第１画像）のフレームレートの低下を防止することができる。また、複数の観察光（第１画像、第２画像）を用いて画像を取得する場合に、位置合わせ第１画像の生成及び表示により画像表示（第１画像）のフレームレートの実質的な低下を防止しつつ、フレーム間での被写体の色味及び構造の変化が小さい画像を得ることができ、これにより被写体の正確な構造を観察することができる。

＜光源の他の構成及び本発明を適用する効果＞

本発明の内視鏡システムにおける光源の他の構成の例、及びその場合に本発明を適用する効果について説明する。

（例１）

図１９に示すように、光源装置３２０（光源装置）は、励起光としての白色光用レーザを照射する白色光用レーザ光源３１２（白色光用レーザ光源）と、白色光用レーザを照射されることにより第１観察光としての白色光を発光する蛍光体３１４（蛍光体）と、第２観察光としての狭帯域光（例えば、青色狭帯域光とすることができるが、緑色狭帯域光、赤色狭帯域光でもよい）を照射する狭帯域光用レーザ光源３１６（狭帯域光用レーザ光源）と、を備える。光源装置３２０は光源制御部３５０により制御される。なお、図１９において、内視鏡システム１０の構成要素のうち光源装置３２０及び光源制御部３５０以外は図示を省略している。第１観察光としての白色光を得るために白色光用レーザ光源３１２を用いる場合、第２画像の取得比率が高いと（例えば、上述した図８の（ｃ）部分に示すパターンの場合）第１観察光の照射と非照射の繰り返しが多くなり、このため白色光用レーザ光源３１２の励起と非励起の繰り返しが多くなり光源の劣化が早まる可能性がある。

しかしながら、内視鏡システム１０は本発明に係る画像処理装置を備えるので、その画像処理装置を備えることの有利な効果が奏される。すなわち、第２画像の必要性が低い場合（例えば、特定対象としての注目領域が検出されない場合、あるいは特定対象としての薬剤及び／または器材が検出された場合）にまで第２の画像取得モードが設定されて第２画像の取得比率が高くなり第１観察光の照射と非照射の繰り返しの増加により光源の劣化が無駄に早まるのを防止することができる。

（例２）

図２０に示すように、光源装置３２２（光源装置）は、白色光を発光する白色光源３１８（白色光源）と、白色光を透過させる白色光領域と狭帯域光を透過させる狭帯域光領域とが形成された回転フィルタ３６０（白色光フィルタ、狭帯域光フィルタ）と、回転フィルタ３６０の回転を制御して白色光の光路に白色光領域または狭帯域光領域を挿入する回転フィルタ制御部３６３（第１のフィルタ切替制御部）とを備える。白色光源３１８及び回転フィルタ制御部３６３は光源制御部３５０により制御される。なお、図２０において、内視鏡システム１０の構成要素のうち光源装置３２２及び光源制御部３５０以外は図示を省略している。回転フィルタ３６０の回転を制御して複数種類の観察光（例えば第１観察光としての白色光と、第２観察光としての狭帯域光）を生成する場合、回転フィルタ３６０の回転とイメージセンサ（撮像素子１３４）の読み出しタイミングとの同期ズレにより第１画像及び／または第２画像の色バランスが崩れる可能性がある。しかしながら、内視鏡システム１０は本発明に係る画像処理装置を備えるので、その画像処理装置を備えることの有利な効果が奏される。すなわち、第２画像の必要性が低い場合（例えば、特定対象としての注目領域が検出されない場合、あるいは特定対象としての薬剤及び／または器材が検出された場合）にまで第２の画像取得モードが設定され光源またはフィルタの切替回数が増えて第１画像及び／または第２画像の色バランスが崩れる度合いを低減することができる。

なお、例２において、白色光源３１８は広帯域の光を発する白色光源を用いていてもよいし、赤色、青色、緑色の光を発する光源を同時に照射させることで白色光を発生させてもよい。また、このような回転フィルタ３６０及び回転フィルタ制御部３６３を、図２に示す光源３１０に設けてもよい。

図２１は回転フィルタ３６０の例を示す図である。図２１の（ａ）部分に示す例では、回転フィルタ３６０には白色光を透過させる２つの円形の白色光領域３６２（白色光フィルタ）と狭帯域光を透過させる１つの円形の狭帯域光領域３６４（狭帯域光フィルタ）とが形成され、回転フィルタ制御部３６３（第１のフィルタ切替制御部）の制御により回転軸３６１の周りに回転することで白色光領域３６２または狭帯域光領域３６４が白色光の光路に挿入され、これにより被写体に白色光または狭帯域光が照射される。狭帯域光領域３６４は赤色、青色、緑色、紫色等任意の狭帯域光を透過させる領域とすることができる。また、白色光領域３６２及び狭帯域光領域３６４の数及び配置は図２１の（ａ）部分に示した例に限られず、白色光及び狭帯域光の照射比率に応じて変更してよい。

白色光領域及び狭帯域光領域の形状は、図２１の（ａ）部分に示したように円形に限らず図２１の（ｂ）部分に示すように扇型でもよい。図２１の（ｂ）部分は、回転フィルタ３６０の４分の３を白色光領域３６２とし、４分の１を狭帯域光領域３６４とした例を示している。扇型の面積は、白色光と狭帯域光の照射比率に応じて変更することができる。なお、図２１の例において、それぞれ異なる狭帯域光に対応した複数の狭帯域光領域を回転フィルタ３６０に設けてもよい。

図２２は回転フィルタの他の例を示す図である。図２２示す回転フィルタに対する白色光源としては、図２０に示す光源装置３２２と同様に白色光源３１８を用いることができる。また、図２２の（ａ）部分に示す回転フィルタ３６９は図２０，２１に示す回転フィルタ３６０と異なり白色光を透過させる白色光領域が設けられておらず、白色光のうち第１狭帯域光の成分を透過させる２つの円形の第１狭帯域光領域３６５（第１狭帯域光フィルタ）と、第２狭帯域光の成分を透過させる１つの円形の第２狭帯域光領域３６７（第２狭帯域光フィルタ）とが設けられている。このような回転フィルタ３６９を回転フィルタ制御部３６３（図２０参照；第２のフィルタ切替制御部）により回転軸３６１の周りに回転させることで、白色光源３１８が発光する白色光の光路に第１狭帯域光領域３６５（第１狭帯域光フィルタ）または第２狭帯域光領域３６７（第２狭帯域光フィルタ）が挿入され、第１狭帯域光または第２狭帯域光を被写体に照射することができる。

第１狭帯域光領域３６５及び第２狭帯域光領域３６７の形状は、図２２の（ａ）部分に示したように円形に限らず図２２の（ｂ）部分に示すように扇型でもよい。図２２の（ｂ）部分は、回転フィルタ３６９の３分の２を第１狭帯域光領域３６５とし、３分の１を第２狭帯域光領域３６７とした例を示している。扇型の面積は、第１狭帯域光と第２狭帯域光の照射比率に応じて変更することができる。なお、図２２の例において、それぞれ異なる狭帯域光に対応した３種類以上の狭帯域光領域を回転フィルタ３６９に設けてもよい。

回転フィルタ制御部３６３によりフィルタを切り替えて複数種類の観察光（第１狭帯域光、第２狭帯域光）を生成する場合、フィルタの切替とイメージセンサ（撮像素子１３４）の読み出しタイミングとの同期ズレにより第１画像及び／または第２画像の色バランスが崩れる可能性がある。しかしながら、内視鏡システム１０は本発明に係る画像処理装置を備えるので、その画像処理装置を備えることの有利な効果が奏される。すなわち、第２画像の必要性が低い場合（例えば、特定対象としての注目領域が検出されない場合、あるいは特定対象としての薬剤及び／または器材が検出された場合）にまで第２の画像取得モードが設定され光源またはフィルタの切替回数が増えて第１画像及び／または第２画像の色バランスが崩れる度合いを低減することができる。

（付記）

上述した実施形態の各態様に加えて、以下に記載の構成も本発明の範囲に含まれる。

（付記１）

医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、

医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

（付記２）

医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、

医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

（付記３）

医療画像解析結果取得部は、

医療画像の解析結果を記録する記録装置から取得し、

解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。

（付記４）

医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。

（付記５）

医療画像は、特定の波長帯域の光を照射して得た画像であり、

特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。

（付記６）

特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。

（付記７）

特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

（付記８）

特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。

（付記９）

特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

（付記１０）

特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。

（付記１１）

特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

（付記１２）

医療画像は生体内を写した生体内画像であり、

生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。

（付記１３）

蛍光は、ピークが３９０以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。

（付記１４）

医療画像は生体内を写した生体内画像であり、

特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。

（付記１５）

特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

（付記１６）

医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、

医療画像は特殊光画像である医療画像処理装置。

（付記１７）

特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得る医療画像処理装置。

（付記１８）

白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、

医療画像は特徴量画像である医療画像処理装置。

（付記１９）

付記１から１８のいずれか１つに記載の医療画像処理装置と、

白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、

を備える内視鏡装置。

（付記２０）

付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。

（付記２１）

付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。

以上で本発明の実施形態及び他の態様に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１０ 内視鏡システム

１００ 内視鏡本体

１０２ 手元操作部

１０４ 挿入部

１０６ ユニバーサルケーブル

１０８ ライトガイドコネクタ

１１２ 軟性部

１１４ 湾曲部

１１６ 先端硬質部

１１６Ａ 先端側端面

１２３ 照明部

１２３Ａ 照明用レンズ

１２３Ｂ 照明用レンズ

１２６ 鉗子口

１３０ 撮影光学系

１３２ 撮影レンズ

１３４ 撮像素子

１３６ 駆動回路

１３８ ＡＦＥ１４１ 送気送水ボタン

１４２ 吸引ボタン

１４３ 機能ボタン

１４４ 撮影ボタン

１７０ ライトガイド

２００ プロセッサ

２０２ 画像入力コントローラ

２０４ 画像処理部

２０４Ａ 画像取得部

２０４Ｂ モード制御部

２０４Ｃ 注目領域検出部

２０４Ｄ 分類部

２０４Ｅ 表示制御部

２０４Ｆ 検出器

２０４Ｇ 比率設定部

２０４Ｈ パラメータ算出部

２０４Ｉ 画像生成部

２０５ 通信制御部

２０６ ビデオ出力部

２０７ 記録部

２０８ 操作部

２０９ 音声処理部

２０９Ａ スピーカ

２１０ ＣＰＵ２１１ ＲＯＭ２１２ ＲＡＭ３００ 光源装置

３１０ 光源

３１０Ｂ 青色光源

３１０Ｇ 緑色光源

３１０Ｒ 赤色光源

３１２ 白色光用レーザ光源

３１４ 蛍光体

３１６ 狭帯域光用レーザ光源

３１８ 白色光源

３２０ 光源装置

３２２ 光源装置

３３０ 絞り３４０ 集光レンズ

３５０ 光源制御部

３６０ 回転フィルタ

３６１ 回転軸

３６２ 白色光領域

３６３ 回転フィルタ制御部

３６４ 狭帯域光領域

３６５ 第１狭帯域光領域

３６７ 第２狭帯域光領域

３６９ 回転フィルタ

４００ モニタ

５０１ 画像

５０２ 画像

５０３ 画像

５０４ 画像

５０５ 画像

５０６ 画像

５０７ 画像

５０８ 画像

５０９ 画像

５１０ 画像

５１１ 画像

５１２ 画像

５２１ 画像

５２２ 画像

５２３ 画像

５２４ 画像

５２５ 画像

５２６ 画像

５２７ 画像

５３２ 画像

５４１ 画像

５４２ 画像

５４３ 画像

５４４ 画像

５４５ 画像

５４６ 画像

５４７ 画像

５４８ 画像

５４９ 画像

５５０ 画像

５５１ 画像

５５２ 画像

５６１ 画像

５６２ 画像

５６３ 画像

５６４ 画像

５６５ 画像

５６６ 画像

５６７ 画像

５６８ 画像

５６９ 画像

５７０ 画像

５７１ 画像

５７２ 画像

６０１ 血管

６０２ 血管

６４０ 画像

６４２ 注目領域

６４４ 矢印

６４６ マーカ

６５０ 画像

６５２ 注目領域

６５４ マーカ

６６０ 画像

Ｓ１００〜Ｓ３４８ 画像処理方法の各ステップ

ｔ 時間軸

Ｔ 時間範囲

Claims (18)

1. 
   それぞれ異なる時刻に撮影された第１画像及び第２画像を取得する画像取得部であって、第１観察光により撮影された第１画像と、前記第１観察光とは異なる第２観察光により撮影された第２画像と、を取得する画像取得部と、
   
   あらかじめ決められた時間範囲における前記第１画像の取得フレーム数に対する前記第２画像の取得フレーム数の比を第１の比として前記第１画像及び前記第２画像を取得する第１の画像取得モードと、前記時間範囲における前記第１画像の取得フレーム数に対する前記第２画像の取得フレーム数の比を前記第１の比より高い第２の比として前記第１画像及び前記第２画像を取得する第２の画像取得モードと、のいずれかにより前記画像取得部に前記第１画像及び前記第２画像を取得させるモード制御部と、
   
   前記第１画像及び／または前記第２画像から特定対象を検出する特定対象検出部と、
   
   前記第１画像を表示装置に表示させる表示制御部と、
   
   を備え、
   
   前記モード制御部は、前記特定対象の検出結果に基づいて前記第１の画像取得モードまたは前記第２の画像取得モードにより前記画像取得部に前記第１画像及び前記第２画像を取得させる画像処理装置。
   
2. 
   前記特定対象検出部は注目領域を検出する注目領域検出部であり、
   
   前記注目領域検出部が前記注目領域を検出していない場合、前記モード制御部は前記第１の画像取得モードにより前記画像取得部に前記第１画像及び前記第２画像を取得させ、
   
   前記注目領域検出部が前記注目領域を検出した場合、前記モード制御部は第１の終了条件を満たすまで前記第２の画像取得モードにより前記画像取得部に前記第１画像及び前記第２画像を取得させる請求項１に記載の画像処理装置。
   
3. 
   前記モード制御部は、前記第１の終了条件を満たした場合は前記第１の画像取得モードで前記画像取得部に前記第１画像及び前記第２画像を取得させる請求項２に記載の画像処理装置。
   
4. 
   前記第１画像及び前記第２画像のうち少なくとも前記第２画像に基づいて前記注目領域を分類する分類部をさらに備える請求項２または３に記載の画像処理装置。
   
5. 
   前記表示制御部は前記分類の結果を示す情報を前記表示装置に表示させる請求項４に記載の画像処理装置。
   
6. 
   前記特定対象検出部は被検体に使用されている薬剤及び／または器材を検出する検出器であり、
   
   前記検出器が前記薬剤及び／または器材を検出した場合、前記モード制御部は第２の終了条件を満たすまで前記第１の画像取得モードにより前記画像取得部に前記第１画像及び前記第２画像を取得させる請求項１に記載の画像処理装置。
   
7. 
   前記モード制御部は、前記第１の比及び／または前記第２の比を設定する比率設定部を有する請求項１から６のいずれか１項に記載の画像処理装置。
   
8. 
   前記比率設定部は、前記第１の比をゼロに設定し、前記第２の比をゼロより高い値に設定する請求項７に記載の画像処理装置。
   
9. 
   前記第１画像と前記第２画像とを位置合わせするパラメータを算出するパラメータ算出部と、
   
   前記パラメータを前記第１画像に適用して位置合わせ第１画像を生成する画像生成部と、をさらに備え、
   
   前記表示制御部は、前記第２画像を取得したタイミングでは前記位置合わせ第１画像を前記表示装置に表示させる請求項１から８のいずれか１項に記載の画像処理装置。
   
10. 
    前記パラメータ算出部は、前記第２画像と、前記第２画像の撮影時刻より前であって前記第２画像の前記撮影時刻との時間差がしきい値以下である撮影時刻に撮影された前記第１画像と、を位置合わせする前記パラメータを算出する請求項９に記載の画像処理装置。
    
11. 
    前記画像取得部は、中心波長が前記第１観察光よりも短い光を前記第２観察光として撮影された画像を前記第２画像として取得する請求項１から１０のいずれか１項に記載の画像処理装置。
    
12. 
    請求項１から１１のいずれか１項に記載の画像処理装置と、
    
    前記表示装置と、
    
    被検体に挿入される挿入部であって、先端硬質部と、前記先端硬質部の基端側に接続された湾曲部と、前記湾曲部の基端側に接続された軟性部とを有する挿入部と、前記挿入部の基端側に接続された手元操作部と、を有する内視鏡と、
    
    前記第１観察光または前記第２観察光を前記被検体に照射する光源装置と、
    
    前記被検体の光学像を結像させる撮影レンズと、前記撮影レンズにより前記光学像が結像される撮像素子と、を有する撮像部と、
    
    を備え、
    
    前記撮影レンズは前記先端硬質部に設けられる内視鏡システム。
    
13. 
    前記光源装置は、前記第１観察光として赤色、青色、及び緑色の波長帯域の光を含む白色光を前記被検体に照射し、前記第２観察光として赤色、青色、及び緑色のうちいずれかの波長帯域に対応する狭帯域光を前記被検体に照射する請求項１２に記載の内視鏡システム。
    
14. 
    前記光源装置は、励起光としての白色光用レーザを照射する白色光用レーザ光源と、前記白色光用レーザを照射されることにより前記第１観察光としての前記白色光を発光する蛍光体と、前記第２観察光としての前記狭帯域光を照射する狭帯域光用レーザ光源と、を備える請求項１３に記載の内視鏡システム。
    
15. 
    前記光源装置は、前記白色光を発光する白色光源と、前記白色光を透過させる白色光フィルタと、前記白色光のうち前記狭帯域光の成分を透過させる狭帯域光フィルタと、前記白色光源が発光する前記白色光の光路に前記白色光フィルタまたは前記狭帯域光フィルタを挿入する第１のフィルタ切替制御部と、を備える請求項１３に記載の内視鏡システム。
    
16. 
    前記光源装置は、前記第１観察光として赤色、青色、及び緑色のうちいずれかの波長帯域に対応する第１狭帯域光を前記被検体に照射し、前記第２観察光として赤色、青色、及び緑色のうちいずれかの波長帯域に対応し前記第１狭帯域光とは波長帯域が異なる第２狭帯域光を前記被検体に照射する請求項１２に記載の内視鏡システム。
    
17. 
    前記光源装置は、赤色、青色、及び緑色の波長帯域の光を含む白色光を発光する白色光源と、前記白色光のうち前記第１狭帯域光の成分を透過させる第１狭帯域光フィルタと、
    
    前記白色光のうち前記第２狭帯域光の成分を透過させる第２狭帯域光フィルタと、前記白色光源が発光する前記白色光の光路に前記第１狭帯域光フィルタまたは前記第２狭帯域光フィルタを挿入する第２のフィルタ切替制御部と、を備える請求項１６に記載の内視鏡システム。
    
18. 
    それぞれ異なる時刻に撮影された第１画像及び第２画像を取得する画像取得工程であって、第１観察光により撮影された第１画像と、前記第１観察光とは異なる第２観察光により撮影された第２画像と、を取得する画像取得工程と、
    
    あらかじめ決められた時間範囲における前記第１画像の取得フレーム数に対する前記第２画像の取得フレーム数の比を第１の比として前記第１画像及び前記第２画像を取得する第１の画像取得モードと、前記時間範囲における前記第１画像の取得フレーム数に対する前記第２画像の取得フレーム数の比を前記第１の比より高い第２の比として前記第１画像及び前記第２画像を取得する第２の画像取得モードと、のいずれかにより前記画像取得工程で前記第１画像及び前記第２画像を取得させるモード制御工程と、
    
    前記第１画像及び／または前記第２画像から特定対象を検出する特定対象検出工程と、
    
    を有し、
    
    前記モード制御工程は、前記特定対象の検出結果に基づいて前記第１の画像取得モードまたは前記第２の画像取得モードにより前記画像取得工程で前記第１画像及び前記第２画像を取得させる画像処理方法。

Images