JPWO2020036109A1 - 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 - Google Patents

Abstract

注目領域の検出に基づく表示が医用画像の観察の妨げとなることを防止することが可能な医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法を提供する。プロセッサ装置（１６）は、画像信号取得部（５０）と、画像処理部（５６）と、表示制御部（５８）とを備えている。画像信号取得部（５０）は、内視鏡（１２）から、観察モードに対応したデジタル画像信号を取得する。画像処理部（５６）は、注目領域検出モード画像処理部（６４）を備えている。注目領域検出モード画像処理部（６４）は、内視鏡画像に対して注目領域の検出を行い、注目領域の検出結果および注目領域の累計検出時間を出力する。

Description

本発明は、病変部などの注目領域を検出するための医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法に関する。

医療分野においては、内視鏡画像、X線画像、CT（Computed Tomography）画像、MR（Magnetic Resonanse）画像などの医用画像を用いて、患者の病状の診断や経過観察などの画像診断が行われている。このような画像診断に基づいて、医師などは治療方針の決定などを行っている。

近年、医用画像を用いた画像診断においては、医用画像を解析して臓器内の病変や腫瘍など注意して観察すべき注目領域を自動的に検出することが行われつつある。特に、ディープラーニングなどの機械学習を行うことによって、注目領域を検出する精度が飛躍的に向上している。

特許文献１には、医用画像から病変部などの注目領域を検出した場合、検出結果に基づいて画像処理を行う医用画像処理装置が記載されている。この特許文献１記載の医用画像処理装置では、注目領域が検出された場合、表示態様を変更する経過時間を設定し、この設定された経過時間が経過するまでの間、注目領域に対するアラート情報が付加または重畳などされた表示画像が生成されて、表示部に表示される。

特開２０１１−１６０８４８号公報

しかしながら、特許文献１記載の医用画像処理装置では、注目領域が検出された場合、設定された経過時間が経過するまでの間は、アラート情報を表示する。この場合、医用画像内に注目領域が存在しなくなっても、経過時間が経過するまでは、アラート情報を表示し続けることになるため、医師が観察を行う際、医用画像内に既に存在しない注目領域を探してしまうという事態が起こり、アラート情報が医師による観察の妨げになる可能性がある。

本発明は、注目領域の検出に基づく表示が医用画像の観察の妨げとなることを防止することが可能な医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法を提供することを目的とする。

本発明の医用画像処理装置は、医用画像取得部と、注目領域検出部と、累計検出時間計測部と、表示制御部とを有する。医用画像取得部は、観察対象を撮像部で撮像して医用画像を取得する。注目領域検出部は、医用画像取得部により取得した医用画像に対して観察対象内の注目領域を検出する。累計検出時間計測部は、注目領域が検出されている累計検出時間を計測する。表示制御部は、医用画像に対して注目領域検出部により検出した注目領域を強調表示させる表示制御部であって、累計検出時間に応じて強調表示を変化させる。

表示制御部は、注目領域の検出開始の際、強調表示の強調量が最大となり、累計検出時間の増加に応じて強調量を徐々に低下させることが好ましい。

累計検出時間計測部は、撮像部による撮像中に、注目領域検出部により複数の注目領域が検出された場合、検出された注目領域毎に累計検出時間を計測し、表示制御部は注目領域毎の累計検出時間に応じて強調表示を変化させることが好ましい。

注目領域検出部により過去検出された注目領域毎の累計検出時間と注目領域毎の特徴量を表す特徴量情報とを関連付けて記憶する注目領域記憶部と、注目領域記憶部に記憶された注目領域の特徴量のいずれかと注目領域検出部により新たに検出された注目領域の特徴量との類似度から、過去検出された注目領域のいずれかと同一であるか否かを判定する同一注目領域判定部と、を有し、累計検出時間計測部は、撮像部による撮像中に、同一注目領域判定部により過去検出された注目領域のいずれかと同一であると判定された場合、同一であると判定された過去の注目領域に関する累計検出時間を引き継いで計測し、同一注目領域判定部により過去検出された注目領域のいずれとも同一ではないと判定された場合、注目領域検出部により新たに検出された注目領域に関して累計検出時間をリセットしてから計測開始することが好ましい。

注目領域記憶部は、過去検出された各注目領域毎の直近の検出時刻を累計検出時間及び特徴量情報に関連付けて記憶し、累計検出時間計測部は、撮像部による撮像中に、新たに検出された注目領域が同一注目領域判定部により過去検出された注目領域のいずれかと同一であると判定された場合であり、かつ直近の検出時刻と、注目領域が新たに検出された検出時刻との時間間隔が所定値より大きい場合に、注目領域検出部により新たに検出された注目領域に関して累計検出時間をリセットしてから計測開始することが好ましい。

観察対象内で特定の処置が行われたことを認識する処置認識部を備え、累計検出時間計測部は、撮像部による撮像中に、処置認識部により特定の処置が行われたことを認識した場合に、注目領域検出部により新たに検出された注目領域に関して累計検出時間をリセットしてから計測開始することが好ましい。

表示制御部は、強調表示として、医用画像内の注目領域の位置に図形を重畳表示することがこのましい。また、表示制御部は、累計検出時間に応じて強調表示として表示する図形の色を変化させることが好ましい。さらにまた、表示制御部は、累計検出時間に応じて注目領域に重畳させる図形の透過度を変化させることが好ましい。

表示制御部は、累計検出時間に応じて強調表示として表示する図形の形状を変化させることが好ましい。また、表示制御部は、強調表示として、注目領域を囲む枠形状の図形を表示させ、累計検出時間に応じて図形の枠の太さを変化させることが好ましい。

表示制御部は、注目領域の色の変更により強調表示を行い、累計検出時間に応じて注目領域の変更前の色に戻すことが好ましい。

本発明の内視鏡システムは、光源装置と、内視鏡と、医用画像取得部と、累計検出時間計測部と、表示制御部と、表示部とを備える。光源装置は、観察対象を照明するための照明光を発する。内視鏡は、照明光で照明された観察対象を撮像する撮像部を有する。医用画像取得部は、撮像部で観察対象を撮像して得られる医用画像を取得する。注目領域検出部は、医用画像取得部により取得した医用画像に対して観察対象内の注目領域を検出する。累計検出時間計測部は、注目領域が検出されている累計検出時間を計測する。表示制御部は、医用画像に対して注目領域検出部により検出した注目領域を強調表示させる表示制御部であって、累計検出時間に応じて強調表示を変化させる。表示部は、医用画像及び強調表示を表示する。

本発明の医療用画像処理装置の作動方法は、医用画像取得部が、観察対象を撮像部で撮像して医用画像を取得するステップと、認識処理部が、医用画像取得部により取得した医用画像に対して観察対象内の注目領域を検出するステップと、累計検出時間計測部が、注目領域が検出されている累計検出時間を計測するステップと、表示制御部が、医用画像に対して注目領域検出部により検出した注目領域を強調表示させ、累計検出時間に応じて強調表示を変化させるステップとを含んでいる。

本発明によれば、注目領域の検出に基づく表示が医用画像の観察を妨げとなることを防止することができる。

内視鏡システムの外観図である。 複数のLED光源を備える第１実施形態の内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、青色光Ｂｘ、緑色光Ｇ、赤色光Ｒの分光スペクトルを示すグラフである。 第１実施形態の通常光の分光スペクトルを示すグラフである。 第１実施形態の特殊光の分光スペクトルを示すグラフである。 注目領域検出モード画像処理部及び表示制御部の機能を示すブロック図である。 表示制御部が注目領域の強調表示を行う場合の表示画面の一例であり、表示画面の変化を時系列順に示す説明図である。 注目領域検出モードの一連の流れを示すフローチャートである。 第２実施形態における表示制御部が複数の注目領域の強調表示を行う場合の累計検出時間と強調表示の関係を示す説明図である。 図９に示す表示画面とそれぞれ対応し、表示画面の変化を時系列順に示す説明図である。 第３実施形態における注目領域検出モード画像処理部及び表示制御部の機能を示すブロック図である。 第３実施形態における同一注目領域判定部が同一判定を行う場合の累計検出時間と強調表示の関係を示す説明図である。 第４実施形態における同一注目領域判定部が同一判定を行う場合の累計検出時間と強調表示の関係を示す説明図である。 第５実施形態図における注目領域検出モード画像処理部及び表示制御部の機能を示すブロック図である。 第５実施形態図における処置認識部が処置認識を行う場合の累計検出時間と強調表示の関係を示す説明図である。 注目領域の強調表示を行う場合の第１変形例を示す説明図である。 注目領域の強調表示を行う場合の第２変形例を示す説明図である。

［第１実施形態］
図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８（表示部）と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１３ａを操作することにより、湾曲部１２ｃが湾曲動作する。この湾曲動作によって、先端部１２ｄが所望の方向に向けられる。

先端部１２ｄは、先端面に、照明窓と、観察窓と、送気・送水ノズルと、鉗子出口とを有する（いずれも図示無し）。照明窓は、照明光を観察部位に照射するためのものである。観察窓は、観察部位からの光を取り込むためのものである。送気・送水ノズルは、照明窓及び観察窓を洗浄するためのものである。鉗子出口は、鉗子と電気メス等の処置具を用いて各種処置を行うためのものである。

また、操作部１２ｂには、アングルノブ１３ａの他、静止画像の取得操作に用いる静止画像取得部１３ｂ、観察モードの切り替え操作に用いるモード切替部１３ｃ、ズーム倍率の変更操作に用いるズーム操作部１３ｄ、送気・送水操作部１３ｅを設けている。静止画像取得部１３ｂは、モニタ１８に観察対象の静止画像を表示するフリーズ操作と、ストレージに静止画像を保存するレリーズ操作が可能である。送気・送水操作部１３ｅは、先端部１２ｄの送気・送水ノズルから気体・液体を噴射して照明窓及び観察窓を洗浄する噴射操作が可能である。

内視鏡システム１０は、観察モードとして、通常モードと、特殊モードと、注目領域検出モードとを有している。観察モードが通常モードである場合、複数色の光を通常モード用の光量比Ｌｃで合波した通常光を発光する。また、観察モードが特殊モードである場合、複数色の光を特殊モード用の光量比Ｌｓで合波した特殊光を発光する。

また、観察モードが注目領域検出モードである場合、注目領域検出モード用照明光を発光する。本実施形態では、注目領域検出モード用照明光として、通常光を発光するが、特殊光を発光するようにしてもよい。

プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続する。モニタ１８は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール１９は、注目領域（ROI : Region Of Interest）の指定等や機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。

図２に示すように、光源装置１４は、観察対象の照明に用いる照明光を発する光源部２０と、光源部２０を制御する光源制御部２２とを備えている。光源部２０は、複数色のＬＥＤ（Light Emitting Diode）等の半導体光源である。光源制御部２２は、ＬＥＤ等のオン／オフや、ＬＥＤ等の駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。また、光源制御部２２は、光学フィルタの変更等によって、照明光の波長帯域を制御する。

第１実施形態では、光源部２０は、Ｖ−ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ−ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ−ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ−ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤと、波長カットフィルタ２３とを有している。図３に示すように、Ｖ−ＬＥＤ２０ａは、波長帯域３８０ｎｍ〜４２０ｎｍの紫色光Ｖを発する。

Ｂ−ＬＥＤ２０ｂは、波長帯域４２０ｎｍ〜５００ｎｍの青色光Ｂを発する。Ｂ−ＬＥＤ２３ｂから出射した青色光Ｂのうち少なくともピーク波長の４５０ｎｍよりも長波長側は、波長カットフィルタ２３によりカットされる。これにより、波長カットフィルタ２３を透過した後の青色光Bxは、４２０〜４６０nmの波長範囲になる。このように、４６０ｎｍよりも長波長側の波長域の光をカットしているのは、この４６０ｎｍよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ２３は、４６０ｎｍよりも長波長側の波長域の光をカットする代わりに、４６０ｎｍよりも長波長側の波長域の光を減光させてもよい。

Ｇ−ＬＥＤ２０ｃは、波長帯域が４８０ｎｍ〜６００ｎｍに及ぶ緑色光Ｇを発する。Ｒ−ＬＥＤ２０ｄは、波長帯域が６００ｎｍ〜６５０ｎｍに及び赤色光Ｒを発する。なお、各ＬＥＤ２０ａ〜２０ｄから発せられる光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。

光源制御部２２は、各ＬＥＤ２０ａ〜２０ｄの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。光源制御部２２における点灯及び消灯の制御は、観察モードごとに異なっている。なお、基準の明るさは光源装置１４の明るさ設定部又はコンソール１９等によって設定可能である。

通常モード又は注目領域検出モードの場合、光源制御部２２は、Ｖ−ＬＥＤ２０ａ、Ｂ−ＬＥＤ２０ｂ、Ｇ−ＬＥＤ２０ｃ、及びＲ−ＬＥＤ２０ｄを全て点灯させる。その際、図４に示すように、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比Lｃは、青色光Bxの光強度のピークが、紫色光Ｖ、緑色光Ｇ、及び赤色光Ｒのいずれの光強度のピークよりも大きくなるように、設定されている。これにより、通常モード又は注目領域検出モードでは、光源装置１４から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む通常モード用又は注目領域検出モード用の多色光が、通常光として、が発せられる。通常光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。

特殊モードの場合、光源制御部２２は、Ｖ−ＬＥＤ２０ａ、Ｂ−ＬＥＤ２０ｂ、Ｇ−ＬＥＤ２０ｃ、及びＲ−ＬＥＤ２０ｄを全て点灯させる。その際、図５に示すように、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比Lｓは、紫色光Vの光強度のピークが、青色光Bx、緑色光Ｇ、及び赤色光Ｒのいずれの光強度のピークよりも大きくなるように、設定されている。また、緑色光G及び赤色光Rの光強度のピークは、紫色光V及び青色光Bｘの光強度のピークよりも小さくなるように、設定されている。これにより、特殊モードでは、光源装置１４から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む特殊モード用の多色光が、特殊光として発せられる。特殊光は、紫色光Ｖが占める割合が大きいことから、青みを帯びた光となっている。なお、特殊光は、４色全ての光が含まれていなくてもよく、４色のＬＥＤ２０ａ〜２０ｄのうち少なくとも１色のＬＥＤからの光が含まれていればよい。また、特殊光は、４５０ｎｍ以下に主な波長域、例えばピーク波長又は中心波長を有することが好ましい。

図２に示すように、光源部２０が発した照明光は、ミラーやレンズ等で形成される光路結合部（図示しない）を介して、挿入部１２ａ内に挿通したライトガイド２４に入射する。ライトガイド２４は、内視鏡１２及びユニバーサルコードに内蔵され、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド２４としては、マルチモードファイバを使用することができる。一例として、ライトガイド２４には、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３ｍｍ〜φ０．５ｍｍの細径なファイバケーブルを使用することができる。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂとを設けている。照明光学系３０ａは、照明レンズ３２を有している。この照明レンズ３２を介して、ライトガイド２４を伝搬した照明光によって観察対象を照明する。撮像光学系３０ｂは、対物レンズ３４と、拡大光学系３６と、撮像センサ３８（本発明の「撮像部」に対応する）とを有している。これら対物レンズ３４及び拡大光学系３６を介して、観察対象からの反射光、散乱光、及び蛍光等の各種の光が撮像センサ３８に入射する。これにより、撮像センサ３８に観察対象の像が結像する。

拡大光学系３６は、観察対象を拡大するズームレンズ３６ａと、ズームレンズ３６ａを光軸方向ＣＬに移動させるレンズ駆動部３６ｂとを備えている。ズームレンズ３６ａは、レンズ駆動部３６ｂによるズーム制御に従って、テレ端とワイド端の間で自在に移動させることで、撮像センサ３８に結像する観察対象を拡大又は縮小させる。

撮像センサ３８は、照明光が照射された観察対象を撮像するカラー撮像センサである。撮像センサ３８の各画素には、Ｒ（赤色）カラーフィルタ、Ｇ（緑色）カラーフィルタ、Ｂ（青色）カラーフィルタのいずれかが設けられている。撮像センサ３８は、Ｂカラーフィルタが設けられているＢ画素で紫色から青色の光を受光し、Ｇカラーフィルタが設けられているＧ画素で緑色の光を受光し、Ｒカラーフィルタが設けられているＲ画素で赤色の光を受光する。そして、各色の画素から、ＲＧＢ各色の画像信号を出力する。撮像センサ３８は、出力した画像信号を、ＣＤＳ回路４０に送信する。

通常モード又は注目領域検出モードにおいては、撮像センサ３８は、通常光が照明された観察対象を撮像することにより、B画素からBｃ画像信号を出力し、G画素からGc画像信号を出力し、R画素からRｃ画像信号を出力する。また、特殊モードにおいては、撮像センサ３８は、特殊光が照明された観察対象を撮像することにより、B画素からBｓ画像信号を出力し、G画素からGｓ画像信号を出力し、R画素からRｓ画像信号を出力する。

撮像センサ３８としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサ等を利用可能である。また、ＲＧＢの原色のカラーフィルタを設けた撮像センサ３８の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号を出力する。このため、補色−原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ３８と同様のＲＧＢ各色の画像信号を得ることができる。また、撮像センサ３８の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。

ＣＤＳ回路４０は、撮像センサ３８から受信したアナログの画像信号に、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）を行う。ＣＤＳ回路４０を経た画像信号はＡＧＣ回路４２に入力される。ＡＧＣ回路４０は、入力された画像信号に対して、自動利得制御（ＡＧＣ：Automatic Gain Control）を行う。Ａ／Ｄ（Analog to Digital）変換回路４４は、ＡＧＣ回路４２を経たアナログ画像信号を、デジタルの画像信号に変換する。Ａ／Ｄ変換回路４４は、Ａ／Ｄ変換後のデジタル画像信号を、プロセッサ装置１６に入力する。

図２に示すように、プロセッサ装置１６は、画像信号取得部５０（本発明の「医用画像取得部」に対応する）と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５４と、画像処理部５６と、表示制御部５８とを備えている。

画像信号取得部５０は、内視鏡１２から、観察モードに対応したデジタル画像信号を取得する。通常モード又は注目領域検出モードの場合には、Ｂｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号を取得する。特殊モードの場合には、Ｂｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号を取得する。注目領域検出モードの場合には、通常光の照明時に１フレーム分のＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号を取得し、特殊光の照明時に１フレーム分のＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号を取得する。

ＤＳＰ５２は、画像信号取得部５０が取得した画像信号に対して、欠陥補正処理、オフセット処理、ＤＳＰ用ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理は、撮像センサ３８の欠陥画素の信号を補正する。オフセット処理は、欠陥補正処理した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。ＤＳＰ用ゲイン補正処理は、オフセット処理した画像信号に特定のＤＳＰ用ゲインを乗じることにより信号レベルを整える。

リニアマトリクス処理は、ＤＳＰ用ゲイン補正処理した画像信号の色再現性を高める。ガンマ変換処理は、リニアマトリクス処理した画像信号の明るさや彩度を整える。ガンマ変換処理した画像信号には、デモザイク処理（等方化処理、又は同時化処理とも言う）を施すことによって、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ノイズ低減部５４は、ＤＳＰ５２でデモザイク処理等を施した画像信号に対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズ低減後の画像信号は画像処理部５６に入力される。

画像処理部５６は、通常モード画像処理部６０と、特殊モード画像処理部６２と、注目領域検出モード画像処理部６４を備えている。通常モード画像処理部６０は、通常モードに設定されている場合に作動し、受信したＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理では、ＲＧＢ画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（Look Up Table）処理などにより色変換処理を行う。

色彩強調処理は、色変換処理済みのＲＧＢ画像信号に対して行われる。構造強調処理は、観察対象の構造を強調する処理であり、色彩強調処理後のＲＧＢ画像信号に対して行われる。上記のような各種画像処理等を行うことによって、通常画像が得られる。通常画像は、紫色光V、青色光Bｘ、緑色光G、赤色光Rがバランス良く発せられた通常光に基づいて得られた画像であるため、自然な色合いの画像となっている。通常画像は、表示制御部５８に入力される。

特殊モード画像処理部６２は、特殊モードに設定されている場合に作動する。特殊モード画像処理部６２では、受信したＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理、色彩強調処理、及び構造強調処理の処理内容は、通常モード画像処理部６０と同様である。上記のような各種画像処理を行うことによって、特殊画像が得られる。特殊画像は、血管のヘモグロビンの吸収係数が高い紫色光Vが、他の色の青色光Bx、緑色光G、赤色光Rよりも大きい発光量となっている特殊光に基づいて得られた画像であるため、血管構造や腺管構造の解像度が他の構造よりも高くなっている。特殊画像は表示制御部５８に入力される。

注目領域検出モード画像処理部６４は、注目領域検出モード時に設定されている場合に作動する。図６に示すように、注目領域検出モード画像処理部６４は、検出用画像処理部７０と、注目領域検出部７１と、累計検出時間計測部７２とを有している。検出用画像処理部７０は、受信したＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号に対して、色変換処理など通常モード画像処理部６０と同様の画像処理により内視鏡画像を順次取得する。

注目領域検出部７１は、内視鏡画像を画像解析し、観察対象内の注目領域を検出するための注目領域検出処理を行う。本実施形態では、注目領域検出部７１は、注目領域として観察対象内の病変部（例えば、腫瘍や炎症など）を検出する。この場合、注目領域検出部７１は、先ず内視鏡画像を複数の小領域、例えば画素数個分の正方領域に分割する。次いで、分割した内視鏡画像から画像的な特徴量を算出する。続いて、算出した特徴量に基づき、各小領域が病変部であるか否かを認識処理する。このような認識処理としては、畳み込みニューラルネットワーク（Convolutional Neural Network）や、深層学習（Deep Learning）などの機械学習アルゴリズムであることが好ましい。

また、注目領域検出部７１により内視鏡画像から算出される特徴量としては、観察対象における所定部位の形状、色又はそれら形状や色などから得られる指標値であることが好ましい。例えば、特徴量として、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報の少なくともいずれか、もしくは、それらを２以上組み合わせた値であることが好ましい。

最後に、同じ種類と特定された、ひとかたまりの小領域を１つの病変部として抽出する。注目領域検出部７１は、抽出した病変部の位置、大きさ、病変の種類などの情報を検出結果として内視鏡画像に関連付ける。注目領域検出モード画像処理部６４は、検出結果を関連付けた内視鏡画像を表示制御部５８に出力する。

一方、注目領域検出部７１が注目領域を検出した場合、累計検出時間計測部７２は、注目領域が検出されている累計検出時間を計測する。例えば、累計検出時間計測部７２は、カウンタを用いて注目領域検出部７１が注目領域を検出した時間を計測する。カウンタの初期値は０であり、注目領域検出部７１の注目領域検出の開始を基点に所定周期のクロック信号が入力される毎にカウンタ値を１つ進める（カウンタ値＋１）。このカウンタ値を１つ進めることは、すなわちカウンタの１周期毎の累計検出時間を計測していることになる。

この場合、累計検出時間計測部７２は、カウンタ値を表示制御部５８に出力する。注目領域検出部７１の注目領域検出開始の際は、累計検出時間計測部７２は、累計検出時間として０のカウンタ値を内視鏡画像（注目領域の検出開始の画像）とともに出力する。そして、観察対象内に注目領域が検出されている間、累計検出時間計測部７２は、カウンタ値を表示制御部５８に出力し続ける。

表示制御部５８は、画像処理部５６からの画像やデータをモニタ１８に表示するための表示制御を行う。通常モードに設定されている場合には、表示制御部５８は、通常画像をモニタ１８に表示する制御を行う。特殊モードに設定されている場合には、表示制御部５８は、特殊画像をモニタ１８に表示する制御を行う。

注目領域検出モードに設定されている場合には、表示制御部５８は、内視鏡画像に対して注目領域検出部７１により検出した注目領域を強調表示させるとともに、累計検出時間計測部７２で計測された累計検出時間に応じて強調表示を変化させる。表示制御部５８は、強調処理部７３を備えている。強調処理部７３は、注目領域検出モード画像処理部６４から出力された内視鏡画像、及び内視鏡画像に関連付けられた検出結果に基づき、注目領域を強調するための強調表示を内視鏡画像に付加する。

図７（Ａ）に示すように、観察対象内の注目領域が検出されていない場合、表示制御部５８は、撮像センサ３８が撮像し、注目領域検出モード画像処理部６４により画像処理した内視鏡画像７５（通常画像と同様の画像）を順次取得してモニタ１８の表示画面７６にリアルタイム表示する。この場合、強調表示は当然存在しない。

そして、観察対象内に注目領域としての病変部が検出された場合、すなわち注目領域検出モード画像処理部６４により内視鏡画像７５に検出結果が関連付けされている場合、強調処理部７３は、内視鏡画像７５に関連付けされた検出結果のうち、病変部の位置および大きさの情報に基づく図形の画像を生成する。そして強調処理部７３は、内視鏡画像７５の病変部の位置に強調表示としての図形を重畳表示する。本実施形態では、図７（Ｂ）及び図７（Ｃ）に示すように、表示制御部５８は、強調表示として、病変部７８を囲む矩形枠形状の図形７７を表示させる。

表示制御部５８は、強調表示としての図形７７を表示させるとともに、上述したように、累計検出時間計測部７２で計測された累計検出時間に応じて強調表示を変化させる。具体的には、累計検出時間に応じて図形７７の透過度を変化させる。透過度が高い程、図形７７が透けて内視鏡画像７５が見える状態になる。そして、透過度が１００％の場合、図形７７が完全に透けて見えない状態になり、透過度が０％の場合、内視鏡画像７５において図形７７を重畳させた部分が完全に見えない状態になる。図７（Ｂ）に示すように、注目領域としての病変部７８の検出開始の際、図形７７の強調量を最大、すなわち図形７７の透過度を０％とする。この場合、累計検出時間計測部７２で計測された累計検出時間は０である。

そして、図７（Ｃ）に示すように、累計検出時間の増加に応じて図形７７の強調量を徐々に低下、すなわち図形７７の透過度を徐々に上昇させる。なお、図７（Ｂ）及び図７（Ｃ）においては、図示の都合上、図形７７の透過度の高さを、図形７７に施した網掛けの目の大きさで表現しており、図７（Ｂ）の図形７７のほうが図７（Ｃ）の図形７７よりも網掛けの目が大きくなっている。この場合、図７（Ｃ）における透過度の高さは、図７（Ｃ）に示す内視鏡画像７５が出力された際に同時に出力された累計検出時間（カウンタ値）に比例している。

一方、図７（Ｃ）に示す状態の後、注目領域としての病変部の検出が無くなった場合、すなわち注目領域検出モード画像処理部６４により内視鏡画像７５に関連付けされる検出結果がない場合、累計検出時間計測部７２が累計検出時間の計測を停止するとともに、強調処理部７３による強調表示が停止する。そして、累計検出時間計測部７２は、累計検出時間をリセットし、次に注目領域としての病変部が検出された場合、累計検出時間を初期値（カウンタ値が０）から計測し始める。

次に、注目領域検出モードの一連の流れについて、図８に示すフローチャートに沿って説明を行う。ユーザーである医師がモード切替部１３ｃを操作して、注目領域検出モードに切り替える（Ｓ１１）。これにより、観察対象に対して、注目領域検出モード用照明光が照明される。この注目領域検出モード用照明光で照明された観察対象を撮像センサ３８で撮像して内視鏡画像を取得する。注目領域検出モードに切り替えた場合、表示制御部５８は、内視鏡画像７５をモニタ１８の表示画面７６にリアルタイム表示する（Ｓ１２）。

注目領域検出モードにおけるリアルタイム表示中に、取得した内視鏡画像に対して、注目領域検出部７１により観察対象内の注目領域を検出するための注目領域検出処理を行う（Ｓ１３）。注目領域を検出した場合（Ｓ４でＹ）、検出結果を内視鏡画像に関連付けて出力するとともに、累計検出時間計測部７２が、注目領域が検出されている累計検出時間を計測して出力する（Ｓ１５）。

そして、検出結果および累計検出時間に基づき、強調処理部７３が、強調表示としての図形７７を表示させるとともに、累計検出時間計測部７２で計測された累計検出時間に応じて図形７７を変化させる（Ｓ１６）。累計検出時間の計測および累計検出時間に応じた強調表示は、注目領域の検出がある限り（Ｓ１７でＮ）、続行される。一方、注目領域の検出が無くなると（Ｓ１７でＹ）、累計検出時間の計測および強調表示が停止する（Ｓ１８）。このように、注目領域が検出されている間は、累計検出時間に応じた強調表示が行われるため、医師は、注目領域を容易に確認して観察を行うことができる。そして、累計検出時間に応じて強調表示の強調量が徐々に低下していき、観察対象内から注目領域の検出がなくなると、強調表示も終了するため、強調表示が医師の観察の妨げになることがない。

［第２実施形態］
上記第１実施形態では、観察対象内に１つの注目領域のみが検出された場合を例に上げて説明しているが、これに限らず、観察対象内に複数の注目領域が検出された場合、検出された注目領域毎に累計検出時間を計測し、表示制御部５８は注目領域毎の累計検出時間に応じて強調表示を変化させるようにしてもよい。図９及び図１０においては、観察対象を撮像センサ３８で撮像して内視鏡画像を順次取得している間に、２つの注目領域が検出された場合を例に上げている。

この場合、先ず図９（Ａ）〜図９（Ｄ）に示すように注目領域として第１の病変部８１が検出され、その後、図９（Ｃ）から図９（Ｅ）に示すように注目領域として第２の病変部８２が検出されている。なお、図９（Ａ）〜図９（Ｅ）に示す内視鏡画像と、図１０（Ａ）〜図１０（Ｅ）に示す内視鏡画像とは、同じものを示しており、撮像センサ３８で撮像して取得した時系列順に配列されている。累計検出時間計測部７２は、第１の病変部８１および第２の病変部８２のそれぞれについて累計検出時間を計測している。

そして、図９（Ａ）及び図１０（Ａ）に示す内視鏡画像７５が取得された時刻ｔ１０が、第１の病変部８１の検出開始であることを示している。この時刻ｔ１０においては第１の累計検出時間Ｔ１が０であり、第１の病変部８１の強調表示としての枠形状の図形８３の強調量が最大となっている。時刻ｔ１０から累計検出時間計測部７２が第１の累計検出時間Ｔ１の計測を開始する。

図９（Ａ）〜図９（Ｄ）及び図１０（Ａ）〜図１０（Ｄ）に示すように、上記第１実施形態と同様に第１の累計検出時間Ｔ１の増加に応じて徐々に図形８３の強調量が低下する。最後に、図９（Ｄ）及び図１０（Ｄ）に示す内視鏡画像７５が取得された後の時刻ｔ１１に第１の病変部８１が観察対象内から無くなる。これにより、注目領域検出部７１により第１の病変部８１が検出されなくなる。すなわち、この時刻ｔ１１において、第１の累計検出時間Ｔ１の計測が停止し、強調表示としての図形８３の表示が無くなる。また、累計検出時間計測部７２が第１の累計検出時間Ｔ１をリセットする。

一方、図９（Ｃ）及び図１０（Ｃ）に示す内視鏡画像７５が取得された時刻ｔ２０が、第２の病変部８２の検出開始であることを示している。この時刻ｔ２０においては第２の累計検出時間Ｔ２が０であり、第２の病変部８２の強調表示としての枠形状の図形８４の強調量が最大となっている。時刻ｔ１０から累計検出時間計測部７２が第１の累計検出時間Ｔ１を計測する。図９（Ｃ）〜図９（Ｅ）及び図１０（Ｃ）〜図１０（Ｅ）に示すように、第２の累計検出時間Ｔ２の増加に応じて徐々に図形８３の強調量が低下し、図９（Ｅ）及び図１０（Ｅ）に示す内視鏡画像７５が取得された後の時刻ｔ２１に第２の病変部８２が内視鏡画像７５から無くなる。これにより、時刻ｔ２１において、第２の累計検出時間Ｔ２の計測が停止し、強調表示としての図形８４の表示が無くなる。また、累計検出時間計測部７２は、第２の累計検出時間Ｔ２をリセットする。

以上のように、内視鏡画像７５から第１及び第２の病変部８１，８２が検出された場合、検出された第１及び第２の病変部８１，８２毎に累計検出時間Ｔ１，Ｔ２を計測し、表示制御部５８は注目領域毎の累計検出時間Ｔ１，Ｔ２に応じて強調表示を変化させているので、ユーザーである医師は、第１及び第２の病変部８１，８２を確実に区別して観察することが可能であり、観察の効率を向上させることができる。さらに、病変部の観察を終えた際には、強調表示が消えかけているため、新たな病変部の見落としを防ぐことができる。例えば、１つ目の病変部８１の観察を終えた後、２つ目の病変部８２が視界に入った場合、強調量が同じであれば、１つ目の病変部８１に注意が向き、２つ目の病変部８２を見落とす可能性があるが、本発明では、１つ目の病変部８１の観察を終えた際には、強調量が低下しているため、２つめの病変部８２の強調表示が目立つようになり、見落としを防ぐことができる。

［第３実施形態］
上記第１及び第２実施形態では、注目領域の検出がなくなった場合は、累計検出時間の計測を停止し、累計検出時間の計測をリセットしているが、これに限らず、新たに検出された注目領域が過去検出された注目領域のいずれかと同一であると判定された場合には、同一であると判定された過去の注目領域に関する累計検出時間を引き継いで計測してもよい。

この場合、図１１に示すように、注目領域検出モード画像処理部６４は、注目領域記憶部８６と、同一注目領域判定部８７とを有している。注目領域記憶部８６は、注目領域検出部７１により過去検出された注目領域毎の累計検出時間と注目領域毎の特徴量を表す特徴量情報とを関連付けて記憶する。注目領域記憶部８６は、ＲＡＭ、ＥＥＰＲＯＭまたはハードディスク等の書き込み可能な記録媒体を用いて構成される。

一方、同一注目領域判定部８７は、注目領域記憶部８６に記憶された注目領域の特徴量のいずれかと注目領域検出部７１により新たに検出された注目領域の特徴量との類似度から、過去検出された注目領域のいずれかと同一であるか否かを判定する。図１２に示す例では、過去に検出された注目領域としての病変部８８Ａと、新たに検出された注目領域としての病変部８８Ｂとが同一である場合を例に上げている。なお、図１２（Ａ）〜図１２（Ｅ）に示す内視鏡画像は時系列順に配列されている。

この場合、先ず、図１２（Ａ）及び図１２（Ｂ）に示すように、病変部８８Ａが検出された後、図１２（Ｃ）に示すように内視鏡画像７５からなくなっている。なお、この例においては、病変部８８Ａは、内視鏡画像を順次取得している間に、初めて検出された注目領域であり、後述する病変部８８Ｂが検出された場合のように同一判定は行われない。

図１２（Ａ）に示す内視鏡画像７５が取得された時刻ｔ１１０が、病変部８８Ａの検出開始であることを示している。この時刻ｔ１１０においては累計検出時間Ｔ１１が０であり、病変部８８Ａの強調表示としての図形８９Ａの強調量が最大となっている。累計検出時間計測部７２は、時刻ｔ１１０から累計検出時間Ｔ１１の計測を開始する。

図１２（Ａ）及び図１２（Ｂ）に示すように、累計検出時間Ｔ１１の増加に応じて徐々に図形８９Ａの強調量が低下する。図１２（Ｂ）に示す内視鏡画像７５が取得された後の時刻ｔ１１１に病変部８８Ａが検出されなくなる。すなわち、この時刻ｔ１１１において、累計検出時間Ｔ１１の計測が一旦停止し、強調表示としての図形８９Ａの表示が無くなる。病変部８８Ａが検出されなくなった場合、注目領域検出モード画像処理部６４は、累計検出時間計測部７２により計測された病変部８８Ａの累計検出時間Ｔ１１と、病変部８８Ａの特徴量を表す特徴量情報とを関連付けて注目領域記憶部８６に記憶する。特徴量情報としては、例えばＲＧＢ画像信号の画素値などの画像的な特徴量である。なお特徴量情報としては、これに限らず、注目領域の位置、大きさ、形状などの情報でもよい。

そして、時刻ｔ１１１の後は、注目領域が検出されない状態（図１２（Ｃ）に示す状態）が続き、時刻ｔ１２０で病変部８８Ｂが検出される。すなわち、図１２（Ｄ）に示す内視鏡画像７５が取得された時刻ｔ１２０が、病変部８８Ｂの検出開始であることを示している。このように注目領域検出部７１により新たな病変部８８Ｂが検出された場合、同一注目領域判定部８７は、注目領域記憶部８６に記憶された注目領域の特徴量のいずれかと注目領域検出部７１により新たに検出された注目領域の特徴量との類似度から、過去検出された注目領域のいずれかと同一であるか否かを判定する。すなわち、両者の特徴量の類似度が高い（特定の閾値以上）場合は同一であると判定し、類似度が低い場合（特定の閾値未満）は同一ではないと判定する。

図１２（Ａ）〜図１２（Ｅ）に示す例の場合、注目領域記憶部８６に記憶された病変部８８Ａの特徴量と、注目領域検出部７１により新たに検出された病変部８８Ｂの特徴量との類似度が高く、同一注目領域判定部８７により病変部８８Ａと病変部８８Ｂとは同一であると判定される。

新たに検出された病変部８８Ｂが過去検出された注目領域のいずれかである病変部８８Ａと同一であると判定された場合には、同一であると判定された過去の病変部８８Ａに関する累計検出時間Ｔ１１を引き継いで計測する。すなわち、累計検出時間計測部７２は、図１２（Ｄ）に示す内視鏡画像７５が取得され、病変部８８Ｂが検出された時刻ｔ１２０から累計検出時間Ｔ１１を引き継いで累計検出時間の計測を行う。これにより、実際の累計検出時間は、累計検出時間Ｔ１１に、時刻ｔ１２０からの累計検出時間Ｔ１２を合算したものとなる。

そして、時刻ｔ１２０から累計検出時間計測部７２が累計検出時間Ｔ１１を引き継いで計測を再開する。時刻ｔ１２０においては累計検出時間Ｔ１２が０である。よって、図１２（Ｄ）に示すように、時刻ｔ１２０における病変部８８Ｂの強調表示としての図形８９Ｂは、病変部８８Ａから引き継いだ累計検出時間Ｔ１１（＝時刻ｔ１１１−時刻ｔ１１０）に応じた強調量となっている。

図１２（Ｄ）及び図１２（Ｅ）に示すように、累計検出時間（Ｔ１１+Ｔ１２）の増加に応じて徐々に図形８９Ｂの強調量が低下する。図１２（Ｅ）に示す内視鏡画像７５が取得された後の時刻ｔ１２１に病変部８８Ｂが内視鏡画像７５から無くなる。この時刻ｔ１２１において、累計検出時間（Ｔ１１+Ｔ１２）の計測が一旦停止し、強調表示としての図形８９Ｂの表示が無くなる。病変部８８Ｂが検出されなくなった場合、注目領域検出モード画像処理部６４は、病変部８８Ｂの累計検出時間（Ｔ１１+Ｔ１２）と注目領域８１Ｂの特徴量を表す特徴量情報とを関連付けて注目領域記憶部８６に記憶する。時刻ｔ１２１の後に、新たに注目領域が再度検出された場合には、上記と同様、同一であるか否かを判定する。

一方、注目領域検出部７１により新たに検出された注目領域が過去検出された注目領域のいずれかとも同一ではないと判定された場合には、累計検出時間計測部７２は、累計検出時間をリセットし、初期値（カウンタ値が０）から計測を開始する。

以上のように、同一であると判定された過去の注目領域に関する累計検出時間を引き継いで計測することにより、同一であると判定された注目領域に対して、過去の注目領域から引き継いだ累計検出時間に応じた強調表示が行われるため、医師は、過去の注目領域と同一の注目領域について検出されていることを容易に認識することが可能である。

［第４実施形態］
上記第３実施形態では、新たに検出された注目領域が過去検出された注目領域のいずれかと同一であると判定された場合には、過去の注目領域に関する累計検出時間を引き継いで計測しているが、同一であると判定された場合の全てにおいて累計検出時間を引き継ぐのではなく、同一と判定された場合であっても、過去検出された注目領域の直近の検出時刻と、新たに検出された注目領域の検出時刻との時間間隔が所定値より大きい場合には、累計検出時間をリセットしてから計測開始してもよい。図１３に示す例では、過去に検出された注目領域としての病変部９０Ａと、新たに検出された注目領域としての病変部９０Ｂとが同一である場合を例に上げている。なお、図１３（Ａ）〜図１３（Ｅ）に示す内視鏡画像は時系列順に配列されている。

この場合、先ず、図１３（Ａ）及び図１３（Ｂ）に示すように、病変部９０Ａが検出された後、図１３（Ｃ）に示すように内視鏡画像７５からなくなっている。なお、この例においては、病変部９０Ａは、内視鏡画像を順次取得している間に、初めて検出された注目領域であり、後述する病変部９０Ｂが検出された場合のように同一判定は行われない。

図１３（Ａ）に示す内視鏡画像７５が取得された時刻ｔ２１０が、病変部９０Ａの検出開始であることを示している。この時刻ｔ２１０においては累計検出時間Ｔ２１が０であり、病変部９０Ａの強調表示としての図形９１Ａの強調量が最大となっている。累計検出時間計測部７２は、時刻ｔ２１０から累計検出時間Ｔ２１の計測を開始する。

図１３（Ａ）及び図１３（Ｂ）に示すように、累計検出時間Ｔ２１の増加に応じて徐々に図形９１Ａの強調量が低下する。図１３（Ｂ）に示す内視鏡画像７５が取得された後の時刻ｔ２１１に病変部９０Ａが検出されなくなる。すなわち、この時刻ｔ２１１において、累計検出時間Ｔ２１の計測が一旦停止し、強調表示としての図形９１Ａの表示が無くなる。このように病変部９０Ａが検出されなくなった場合、注目領域検出モード画像処理部６４は、累計検出時間計測部７２により計測された病変部９０Ａの累計検出時間Ｔ２１と、病変部９０Ａの特徴量を表す特徴量情報と、病変部９０Ａの直近の検出時刻ｔ２１１とを関連付けて注目領域記憶部８６に記憶する。

そして、時刻ｔ２１１の後は、注目領域が検出されない状態（図１３（Ｃ）に示す状態）が続き、時刻ｔ２２０で病変部９０Ｂが検出される。すなわち、図１３（Ｄ）に示す内視鏡画像７５が取得された時刻ｔ２２０が、病変部９０Ｂの検出開始であることを示している。

このように注目領域検出部７１により新たな病変部９０Ｂが検出された場合、注目領域検出モード画像処理部６４では、上記第３実施形態と同様に、過去検出された注目領域のいずれかと同一であるか否かを判定するとともに、過去検出された病変部９０Ａの直近の検出時刻ｔ２１１と、新たに検出された病変部９０Ｂの検出時刻ｔ２２０との時間間隔ＴＬを所定値と比較する。なお、この所定値は、内視鏡画像７５には注目領域が映り込んでいるものの、例えば、画像全体が暗い、あるいは撮像センサ３８の焦点があっていないなど機器の性能的な理由で注目領域が検出できない場合を想定して設定されている。よって、上述した時間間隔ＴＬと比較する所定値は、機器の性能的な理由で注目領域の検出が不可能な状態になってから検出可能な状態に復旧するまでの非常に短い時間を想定して設定されている。

そして、過去検出された病変部９０Ａと、新たに検出された病変部９０Ｂとが同一と判定された場合であっても、検出時刻ｔ２１１と検出時刻ｔ２２０との時間間隔ＴＬが所定値より大きい場合には、累計検出時間計測部７２は、累計検出時間をリセットし、初期値（カウンタ値が０）から計測を開始する。累計検出時間計測部７２は、図１３（Ｄ）に示す内視鏡画像７５が取得され、病変部９０Ｂが検出された時刻ｔ２２０から累計検出時間Ｔ２２の計測を行う。

そして、図１３（Ｄ）に示すように、時刻ｔ２２０においては累計検出時間Ｔ２２が０であり、病変部９０Ｂの強調表示としての図形９１Ｂの強調量が最大となっている。図１３（Ｄ）及び図１３（Ｅ）に示すように、累計検出時間Ｔ２２の増加に応じて徐々に図形９１Ｂの強調量が低下する。図１３（Ｅ）に示す内視鏡画像７５が取得された後の時刻ｔ２２１に病変部９０Ｂが内視鏡画像７５から無くなる。この時刻ｔ２２１において、累計検出時間Ｔ２２の計測が一旦停止し、強調表示としての図形９１Ｂの表示が無くなる。病変部９０Ｂが検出されなくなった場合、注目領域検出モード画像処理部６４は、累計検出時間計測部７２により計測された病変部９０Ｂの累計検出時間Ｔ２２と、病変部９０Ｂの特徴量を表す特徴量情報と、病変部９０Ｂの直近の検出時刻ｔ２２１とを関連付けて注目領域記憶部８６に記憶する。時刻ｔ２２１の後に、新たに注目領域が再度検出された場合には、上記と同様、同一であるか否かを判定するとともに、検出時刻の時間間隔を所定値と比較する。

一方、過去検出された病変部９０Ａと、新たに検出された病変部９０Ｂとが同一と判定され、かつ直近の検出時刻と新たに検出された際の検出時刻の時間間隔ＴＬが所定値未満の場合には、上記第３実施形態と同様に、同一であると判定された過去の病変部９０Ａに関する累計検出時間Ｔ２１を引き継いで計測する。

また、注目領域検出部７１により新たに検出された注目領域が過去検出された注目領域のいずれかとも同一ではないと判定された場合には、上記第３実施形態と同様に、累計検出時間をリセットし、初期値（カウンタ値が０）から計測を開始する。

内視鏡検査では、最初に、管腔内の挿入可能な位置まで挿入部１２ａを挿入した後、挿入部１２ａを管腔内から徐々に引き抜いていき、挿入時と同じ経路を逆向きにたどりながら病変を探すため、挿入時に一度検出した病変を引き抜き時に再度検出する可能性がある。本実施形態では、過去検出された注目領域と、新たに検出された注目領域とが同一と判定された場合であっても、直近の検出時刻と新たに検出された際の検出時刻との時間間隔ＴＬが所定値より大きい場合には、累計検出時間計測部７２は、累計検出時間をリセットし、初期値（カウンタ値が０）から計測を開始する。挿入時の検出と、引き抜き時の検出とでは十分な時間間隔があるため、このような場合、引き抜き時に再度術者の意識を促すように強調表示を行うことが可能であり、かつ引き抜き時に病変が再度検出された場合は、強調量が最大となっているので、医師による注目領域の見逃しを防止することができる。

［第５実施形態］
上記第４実施形態では、注目領域が同一と判定された場合であっても、時間間隔が所定値より大きい場合には、累計検出時間をリセットしているが、これに限らず、撮像中に、気体・液体の噴射や処置具の使用など特定の処置が行われたことを認識した場合に、累計検出時間をリセットしてもよい。この場合、図１４に示すように、注目領域検出モード画像処理部６４は、処置認識部９２を備えている。処置認識部９２は、撮像中に行われる特定の処置として送気・送水ノズルからの気体・液体の噴射を監視しており、送気・送水操作部１３ｅが操作されたときの信号を受信して特定の処置が行われたことを認識する。

図１５に示す例では、先に検出された注目領域としての病変部９３Ａと、新たに検出された注目領域としての病変部９３Ｂとが同一である場合を例に上げている。なお、図１５（Ａ）〜図１５（Ｅ）に示す内視鏡画像は時系列順に配列されている。

この場合、先ず、図１５（Ａ）及び図１５（Ｂ）に示すように、病変部９３Ａが検出された後、図１５（Ｃ）に示すように観察対象内で特定の処置である気体・液体の噴射が行われている。

図１５（Ｃ）に示す内視鏡画像７５が取得された時刻ｔ３１１は、特定の処置である気体・液体の噴射が行われたことを処置認識部９２が認識した時刻である。処置認識部９２が特定の処置を認識したことより、累計検出時間計測部７２は、累計検出時間Ｔ３１の計測を停止し、累計検出時間をリセットする。このため、強調表示としての図形９４Ａの表示が無くなる。時刻ｔ３１１の後は、特定の処置が行われている状態（図１５（Ｃ）に示す状態）が時刻ｔ３２０の直前まで続く。なお、本実施形態においても第３及び第４実施形態のように注目領域が同一であるか否かを判定し、同一であると判定された場合は一定の条件のもと累計検出時間を引き継いで計測を行ってもよいが、特定の処置を認識した場合は、注目領域が同一であると判定した場合にかかわらず、優先して累計検出時間をリセットする。

そして、時刻ｔ３２０で病変部９３Ｂが検出される。すなわち、図１５（Ｄ）に示す内視鏡画像７５が取得された時刻ｔ３２０が、病変部９３Ｂの検出開始であることを示している。図１５（Ｄ）に示すように、時刻ｔ３２０においては累計検出時間Ｔ３２が０であり、病変部９３Ｂの強調表示としての図形９４Ｂの強調量が最大となっている。図１５（Ｄ）及び図１５（Ｅ）に示すように、累計検出時間Ｔ３２の増加に応じて徐々に図形９４Ｂの強調量が低下する。図１５（Ｅ）に示す内視鏡画像７５が取得された後の時刻ｔ３２１に病変部９３Ｂが内視鏡画像７５から無くなる。

内視鏡検査中に、特定の処置である気体・液体の噴射が行われた場合、内視鏡画像が著しく変化する。すなわち、噴射された液体が内視鏡画像内に映り込んだり、気体の噴射によって観察対象が変形したりする。このため、医師は、特定の処置前に注目領域を確認していたとしても、特定の処置が行われると、注目領域を見失うことがある。本実施形態では、特定の処置が行われた場合には、累計検出時間計測部７２は、累計検出時間をリセットし、初期値（カウンタ値が０）から計測を開始する。特定の処置後、注目領域が再度検出された場合は、強調量が最大となっているので、医師による注目領域の見逃しを防止することができる。

本実施形態では、特定の処置として気体・液体の噴射を例に上げているが、これに限らず、例えば、処置具による処置など内視鏡画像に影響を与える特定の処置であれば適用することができる。また、特定の処置を認識する方法として、本実施形態では、操作部の信号を受信して認識しているが、これに限らず、内視鏡画像から気体・液体の噴射や処置具の形状などを画像解析して特定の処置を認識してもよい。

上記各実施形態では、表示制御部５８は、累計検出時間に応じて強調表示を変化させる場合、強調表示としての図形の透過度を変化させているが、これに限るものではなく、強調表示としての図形の色を、特定の色から別の特定の色、例えば緑色から赤色などに変化させてもよい。

また、累計検出時間に応じて強調表示を変化させる場合、図形の透過度や色ではなく、図形の形状を変化させてもよく、図１６に示すように、強調表示として注目領域を囲む枠形状の図形を表示させ、累計検出時間に応じて前記枠形状の図形の太さを変化させてもよい。

この場合、最初に、注目領域が検出されていない状態（図１６（Ａ））から、注目領域としての病変部９５が検出された場合、表示制御部５８は、強調表示として病変部９５を囲む枠形状の図形９６を表示させるとともに、累計検出時間計測部７２で計測された累計検出時間に応じて強調表示を変化させる。具体的には、図１６（Ｂ）に示すように、表示制御部５８は、注目領域としての病変部９５の検出開始の際、図形９６の強調量を最大、すなわち図形９６の枠の太さを最大とする。この場合、累計検出時間計測部７２で計測された累計検出時間は０である。そして、図１６（Ｃ）に示すように、表示制御部５８は、累計検出時間の増加に応じて図形７７の強調量を徐々に低下、すなわち図形９６の枠の太さを徐々に減少させる。

なお、上記各実施形態においては、強調表示としての図形は矩形枠形状であるが、これに限らず、矩形（四角形）以外の多角形、円、楕円など、注目領域を囲むことができる枠形状であればよい。

上記各実施形態では、表示制御部５８は、強調表示として注目領域の位置に枠形状の図形を重畳表示させているが、これに限るものではなく、強調表示として注目領域の色を変更し、累計検出時間に応じて徐々に変更前の色に戻すようにしてもよい。

この場合、最初に、注目領域が検出されていない状態（図１７（Ａ））から、注目領域としての病変部９７が検出された場合、表示制御部５８は、強調表示として病変部９７を本来の色とは異なる色、例えば、病変部９７に多く含まれている色を抽出し、色相が異なる色に置き換えて表示させるとともに、累計検出時間計測部７２で計測された累計検出時間に応じて強調表示を変化させる。具体的には、図１７（Ｂ）に示すように、表示制御部５８は、注目領域としての病変部９５の検出開始の際、例えば、病変部９７に赤色の部分が多く含まれている場合、病変部９７の赤色の部分を色相が全く異なる緑色に置き換えて表示させる。このように病変部９７の色相が全く異なる色に置き換えられた状態を、強調量が最大の状態とする。この場合、累計検出時間計測部７２で計測された累計検出時間は０である。

そして、図１７（Ｃ）に示すように、表示制御部５８は、累計検出時間の増加に応じて病変部９７の強調量を徐々に低下、すなわち病変部９７において色を置き換えた部分を緑色から徐々に変更前の赤色に近い色に戻していく。なお、図１７（Ｂ）及び図１７（Ｃ）においては、図示の都合上、病変部９７の変更前の色との違いを、病変部９７に施した網掛けの目の細かさで表現しており、図１７（Ｂ）の病変部９７のほうが図１７（Ｃ）の病変部９７よりも網掛けの目が細かくなっている。

また、図１７に示す例では、注目領域としての病変部９７の部分のみを色の変更により強調表示させているが、これに限らず、病変部９７よりも１回り広い範囲を色の変更により強調表示させてもよい。なお、病変部９７の強調表示としては、これらに限らず、色相変化処理、彩度変化処理、コントラスト処理、ネガポジ反転処理、フィルタリング処理など、周囲に対して視覚的に区別することができる画像処理であればよい。あるいは、病変部９７の画素値による強調表示と、上記各実施形態における病変部を囲む図形による強調表示を組み合わせてもよい。

上記各実施形態では、４色のＬＥＤ２０ａ〜２０ｄを用いて観察対象の照明を行っているが、レーザ光源と蛍光体を用いて観察対象の照明を行ってもよい。また、上記各実施形態では、４色のＬＥＤ２０ａ〜２０ｄを用いて観察対象の照明を行っているが、キセノンランプ等の白色光光源と回転フィルタを用いて観察対象の照明を行ってもよい。また、カラーの撮像センサ３８に代えて、モノクロの撮像センサで観察対象の撮像を行っても良い。

なお、上記実施形態では、医用画像として、内視鏡画像を取得する内視鏡システムに対して、本発明の医用画像処理装置を適用しているが、カプセル内視鏡など、さまざまな内視鏡システムに対して、適用可能であることはいうまでもなく、その他の医用画像として、X線画像、CT画像、MR画像、超音波画像、病理画像、ＰＥＴ（Positron Emission Tomography）画像などを取得する各種医用画像装置に対しても、本発明の医用画像処理装置の適用は可能である。

上記実施形態において、画像処理部５６のような各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１３ａ アングルノブ
１３ｂ 静止画像取得部
１３ｃ モード切替部
１３ｄ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ コンソール
２０ 光源部
２０ａ V-LED
２０ｂ B-LED
２０ｃ G-LED
２０ｄ R-LED
２２ 光源制御部
２３ 波長カットフィルタ
２４ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３２ 照明レンズ
３４ 対物レンズ
３６ 拡大光学系
３６ａ ズームレンズ
３６ｂ レンズ駆動部
３８ 撮像センサ
４０ ＣＤＳ回路
４２ ＡＧＣ回路
４４ Ａ／Ｄ変換回路
５０ 画像信号取得部
５２ DSP
５４ ノイズ低減部
５６ 画像処理部
５８ 表示制御部
６０ 通常モード画像処理部
６２ 特殊モード画像処理部
６４ 注目領域検出モード画像処理部
７０ 検出用画像処理部
７１ 注目領域検出部
７２ 累計検出時間計測部
７３ 強調処理部
７５ 内視鏡画像
７６ 表示画面
７７ 図形
７８ 病変部
８１ 第１の病変部
８１Ｂ 注目領域
８２ 第２の病変部
８３ 図形
８４ 図形
８６ 注目領域記憶部
８７ 同一注目領域判定部
８８Ａ 病変部
８８Ｂ 病変部
８９Ａ 図形
８９Ｂ 図形
９０Ａ 病変部
９０Ｂ 病変部
９１Ａ 図形
９１Ｂ 図形
９２ 処置認識部
９３Ａ 病変部
９３Ｂ 病変部
９４Ａ 図形
９４Ｂ 図形
９５ 病変部
９６ 図形
９７ 病変部

Claims (14)

1. 観察対象を撮像部で撮像して医用画像を取得する医用画像取得部と、
   前記医用画像取得部により取得した前記医用画像に対して前記観察対象内の注目領域を検出する注目領域検出部と、
   前記注目領域が検出されている累計検出時間を計測する累計検出時間計測部と、
   前記医用画像に対して前記注目領域検出部により検出した前記注目領域を強調表示させる表示制御部であって、前記累計検出時間に応じて前記強調表示を変化させる表示制御部とを有する医用画像処理装置。
2. 前記表示制御部は、前記注目領域の検出開始の際、前記強調表示の強調量が最大となり、前記累計検出時間の増加に応じて前記強調量を徐々に低下させる請求項１記載の医用画像処理装置。
3. 前記累計検出時間計測部は、前記撮像部による撮像中に、前記注目領域検出部により複数の前記注目領域が検出された場合、検出された前記注目領域毎に前記累計検出時間を計測し、
   前記表示制御部は前記注目領域毎の前記累計検出時間に応じて前記強調表示を変化させる請求項１または２記載の医用画像処理装置。
4. 前記注目領域検出部により過去検出された前記注目領域毎の前記累計検出時間と前記注目領域毎の特徴量を表す特徴量情報とを関連付けて記憶する注目領域記憶部と、
   前記注目領域記憶部に記憶された前記注目領域の前記特徴量のいずれかと前記注目領域検出部により新たに検出された前記注目領域の前記特徴量との類似度から、過去検出された前記注目領域のいずれかと同一であるか否かを判定する同一注目領域判定部と、
   を有し、
   前記累計検出時間計測部は、前記撮像部による撮像中に、前記同一注目領域判定部により過去検出された前記注目領域のいずれかと同一であると判定された場合、同一であると判定された過去の前記注目領域に関する前記累計検出時間を引き継いで計測し、前記同一注目領域判定部により過去検出された前記注目領域のいずれとも同一ではないと判定された場合、前記注目領域検出部により新たに検出された前記注目領域に関して累計検出時間をリセットしてから計測開始する請求項１〜３のいずれか１項記載の医用画像処理装置。
5. 前記注目領域記憶部は、過去検出された各注目領域毎の直近の検出時刻を前記累計検出時間及び前記特徴量情報に関連付けて記憶し、
   前記累計検出時間計測部は、前記撮像部による撮像中に、新たに検出された前記注目領域が前記同一注目領域判定部により過去検出された前記注目領域のいずれかと同一であると判定された場合であり、かつ前記直近の検出時刻と、前記注目領域が新たに検出された検出時刻との時間間隔が所定値より大きい場合に、前記注目領域検出部により新たに検出された前記注目領域に関して累計検出時間をリセットしてから計測開始する請求項４記載の医用画像処理装置。
6. 前記観察対象内で特定の処置が行われたことを認識する処置認識部を備え、
   前記累計検出時間計測部は、前記撮像部による撮像中に、前記処置認識部により前記特定の処置が行われたことを認識した場合に、前記注目領域検出部により新たに検出された前記注目領域に関して累計検出時間をリセットしてから計測開始する請求項１〜５のいずれか１項に記載の医用画像処理装置。
7. 前記表示制御部は、前記強調表示として、前記医用画像内の前記注目領域の位置に図形を重畳表示する請求項１〜６のいずれか１項に記載の医用画像処理装置。
8. 前記表示制御部は、前記累計検出時間に応じて前記強調表示として表示する図形の色を変化させる請求項７記載の医用画像処理装置。
9. 前記表示制御部は、前記累計検出時間に応じて前記注目領域に重畳させる図形の透過度を変化させる請求項７記載の医用画像処理装置。
10. 前記表示制御部は、前記累計検出時間に応じて前記強調表示として表示する図形の形状を変化させる請求項７〜９のいずれか１項に記載の医用画像処理装置。
11. 前記表示制御部は、前記強調表示として、前記注目領域を囲む枠形状の図形を表示させ、前記累計検出時間に応じて前記図形の枠の太さを変化させる請求項１０記載の医用画像処理装置。
12. 前記表示制御部は、前記注目領域の色の変更により前記強調表示を行い、前記累計検出時間に応じて前記注目領域の変更前の色に戻す請求項１〜１１のいずれか１項に記載の医用画像処理装置。
13. 観察対象を照明するための照明光を発する光源装置と、
    前記照明光で照明された観察対象を撮像する撮像部を有する内視鏡と、
    前記撮像部で前記観察対象を撮像して得られる医用画像を取得する医用画像取得部と、
    前記医用画像取得部により取得した前記医用画像に対して前記観察対象内の注目領域を検出する注目領域検出部と、
    前記注目領域が検出されている累計検出時間を計測する累計検出時間計測部と、
    前記医用画像に対して前記注目領域検出部により検出した前記注目領域を強調表示させる表示制御部であって、前記累計検出時間に応じて前記強調表示を変化させる表示制御部と、
    前記医用画像及び前記強調表示を表示する表示部とを備える内視鏡システム。
14. 医用画像取得部が、観察対象を撮像部で撮像して医用画像を取得するステップと、
    注目領域検出部が、前記医用画像取得部により取得した前記医用画像に対して前記観察対象内の注目領域を検出するステップと、
    累計検出時間計測部が、前記注目領域が検出されている累計検出時間を計測するステップと、
    表示制御部が、前記医用画像に対して前記注目領域検出部により検出した前記注目領域を強調表示させ、前記累計検出時間に応じて前記強調表示を変化させるステップとを含む医用画像処理装置の作動方法。

Images