JP7146925B2 - 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 - Google Patents

Description

本発明は、病変部などの関心領域を認識処理するための医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法に関する。

医療分野においては、内視鏡画像、X線画像、CT（Computed Tomography）画像、MR（Magnetic Resonanse）画像などの医用画像を用いて、患者の病状の診断や経過観察などの画像診断が行われている。このような画像診断に基づいて、医師などは治療方針の決定などを行っている。

近年、医用画像を用いた画像診断においては、臓器内の病変や腫瘍など注意して観察すべき医用画像の関心領域を医用画像処理装置によって認識処理することが行われつつある。特に、ディープラーニングなどの機械学習の手法は、関心領域の認識処理向上に寄与している。

特許文献１には、各医用画像に認識処理を行い、関心領域を認識した場合、認識した結果をモニタなどに表示させる医用画像処理装置が記載されている。この特許文献１の医用画像処理装置では、医用画像の関心領域近傍に、各医用画像の特徴量（関心領域の特徴量）をプロットしたグラフ表示、または各医用画像の特徴量の項目名と値を文字で表示したラベル表示のいずれかを行い、ユーザーの入力に応じてグラフ表示とラベル表示の切り替えを行う。

特開２０１６－１５８８２８号公報

医師が医用画像を用いた画像診断を行う際、医用画像に対して認識処理を行った結果だけではなく、撮像部により取得した医用画像そのものを観察することも求められている。しかしながら、特許文献１記載の医用画像処理装置では、医用画像の関心領域近傍に表示される認識結果が多くなると、医用画像と重なって表示され、医用画像の観察の邪魔になる場合がある。

本発明は、認識処理で得られた認識結果の表示が医用画像の観察の妨げとなることを防止する医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法の提供を目的とする。

本発明の医用画像処理装置は、医用画像取得部と、認識処理部と、表示制御部とを有する。医用画像取得部は、観察対象を撮像して医用画像を取得する。認識処理部は、医用画像取得部により取得した医用画像に対して認識処理を行う。表示制御部は、医用画像取得部により取得した医用画像を表示部に表示する第１の表示方法と、医用画像取得部により取得した医用画像に対して認識処理を行った複数の認識結果を表示部に表示する第２の表示方法とを切り替える。

表示制御部へ表示方法の切り替えの指示を入力する入力部を備えることが好ましい。

表示制御部は、第２の表示方法に切り替えてから一定時間の経過後に第２の表示から第１の表示に切り替えることが好ましい。

表示制御部は、認識処理部が認識処理を行った一定時間後に第１の表示方法から第２の表示方法に切り替えることが好ましい。

表示制御部は、第２の表示方法により表示部に表示を行う場合、複数の認識結果とともに、医用画像の表示を行うことが好ましい。

認識結果は病変の種類であることが好ましい。認識結果は病変部の有無であることが好ましい。認識結果は病変部の位置であることが好ましい。

本発明の内視鏡システムは、光源装置と、内視鏡と、医用画像取得部と、認識処理部と、表示制御部と、表示部とを備える。光源装置は、観察対象を照明するための照明光を発生する。内視鏡は、照明光で照明された観察対象を撮像する撮像部を有する。医用画像取得部は、観察対象を撮像して医用画像を取得する。認識処理部は、医用画像取得部により取得した医用画像に対して認識処理を行う。表示制御部は、医用画像取得部により取得した医用画像を表示する第1の表示方法と、医用画像取得部により取得した医用画像に対して認識処理を行った複数の認識結果を表示する第２の表示方法とを切り替える。表示部は、第１の表示方法による医用画像、及び第２の表示方法による複数の認識結果を表示する。

内視鏡は、表示制御部へ表示方法の切り替え制御の指示を入力する入力部を備えることが好ましい。

本発明の医療用画像処理装置の作動方法は、医用画像取得部が、観察対象を撮像して医用画像を取得するステップと、認識処理部が、医用画像取得部により取得した医用画像に対して認識処理を行うステップと、表示制御部が、医用画像取得部により取得した医用画像を表示部に表示する第１の表示方法と、医用画像取得部により取得した医用画像に対して認識処理を行った複数の認識結果を表示部に表示する第２の表示方法とを切り替えるステップとを含んでいる。

本発明によれば、認識処理で得られた認識結果の表示が医用画像の観察を妨げることを防止することができる。

内視鏡システムの外観図である。 複数のLED光源を備える第１実施形態の内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、青色光Ｂｘ、緑色光Ｇ、赤色光Ｒの分光スペクトルを示すグラフである。 第１実施形態の通常光の分光スペクトルを示すグラフである。 第１実施形態の特殊光の分光スペクトルを示すグラフである。 認識処理部を備える関心領域モード画像処理部の機能を示すブロック図である。 表示制御部が切り替え制御を行う場合の第１の表示方法（Ａ）および第２の表示方法（Ｂ）における表示画面の一例を示す説明図である。 関心領域モードの一連の流れを示すフローチャートである。 第２実施形態における表示制御部が切り替え制御を行う場合の第１の表示方法（Ａ）および第２の表示方法（Ｂ）における表示画面の一例を示す説明図である。 第３実施形態における表示制御部が切り替え制御を行う場合の第１の表示方法（Ａ）および第２の表示方法（Ｂ）における表示画面の一例を示す説明図である。

［第１実施形態］
図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８（表示部）と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１３ａを操作することにより、湾曲部１２ｃが湾曲動作する。この湾曲動作によって、先端部１２ｄが所望の方向に向けられる。

また、操作部１２ｂには、アングルノブ１３ａの他、静止画像の取得操作に用いる静止画像取得部１３ｂ、観察モードの切り替え操作に用いるモード切替部１３ｃ、ズーム倍率の変更操作に用いるズーム操作部１３ｄ、関心領域モードの際に表示方法の切り替えの指示に用いる専用の入力部としての表示切替操作部１３ｅを設けている。静止画像取得部１３ｂは、モニタ１８に観察対象の静止画像を表示するフリーズ操作と、ストレージに静止画像を保存するレリーズ操作が可能である。

内視鏡システム１０は、観察モードとして、通常モードと、特殊モードと、関心領域モードとを有している。観察モードが通常モードである場合、複数色の光を通常モード用の光量比Ｌｃで合波した通常光を発光する。また、観察モードが特殊モードである場合、複数色の光を特殊モード用の光量比Ｌｓで合波した特殊光を発光する。

また、観察モードが関心領域モードである場合、関心領域モード用照明光を発光する。本実施形態では、関心領域モード用照明光として、通常光を発光するが、特殊光を発光するようにしてもよい。

プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続する。モニタ１８は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール１９は、関心領域（ROI : Region Of Interest）の指定等や機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。

図２に示すように、光源装置１４は、観察対象の照明に用いる照明光を発する光源部２０と、光源部２０を制御する光源制御部２２とを備えている。光源部２０は、複数色のＬＥＤ（Light Emitting Diode）等の半導体光源である。光源制御部２２は、ＬＥＤ等のオン／オフや、ＬＥＤ等の駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。また、光源制御部２２は、光学フィルタの変更等によって、照明光の波長帯域を制御する。

第１実施形態では、光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤと、波長カットフィルタ２３とを有している。図３に示すように、Ｖ－ＬＥＤ２０ａは、波長帯域３８０ｎｍ～４２０ｎｍの紫色光Ｖを発する。

Ｂ－ＬＥＤ２０ｂは、波長帯域４２０ｎｍ～５００ｎｍの青色光Ｂを発する。Ｂ－ＬＥＤ２３ｂから出射した青色光Ｂのうち少なくともピーク波長の４５０ｎｍよりも長波長側は、波長カットフィルタ２３によりカットされる。これにより、波長カットフィルタ２３を透過した後の青色光Bxは、４２０～４６０nmの波長範囲になる。このように、４６０ｎｍよりも長波長側の波長域の光をカットしているのは、この４６０ｎｍよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ２３は、４６０ｎｍよりも長波長側の波長域の光をカットする代わりに、４６０ｎｍよりも長波長側の波長域の光を減光させてもよい。

Ｇ－ＬＥＤ２０ｃは、波長帯域が４８０ｎｍ～６００ｎｍに及ぶ緑色光Ｇを発する。Ｒ－ＬＥＤ２０ｄは、波長帯域が６００ｎｍ～６５０ｎｍに及び赤色光Ｒを発する。なお、各ＬＥＤ２０ａ～２０ｄから発せられる光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。

光源制御部２２は、各ＬＥＤ２０ａ～２０ｄの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。光源制御部２２における点灯及び消灯の制御は、観察モードごとに異なっている。なお、基準の明るさは光源装置１４の明るさ設定部又はコンソール１９等によって設定可能である。

通常モード又は関心領域モードの場合、光源制御部２２は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを全て点灯させる。その際、図４に示すように、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比Lｃは、青色光Bxの光強度のピークが、紫色光Ｖ、緑色光Ｇ、及び赤色光Ｒのいずれの光強度のピークよりも大きくなるように、設定されている。これにより、通常モード又は関心領域モードでは、光源装置１４から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む通常モード用又は関心領域モード用の多色光が、通常光として、が発せられる。通常光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。

特殊モードの場合、光源制御部２２は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを全て点灯させる。その際、図５に示すように、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比Lｓは、紫色光Vの光強度のピークが、青色光Bx、緑色光Ｇ、及び赤色光Ｒのいずれの光強度のピークよりも大きくなるように、設定されている。また、緑色光G及び赤色光Rの光強度のピークは、紫色光V及び青色光Bｘの光強度のピークよりも小さくなるように、設定されている。これにより、特殊モードでは、光源装置１４から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む特殊モード用の多色光が、特殊光として発せられる。特殊光は、紫色光Ｖが占める割合が大きいことから、青みを帯びた光となっている。なお、特殊光は、４色全ての光が含まれていなくてもよく、４色のＬＥＤ２０ａ～２０ｄのうち少なくとも１色のＬＥＤからの光が含まれていればよい。また、特殊光は、４５０ｎｍ以下に主な波長域、例えばピーク波長又は中心波長を有することが好ましい。

図２に示すように、光源部２０が発した照明光は、ミラーやレンズ等で形成される光路結合部（図示しない）を介して、挿入部１２ａ内に挿通したライトガイド２４に入射する。ライトガイド２４は、内視鏡１２及びユニバーサルコードに内蔵され、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド２４としては、マルチモードファイバを使用することができる。一例として、ライトガイド２４には、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３ｍｍ～φ０．５ｍｍの細径なファイバケーブルを使用することができる。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂとを設けている。照明光学系３０ａは、照明レンズ３２を有している。この照明レンズ３２を介して、ライトガイド２４を伝搬した照明光によって観察対象を照明する。撮像光学系３０ｂは、対物レンズ３４と、拡大光学系３６と、撮像センサ３８（本発明の「撮像部」に対応する）とを有している。これら対物レンズ３４及び拡大光学系３６を介して、観察対象からの反射光、散乱光、及び蛍光等の各種の光が撮像センサ３８に入射する。これにより、撮像センサ３８に観察対象の像が結像する。

拡大光学系３６は、観察対象を拡大するズームレンズ３６ａと、ズームレンズ３６ａを光軸方向ＣＬに移動させるレンズ駆動部３６ｂとを備えている。ズームレンズ３６ａは、レンズ駆動部３６ｂによるズーム制御に従って、テレ端とワイド端の間で自在に移動させることで、撮像センサ３８に結像する観察対象を拡大又は縮小させる。

撮像センサ３８は、照明光が照射された観察対象を撮像するカラー撮像センサである。撮像センサ３８の各画素には、Ｒ（赤色）カラーフィルタ、Ｇ（緑色）カラーフィルタ、Ｂ（青色）カラーフィルタのいずれかが設けられている。撮像センサ３８は、Ｂカラーフィルタが設けられているＢ画素で紫色から青色の光を受光し、Ｇカラーフィルタが設けられているＧ画素で緑色の光を受光し、Ｒカラーフィルタが設けられているＲ画素で赤色の光を受光する。そして、各色の画素から、ＲＧＢ各色の画像信号を出力する。撮像センサ３８は、出力した画像信号を、ＣＤＳ回路４０に送信する。

通常モード又は関心領域モードにおいては、撮像センサ３８は、通常光が照明された観察対象を撮像することにより、B画素からBｃ画像信号を出力し、G画素からGc画像信号を出力し、R画素からRｃ画像信号を出力する。また、特殊モードにおいては、撮像センサ３８は、特殊光が照明された観察対象を撮像することにより、B画素からBｓ画像信号を出力し、G画素からGｓ画像信号を出力し、R画素からRｓ画像信号を出力する。

撮像センサ３８としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサ等を利用可能である。また、ＲＧＢの原色のカラーフィルタを設けた撮像センサ３８の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号を出力する。このため、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ３８と同様のＲＧＢ各色の画像信号を得ることができる。また、撮像センサ３８の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。

ＣＤＳ回路４０は、撮像センサ３８から受信したアナログの画像信号に、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）を行う。ＣＤＳ回路４０を経た画像信号はＡＧＣ回路４２に入力される。ＡＧＣ回路４０は、入力された画像信号に対して、自動利得制御（ＡＧＣ：Automatic Gain Control）を行う。Ａ／Ｄ（Analog to Digital）変換回路４４は、ＡＧＣ回路４２を経たアナログ画像信号を、デジタルの画像信号に変換する。Ａ／Ｄ変換回路４４は、Ａ／Ｄ変換後のデジタル画像信号を、プロセッサ装置１６に入力する。

図２に示すように、プロセッサ装置１６は、画像信号取得部５０（本発明の「医用画像取得部」に対応する）と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５４と、画像処理部５６と、表示制御部５８とを備えている。

画像信号取得部５０は、内視鏡１２から、観察モードに対応したデジタル画像信号を取得する。通常モード又は関心領域モードの場合には、Ｂｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号を取得する。特殊モードの場合には、Ｂｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号を取得する。関心領域モードの場合には、通常光の照明時に１フレーム分のＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号を取得し、特殊光の照明時に１フレーム分のＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号を取得する。

ＤＳＰ５２は、画像信号取得部５０が取得した画像信号に対して、欠陥補正処理、オフセット処理、ＤＳＰ用ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理は、撮像センサ３８の欠陥画素の信号を補正する。オフセット処理は、欠陥補正処理した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。ＤＳＰ用ゲイン補正処理は、オフセット処理した画像信号に特定のＤＳＰ用ゲインを乗じることにより信号レベルを整える。

リニアマトリクス処理は、ＤＳＰ用ゲイン補正処理した画像信号の色再現性を高める。ガンマ変換処理は、リニアマトリクス処理した画像信号の明るさや彩度を整える。ガンマ変換処理した画像信号には、デモザイク処理（等方化処理、又は同時化処理とも言う）を施すことによって、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ノイズ低減部５４は、ＤＳＰ５２でデモザイク処理等を施した画像信号に対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズ低減後の画像信号は画像処理部５６に入力される。

画像処理部５６は、通常モード画像処理部６０と、特殊モード画像処理部６２と、関心領域モード画像処理部６４を備えている。通常モード画像処理部６０は、通常モードに設定されている場合に作動し、受信したＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理では、ＲＧＢ画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（Look Up Table）処理などにより色変換処理を行う。

色彩強調処理は、色変換処理済みのＲＧＢ画像信号に対して行われる。構造強調処理は、観察対象の構造を強調する処理であり、色彩強調処理後のＲＧＢ画像信号に対して行われる。上記のような各種画像処理等を行うことによって、通常画像が得られる。通常画像は、紫色光V、青色光Bｘ、緑色光G、赤色光Rがバランス良く発せられた通常光に基づいて得られた画像であるため、自然な色合いの画像となっている。通常画像は、表示制御部５８に入力される。

特殊モード画像処理部６２は、特殊モードに設定されている場合に作動する。特殊モード画像処理部６２では、受信したＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理、色彩強調処理、及び構造強調処理の処理内容は、通常モード画像処理部６０と同様である。上記のような各種画像処理を行うことによって、特殊画像が得られる。特殊画像は、血管のヘモグロビンの吸収係数が高い紫色光Vが、他の色の青色光Bx、緑色光G、赤色光Rよりも大きい発光量となっている特殊光に基づいて得られた画像であるため、血管構造や腺管構造の解像度が他の構造よりも高くなっている。特殊画像は表示制御部５８に入力される。

関心領域モード画像処理部６４は、関心領域モード時に設定されている場合に作動する。関心領域モード画像処理部６４では、受信したＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号に対して、色変換処理など通常モード画像処理部６０と同様の画像処理を行う。

図６に示すように、関心領域モード画像処理部６４は、通常画像処理部７０と、認識用画像処理部７１と、認識処理部７２と、認識結果記憶部７３とを備えている。通常画像処理部７０は、通常モード画像処理部６０と同様の画像処理により内視鏡画像を順次取得する。一方、認識用画像処理部７１は、静止画像取得部１３ｂが操作された際に得られる観察対象の静止画像を、関心領域の認識に用いる認識用画像として取得する。認識用画像は、認識結果記憶部７３に記憶させる。

認識処理部７２は、認識用画像を画像解析し、認識処理を行う。認識処理部７２が行う認識処理としては、認識用画像から関心領域を検出する検出処理と、認識用画像に含まれる病変の種類などを鑑別する鑑別処理とが含まれる。なお、具体的には、鑑別処理は、関心領域に対して鑑別結果を出力する場合と、認識用画像全体に対して鑑別結果を出力する場合とがある。本実施形態では、認識処理部７２は、認識用画像から関心領域である病変部を検出する検出処理を行う。この場合、認識処理部７２は、先ず認識用画像を複数の小領域、例えば画素数個分の正方領域に分割する。次いで、分割した認識用画像から画像的な特徴量を算出する。続いて、算出した特徴量に基づき、各小領域が病変部であるか否かを判断する。このような判断手法としては、畳み込みニューラルネットワーク（Convolutional Neural Network）や、深層学習（Deep Learning）などの機械学習アルゴリズムであることが好ましい。

また、認識処理部７２により認識用画像から算出される特徴量としては、観察対象における所定部位の形状、色又はそれら形状や色などから得られる指標値であることが好ましい。例えば、特徴量として、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報の少なくともいずれか、もしくは、それらを２以上組み合わせた値であることが好ましい。

最後に、同じ種類と特定された、ひとかたまりの小領域を１つの病変部として抽出する。認識処理部７２は、病変部の有無の情報を認識用画像に関連付けて認識結果記憶部７３に記憶させる。関心領域モード画像処理部６４は、表示制御部５８の制御に応じて内視鏡画像、および病変部の有無の情報を関連付けた認識用画像のいずれか一方を表示制御部５８に出力する。

表示制御部５８は、画像処理部５６からの画像やデータをモニタ１８に表示するための表示制御を行う。通常モードに設定されている場合には、表示制御部５８は、通常画像をモニタ１８に表示する制御を行う。特殊モードに設定されている場合には、表示制御部５８は、特殊画像をモニタ１８に表示する制御を行う。

関心領域モードに設定されている場合には、表示制御部５８は、第１の表示方法と、第２の表示方法とを切り替える。表示制御部５８に対する表示方法の切り替えの指示は、表示切替操作部１３ｅの操作により入力される。図７（Ａ）に示すように、第１の表示方法は、撮像センサ３８が撮像し、関心領域モード画像処理部６４により画像処理した内視鏡画像７５（通常画像と同様の画像）を順次取得してモニタ１８の表示画面７６にリアルタイム表示する表示方法である。

一方、第２の表示方法は、認識処理部７２が認識用画像に対して認識処理を行った複数の認識結果をモニタ１８の表示画面７６に表示する表示方法である。具体的には、図７（Ｂ）に示すように、第２の表示方法では、複数の認識用画像のサムネイル画像７８と、各認識用画像に対応する認識結果としての病変部の有無７９とを含む認識結果一覧７７をモニタ１８の表示画面７６に表示する。この場合、表示制御部５８は、関心領域モード画像処理部６４から出力された認識用画像および認識用画像に関連付けた病変部の有無の情報に基づいてサムネイル画像７８および病変部の有無７９を表示する。病変部の有無７９は、該当する認識用画像のサムネイル画像７８の近傍に表示する。なお、図７（Ｂ）に示す例では、認識結果一覧７７としてサムネイル画像７８と、認識結果としての病変部の有無７９を６個ずつ表示させているが、これに限るものではなく、表示画面および画像の大きさ、縦横比などによって、表示させる個数および配置が適宜変更される。また、以下の実施形態においても、画像および認識結果の個数および配置は限定されるものではない。

また、認識結果一覧として表示されるサムネイル画像７８では、認識処理部７２によって抽出された病変部の領域を、例えば、色、階調など異なる表示にしてもよい。また、サムネイル画像７８のいずれか１つをコンソール１９の入力により選択した場合、もとの認識用画像を表示させるようにしてもよい。

次に、関心領域モードの一連の流れについて、図８に示すフローチャートに沿って説明を行う。ユーザーである医師がモード切替部１３ｃを操作して、関心領域モードに切り替える（Ｓ１１）。これにより、観察対象に対して、関心領域モード用照明光が照明される。この関心領域モード用照明光で照明された観察対象を撮像センサ３８で撮像して内視鏡画像を取得する。本実施形態では、表示制御部５８における初期状態として第１の表示方法が設定されている。このため、関心領域モードに切り替えた際は、内視鏡画像７５をモニタ１８の表示画面７６にリアルタイム表示する（Ｓ１２）。この場合、表示画面７６には、内視鏡画像７５のみが表示され、認識結果は表示されていないため、内視鏡画像７５に対する医師の観察を妨げることがない。

そして、第１の表示方法によるリアルタイム表示中に、内視鏡画像を観察している医師が静止画像取得部１３ｂを操作して、認識用画像を取得する（Ｓ１３）。この認識用画像を取得した場合、認識用画像に対して病変部を検出する認識処理を行う（Ｓ１４）。認識用画像とともに、認識処理により認識した認識結果を認識用画像に関連付けて認識結果記憶部７３に記憶させる（Ｓ１５）。

次に、医師が表示切替操作部１３ｅにより表示方法の切り替えの指示を入力した場合、表示制御部５８は第１の表示方法から、第２の表示方法に切り替える（Ｓ１６）。第２の表示方法に切り替えられた場合、認識結果一覧７７をモニタ１８の表示画面７６に表示する（Ｓ１７）。認識用画像のサムネイル画像７８とともに、認識結果としての病変部の有無７９が一覧表示されるため、医師は、関心領域の認識結果を容易に確認することができる。

また、関心領域の認識結果を確認した後、内視鏡画像７５を再度観察したい場合には、医師は表示切替操作部１３ｅにより表示方法の切り替えの指示を入力する。これにより、表示制御部５８は第２の表示方法から、第１の表示方法に切り替えを行い、内視鏡画像７５をモニタ１８の表示画面７６にリアルタイム表示する。表示方法の切り替えの指示を入力する表示切替操作部１３ｅが、内視鏡１２に設けられているため、医師は第１及び第２の表示方法の切り替えを容易に行うことができる。

［第２実施形態］
上記第１実施形態では、第２の表示方法における認識結果一覧では、認識結果として病変部の有無を表示しているが、これに限らず、認識結果として病変部の位置を表示してもよい。具体的には、図９（Ｂ）に示すように、認識結果一覧８０では、複数の認識用画像のサムネイル画像８１と、各認識用画像に対応する認識結果としての病変部の位置８２とをモニタ１８の表示画面７６に表示する。なお、第１の表示方法の場合は、図９（Ａ）に示すように、上記第１実施形態と同様、内視鏡画像７５を順次取得してモニタ１８にリアルタイム表示するものであり、第２の表示方法において、病変部の位置を表示すること以外は、上記第１実施形態の関心領域モードにおける表示方法の切り替えと同様である。

この場合、認識処理部７２は、第１実施形態と同様に、認識用画像を複数の小領域に分割する。次いで、分割した認識用画像から画像的な特徴量を算出し、算出した特徴量に基づき、各小領域が病変部であるか否かを判断する。そして、認識処理部７２は、病変部として判断された各小領域の位置情報、例えば認識用画像内における座標情報を抽出する。認識処理部７２は、抽出された病変部の座標情報を認識用画像に関連付けて認識結果記憶部７３に記憶させる。関心領域モード画像処理部６４は、第１実施形態と同様に、表示制御部５８の制御に応じて内視鏡画像、および認識結果を関連付けた認識用画像のいずれか一方を表示制御部５８に出力する。

そして、第２の表示方法を行う場合、表示制御部５８は、認識用画像および認識用画像に関連付けた座標情報に基づき、認識用画像のサムネイル画像７８と、認識結果としての病変部の位置８２とをモニタ１８の表示画面７６に表示する。なお、図９（Ｂ）においては病変部として認識された各小領域の表示を正方形の升目状に表示することで病変部の位置８２を示しているが、これに限らず、色や階調を変えるなど、病変部の位置８２が分かる表示であればよく、座標情報を文字で表した文字情報でもよい。

なお、上記第１及び第２実施形態では、第２の表示方法の認識結果一覧において表示される認識用画像（サムネイル画像を含む。）および認識結果は、過去の内視鏡画像に基づくもの、すなわち、静止画像取得部１３ｂが操作された際に、認識用画像として取得した内視鏡画像に対して認識処理を行ったものであるが、これに限るものではなく、撮像センサ３８の撮像により取得した最新の内視鏡画像に基づく認識結果を認識結果一覧に含めてもよい。この場合、関心領域モードにおいて撮像センサ３８が内視鏡画像を順次取得している間中は、常に内視鏡画像に対して認識処理を行う。

そして、順次取得する最新の内視鏡画像に対して常に認識処理を行って認識結果を取得する。また、第２の表示方法の認識結果一覧において表示される認識用画像および認識結果には、撮像センサ３８が取得した最新の内視鏡画像に基づくものが含まれることが好ましい。さらに、この場合、第２の表示方法の認識結果一覧は、最新の内視鏡画像に基づく認識用画像および認識結果を最初に配置し（図７（Ｂ）または図９（Ｂ）における番号「１」を付した認識用画像および認識結果）、以降は、徐々に時間を遡り、過去に認識処理を行って取得した認識用画像および認識結果を、新しいものから古いものへ順に配列する（図７（Ｂ）または図９（Ｂ）における番号「２」、「３」、「４」・・・を付した認識用画像および認識結果）ことが好ましい。

なお、撮像センサ３８が順次取得する内視鏡画像の全てを認識処理するものではなく、間引き処理、すなわち、全ての内視鏡画像のうち、所定時間毎に又は所定フレーム毎に認識用画像を取得し、間引きした後の認識用画像について認識処理を行って認識結果を取得してもよい。

［第３実施形態］
上記第１及び第２実施形態では、第２の表示方法により表示を行う場合、認識結果一覧のみを表示しているが、認識結果一覧とともに、内視鏡画像のリアルタイム表示をしてもよい。なお、第１の表示方法の場合は、図１０（Ａ）に示すように、上記第１実施形態と同様、内視鏡画像７５を順次取得してモニタ１８にリアルタイム表示する。

図１０（Ｂ）に示すように、第２の表示方法においては、第１実施形態と同様の認識結果一覧８５とともに、内視鏡画像８６のリアルタイム表示を行う。この場合、認識処理部７２は、第１実施形態と同様に認識処理する。そして、認識処理部７２は、検出した病変部の有無などの情報を認識用画像に関連付けて認識結果記憶部７３に記憶させる。関心領域モード画像処理部６４は、表示制御部５８の制御に応じて内視鏡画像のみ、あるいは内視鏡画像および認識結果を関連付けた認識用画像の両方を表示制御部５８に出力する。

そして、第２の表示方法を行う場合、表示制御部５８は、内視鏡画像、認識用画像および認識用画像に関連付けた情報に基づき、認識用画像のサムネイル画像７８と、認識結果としての病変部の有無７９とを含む認識結果一覧８５とともに、内視鏡画像８６のリアルタイム表示をモニタ１８の表示画面７６に表示する。なお、第２の表示方法のリアルタイム表示は、第１の表示方法と同様に、撮像センサ３８が撮像し、関心領域モード画像処理部６４により画像処理した内視鏡画像８６を順次取得してリアルタイム表示するものである。なお、図１０（Ｂ）においては、第１実施形態と同様に認識結果として病変部の有無を表示しているが、第２実施形態と同様に認識結果として病変部の位置を表示してもよい。

上記各実施形態では、第２の表示方法における認識結果として、認識処理部７２が病変部の検出処理を行った結果を表示させているが、これに限るものではなく、認識処理部７２が鑑別処理を行った結果を認識結果として表示させてもよい。すなわち、認識処理部７２が、上記各実施形態と同様に認識用画像から病変部を検出し、さらに検出した病変部に対して病変の種類などを鑑別する鑑別処理を行う、あるいは、認識用画像全体に対して鑑別処理を行うことにより鑑別結果を表示させてもよい。認識処理部７２による鑑別処理の方法としては、人工知能（ＡＩ（Artificial Intelligence））、深層学習、畳み込みニューラルネットワーク、テンプレートマッチング、テクスチャ解析、周波数解析等を用いることが好ましい。

具体的には、表示制御部５８が、第２の表示方法における認識結果として認識処理部７２が鑑別した病変の種類を表示させるようにしてもよい。この場合、例えば、認識処理部７２が鑑別を行う病変の種類は、診断を行う部位によって予め決められたものであることが好ましい。例えば、大腸の診断では、鑑別部は、正常、過形成ポリープ（ＨＰ：Hyperplastic Polyp）、ＳＳＡ／Ｐ（Sessile Serrated Adenoma / Polyp）、腺腫（ＴＳＡ：Traditional Serrated Adenoma）、側方発達型腫瘍（ＬＳＴ：Laterally Spreading Tumor）、及びがんのいずれかの種類に鑑別する。また、鑑別を行う病変の種類は、例えば、コンソール１９の入力により設定されるようにしてもよい。

上記各実施形態では、表示制御部５８へ表示方法の切り替えの指示を入力する表示切替操作部１３ｅが内視鏡１２に設けられているが、これに限らず、表示制御部５８へ表示方法の切り替えの指示を入力する入力部であればよく、医用画像処理装置に入力部を設け、同様の切り替えの指示を入力する機能を持たせてもよい。

上記各実施形態では、第１の表示方法から第２の表示方法に切り替えた後、入力部による切り替えの指示を再度入力することにより第１の表示方法に戻す例を示しているが、これに限らず、表示制御部５８は、第２の表示方法に切り替えてから一定時間の経過後に第２の表示方法から第１の表示方法に切り替えてもよい。この場合、第２の表示方法に切り替えてから第１の表示方法に切り替えるまでの一定時間は、ユーザーである医師が認識結果を確認するのに十分な時間を予め設定したものでもよいし、第２の表示方法に切り替えてから第１の表示方法に切り替えるまでの時間を、例えばコンソール１９の入力により設定するようにしてもよい。

また、上記各実施形態では、第１の表示方法から第２の表示方法に切り替える場合、入力部の指示に応じて切り替える例を示しているが、これに限らず、表示制御部５８は、認識処理部７２が認識処理を行った一定時間後に第１の表示方法から第２の表示方法に切り替えてもよい。この場合、静止画像取得部１３ｂが操作された際に観察対象の静止画像を認識用画像として取得する毎に、認識処理を行って第１の表示方法から第２の表示方法に切り替えを行うことが好ましい。また、認識処理を行って第１の表示方法から第２の表示方法に切り替えるまでの一定時間は、認識処理部７２による認識処理から、表示制御部５８が認識結果一覧の画像を作成し、表示画面を表示するのに十分な時間を予め設定したものでもよいし、第１の表示方法から第２の表示方法に切り替えるまでの時間を、例えばコンソール１９の入力により設定するようにしてもよい。

上記各実施形態では、４色のＬＥＤ２０ａ～２０ｄを用いて観察対象の照明を行っているが、レーザ光源と蛍光体を用いて観察対象の照明を行ってもよい。また、上記各実施形態では、４色のＬＥＤ２０ａ～２０ｄを用いて観察対象の照明を行っているが、キセノンランプ等の白色光光源と回転フィルタを用いて観察対象の照明を行ってもよい。また、カラーの撮像センサ３８に代えて、モノクロの撮像センサで観察対象の撮像を行っても良い。

なお、上記実施形態では、医用画像として、内視鏡画像を取得する内視鏡システムに対して、本発明の医療用画像処理装置を適用しているが、カプセル内視鏡など、さまざまな内視鏡システムに対して、適用可能であることはいうまでもなく、その他の医用画像として、X線画像、CT画像、MR画像、超音波画像、病理画像、ＰＥＴ（Positron Emission Tomography）画像などを取得する各種医用画像装置に対しても、本発明の医療用画像処理装置の適用は可能である。

上記実施形態において、画像処理部５６のような各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit) 、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１３ａ アングルノブ
１３ｂ 静止画像取得部
１３ｃ モード切替部
１３ｄ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ コンソール
２０ 光源部
２０ａ V-LED
２０ｂ B-LED
２０ｃ G-LED
２０ｄ R-LED
２２ 光源制御部
２３ 波長カットフィルタ
２４ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３２ 照明レンズ
３４ 対物レンズ
３６ 拡大光学系
３６ａ ズームレンズ
３６ｂ レンズ駆動部
３８ 撮像センサ
４０ ＣＤＳ回路
４２ ＡＧＣ回路
４４ Ａ／Ｄ変換回路
５０ 画像信号取得部
５２ DSP
５４ ノイズ低減部
５６ 画像処理部
５８ 表示制御部
６０ 通常モード画像処理部
６２ 特殊モード画像処理部
６４ 関心領域モード画像処理部
７０ 通常画像処理部
７１ 認識用画像処理部
７２ 認識処理部
７３ 認識結果記憶部
７５ 内視鏡画像
７６ 表示画面
７７ 認識結果一覧
７８ サムネイル画像
７９ 病変部の有無
８０ 認識結果一覧
８１ サムネイル画像
８２ 病変部の位置
８５ 認識結果一覧
８６ 内視鏡画像

Claims (4)

1. 観察対象を撮像して内視鏡画像を順次取得する医用画像取得部と、
   前記医用画像取得部により順次取得した前記内視鏡画像に含まれる病変の種類を鑑別する鑑別処理を行う認識処理部と、
   前記医用画像取得部により順次取得した前記内視鏡画像を表示部にリアルタイム表示し、前記鑑別処理により鑑別した鑑別結果を表示しない第１の表示方法と、前記第１の表示方法によるリアルタイム表示中に前記医用画像取得部により順次取得した前記内視鏡画像に対して前記鑑別処理を行った複数の異なる鑑別結果を並べて前記表示部に表示する第２の表示方法とをユーザーによる切り替え指示の入力に応じて切り替える表示制御部とを有する医用画像処理装置。
2. 前記表示制御部は、前記第２の表示方法により前記表示部に表示を行う場合、複数の前記鑑別結果とともに、前記内視鏡画像の表示を行う請求項１記載の医用画像処理装置。
3. 観察対象を照明するための照明光を発生する光源装置と、
   前記照明光で照明された観察対象を撮像する撮像部を有する内視鏡と、
   前記観察対象を撮像して内視鏡画像を順次取得する医用画像取得部と、
   前記医用画像取得部により順次取得した前記内視鏡画像に含まれる病変の種類を鑑別する鑑別処理を行う認識処理部と、
   前記医用画像取得部により順次取得した前記内視鏡画像を表示し、前記鑑別処理により鑑別した鑑別結果を表示しない第１の表示方法と、前記第１の表示方法によるリアルタイム表示中に前記医用画像取得部により順次取得した前記内視鏡画像に対して前記鑑別処理を行った複数の異なる鑑別結果を並べて表示する第２の表示方法とをユーザーによる切り替え指示の入力に応じて切り替える表示制御部と、
   前記第１の表示方法による前記内視鏡画像、及び前記第２の表示方法による複数の前記鑑別結果を表示する表示部とを備える内視鏡システム。
4. 医用画像取得部が、観察対象を撮像して内視鏡画像を順次取得するステップと、
   認識処理部が、前記医用画像取得部により順次取得した前記内視鏡画像に含まれる病変の種類を鑑別する鑑別処理を行うステップと、
   表示制御部が、前記医用画像取得部により順次取得した前記内視鏡画像を表示部にリアルタイム表示し、前記鑑別処理により鑑別した鑑別結果を表示しない第１の表示方法と、前記第１の表示方法によるリアルタイム表示中に前記医用画像取得部により順次取得した前記内視鏡画像に対して前記鑑別処理を行った複数の異なる鑑別結果を並べて前記表示部に表示する第２の表示方法とをユーザーによる切り替え指示の入力に応じて切り替えるステップとを含む医用画像処理装置の作動方法。

Images