JP7430287B2 - 医用画像処理装置及び内視鏡システム - Google Patents

Description

本発明は医用画像処理装置及び内視鏡システムに関し、特に複数の照明モードで撮影した画像を扱う医用画像処理装置及び内視鏡システムに関する。

医療現場では、医用機器を用いて撮影した被検体の画像が診断、治療等に用いられているが、「撮影された画像で被写体のどのような構造が明確に（あるいは不明確に）映るか」は撮影の際の照明モード（照明光）に依存する。例えば、短波長成分が強い狭帯域光等の特殊光の下で撮影した画像では表層の血管がコントラストよく描写され、一方で長波長成分が強い特殊光の下で撮影した画像では深層の血管がコントラストよく描写される。また、医師による注目領域の観察や検出（拾い上げ）は特殊光ではなく通常光（白色光）で行われることが多い。

このような画像の使用目的や対象に応じた照明光の使い分けについては、例えば特許文献１が知られている。特許文献１には、通常光観察モードと狭帯域光観察モードとを観察モード切替スイッチにより切り替えられる内視鏡装置が記載されている。

特開２０１４－１２４３３３号公報

観察や診断においては、異なる照明モードで撮影された医用画像に対し照明モードに対応した認識（処理）を行い、認識内容及び結果に応じた表示を行う場合がある。この場合、ユーザ自身が照明モードに合わせて画像の認識内容及び表示を設定する必要があるのでは操作負担が高い。しかしながら特許文献１のような従来の技術ではこのような点が考慮されていなかった。

本発明はこのような事情に鑑みてなされたもので、ユーザの操作負担を軽減できる医用画像処理装置及び内視鏡システムを提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る医用画像処理装置は、医用画像を取得する画像取得部と、医用画像が撮影された際の照明モードを判定する判定部と、照明モードが第１の照明モードであると判定された場合は医用画像に対する第１の認識を行い、照明モードが第２の照明モードであると判定された場合は医用画像に対する第２の認識を行う認識部と、照明モードが第１の照明モードであると判定された場合は第１の認識の結果に応じて表示装置に第１の表示をさせ、照明モードが第２の照明モードであると判定された場合は第２の認識の結果に応じて表示装置に第２の表示をさせる表示制御部と、を備える。

第１の態様では判定部が照明モードを判定し、判定結果に応じて認識部が第１の認識または第２の認識を行い、認識結果に応じて表示制御部が表示装置に第１の表示または第２の表示をさせるので、ユーザ自身が照明モードに合わせて画像の認識内容及び表示を設定する必要がなく、ユーザの操作負担を軽減することができる。

第１の態様において、医用画像は認識を行う際に撮影し取得してもよいし、あらかじめ撮影された画像を取得してもよい。すなわち、画像の取得と認識及び表示とを並行して行ってもよいし、あらかじめ撮影及び記録された画像に対して事後的に認識及び表示を行ってもよい。また、画像取得部が取得する医用画像は、撮影画像に対し画像処理（特定の被写体や特定の色成分（周波数帯域）を強調する等）を施した画像でもよい。なお、第１の態様に係る医用画像処理装置は例えば画像診断支援システムや内視鏡システムのプロセッサ、医用画像処理用のコンピュータとして実現することができるが、このような態様には限定されない。

なお、第１の態様に係る医用画像処理装置は、複数の医用画像について終了条件を満たすまで処理（判定、認識、表示）を継続させる繰り返し制御部を備えていてもよい。また、第１の態様及び以下の各態様において、医用画像は医療画像ともいう。

第２の態様に係る医用画像処理装置は第１の態様において、画像取得部は医用画像を時系列で取得し、判定部は時系列で取得した医用画像を構成するフレームに対して判定を行い、認識部は、判定の結果が第１の照明モードと第２の照明モードとの間で切り替わったのに応じて第１の認識と第２の認識とを切り替え、表示制御部は第１の認識と第２の認識との切替に応じて第１の表示と第２の表示とを切り替える。第２の態様によれば、判定部は、判定の結果が第１の照明モードと第２の照明モードとの間で切り替わったのに応じて第１の認識と第２の認識とを切り替え、表制示御部は第１の認識と第２の認識との切替に応じて第１の表示と第２の表示とを切り替えるので、ユーザは照明モードの切り替えに応じて認識及び表示を切り替える必要が無く、「いずれの認識及び表示を行うか」というユーザの意図を反映して操作負担を軽減することができる。なお、第２の態様において「医用画像を時系列で取得する」には、例えば決められたフレームレートで複数フレームの医用画像を取得することが含まれる。

第３の態様に係る医用画像処理装置は第１または第２の態様において、認識部は、第１の認識では医用画像に映った注目領域を検出し、第２の認識では医用画像を分類（鑑別）する。検出と分類（鑑別）では一般に用いられる照明光が異なるので、第３の態様のように照明モードの判定結果に応じて異なる認識を行うことが好ましい。第３の態様において、分類は第１の認識（検出）の結果に関わらず、医用画像の全体もしくは一部について行うことができる。なお、第３の態様及び以下の各態様において、「注目領域」（ＲＯＩ：Region Of Interest）は「関心領域」ともいう。

第４の態様に係る医用画像処理装置は第３の態様において、認識部は、第２の認識では第１の認識で検出した注目領域に対する分類を行う。第４の態様は、第２の認識の対象を規定するものである。

第４の態様に係る医用画像処理装置は第３の態様において、表示制御部は、第１の表示では医用画像に映った注目領域の検出位置を示す情報を表示装置に表示させ、第２の表示では医用画像の分類結果を示す情報を表示装置に表示させる。「注目領域の検出位置を示す情報（第１の情報）」を表示させる態様としては、例えば、注目領域の検出位置に応じて図形や記号を重畳表示する、位置座標を数値表示する、注目領域の色彩や階調を変更する等が可能であり、これによりユーザは検出位置を容易に認識することができる。また、「医用画像の分類結果を示す情報（第２の情報）」を表示させる態様としては、例えば、分類結果に応じた文字、数字、図形、記号、色彩等により行うことができ、これによりユーザは分類結果を容易に認識することができる。なお、第１，第２の情報は画像に重畳表示してもよいし、画像とは別に表示（別領域に表示、別画面に表示等）してもよい。

第５の態様に係る医用画像処理装置は第３または第４の態様において、認識部は、学習により構成され第１の認識を行う第１の認識器であって、医用画像から注目領域を検出する第１の認識器と、学習により構成され第２の認識を行う第２の認識器であって、医用画像を分類する第２の認識器と、を有する。第１，第２の認識器は、例えば深層学習等の機械学習により構成された学習済みモデルを用いることができる。

第６の態様に係る医用画像処理装置は第５の態様において、第１の認識器及び第２の認識器は階層状のネットワーク構造を有する。第６の態様は第１，第２の認識器の構成の一例を規定するものであり、「階層状のネットワーク構造」の例としては、入力層、中間層、及び出力層が接続されたネットワーク構造を挙げることができる。

第７の態様に係る医用画像処理装置は第１から第６の態様のいずれか１つにおいて、ユーザの操作を受け付ける受付部をさらに備え、判定部は受け付けた操作に基づいて判定を行う。受付部は、例えば照明モード切替用の操作部材に対する操作を受け付けることができる。

第８の態様に係る医用画像処理装置は第１から第６の態様のいずれか１つにおいて、判定部は取得した医用画像を解析して判定を行う。第８の態様によれば、ユーザの操作（照明モードの設定、切替等）の情報が取得できない場合でも医用画像を解析して判定を行うことができる。

第９の態様に係る医用画像処理装置は第８の態様において、判定部は医用画像における色成分の分布に基づいて解析を行う。第９の態様は医用画像を解析する手法の一例を規定するものであり、照明モード（照明光の周波数帯域等）に応じて医用画像における色成分の分布が異なることに着目したものである。

第１０の態様に係る医用画像処理装置は第８の態様において、判定部は畳み込みニューラルネットワークを用いて解析を行う。畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）は、医用画像を解析する手法の他の例であり、深層学習等の機械学習により構成することができる。

第１１の態様に係る医用画像処理装置は第１から第６の態様のいずれか１つにおいて、判定部は医用画像と共に表示装置に表示される情報を解析して判定を行う。「医用画像と共に表示装置に表示される情報」としては、例えば照明モードを示す文字、注目領域を囲む枠等のマーカ、注目領域の位置座標を示す数値、医用画像の分類結果を示す文字等を挙げることができるが、これらに限定されるものではない。このような態様は、例えば医用画像処理装置が画像取得部分（撮像部等）から照明モードの情報を直接取得できない場合に用いることができる。

上述した目的を達成するため、本発明の第１２の態様に係る内視鏡システムは第１から第１１の態様のいずれか１つに係る医用画像処理装置と、表示装置と、被検体に挿入される挿入部であって、先端硬質部と、先端硬質部の基端側に接続された湾曲部と、湾曲部の基端側に接続された軟性部とを有する挿入部と、挿入部の基端側に接続された手元操作部と、を有する内視鏡と、第１の照明モード及び第２の照明モードを有する光源装置であって、第１の照明モードでは第１の照明光を被検体に照射し、第２の照明モードでは第２の照明光を被検体に照射する光源装置と、被検体の光学像を結像させる撮影レンズと、撮影レンズにより光学像が結像される撮像素子と、を有する撮像部と、を備える。第１２の態様によれば、画像の取得から照明モードの判定、画像の認識、表示に至る一連の処理を内視鏡システムにおいて行うことができる。また、第１２の態様に係る内視鏡システムは第１から第１１の態様のいずれか１つに係る医用画像処理装置を備えているので、上述した一連の処理において、ユーザ自身が照明モードに合わせて画像の認識内容及び表示を設定する必要がなく、ユーザの操作負担を軽減することができる。

第１２の態様において、光源から出射された光をそのまま照明光として用いてもよいし、光源から出射された光に特定の波長帯域を透過させるフィルタを適用して生成した光を照明光としてもよい。例えば、狭帯域光を第１の照明光及び／または第２の照明光として用いる場合、狭帯域光用の光源から照射された光を照明光として用いてもよいし、白色光に対し特定の波長帯域を透過させるフィルタを適用して生成した光を照明光としてもよい。この場合、白色光に適用するフィルタを順次切り替えることで、異なる狭帯域光を異なるタイミングで照射してもよい。

第１３の態様に係る内視鏡システムは第１２の態様において、光源装置は、第１の照明光として通常光を被検体に照射し、第２の照明光として特殊光を被検体に照射する。例えば、通常光は赤色、青色、及び緑色の波長帯域の光を含む白色光とすることができ、特殊光は赤色、青色、緑色、紫色、及び赤外のうちいずれかの波長帯域に対応する狭帯域光とすることができるが、これらの例に限定されるものではない。第１３の態様によれば、例えば第１の照明モードでは白色光により撮影した画像に対し検出（第１の認識）を行い、第２の照明モードでは狭帯域光等の特殊光により撮影した画像に対し分類（鑑別；第２の認識）を行うことが可能である。

第１４の態様に係る内視鏡システムは第１３の態様において、光源装置は、励起光としての白色光用レーザを照射する白色光用レーザ光源と、白色光用レーザを照射されることにより通常光としての白色光を発光する蛍光体と、特殊光としての狭帯域光を照射する狭帯域光用レーザ光源と、を備える。第１４の態様は光源装置の構成の一例を規定するもので、レーザ光源を切り替えることで照明光を切り替える態様を示している。

第１５の態様に係る内視鏡システムは第１３の態様において、光源装置は、通常光としての白色光を発光する白色光源と、白色光を透過させる白色光フィルタと、白色光のうち特殊光としての狭帯域光の成分を透過させる狭帯域光フィルタと、白色光源が発光する白色光の光路に白色光フィルタまたは狭帯域光フィルタを挿入する第１のフィルタ切替制御部と、を備える。第１５の態様は光源装置の構成の他の例を規定するもので、白色光の光路にフィルタを挿入することで照明光を切り替える態様を示している。

第１６の態様に係る内視鏡システムは第１２の態様において、光源装置は、第１の照明光として第１特殊光を被検体に照射し、第２の照明光として第１特殊光とは異なる第２特殊光を被検体に照射する。第１６の態様は照明光として複数の特殊光を用いる態様を規定するものであり、例えば波長が異なる複数の青色狭帯域光、青色狭帯域光と緑色狭帯域光、波長が異なる複数の赤色狭帯域光等の組合せを用いることができるが、これらの組合せに限定されるものではない。紫色及び／または赤外の波長帯域に対応する狭帯域光を用いてもよい。なお、第１６の態様において、例えば第１特殊光と第２特殊光とで波長帯域または分光スペクトルの少なくとも一方が同一でない場合に「第１特殊光と第２特殊光とが異なる」に該当すると判断することができる。

第１７の態様に係る内視鏡システムは第１６の態様において、光源装置は、赤色、青色、及び緑色の波長帯域の光を含む白色光を発光する白色光源と、白色光のうち第１狭帯域光の成分を透過させる第１狭帯域光フィルタと、白色光のうち第２狭帯域光の成分を透過させる第２狭帯域光フィルタと、白色光源が発光する白色光の光路に第１狭帯域光フィルタまたは第２狭帯域光フィルタを挿入する第２のフィルタ切替制御部と、を備える。第１７の態様は光源装置の構成のさらに他の例を規定するもので、白色光の光路に異なるフィルタを挿入することで照明光（狭帯域光）を切り替える態様を示している。

上述した目的を達成するため、本発明の第１８の態様に係る医用画像処理方法は、医用画像を取得する画像取得ステップと、医用画像が撮影された際の照明モードを判定する判定ステップと、照明モードが第１の照明モードであると判定された場合は医用画像に対する第１の認識を行い、照明モードが第２の照明モードであると判定された場合は医用画像に対する第２の認識を行う認識ステップと、照明モードが第１の照明モードであると判定された場合は第１の認識の結果に応じて表示装置に第１の表示をさせ、照明モードが第２の照明モードであると判定された場合は第２の認識の結果に応じて表示装置に第２の表示をさせる表示制御ステップと、を有する。第１８の態様によれば、第１の態様と同様にユーザの操作負担を軽減することができる。なお、第１８の態様に係る医用画像処理方法は、複数の医用画像について終了条件を満たすまで処理（判定、認識、表示）を継続させる繰り返し制御ステップを有していてもよい。また、画像取得ステップで取得する医用画像は、撮影画像に対し画像処理（特定の被写体や特定の色成分（周波数帯域）を強調する等）を施した画像でもよい。

第１９の態様に係る医用画像処理方法は第１８の態様において、画像取得ステップでは医用画像を時系列で取得し、判定ステップでは時系列で取得した医用画像を構成するフレームに対して判定を行い、認識ステップでは、判定の結果が第１の照明モードと第２の照明モードとの間で切り替わったのに応じて第１の認識と第２の認識とを切り替え、表示制御ステップでは第１の認識と第２の認識との切替に応じて第１の表示と第２の表示とを切り替える。第１９の態様によれば、第２の態様と同様にユーザは照明モードの切り替えに応じて認識及び表示を切り替える必要が無く、「いずれの認識及び表示を行うか」というユーザの意図を反映して操作負担を軽減することができる。

なお、第１９の態様に係る画像処理方法に対し、第３から第１１の態様と同様の構成をさらに含めてもよい。また、それら態様の医用画像処理方法を医用画像処理装置や内視鏡システムに実行させるプログラム、並びにそのプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。

以上説明したように、本発明の医用画像処理装置及び内視鏡システムによれば、ユーザの操作負担を軽減することができる。

図１は、第１の実施形態に係る内視鏡システムの外観図である。 図２は、内視鏡システムの構成を示すブロック図である。 図３は、内視鏡の先端硬質部の構成を示す図である。 図４は、画像処理部の機能構成を示す図である。 図５は、判定部の構成を示す図である。 図６は、認識部の構成を示す図である。 図７は、畳み込みニューラルネットワークの構成例を示す図である。 図８は、第１の実施形態に係る医用画像処理方法の手順を示すフローチャートである。 図９は、第１の表示の例を示す図である。 図１０は、第１の表示の他の例を示す図である。 図１１は、第２の表示の例を示す図である。 図１２は、第２の表示の他の例を示す図である。 図１３は、第１の実施形態に係る医用画像処理方法の手順を示す他のフローチャートである。 図１４は、第１の実施形態に係る医用画像処理方法の手順を示すさらに他のフローチャートである。 図１５は、光源の他の構成例を示す図である。 図１６は、光源のさらに他の構成例を示す図である。 図１７は、回転フィルタの例を示す図である。 図１８は、回転フィルタの他の例を示す図である。

以下、添付図面を参照しつつ、本発明に係る医用画像処理装置及び内視鏡システムの実施形態について詳細に説明する。

＜第１の実施形態＞
図１は、第１の実施形態に係る内視鏡システム１０（医用画像処理装置、医療画像処理装置、診断支援装置、内視鏡システム）を示す外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１，２に示すように、内視鏡システム１０は、内視鏡本体１００（内視鏡）、プロセッサ２００（プロセッサ、画像処理装置、医療画像処理装置）、光源装置３００（光源装置）、及びモニタ４００（表示装置）から構成される。

＜内視鏡本体の構成＞
内視鏡本体１００は、手元操作部１０２（手元操作部）と、この手元操作部１０２に連設される挿入部１０４（挿入部）とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影開始及び終了の指示操作（静止画像、動画像）を受け付ける撮影ボタン１４４が設けられている。機能ボタン１４３に照明モードの設定あるいは切り替えの機能を割り付けてもよい。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２（軟性部）、湾曲部１１４（湾曲部）、先端硬質部１１６（先端硬質部）で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０（撮像部）、照明部１２３、鉗子口１２６等が設けられる（図１～図３参照）。

観察、処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから白色光及び／または特殊光としての狭帯域光（赤色狭帯域光、緑色狭帯域光、青色狭帯域光、及び紫色狭帯域光のうち１つ以上）を照射することができる。また、送気送水ボタン１４１の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系１３０の撮影レンズ１３２（撮影レンズ、撮像部）、及び照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。先端硬質部１１６で開口する鉗子口１２６には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。

図１～図３に示すように、先端硬質部１１６の先端側端面１１６Ａには撮影レンズ１３２（撮像部）が配設されている。撮影レンズ１３２の奥にはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子１３４（撮像素子、撮像部）、駆動回路１３６、ＡＦＥ１３８（ＡＦＥ：Analog Front End）が配設されて、これらの要素により画像信号を出力する。撮像素子１３４はカラー撮像素子であり、特定のパターン配列（ベイヤー配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置（２次元配列）された複数の受光素子により構成される複数の画素を備える。撮像素子１３４の各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。撮影光学系１３０は、赤，緑，青の３色の画素信号からカラー画像を生成することもできるし、赤，緑，青のうち任意の１色または２色の画素信号から画像を生成することもできる。なお、第１の実施形態では撮像素子１３４がＣＭＯＳ型の撮像素子である場合について説明するが、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。なお、撮像素子１３４の各画素は紫色光源に対応した紫色カラーフィルタ及び／または赤外光源に対応した赤外用フィルタをさらに備えていてもよく、この場合紫及び／または赤外の画素信号を考慮して画像を生成することができる。

被検体（腫瘍部、病変部）の光学像は撮影レンズ１３２により撮像素子１３４の受光面（撮像面）に結像されて電気信号に変換され、不図示の信号ケーブルを介してプロセッサ２００に出力されて映像信号に変換される。これにより、プロセッサ２００に接続されたモニタ４００に観察画像が表示される。

また、先端硬質部１１６の先端側端面１１６Ａには、撮影レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ、１２３Ｂが設けられている。照明用レンズ１２３Ａ，１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。

＜光源装置の構成＞
図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、照明光（観察光）をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂ、紫色光源３１０Ｖを備えており、赤色、緑色、青色、及び紫色の狭帯域光を照射することができる。光源３１０による照明光の照度は光源制御部３５０により制御され、必要に応じて照明光の照度を下げること、及び照明を停止することができる。

光源３１０は赤色、緑色、青色、及び紫色の狭帯域光を任意の組合せで発光させることができる。例えば、赤色、緑色、青色、及び紫色の狭帯域光を同時に発光させて白色光（通常光）を照明光（観察光）として照射することもできるし、いずれか１つもしくは２つを発光させることで特殊光としての狭帯域光を照射することもできる。光源３１０は、赤外光（狭帯域光の一例）を照射する赤外光源をさらに備えていてもよい。また、白色光を照射する光源と、白色光及び各狭帯域光を透過させるフィルタとにより、白色光または狭帯域光を照明光として照射してもよい（例えば、図１５～１８を参照）。

＜光源の波長帯域＞
光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。

上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍの波長帯域を含み、かつ、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。

また、光源３１０が発生する光は７９０ｎｍ以上８２０ｎｍ以下、または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。

また、光源３１０は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を照射する光源を備えていてもよい。この場合、被検体（生体）内の蛍光物質が発する蛍光の情報を有する医用画像（生体内画像）を取得することができる。蛍光画像を取得する場合は、蛍光法用色素剤（フルオレスチン、アクリジンオレンジ等）を使用してもよい。

光源３１０の光源種類（レーザ光源、キセノン光源、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）等）、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて照明光の波長を組合せ及び／または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい（図１５～１８を参照）。

また、本発明を実施する際に用いる撮像素子は撮像素子１３４のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、照明光（観察光）の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する照明光の波長を（紫色、青色、緑色、赤色）の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色、紫色等）により出射する照明光の波長を切り替えてもよい（後述する光源の構成例を参照；図１６～１８）。また、１または複数の狭帯域光（緑色、青色等）を照射してロータリカラーフィルタ（緑色、青色等）により出射する照明光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光（第１狭帯域光、第２狭帯域光）でもよい。このように面順次（色順次）で撮像する場合、各色間で照明光の強度を変化させて画像を取得及び合成してもよいし、各色間で照明光の強度を一定にして取得した各色光の画像を重み付けして合成してもよい。

ライトガイドコネクタ１０８（図１参照）を光源装置３００に連結することにより、光源装置３００から照射された照明光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。

＜プロセッサの構成＞
図２に基づきプロセッサ２００の構成を説明する。プロセッサ２００は、内視鏡本体１００から出力される画像信号を画像入力コントローラ２０２を介して入力し、画像処理部２０４（医用画像処理装置）で必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００（表示装置）に観察画像（生体内画像）が表示される。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit）の制御下で行われる。すなわち、ＣＰＵ２１０は画像取得部、判定部、認識部、表示制御部、受付部、繰り返し制御部としての機能を有する。通信制御部２０５は、図示せぬ病院内システム（ＨＩＳ：Hospital Information System）、病院内ＬＡＮ（Local Area Network）等との通信制御を行う。記録部２０７には、被写体の画像（医用画像、撮影画像）、注目領域の検出及び／または分類結果を示す情報等が記録される。音声処理部２０９は、ＣＰＵ２１０及び画像処理部２０４の制御により、注目領域の検出及び／または分類の結果に応じたメッセージ（音声）等をスピーカ２０９Ａから出力する。また、音声処理部２０９（医用画像処理装置、受付部）は、ユーザの音声をマイク２０９Ｂにより集音し、どのような操作（照明モードの設定あるいは切替操作等）がなされたかを認識することができる。すなわち、音声処理部２０９及びマイク２０９Ｂはユーザの操作を受け付ける受付部として機能する。

また、ＲＯＭ２１１（ＲＯＭ：Read Only Memory）は不揮発性の記憶素子（非一時的記録媒体）であり、本発明に係る医用画像処理方法をＣＰＵ２１０及び／または画像処理部２０４（医用画像処理装置、コンピュータ）に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。ＲＡＭ２１２（ＲＡＭ：Random Access Memory）は各種処理の際の一時記憶用の記憶素子であり、また画像取得時のバッファとしても使用することができる。

＜画像処理部の機能＞
図４は画像処理部２０４（医用画像処理装置、医療画像取得部、医療画像解析処理部、医療画像解析結果取得部）の機能構成を示す図である。画像処理部２０４は画像取得部２０４Ａ（画像取得部）、判定部２０４Ｂ（判定部）、認識部２０４Ｃ（認識部）、表示制御部２０４Ｄ（表示制御部）、受付部２０４Ｅ（受付部）、及び繰り返し制御部２０４Ｆ（繰り返し制御部）を有する。判定部２０４Ｂ及び認識部２０４Ｃは医療画像解析処理部としても動作する。

画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）あるいはＣＭＹ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の色情報に基づく演算により得ることができる。

また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医用画像（医療画像）としての特徴量画像を取得及び表示してもよい。表示制御部２０４Ｄが特徴量画像生成部の機能を有していてもよい。また、画像処理部２０４は特定の波長帯域の色を信号処理で強調する信号処理部（例えば、赤みを帯びた色はより赤く、白っぽい色はより白くなるように色空間における色の拡張及び／または縮小を行い、粘膜の微妙な色の違いを強調する）を備えていてもよい。

＜判定部の構成＞
図５の（ａ）部分に示すように、判定部２０４Ｂは照明モード判定用ＣＮＮ２１３（ＣＮＮ：Convolutional Neural Network、畳み込みニューラルネットワーク）を有する。照明モード判定用ＣＮＮ２１３は階層状のネットワーク構造を有し、取得した医用画像を解析して照明モードの判定を行う（詳細は後述する）。なお、照明モード判定用ＣＮＮ２１３に加えて、またはこれに代えて図５の（ｂ）部分に示すように解析部２１９を設け、解析部２１９による解析（受付部２０４Ｅが受け付けたユーザの操作、取得した医用画像における色成分の分布、医用画像と共にモニタ４００に表示される情報等に基づく解析等）に基づいて判定を行ってもよい。

＜認識部の構成＞
図６に示すように、認識部２０４Ｃは第１のＣＮＮ２１４（第１の認識器）及び第２のＣＮＮ２１５（第２の認識器）を有する。第１のＣＮＮ２１４及び第２のＣＮＮ２１５は上述した照明モード判定用ＣＮＮ２１３と同様に畳み込みニューラルネットワークであり、階層状のネットワーク構造を有する。第１のＣＮＮ２１４は学習により構成され第１の認識を行う第１の認識器であって、医用画像から注目領域を検出する。また、第２のＣＮＮ２１５は学習により構成され第２の認識を行う第２の認識器であって、医用画像を分類
（鑑別）する。認識部２０４Ｃは、どちらのＣＮＮを用いるかを照明モードの判定結果に応じて決めることができる。

＜ＣＮＮの層構成＞
上述したＣＮＮ（照明モード判定用ＣＮＮ２１３、第１のＣＮＮ２１４、第２のＣＮＮ２１５）の層構成について説明する。以下では主として第１のＣＮＮ２１４について説明するが、第２のＣＮＮ２１５及び照明モード判定用ＣＮＮ２１３についても同様の構成を採用することができる。

図７はＣＮＮの層構成の例を示す図である。図７の（ａ）部分に示す例では、第１のＣＮＮ２１４は入力層２１４Ａと、中間層２１４Ｂと、出力層２１４Ｃとを含む。入力層２１４Ａは第１の照明モードで撮影された画像（例えば、通常光画像）を入力して特徴量を出力する。中間層２１４Ｂは畳み込み層２１６及びプーリング層２１７を含み、入力層２１４Ａが出力する特徴量を入力して他の特徴量を算出する。これらの層は複数の「ノード」が「エッジ」で結ばれた構造となっており、複数の重みパラメータを保持している。重みパラメータの値は、学習が進むにつれて変化していく。第１のＣＮＮ２１４の層構成は畳み込み層２１６とプーリング層２１７とが１つずつ繰り返される場合に限らず、いずれかの層（例えば、畳み込み層２１６）が複数連続して含まれていてもよい。

＜中間層における処理＞
中間層２１４Ｂは、畳み込み演算及びプーリング処理によって特徴量を算出する。畳み込み層２１６で行われる畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル(１枚)の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされ、各層で畳み込みが行われるにつれて小さくなって行く。プーリング層２１７で行われるプーリング処理は畳み込み演算により出力された特徴マップを縮小（または拡大）して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。中間層２１４Ｂは、これらの処理を行う１または複数の層により構成することができる。

中間層２１４Ｂの層のうち、入力側に近い畳み込み層では低次の特徴抽出（エッジの抽出等）が行われ、出力側に近づくにつれて高次の特徴抽出（対象物の形状、構造等に関する特徴の抽出）が行われる。なお、セグメンテーションを行う場合は後半部分の畳み込み層でアップスケーリングされ、最後の畳み込み層では、入力した画像セットと同じサイズの「特徴マップ」が得られる。一方、物体検出を行う場合は位置情報を出力すればよいのでアップスケーリングは必須ではない。

なお、中間層２１４Ｂは畳み込み層２１６及びプーリング層２１７の他にバッチノーマライゼーションを行う層を含んでいてもよい。バッチノーマライゼーション処理は学習を行う際のミニバッチを単位としてデータの分布を正規化する処理であり、学習を速く進行させる、初期値への依存性を下げる、過学習を抑制する等の役割を担う。

＜出力層における処理＞
出力層２１４Ｃは、中間層２１４Ｂから出力された特徴量に基づき、入力された医用画像（通常光画像、特殊光画像）に映っている注目領域の位置検出を行ってその結果を出力する層である。第１のＣＮＮ２１４はセグメンテーションを行うので、出力層２１４Ｃは、中間層２１４Ｂから得られる「特徴マップ」により、画像に写っている注目領域の位置を画素レベルで把握する。すなわち、内視鏡画像の画素ごとに注目領域に属するか否かを検出し、その検出結果を出力することができる。なお、物体検出を行う場合は画素レベルでの判断は必要なく、出力層２１４Ｃが対象物の位置情報を出力する。

第２のＣＮＮ２１５においては、出力層２１４Ｃは医用画像の分類（鑑別；第２の認識）を実行して分類結果を出力する。例えば、出力層２１４Ｃは内視鏡画像を「腫瘍性」、「非腫瘍性」、「その他」の３つのカテゴリに分類し、鑑別結果として「腫瘍性」、「非腫瘍性」及び「その他」に対応する３つのスコア（３つのスコアの合計は１００％）として出力してもよいし、３つのスコアから明確に分類できる場合には分類結果を出力してもよい。同様に、照明モード判定用ＣＮＮ２１３は医用画像の照明モードを判定して判定結果（例えば、「通常光（白色光）モード」、「第１の特殊光（狭帯域光）モード」、「第２の特殊光（狭帯域光）モード」）を出力する。なお、第２のＣＮＮ２１５及び照明モード判定用ＣＮＮ２１３のように分類結果を出力する場合、出力層２１４Ｃが最後の１層または複数の層として全結合層２１８を有することが好ましい（図７の（ｂ）部分を参照）。その他の層については、上述した第１のＣＮＮ２１４と同様の構成を用いることができる。

上述した構成の第１のＣＮＮ２１４は、画像とその画像における注目領域の位置に関する情報を用いた学習（例えば、深層学習等の機械学習）により構成することができる。同様に、第２のＣＮＮ２１５は画像とその画像のカテゴリに関する情報を用いた学習により構成することができる。また、照明モード判定用ＣＮＮ２１３は画像とその画像の照明モードに関する情報を用いた学習により構成することができる。

＜プロセッサ等による画像処理部の機能の実現＞
上述した画像処理部２０４の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、画像処理装置本体、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。

上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、医用画像の取得、照明モードの判定、第１及び第２の認識、表示制御を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。

画像処理部２０４のこれらの機能による処理については、詳細を後述する。なお、これらの機能による処理はＣＰＵ２１０の制御下で行われる。

＜操作部の構成＞
プロセッサ２００は操作部２０８（受付部）を備えている。操作部２０８は図示せぬ照明モード設定スイッチ、フットスイッチ等を備えており、照明モード（通常光（白色光）か狭帯域光等の特殊光か、狭帯域光の場合いずれの波長の狭帯域光を用いるか）を設定することができる。また、操作部２０８は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して撮影条件及び表示条件の設定操作、照明モードの設定及び切替操作、動画像または静止画像の撮影指示（取得指示）を行うことができる（動画像、静止画像の撮影指示は撮影ボタン１４４により行ってもよい）。これらの設定操作は上述したフットスイッチ等を介して行っても良いし、音声（マイク２０９Ｂ及び音声処理部２０９により処理できる）、視線、ジェスチャ等により行ってもよい。すなわち、操作部２０８はユーザの操作を受け付ける受付部として機能する。

＜記録部の構成＞
記録部２０７（記録装置）は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びこれら記録媒体の制御部を含んで構成され、内視鏡画像（医用画像、医療画像）、照明モードの設定情報や判定結果、注目領域の検出結果（第１の認識の結果）、医用画像の分類結果（鑑別結果；第２の認識の結果）等を互いに関連付けて記録することができる。これらの画像及び情報は、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御によりモニタ４００に表示される。

＜表示装置の構成＞
モニタ４００（表示装置）は、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御により内視鏡画像、照明モード判定結果、注目領域の検出結果、医用画像の分類結果等を表示する。また、モニタ４００は撮影条件設定操作及び／または表示条件設定操作を行うための図示せぬタッチパネルを有する。

＜医用画像処理方法＞
上述した構成の内視鏡システム１０を用いた医用画像処理方法について説明する。図８は第１の実施形態に係る医用画像処理方法の手順を示すフローチャートである。

＜医用画像の取得＞
ステップＳ１００では、操作部２０８等を介した設定（照明モードの設定及び切り替え）に従って、光源装置３００が照明光を照射する。ここでは第１の照明光としての白色光（通常光）または第２の通常光としての青色狭帯域光（特殊光、狭帯域光）を照射する場合について説明するが、照明光の組み合わせはこの例に限定されるものではない。第１の照明光または第２の照明光の下で、撮影光学系１３０により被検体の画像（医用画像）を撮影し、撮影した画像を画像取得部２０４Ａが取得する（画像取得ステップ）。画像取得部２０４Ａは、医用画像を決められたフレームレートにより時系列で取得することができる。

＜照明モードの判定＞
判定部２０４Ｂは、照明モード判定用ＣＮＮ２１３が医用画像を解析（上述した分類）して照明モードを判定する（ステップＳ１０４：判定ステップ）。また、判定部２０４Ｂは、上述した解析部２１９により医用画像を解析して照明モードを判定してもよい。解析部２１９により解析を行う場合、ユーザの操作（照明モードの設定及び切り替え）を受付部２０４Ｅ（受付部）が受け付け、受け付けた操作に基づいて判定を行うことができる。ユーザは、マイク２０９Ｂ及び音声処理部２０９、手元操作部１０２に設けられた機能ボタン１４３（上述のように、照明モードの設定あるいは切り替えの機能を割り付けられる）、操作部２０８の図示せぬキーボードやマウス、図示せぬ照明モード設定スイッチ、フットスイッチ等により操作を行うことができる。また、解析部２１９は、取得した医用画像における色成分の分布に基づいて解析を行い、照明モードを判定してもよい。また、解析部２１９は、医用画像と共にモニタ４００（表示装置）に表示される情報（図９～１２を参照）を解析して照明モードを判定してもよい。

＜認識及び表示制御＞
ステップＳ１０４の結果「照明モードが第１の照明モードである」と判断された場合（ステップＳ１０６でＹＥＳ）は、ステップＳ１０８，Ｓ１１０でそれぞれ第１の認識、第１の表示を行う（認識ステップ、表示制御ステップ）。一方、ステップＳ１０４の結果「照明モードが第２の照明モードである」と判断された場合（ステップＳ１０６でＮＯ）は、ステップＳ１１２，Ｓ１１４でそれぞれ第２の認識、第２の表示を行う（認識ステップ、表示制御ステップ）。

＜第１の認識及び第１の表示＞
認識部２０４Ｃは、第１のＣＮＮ２１４（第１の認識器）が上述したセグメンテーションを行うことにより医用画像に映った注目領域を検出する（ステップＳ１０８：認識ステップ、第１の認識）。ステップＳ１０８で検出する注目領域（関心領域）の例としては、ポリープ、癌、大腸憩室、炎症、治療痕（ＥＭＲ瘢痕（ＥＭＲ：Endoscopic Mucosal Resection）、ＥＳＤ瘢痕（ＥＳＤ：Endoscopic Submucosal Dissection）、クリップ箇所等）、出血点、穿孔、血管異型性などを挙げることができる。

このような第１の認識の結果に応じて、表示制御部２０４Ｄは、モニタ４００（表示装置）に第１の表示をさせる（ステップＳ１１０：表示制御ステップ）。図９は第１の表示の例を示す図であり、医用画像８０６に映った注目領域８０１に対し、図９の（ａ）部分、（ｂ）部分、（ｃ）部分にそれぞれ示すように、注目領域８０１を囲む枠８０６Ａ、マーカ８０６Ｂ、マーカ８０６Ｃ（注目領域の検出位置を示す情報の例）を表示している。また、表示制御部２０４Ｄは、上述した判定の結果に基づいて領域８３０に照明光の種類、照明モード等を表示する。図９では「白色光」と表示されているが、「第１の照明モード」、「白色光（通常光）モード」等でもよい。また、認識内容（「第１の認識」、「注目領域の検出」等）を表示してもよい。これら照明光の種類、照明モード、認識内容等は医用画像と共に表示装置に表示される情報の一例である。なお、認識部２０４Ｃは、注目領域の検出結果を示す情報を音声処理部２０９及びスピーカ２０９Ａを介して音声で報知してもよい。

図１０は第１の表示の他の例を示す図である。図１０では、時系列で取得される医用画像の各フレームを構成する医用画像８００を連続して表示しつつ、注目領域８０１が検出され枠８２０が表示された医用画像８０２をフリーズ表示（対象となるフレームを、時系列で取得される医用画像とは別に継続して表示）する態様を示している。別の注目領域が検出された場合はフリーズ表示を追加（複数表示）してもよい。また、表示してから一定時間が経過した場合やモニタ４００の表示領域に空いている部分がなくなった場合は、フリーズ表示を消去してもよい。このようなフリーズ表示を行う場合においても、図９と同様に照明光の種類、照明モード、認識内容等を表示してもよい。

なお、認識部２０４ＣはＣＮＮ以外の手法により注目領域を検出してもよい。例えば、取得した医用画像の画素の特徴量に基づいて注目領域を検出することができる。この場合、認識部２０４Ｃは検出対象画像を例えば複数の矩形領域に分割し、分割した各矩形領域を局所領域として設定し、検出対象画像の局所領域ごとに局所領域内の画素の特徴量（例えば色相）を算出し、各局所領域の中から特定の色相を有する局所領域を注目領域として決定する。

＜第２の認識及び第２の表示＞
認識部２０４Ｃは、第２のＣＮＮ２１５（第２の認識器）により医用画像を分類（鑑別）する（ステップＳ１１２：認識ステップ、第２の認識）。分類は、上述した第１の認識（検出）の結果に関わらず、医用画像の全体もしくは一部について行うことができるが、第１の認識で検出した注目領域に対する分類を行ってもよい。認識部２０４Ｃは、どのような範囲を対象として分類を行うかを操作部２０８を介したユーザの指示操作に基づいて決定してもよいし、ユーザの指示操作によらずに決定してもよい。分類の例としては、病変の病種（過形成ポリープ、腺腫、粘膜内癌、浸潤癌など）、病変の範囲、病変のサイズ、病変の肉眼形、癌のステージ診断、管腔内の現在位置（上部であれば咽頭、食道、胃、十二指腸等、下部であれば盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸等）等を挙げることができる。表示制御部２０４Ｄは、このような第２の認識の結果に応じてモニタ４００（表示装置）に第２の表示をさせる（ステップＳ１１４：表示制御ステップ）。図１１は第２の表示の例を示す図であり、医用画像８０６の分類結果を、領域８４２に表示している。図１１の（ａ）部分、（ｂ）部分、（ｃ）部分は、分類結果がＡｄｅｎｏｍａ（腺腫）、Ｎｅｏｐｌａｓｍ（腫瘍）、ＨＰ（Helicobacter Pylori；ヘリコバクター ピロリ）であった場合の例をそれぞれ示している。なお、表示制御部２０４Ｄは、分類結果の信頼度を示す情報（第２のＣＮＮ２１５により算出できる）を数値や図形（例えばバー表示）、記号、色彩等により表示してもよい。また、認識部２０４Ｃは、分類結果を示す情報を音声処理部２０９及びスピーカ２０９Ａを介して音声で報知してもよい。

また、表示制御部２０４Ｄは、図９の領域８３０と同様に、上述した判定の結果に基づいて領域８４０に照明光の種類、照明モード等を表示する。図１１では「青色狭帯域光」と表示されているが、「第２の照明モード」、「特殊鋼（狭帯域光）モード」等でもよい。また、認識内容（「第２の認識」、「医用画像の分類」等）を表示してもよい。領域８４０，８４２に表示される情報（照明光の種類、照明モード、認識内容、分類結果等）は医用画像と共に表示装置に表示される情報の一例である。

第２の表示においても、第１の表示の場合と同様にフリーズ表示を行ってもよい。図１２は第２の表示におけるフリーズ表示の例であり、時系列で取得される医用画像の各フレームを構成する医用画像８００を連続して表示しつつ、医用画像８０８，８１０，８１２の分類結果と共にフリーズ表示した様子を示している。このようなフリーズ表示においても、図１１のように照明光の種類、照明モード、認識内容、分類結果等を表示してもよい。

繰り返し制御部２０４Ｆ（繰り返し制御部）は、終了条件を満たすまで（ステップＳ１１６でＮＯの間）、上述したステップＳ１００～ステップＳ１１０（ステップＳ１１４）までの処理を決められたフレームレートで繰り返させる（繰り返し制御ステップ）。繰り返し制御部２０４Ｆは、例えば操作部２０８や撮影ボタン１４４を介した終了指示操作があった場合、画像の取得が終了した場合に「処理を終了する」と判断することができる。

第１の実施形態に係る内視鏡システムでは、上述した処理（判定、認識、及び表示）により、ユーザ自身が照明モードに合わせて画像の認識内容及び表示を設定する必要がなく、ユーザの操作負担を軽減することができる。

＜照明モードの切替に伴う認識及び表示の切替＞
内視鏡システム１０では、医用画像を時系列で取得しつつ、照明モードの切り替わりに応じて認識及び表示を切り替えることができる。例えば、図１３のフローチャートに示すように、判定部２０４Ｂは判定結果の切り替わり（第１の照明モードから第２の照明モードへ、またはその逆）があったか否か判断し（ステップＳ２０６：判定ステップ）、切り替わりがあった場合（ステップＳ２０６でＹＥＳ）、認識部２０４Ｃは、判定の結果が第１の照明モードと第２の照明モードとの間で切り替わったのに応じて第１の認識と第２の認識とを切り替える（ステップＳ２０８；認識ステップ）。具体的には、認識に用いるＣＮＮを第１のＣＮＮ２１４（第１の認識器）と第２のＣＮＮ２１５（第２の認識器）との間で切り替える。認識部２０４Ｃは切り替え後のＣＮＮを用いて認識を行い（ステップＳ２１０：認識ステップ）、表示制御部２０４Ｄは第１の認識と第２の認識との切替に応じて第１の表示と第２の表示とを切り替え（ステップＳ２１２：表示制御ステップ）、認識結果をモニタ４００（表示装置）に表示させる（ステップＳ２１４：表示制御ステップ）。第１の表示及び第２の表示は図９～１２と同様に行うことができる。一方、切り替わりがなかった場合（ステップＳ２０６でＮＯ）は、図８のステップＳ１０６～Ｓ１１４と同様にして認識及び表示を行う（ステップＳ２１６：認識ステップ、表示制御ステップ）。

繰り返し制御部２０４Ｆは、終了条件を満たすまで（ステップＳ２１８でＮＯの間）、上述したステップＳ２００～ステップＳ２１４（ステップＳ２１６）までの処理を決められたフレームレートで繰り返させる（繰り返し制御ステップ）。なお、図１３のステップＳ２００、Ｓ２０２、Ｓ２０４は、図８のステップＳ１００、Ｓ１０２、Ｓ１０４とそれぞれ同様に行うことができる。このような処理によれば、ユーザは照明モードの切り替えに応じて認識及び表示を切り替える必要が無く、「いずれの認識及び表示を行うか」というユーザの意図を反映して操作負担を軽減することができる。

＜認識及び表示の事後処理＞
上述した実施形態では、医用画像の撮影と認識及び表示を並行して行う態様（図８等を参照）について説明したが、内視鏡システム１０では、あらかじめ撮影及び記録された画像を事後的に処理（照明モードの判定、認識、及び表示）することもできる。例えば、内視鏡システム１０は、図１４のフローチャートに示す手順により、記録部２０７に記録されている内視鏡画像（医用画像）の各フレームについて認識及び表示を行うことができる。図１４では、ステップＳ１０１（画像取得ステップ）で取得した画像について、ステップＳ１０４で照明モードの判定を行う。判定部２０４Ｂは、撮影時に照明モードの設定履歴等が記録されている場合は記録された情報を使用して照明モードを判定することができ、そのような情報が記録されていない場合は、照明モード判定用ＣＮＮ２１３や解析部２１９等を利用し画像を解析して判定することができる。なお、図１４のフローチャートにおいて、図８のフローチャートと同様の処理については同一のステップ番号を付し詳細な説明を省略する。

このような処理は、撮像部分（内視鏡、光源装置、撮像部等）を備えていない医用画像処理装置（内視鏡システム１０とは独立した装置）やコンピュータで行ってもよい。そのような医用画像処理装置やコンピュータで処理を行うケースでは、撮像部分から照明モードの情報を直接取得できない場合があるので、その場合は判定部が上述した「医用画像と共に表示装置に表示される情報」を解析して判定を行ってもよい。

＜光源の他の構成例＞
内視鏡システム１０における光源の他の構成例について説明する。これらの例に示す構成の光源においても、医用画像処理方法の処理（照明モードの判定、認識、表示）は上述した態様と同様に行うことができる。

（例１）
図１５に示すように、光源装置３２０（光源装置）は、励起光としての白色光用レーザを照射する白色光用レーザ光源３１２（白色光用レーザ光源）と、白色光用レーザを照射されることにより第１照明光としての白色光（通常光）を発光する蛍光体３１４（蛍光体）と、第２照明光としての狭帯域光（特殊光の一例；例えば、青色狭帯域光とすることができるが、緑色狭帯域光、赤色狭帯域光でもよい）を照射する狭帯域光用レーザ光源３１６（狭帯域光用レーザ光源）と、を備える。光源装置３２０は光源制御部３５０により制御される。なお、図１５において、内視鏡システム１０の構成要素のうち光源装置３２０及び光源制御部３５０以外は図示を省略している。

（例２）
図１６に示すように、光源装置３２２（光源装置）は、白色光を発光する白色光源３１８（白色光源）と、白色光（通常光；第１の照明光）を透過させる白色光領域と狭帯域光（特殊光の一例；第２の照明光）を透過させる狭帯域光領域とが形成された回転フィルタ３６０（白色光フィルタ、狭帯域光フィルタ）と、回転フィルタ３６０の回転を制御して白色光の光路に白色光領域または狭帯域光領域を挿入する回転フィルタ制御部３６３（第１のフィルタ切替制御部）とを備える。白色光源３１８及び回転フィルタ制御部３６３は光源制御部３５０により制御される。なお、図１６において、内視鏡システム１０の構成要素のうち光源装置３２２及び光源制御部３５０以外は図示を省略している。

なお、例２において、白色光源３１８は広帯域の光を発する白色光源を用いてもよいし、赤色、緑色、青色、紫色の光を発する光源を同時に照射させることで白色光を発生させてもよい。また、このような回転フィルタ３６０及び回転フィルタ制御部３６３を、図２に示す光源３１０に設けてもよい。

図１７は回転フィルタ３６０の例を示す図である。図１７の（ａ）部分に示す例では、回転フィルタ３６０には白色光を透過させる２つの円形の白色光領域３６２（白色光フィルタ）と狭帯域光を透過させる１つの円形の狭帯域光領域３６４（狭帯域光フィルタ）とが形成され、回転フィルタ制御部３６３（第１のフィルタ切替制御部）の制御により回転軸３６１の周りに回転することで白色光領域３６２または狭帯域光領域３６４が白色光の光路に挿入され、これにより被写体に白色光（第１の照明光）または狭帯域光（第２の照明光）が照射される。狭帯域光領域３６４は赤色、青色、緑色、紫色等任意の狭帯域光を透過させる領域とすることができる。また、白色光領域３６２及び狭帯域光領域３６４の数、形状、及び配置は図１７の（ａ）部分に示した例に限られず、白色光及び狭帯域光の照射比率に応じて変更してよい。

白色光領域及び狭帯域光領域の形状は、図１７の（ａ）部分に示すような円形に限らず図１７の（ｂ）部分に示すように扇型でもよい。図１７の（ｂ）部分は、回転フィルタ３６０の４分の３を白色光領域３６２とし、４分の１を狭帯域光領域３６４とした例を示している。扇型の面積は、白色光と狭帯域光の照射比率に応じて変更することができる。なお、図１７の例において、それぞれ異なる狭帯域光に対応した複数の狭帯域光領域を回転フィルタ３６０に設けてもよい。

図１８は回転フィルタの他の例を示す図である。図１８に示す回転フィルタに対する白色光源としては、図１６に示す光源装置３２２と同様に白色光源３１８を用いることができる。また、図１８の（ａ）部分に示す回転フィルタ３６９は図１７に示す回転フィルタ３６０と異なり白色光を透過させる白色光領域が設けられておらず、白色光のうち第１狭帯域光（第１特殊光；第１の照明光）の成分を透過させる２つの円形の第１狭帯域光領域３６５（第１狭帯域光フィルタ）と、第２狭帯域光（第２特殊光；第２の照明光）の成分を透過させる１つの円形の第２狭帯域光領域３６７（第２狭帯域光フィルタ）とが設けられている。このような回転フィルタ３６９を回転フィルタ制御部３６３（図１６参照；第２のフィルタ切替制御部）により回転軸３６１の周りに回転させることで、白色光源３１８が発光する白色光の光路に第１狭帯域光領域３６５（第１狭帯域光フィルタ）または第２狭帯域光領域３６７（第２狭帯域光フィルタ）が挿入され、第１狭帯域光または第２狭帯域光を被写体に照射することができる。

第１狭帯域光領域３６５及び第２狭帯域光領域３６７の形状は、図１７の（ａ）部分に示したように円形に限らず図１７の（ｂ）部分に示すように扇型でもよい。図１７の（ｂ）部分は、回転フィルタ３６９の３分の２を第１狭帯域光領域３６５とし、３分の１を第２狭帯域光領域３６７とした例を示している。扇型の面積は、第１狭帯域光と第２狭帯域光の照射比率に応じて変更することができる。なお、図１７の例において、それぞれ異なる狭帯域光に対応した３種類以上の狭帯域光領域を回転フィルタ３６９に設けてもよい。

（付記）
上述した実施形態の各態様に加えて、以下に記載の構成も本発明の範囲に含まれる。

（付記１）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

（付記２）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

（付記３）
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。

（付記４）
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。

（付記５）
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。

（付記６）
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。

（付記７）
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

（付記８）
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。

（付記９）
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

（付記１０）
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。

（付記１１）
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

（付記１２）
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。

（付記１３）
蛍光は、ピークが３９０以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。

（付記１４）
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。

（付記１５）
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

（付記１６）
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。

（付記１７）
特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得る医療画像処理装置。

（付記１８）
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。

（付記１９）
付記１から１８のいずれか１つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。

（付記２０）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。

（付記２１）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。

以上で本発明の実施形態及び他の態様に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１０ 内視鏡システム
１００ 内視鏡本体
１０２ 手元操作部
１０４ 挿入部
１０６ ユニバーサルケーブル
１０８ ライトガイドコネクタ
１１２ 軟性部
１１４ 湾曲部
１１６ 先端硬質部
１１６Ａ 先端側端面
１２３ 照明部
１２３Ａ 照明用レンズ
１２３Ｂ 照明用レンズ
１２６ 鉗子口
１３０ 撮影光学系
１３２ 撮影レンズ
１３４ 撮像素子
１３６ 駆動回路
１３８ ＡＦＥ
１４１ 送気送水ボタン
１４２ 吸引ボタン
１４３ 機能ボタン
１４４ 撮影ボタン
１７０ ライトガイド
２００ プロセッサ
２０２ 画像入力コントローラ
２０４ 画像処理部
２０４Ａ 画像取得部
２０４Ｂ 判定部
２０４Ｃ 認識部
２０４Ｄ 表示制御部
２０４Ｅ 受付部
２０４Ｆ 繰り返し制御部
２０５ 通信制御部
２０６ ビデオ出力部
２０７ 記録部
２０８ 操作部
２０９ 音声処理部
２０９Ａ スピーカ
２０９Ｂ マイク
２１０ ＣＰＵ
２１１ ＲＯＭ
２１２ ＲＡＭ
２１３ 照明モード判定用ＣＮＮ
２１４ 第１のＣＮＮ
２１４Ａ 入力層
２１４Ｂ 中間層
２１４Ｃ 出力層
２１５ 第２のＣＮＮ
２１６ 畳み込み層
２１７ プーリング層
２１８ 全結合層
２１９ 解析部
３００ 光源装置
３１０ 光源
３１０Ｂ 青色光源
３１０Ｇ 緑色光源
３１０Ｒ 赤色光源
３１０Ｖ 紫色光源
３１２ 白色光用レーザ光源
３１４ 蛍光体
３１６ 狭帯域光用レーザ光源
３１８ 白色光源
３２０ 光源装置
３２２ 光源装置
３３０ 絞り
３４０ 集光レンズ
３５０ 光源制御部
３６０ 回転フィルタ
３６１ 回転軸
３６２ 白色光領域
３６３ 回転フィルタ制御部
３６４ 狭帯域光領域
３６５ 第１狭帯域光領域
３６７ 第２狭帯域光領域
３６９ 回転フィルタ
４００ モニタ
８００ 医用画像
８０１ 注目領域
８０２ 医用画像
８０６ 医用画像
８０６Ａ 枠
８０６Ｂ マーカ
８０６Ｃ マーカ
８０８ 医用画像
８１０ 医用画像
８１２ 医用画像
８２０ 枠
８３０ 領域
８４０ 領域
８４２ 領域
Ｓ１００～Ｓ２１８ 医用画像処理方法の各ステップ

Claims (14)

1. 医用画像を取得する画像取得部と、
   ユーザの操作を受け付ける受付部と、
   前記医用画像が撮影された際の照明モードを前記受け付けた操作に基づいて取得する照明モード取得部と、
   前記照明モードが第１の照明モードであることが取得された場合は前記医用画像を用いて注目領域を検出する検出処理を行い、前記照明モードが第２の照明モードであることが取得された場合は前記医用画像を用いて注目領域を分類する分類処理を行う認識部と、
   前記照明モードが前記第１の照明モードであることが取得された場合は前記第１の照明モードであることを示す情報または前記第１の照明モードで用いている照明光を示す情報と前記検出処理の結果に応じた前記注目領域の検出位置を示す情報とを表示装置に表示させ、前記照明モードが前記第２の照明モードであることが取得された場合は前記第２の照明モードであることを示す情報または前記第２の照明モードで用いている照明光を示す情報と前記分類処理の結果に応じた前記分類の結果を示す情報とを表示装置に表示させる表示制御部と、
   を備える医用画像処理装置。
2. 前記認識部は、前記分類処理では前記検出処理で検出した前記注目領域に対する分類を行う請求項１に記載の医用画像処理装置。
3. 前記分類は、病変の病種、病変の範囲、病変のサイズ、病変の肉眼形、癌のステージ診断、または管腔内の現在位置である請求項１または２に記載の医用画像処理装置。
4. 前記表示制御部は、前記分類の信頼度を示す情報を前記表示装置に表示させる請求項１から３のいずれか１項に記載の医用画像処理装置。
5. 前記画像取得部は前記医用画像を時系列で取得し、
   前記照明モード取得部は前記時系列で取得した前記医用画像を構成するフレームに対して前記照明モードを取得する請求項１から４のいずれか１項に記載の医用画像処理装置。
6. 前記表示制御部は、
   前記照明モードが第２の照明モードであることが取得された場合は、前記時系列で取得された前記医用画像の前記フレームとは別に、前記分類処理の結果を継続して前記表示装置に表示させる請求項５に記載の医用画像処理装置。
7. 前記受付部は、フットスイッチ、マイク、キーボード、マウス、及び照明モード設定スイッチのいずれかを介した操作、視線による操作、及びジェスチャによる操作を前記ユーザの操作として受け付ける請求項１から６のいずれか１項に記載の医用画像処理装置。
8. 前記受付部は、照明モード設定スイッチである請求項７に記載の医用画像処理装置。
9. 前記認識部は、
   機械学習により構成され前記検出処理を行う第１の認識器と、
   機械学習により構成され前記分類処理を行う第２の認識器と、
   を有する請求項１から８のいずれか１項に記載の医用画像処理装置。
10. 前記第１の認識器及び前記第２の認識器は階層状のネットワーク構造を有する請求項９に記載の医用画像処理装置。
11. 請求項１から１０のいずれか１項に記載の医用画像処理装置と、
    前記表示装置と、
    内視鏡と、
    前記第１の照明モード及び前記第２の照明モードを有する光源装置であって、前記第１の照明モードでは第１の照明光を照射し、前記第２の照明モードでは第２の照明光を照射する光源装置と、
    前記内視鏡に設けられ前記医用画像を取得する撮像部と、
    を備える内視鏡システム。
12. 前記光源装置は、複数の半導体発光素子を備える請求項１１に記載の内視鏡システム。
13. 前記光源装置は、前記第１の照明光として通常光を照射し、前記第２の照明光として特殊光を照射する請求項１２に記載の内視鏡システム。
14. 前記光源装置は、
    前記通常光として、少なくとも紫色半導体発光素子、青色半導体発光素子、緑色半導体発光素子、および赤色半導体発光素子からの発光光を照射し、
    前記特殊光として、紫色半導体発光素子と緑色半導体発光素子からの発光光、または、緑色半導体発光素子と赤色半導体発光素子からの発光光を照射する、請求項１３に記載の内視鏡システム。

Images