WO2018159288A1

WO2018159288A1 - 画像処理装置、および画像処理方法、並びにプログラム

Info

Publication number: WO2018159288A1
Application number: PCT/JP2018/004982
Authority: WO
Inventors: イーウェンズー; 神尾　和憲; 諭志河田
Original assignee: ソニー株式会社
Priority date: 2017-02-28
Filing date: 2018-02-14
Publication date: 2018-09-07
Also published as: EP3590404A1; DE112018001054T5; JPWO2018159288A1; EP3590404A4; JP7127637B2; US20190346367A1

Abstract

可視光画像と、可視光画像のノイズレベルにほぼ一致するノイズレベルの蛍光画像との重畳画像を生成する装置、方法を提供する。蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減部と、設定した重畳率に応じて可視光画像とノイズ低減蛍光画像との重畳画像を生成する画像重畳部と、蛍光画像のノイズ低減処理に適用するノイズ低減強度を算出する蛍光画像ノイズ低減強度算出部を有する。蛍光画像ノイズ低減強度算出部は、重畳率が変更された場合でも、ノイズ低減蛍光画像のノイズレベルを、重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する。

Description

画像処理装置、および画像処理方法、並びにプログラム

　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、可視光画像と蛍光画像を利用した画像処理を行なう画像処理装置、および画像処理方法、並びにプログラムに関する。

　生体内の画像を撮影する内視鏡として、通常のカラー画像である可視光画像の他、昨今、可視光画像とは異なる蛍光画像の利用が進んでいる。
　蛍光画像は、例えば、特定の波長領域からなる励起光を照射し、生体内の物質による反射光に含まれる蛍光を撮影することで得られる画像である。
　蛍光画像は、例えば、生体内の病変に応じた強度の違い等を表現可能であり、蛍光画像を用いることにより、病気の進行状況の解析などを効果的に行うことができる。

　ただし、蛍光画像は、可視光画像に比較すると低画質な画像であるという問題があり、可視光画像と蛍光画像を組み合わせて利用することが多い。
　なお、可視光画像と蛍光画像を用いた内視鏡装置については、例えば特許文献１（特開２０１３－２１２３２３号公報）等に記載がある。

　特許文献１（特開２０１３－２１２３２３号公報）は、蛍光画像を撮影する撮像素子が取得した蛍光画像が高画質であるときは蛍光画像を白色画像（可視光画像）に重畳し、蛍光画像が低画質であるときは病変部の位置を示すマーカを白色画像（可視光画像）に重畳する構成を開示している。これにより、画像観察者は、病変部の位置を容易に確認することができる。

　この特許文献１では、蛍光画像と白色画像（可視光画像）の重畳画像を生成する構成について開示している。
　しかし、例えば、医療装置において、画像を観察する医師等の要望として、病変部を確実に確認するため、可視光単独の画像や、蛍光画像単独の画像、さらに、可視光画像と蛍光画像との重畳率を変更した様々な画像を観察したいという要望がある。

　しかし、一般的に、可視光画像はノイズレベルが低い鮮明な画像であるのに対して、蛍光画像はノイズレベルが高く不鮮明な画像となる。
　このようなノイズレベルの違う２つの画像を重畳して表示する場合、以下のような問題点が発生する。
　例えば可視光画像の表示処理に続いて、可視光画像に蛍光画像を重畳させた重畳画像を表示すると、可視光画像には存在しなかった蛍光画像に含まれるノイズに起因する点や線が、突然、表示装置に表示されるといったことが発生する。

　例えば表示装置に可視光画像と蛍光画像との重畳率を変更する操作部を設け、医師等の観察者が操作部を操作して、可視光画像と蛍光画像との重畳率を順次、変更して様々な重畳率の画像を連続的に観察する場合、重畳率の変化に応じて蛍光画像のノイズに起因する点や線が表示されたり消えたりすることがある。
　このような状況が発生すると、医師等の画像観察者は、これらの点や線が病変部等の被写体画像であるのか、ノイズであるのかを判別することが困難となり、正確な診断ができなくなるという問題がある。

特開２０１３－２１２３２３号公報

　本開示は、例えば、上記の問題点に鑑みてなされたものであり、可視光画像と蛍光画像を重畳した画像を表示する構成において、２つの画像のノイズレベルを制御して表示することを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　本開示の一実施例においては、可視光画像と蛍光画像との重畳率が変化しても、重畳画像に含まれる可視光画像と蛍光画像のノイズレベルを、ほぼ一致させた重畳画像を生成して表示すること可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減部と、
　可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳部と、
　を備え、
　前記ノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理装置にある。

　さらに、本開示の第２の側面は、
　画像処理装置において実行する画像処理方法であり、
　蛍光画像ノイズ低減部が、蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減ステップと、
　画像重畳部が、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳ステップを有し、
　前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理方法にある。

　さらに、本開示の第３の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　蛍光画像ノイズ低減部に、蛍光画像のノイズ低減処理を実行させてノイズ低減蛍光画像を生成させる蛍光画像ノイズ低減ステップと、
　画像重畳部に、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成させる画像重畳ステップを実行させ、
　前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理として実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、可視光画像と、可視光画像のノイズレベルにほぼ一致するノイズレベルの蛍光画像との重畳画像を生成する装置、方法が実現される。
　具体的には、例えば、蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減部と、設定された重畳率に応じて、可視光画像とノイズ低減蛍光画像との重畳画像を生成する画像重畳部と、蛍光画像ノイズ低減部における蛍光画像のノイズ低減処理に適用するノイズ低減強度を算出する蛍光画像ノイズ低減強度算出部を有する。蛍光画像ノイズ低減強度算出部は、重畳率が変更された場合でも、ノイズ低減蛍光画像のノイズレベルを、重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する。
　これらの構成、処理により、可視光画像のノイズレベルにほぼ一致するノイズレベルの蛍光画像との重畳画像を生成する装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

蛍光画像について説明する図である。画像処理装置の構成例について説明する図である。重畳率設定部の構成と処理について説明する図である。ノイズレベル推定部の実行する処理について説明する図である。蛍光画像ノイズ低減強度算出部の実行する処理について説明する図である。蛍光画像ノイズ低減部の実行する処理について説明する図である。画像重畳部の実行する処理について説明する図である。画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。画像処理装置の構成例について説明する図である。蛍光画像ノイズ低減部の実行する処理について説明する図である。蛍光画像ノイズ低減部のＬＵＴについて説明する図である。画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。画像処理装置の構成例について説明する図である。蛍光画像ノイズ低減部の実行する処理について説明する図である。蛍光画像ノイズ低減部のＬＵＴについて説明する図である。蛍光画像ノイズ低減部のクラス分類処理部の実行する処理について説明する図である。画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。画像処理装置の構成例について説明する図である。蛍光画像ノイズ低減強度算出部の実行する処理について説明する図である。画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。画像処理装置のハードウェア構成例を示す図である。

　以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
　１．蛍光画像の概要について
　２．本開示の画像処理装置の実施例１の構成と処理について
　３．画像処理装置の実行する処理のシーケンスについて
　４．本開示の画像処理装置の実施例２の構成と処理について
　４－１．ノイズ低減強度に基づいてフィルタサイズを決定する構成例について
　４－２．ノイズ低減強度と画像特徴量に基づく学習データに基づいてフィルタサイズを決定する構成例について
　５．本開示の画像処理装置の実施例３の構成と処理について
　６．画像処理装置のハードウェア構成例について
　７．本開示の構成のまとめ

　　［１．蛍光画像の概要について］
　まず、蛍光画像の概要について説明する。
　前述したように、生体内の画像を撮影する内視鏡として、通常のカラー画像である可視光画像の他、蛍光画像の利用が増加している。
　蛍光画像は、特定波長の励起光を照射し、生体内の物質による反射光に含まれる蛍光を撮影した画像である。
　蛍光画像は、例えば、生体内の病変に応じた強度の違い等を表現可能であり、蛍光画像を用いることにより、病気の進行状況の解析などを効果的に行うことができる。

　図１を参照して、蛍光画像の撮影構成について説明する。
　蛍光画像は、特定波長の励起光を照射し、例えば血管等の生体組織から出力される蛍光を撮像素子に入力して撮影する画像である。

　図１（１）は、生体組織１内の比較的浅い部分にある血管２を撮影する構成例であり、（２）は、生体組織１内の比較的深い部分にある血管２を撮影する構成例を示している。
　励起光が血管に照射されると、複数の散乱光が発生する。特に生体組織１の深い部分では、より多くの散乱光が発生し、その結果、撮像素子に撮影される蛍光画像のノイズが大きくなるという問題がある。

　前述したように、例えば、医療装置において、画像を観察する医師等の要望として、病変部を確実に確認するため、可視光単独の画像や、蛍光画像単独の画像、さらに、可視光画像と蛍光画像との重畳率を変更した様々な画像を観察したいという要望がある。
　具体的には、例えば表示装置に可視光画像と蛍光画像との重畳率を変更する操作部を設け、医師等の観察者が操作部を操作して、可視光画像と蛍光画像との重畳率を順次、変更して様々な画像を連続的に観察する構成である。

　しかし、前述したように多くの可視光画像はノイズレベルが低い鮮明な画像であるのに対し、蛍光画像はノイズレベルが高く不鮮明な画像である。
　このようなノイズレベルの違う可視光画像と蛍光画像との重畳率を順次、変更して様々な重畳率の画像を連続的に表示すると、重畳率の変化に応じて蛍光画像のノイズに起因する点や線が表示されたり消えたりすることがある。
　このような状況が発生すると、医師等の画像観察者は、これらの点や線が病変部等の被写体画像であるのか、ノイズであるのかを判別することが困難となり、正確な診断ができなくなる。

　以下、上記の問題を解決する構成、すなわち、可視光画像と蛍光画像の重畳画像を表示する場合に、画像のノイズレベルを制御して表示可能とした本開示の構成と処理について説明する。

　　［２．本開示の画像処理装置の実施例１の構成と処理について］
　図２以下を参照して本開示の画像処理装置の実施例１の構成と処理について説明する。
　図２は、本開示の実施例１の画像処理装置１００の構成例を示すブロック図である。
　なお、本開示の画像処理装置は、具体的には例えば、撮像装置や、撮像装置の撮影画像を入力して画像処理を実行するＰＣ等の情報処理装置等において実現可能である。

　図２に示す画像処理装置１００は、可視光画像１０と、蛍光画像２０を入力して、これら２つの画像を重畳した重畳画像３０を生成して出力する。重畳画像３０は、例えば、画像表示部（ディスプレイ）を持つ画像表示装置１２０に出力され表示される。

　図２に示す画像処理装置１００は、可視光画像１０と、蛍光画像２０を重畳した重畳画像３０のノイズレベルを制御する構成を持つ。具体的には、例えば、蛍光画像２０のノイズレベルを重畳対象となる可視光画像１０のノイズレベルまで低下させて重畳することを可能とした構成を持つ。

　なお、以下では、画像処理装置１００は、可視光画像１０と、蛍光画像２０の重畳処理を実行する構成として説明するが、本開示の画像処理装置において重畳対象とする画像の組み合わせは、可視光画像と蛍光画像に限らず、ノイズレベルの異なる様々な画像が適用可能である。

　例えば、可視光画像と（遠）赤外線画像の重畳処理や、ノイズレベルの低い可視光画像とノイズレベルの高い可視光画像の重畳処理等にも適用可能であり、この他、様々な画像の重畳処理において、本開示の構成や処理の適用が可能である。
　以下では、本開示の画像処理装置１００の一実施例として、可視光画像１０と、蛍光画像２０の重畳処理を実行する実施例について説明する。

　図２に示す画像処理装置１００に入力する可視光画像１０と、蛍光画像２０は、同一被写体を撮影した画像である。
　例えば、画像処理装置１００自体が、可視光画像と蛍光画像の撮像処理を行なう撮像部を有する構成としてもよいし、画像処理装置１００は撮像部を持たず、撮像装置の撮影した可視光画像と蛍光画像を入力する構成としてもよい。
　なお、これら２つの画像に位置ずれ等がある場合、既存技術を適用した位置合わせ処理を予め実行する。
　すなわち、図２に示す可視光画像１０と、蛍光画像２０は、同一被写体を撮影した位置合わせ済みの２つの画像である。

　図２に示すように、画像処理装置１００は、重畳率設定部１０１、可視光画像ノイズレベル推定部１０２、蛍光画像ノイズレベル推定部１０３、蛍光画像ノイズ低減強度算出部１０４、蛍光画像ノイズ低減部１０５、画像重畳部１０６を有する。
　まず、画像処理装置１００の各構成部の実行する処理の概要について説明し、後段で、各構成部の具体的処理について詳細に説明する。

　重畳率設定部１０１は、例えば医師等の画像観察者によって操作可能な操作部を有し、重畳画像３０を構成する可視光画像成分と蛍光画像成分の比率である重畳率を調整する。
　可視光画像ノイズレベル推定部１０２、蛍光画像ノイズレベル推定部１０３は、可視光画像１０と、蛍光画像２０に含まれるノイズレベルを推定する。

　蛍光画像ノイズ低減強度算出部１０４は、蛍光画像ノイズ低減部１０５が蛍光画像２０に施すノイズ低減処理において適用するノイズレベル低減強度β，１１１を算出する。

　蛍光画像ノイズ低減強度算出部１０４は、例えば、可視光画像と蛍光画像との重畳率が変化しても、重畳画像に含まれる可視光画像と蛍光画像のノイズレベルがほぼ一致するレベルとなるように、重畳率に応じたノイズレベル低減強度β，１１１を算出する。

　蛍光画像ノイズ低減部１０５は、蛍光画像ノイズ低減強度算出部１０４の算出したノイズレベル低減強度β，１１１に従って、蛍光画像２０のノイズレベルの低減処理を行う。

　画像重畳部１０６は、可視光画像１０と、蛍光画像ノイズ低減部１０５の生成したノイズ低減蛍光画像１１２を重畳して重畳画像３０を生成する。
　生成された重畳画像３０は、画像表示部１２０に表示される。
　まず、画像処理装置１００の各構成部の実行する処理の概要について説明した。
　次に、各構成部の具体的処理について詳細に説明する。

　まず、図３を参照して重畳率設定部１０１について説明する。
　前述したように、重畳率設定部１０１は、例えば医師等の画像観察者によって操作可能な操作部を有し、重畳画像３０を構成する可視光画像成分と蛍光画像成分の比率である重畳率を調整することを可能とした構成を持つ。

　例えば図３に示すようなスライド操作つまみ１２１を有し、重畳画像３０を観察する医師等の画像観察者が、このスライド操作つまみ１２１をスライドさせる。
　スライド操作つまみ１２１をスライドさせることで、画像表示部１２０に表示される重畳画像３０を構成する可視光画像と蛍光画像の重畳率を変化させることができる。

　例えばスライド操作つまみ１２１を左端に設定すると、可視光画像１００％の画像が、画像表示部１２０に表示される。
　スライド操作つまみ１２１を右に移動させると、徐々に可視光画像の重畳率が低下し、蛍光画像の重畳率が上昇する。
　なお、本開示の画像処理装置、すなわち、図２に示す構成を有する画像処理装置１００において、重畳画像３０を構成する蛍光画像は、蛍光画像ノイズ低減部１０５において生成されたノイズ低減蛍光画像１１２である。

　スライド操作つまみ１２１を中央に設定すると、可視光画像１０とノイズ低減蛍光画像１１２の重畳率が一致、すなわち各画像が１対１に重畳された重畳画像が、画像表示部１２０に表示される。

　さらに、スライド操作つまみ１２１を右に移動させると、徐々に可視光画像の重畳率が低下し、蛍光画像の重畳率が上昇する。スライド操作つまみ１２１を右端に設定すると、ノイズ低減蛍光画像１１２のみからなる画像が、画像表示部１２０に表示される。

　なお、以下において説明する各実施例において、重畳率αは、重畳画像における蛍光画像（ノイズ低減蛍光画像）の重畳比率（０≦α≦１）とする。
　重畳率α＝０の重畳画像は、可視光画像であり、
　重畳率α＝１の重畳画像は、蛍光画像（ノイズ低減蛍光画像）である。

　重畳画像を構成する画素の画素値ｙは、以下の式（式１）によって示される。
　ｙ_ｎｒ＝（１－α）ｙ_Ｖ＋αｙ_Ｆｎｒ　・・・（式１）
　ただし、ｙ_Ｖは、可視光画像の画素値、
　ｙ_Ｆｎｒは、ノイズ低減蛍光画像の画素値である。
　なお、Ｖは可視光画像を意味し、Ｆは蛍光画像を意味する添え字である。
　ｎｒはノイズ低減画像、またはノイズ低減画像を適用した重畳画像であることを意味する。

　なお、多くの場合、重畳される可視光画像はカラー画像であり、蛍光画像はモノトーンの白黒画像である。
　表示部に表示される重畳画像に含まれる蛍光画像領域を観察しやすくするため、重畳処理の前に蛍光画像を所定の色、例えば緑等で着色（カラー化）する画素値修正を行い、この修正後に、重畳する構成としてもよい。

　このように、画像処理装置１００の重畳率設定部１０１は、例えば医師等の画像観察者によって操作可能な操作部を有し、重畳画像３０を構成する可視光画像成分と蛍光画像成分の比率である重畳率を調整することを可能とした構成を持つ。

　次に、可視光画像ノイズレベル推定部１０２、蛍光画像ノイズレベル推定部１０３の実行する具体的な処理について、図４を参照して説明する。
　先に説明したように、可視光画像ノイズレベル推定部１０２、蛍光画像ノイズレベル推定部１０３は、可視光画像１０と、蛍光画像２０に含まれるノイズレベルを推定する。

　図４には、可視光画像ノイズレベル推定部１０２、蛍光画像ノイズレベル推定部１０３の実行する処理のシーケンスを示している。
　ステップＳ１１～Ｓ１４は、ノイズレベル推定のための可視光画像１０と、蛍光画像２０に含まれる画像領域（ブロック）を選択する処理である。
　すなわち、ノイズ推定を行うための最適な画像領域（ブロック）、例えば一辺が数１０～数１００画素からなる矩形型のブロックを可視光画像１０と、蛍光画像２０から選択する。

　まず、ステップＳ１１では、可視光画像から、平坦画像領域ブロックを選択する。可視光画像において、画素値変化の少ない画像領域は、ノイズの検出の容易な領域であり、可視光画像から、平坦画像領域ブロックを選択する。
　ここでは、以下の複数のブロックを選択する。
　（ｘ_ｖｎ，ｙ_ｖｎ）　　ｎ＝０，１，２，３・・・
　（ｘ_ｖｎ，ｙ_ｖｎ）は、例えば、ブロックの中心座標である。

　一方、ステップＳ１２では、蛍光画像から、低輝度画像領域ブロックを選択する。蛍光画像において、低輝度画像領域は、ノイズの検出の容易な領域であり、蛍光画像から、低輝度画像領域ブロックを選択する。
　ここでは、以下の複数のブロックを選択する。
　（ｘ_ｆｍ，ｙ_ｆｍ）　　ｍ＝０，１，２，３・・・
　（ｘ_ｆｍ，ｙ_ｆｍ）は、例えば、ブロックの中心座標である。

　次に、ステップＳ１３において、ステップＳ１１で選択した可視光画像の平坦画像領域ブロックと、ステップＳ１２で選択した蛍光画像低輝度画像領域ブロック中、
両者の位置が一番近い２つのブロックのペアをノイズ測定ブロックとする。
　以下の（式２）に従って、選択される２つのブロックのペアをノイズ測定ブロックとする。

　ステップＳ１３において、１つのブロックペアが選択できない場合は、ステップＳ１４を実行する。
　すなわち、ステップＳ１３において、上記（式２）に従って選択されたノイズ測定ブロックが複数ある場合は、ステップＳ１４で、複数のブロックペアから、画像中心に最も近いブロックを選択する。
　すなわち、以下の（式３）に従って選択される画像中心に最も近いブロックのペアをノイズ測定ブロックとする。

　上述したステップＳ１１～Ｓ１４の処理によってノイズ測定ブロックを決定した後、次のステップＳ１５、ステップＳ１６において、選択したブロックの画素値分布状況に基づいて、可視光画像、蛍光画像のノイズレベルを推定する。

　ステップＳ１５では、可視光画像の選択ブロックの画素値の標準偏差を算出し、算出した標準偏差に基づいてノイズレベルを推定する。
　また、ステップＳ１６では、蛍光画像の選択ブロックの画素値の標準偏差を算出し、算出した標準偏差に基づいてノイズレベルを推定する。

　上記処理により、選択ブロック内の画素値（輝度）の標準偏差を算出し、算出した標準偏差、または標準偏差に基づく変換値をノイズレベルとする。
　標準偏差が大きいほどノイズレベルが大となる。
　なおノイズレベルの算出処理には、標準偏差値を用いる他、ブロック内の画素の画素値（輝度）平均値や、分散、あるいは隣接差分絶対値和等を用いてもよい。

　このように、可視光画像ノイズレベル推定部１０２、蛍光画像ノイズレベル推定部１０３は、可視光画像１０と、蛍光画像２０に含まれるノイズレベルを推定する。

　次に、図５を参照して、図２に示す画像処理装置１００の蛍光画像ノイズ低減強度算出部１０４の実行する処理について説明する。
　先に図２を参照して説明したように、蛍光画像ノイズ低減強度算出部１０４は、可視光画像ノイズレベル推定部１０２と、蛍光画像ノイズレベル推定部１０３において推定された可視光画像１０と、蛍光画像２０に含まれるノイズレベルに応じて、蛍光画像２０のノイズレベルの低減強度であるノイズレベル低減強度β，１１１を算出する。

　図５には、蛍光画像ノイズ低減強度算出部１０４の実行する重畳率に応じたノイズレベル低減強度βの算出処理シーケンスを示している。
　なお、前提条件として、重畳率をα（ただし０≦α≦１）として、重畳画像は、以下の重畳率を適用した画像の加算処理によって生成されるものとする。
　重畳画像＝（１－α）（可視光画像）＋（α）（ノイズ低減蛍光画像）

　蛍光画像ノイズ低減強度算出部１０４の実行するステップＳ２１～Ｓ２６の処理について、以下、順次説明する。

　　（ステップＳ２１）
　まず、蛍光画像ノイズ低減強度算出部１０４は、ステップＳ２１において、可視光画像の画素値ｙ_Ｖを原信号ｘ_Ｖと、ノイズ成分信号ｎ_ｖを用いて、以下の式で表す。
　ｙ_Ｖ＝ｘ_Ｖ＋ｎ_Ｖ

　なお、原信号ｘ_Ｖとは、ノイズ成分を含まない被写体を反映した画像信号であり、ノイズ成分信号ｎ_ｖは、被写体を反映した画像信号とは異なるノイズ成分のみの信号である。

　　（ステップＳ２２）
　次に、蛍光画像ノイズ低減強度算出部１０４は、ステップＳ２２において、蛍光画像の画素値ｙ_Ｆを原信号ｘ_Ｆと、ノイズ成分ｎ_Ｆを用いて、以下の式で表す。
　ｙ_Ｆ＝ｘ_Ｆ＋ｎ_Ｆ

　　（ステップＳ２３）
　次に、蛍光画像ノイズ低減強度算出部１０４は、ステップＳ２３において、ノイズ低減後の蛍光画像の画素値ｙ_Ｆｎｒを原信号ｘ_Ｆと、ノイズ低減強度βと、ノイズ成分ｎ_Ｆを用いて、以下の式で表す。
　ｙ_Ｆｎｒ＝ｘ_Ｆ＋（１／β）ｎ_Ｆ

　なお、上記式に示されるように、ノイズ低減強度βを適用したノイズ低減処理によって、蛍光画像の画素値に含まれるノイズ成分は、（１／β）ｎ_Ｆに減少する。

　　（ステップＳ２４）
　次に、蛍光画像ノイズ低減強度算出部１０４は、ステップＳ２４において、可視光画像ｙ_Ｖとノイズ低減蛍光画像ｙ_Ｆｎｒの重畳画像ｙ_ｎｒを、重畳率αを用いて以下で表す。
　ｙ_ｎｒ＝（１－α）ｙ_Ｖ＋αｙ_Ｆｎｒ
　　　＝（１－α）ｘ_Ｖ＋αｘ_Ｆ＋（１－α）ｎ_Ｖ＋（α／β）ｎ_Ｆ

　　（ステップＳ２５）
　次に、蛍光画像ノイズ低減強度算出部１０４は、ステップＳ２５において、重畳画像を構成する可視光画像のノイズ成分ｎ_Ｖと、ノイズ低減蛍光画像のノイズ成分（α／β）ｎ_Ｆを同等にするための式、すなわち以下の式（式４）を設定する。
　　（１－α）ｎ_Ｖ＝（α／β）ｎ_Ｆ　・・・（式４）

　上記（式４）は、重畳画像に含まれる、
　（ａ）可視光画像のノイズ信号レベル（１－α）ｎ_Ｖ、
　（ｂ）ノイズ低減蛍光画像のノイズ信号レベル（α／β）ｎ_Ｆ、
　これら（ａ），（ｂ）の各画像のノイズ信号レベルを一致させる設定とした式である。

　　（ステップＳ２６）
　次に、蛍光画像ノイズ低減強度算出部１０４は、ステップＳ２６において、上記（式４）を用いて、蛍光画像に施すノイズ低減処理に適用するノイズ低減強度βを以下の（式５）に従って算出する。
　　β＝（α／（１－α））（ｎ_Ｆ／ｎ_Ｖ）　・・・（式５）

　このようにして、蛍光画像ノイズ低減強度算出部１０４は、蛍光画像２０に対するノイズ低減処理を実行する蛍光画像ノイズ低減部１０５において適用するノイズ低減強度βを算出する。
　上記（式５）から、理解されるように、ノイズ低減強度βは、蛍光画像の重畳率αが増加すると増加し、蛍光画像の重畳率αが減少すると減少する設定である。
　上記（式５）は、先に説明した（式４）から導かれる式であり、（式４）は、重畳画像に含まれる、
　（ａ）可視光画像のノイズ信号レベル（１－α）ｎ_Ｖ、
　（ｂ）ノイズ低減蛍光画像のノイズ信号レベル（α／β）ｎ_Ｆ、
　これら（ａ），（ｂ）の各画像のノイズ信号レベルを一致させる設定とした式である。

　すなわち、上記（式５）に従って算出されるノイズ低減強度βを適用したノイズ低減処理を施して生成したノイズ低減蛍光画像と、可視光画像を、重畳率αに従って重畳することで重畳画像を構成する可視光画像のノイズ信号レベル（強度）と、ノイズ低減蛍光画像のノイズ信号レベル（強度）とが一致することになる。

　このノイズ信号レベルは、重畳率αの変化に応じて変化するが、重畳率αが変化しても、その重畳画像を構成する可視光画像のノイズ信号レベル（強度）と、ノイズ低減蛍光画像のノイズ信号レベル（強度）とはほぼ一致する設定に制御されることになる。

　上記（式５）から理解されるように、重畳率αが増加、すなわち、ノイズ低減蛍光画像の重畳率が増加した場合、ノイズ低減強度βが増加し、蛍光画像ノイズ低減部１０５は、蛍光画像２０のノイズをより低減させる処理を行うことになる。
　一方、重畳率αが減少、すなわち、ノイズ低減蛍光画像の重畳率が減少した場合、ノイズ低減強度βが減少し、蛍光画像ノイズ低減部１０５は、適用するノイズ低減強度を弱めて、蛍光画像２０に対するノイズ低減処理を行うことになる。

　次に、この蛍光画像ノイズ低減部１０５の実行する処理の具体例について、図６を参照して説明する。
　蛍光画像ノイズ低減部１０５は、蛍光画像ノイズ低減強度算出部１０４の算出したノイズレベル低減強度β，１１１に従って、蛍光画像２０のノイズレベルの低減処理を行う。

　蛍光画像ノイズ低減部１０５は、図６に示すように、蛍光画像２０を入力し、さらに、蛍光画像ノイズ低減強度算出部１０４の算出したノイズレベル低減強度β，１１１を入力する。

　蛍光画像２０の画素値ｙ_Ｆは、先に図５のステップＳ２２において説明したように、原信号ｘ_Ｆと、ノイズ成分ｎ_Ｆを用いて、以下で示される。
　ｙ_Ｆ＝ｘ_Ｆ＋ｎ_Ｆ
　なお、原信号ｘ_Ｖは、ノイズ成分を含まない被写体を反映した画像信号であり、ノイズ成分信号ｎ_ｖは、被写体を反映した画像信号とは異なるノイズ成分のみの信号である。

　蛍光画像ノイズ低減部１０５は、蛍光画像ノイズ低減強度算出部１０４の算出したノイズレベル低減強度βを適用して、以下の（式６）に従ってノイズ低減後の画素値ｙ_Ｆｎｒを持つノイズ低減蛍光画像１１２を生成する。
　ｙ_Ｆｎｒ＝ｘ_Ｆ＋（１／β）ｎ_Ｆ　・・・（式６）

　上記式に示されるように、ノイズ低減強度βを適用したノイズ低減処理によって、蛍光画像の画素値に含まれるノイズ成分は、（１／β）ｎ_Ｆに減少する。

　次に、図７を参照して、画像重畳部１０６の実行する処理について説明する。
　画像重畳部１０６は、可視光画像１０と、蛍光画像ノイズ低減部１０５の生成したノイズ低減蛍光画像１１２を重畳して重畳画像３０を生成する。
　生成された重畳画像３０は、画像表示部１２０に表示される。

　画像重畳部１０６は、図７に示すように、可視光画像１０と、蛍光画像ノイズ低減部１０５の生成したノイズ低減蛍光画像１１２を入力する。
　さらに、重畳率設定部１０１から、例えば医師等の画像観察者の設定した重畳率αを入力する。

　可視光画像１０の画素値ｙ_Ｖは、図７に示すように、以下の式で表される。
　ｙ_Ｖ＝ｘ_Ｖ＋ｎ_Ｖ
　また、蛍光画像ノイズ低減部１０５の生成したノイズレベル低減蛍光画像１１２の画素値ｙ_Ｆｎｒ、図７に示すように、以下の式で表される。
　ｙ_Ｆｎｒ＝ｘ_Ｆ＋（１／β）ｎ_Ｆ

　画像重畳部１０６は、これら２つの画像を重畳率αに従って重畳して重畳画像３０を生成する。重畳画像３０の画素値ｙ_ｎｒは、以下の式（式７）によって表される。
　ｙ_ｎｒ＝（１－α）ｙ_Ｖ＋αｙ_Ｆｎｒ
　　　＝（１－α）ｘ_Ｖ＋αｘ_Ｆ＋（１－α）ｎ_Ｖ＋（α／β）ｎ_Ｆ　・・・（式７）

　このようにして、画像重畳部１０６は、可視光画像１０と、蛍光画像ノイズ低減部１０５の生成したノイズ低減蛍光画像１１２を重畳して重畳画像３０を生成し、生成した重畳画像３０は、画像表示部１２０に出力し表示する。

　上記（式７）に示すノイズ低減強度βは、先に説明した（式５）から理解されるように、蛍光画像の重畳率αが増加すると増加し、蛍光画像の重畳率αが減少すると減少する設定である。
　先に説明したように、（式５）は、（式４）から導かれる式であり、（式４）は、重畳画像に含まれる、
　（ａ）可視光画像のノイズ信号レベル（１－α）ｎ_Ｖ、
　（ｂ）ノイズ低減蛍光画像のノイズ信号レベル（α／β）ｎ_Ｆ、
　これら（ａ），（ｂ）の各画像のノイズ信号レベルを一致させる設定とした式である。

　すなわち、上記（式５）に従って算出されるノイズ低減強度βを適用したノイズ低減処理を施して生成したノイズ低減蛍光画像と、可視光画像を、重畳率αに従って重畳することで重畳画像を構成する可視光画像のノイズ信号レベル（強度）と、ノイズ低減蛍光画像のノイズ信号レベル（強度）とが一致することになる。
　すなわち、上記（式７）によって算出される重畳画像に含まれる可視光画像のノイズ信号レベル（強度）と、ノイズ低減蛍光画像のノイズ信号レベル（強度）はほぼ一致したレベル（強度）となる。

　ノイズ信号レベルは、重畳率αの変化に応じて変化するが、重畳率αが変化しても、その重畳画像を構成する可視光画像のノイズ信号レベル（強度）と、ノイズ低減蛍光画像のノイズ信号レベル（強度）とはほぼ一致する設定に制御されることになる。

　重畳率αが増加、すなわち、ノイズ低減蛍光画像の重畳率が増加した場合、ノイズ低減強度βが増加し、蛍光画像ノイズ低減部１０５は、蛍光画像２０のノイズをより強く低減させる処理を行う。
　この結果、上記（式７）によって示される重畳画像に含まれるノイズ低減蛍光画像１１２のノイズレベルは、重畳画像に含まれる可視光画像２０のノイズレベルとほぼ一致する設定となる。

　一方、重畳率αが減少、すなわち、ノイズ低減蛍光画像の重畳率が減少した場合、ノイズ低減強度βが減少し、蛍光画像ノイズ低減部１０５は、適用するノイズ低減強度を弱めて、蛍光画像２０に対するノイズ低減処理を行うことになる。
　この結果、上記（式７）によって示される重畳画像に含まれるノイズ低減蛍光画像１１２のノイズレベルは、重畳画像に含まれる可視光画像２０のノイズレベルとほぼ一致する設定となる。

　このように、重畳率αが変化しても、その重畳画像を構成する可視光画像のノイズ信号レベル（強度）と、ノイズ低減蛍光画像のノイズ信号レベル（強度）とはほぼ一致する設定に制御された重畳画像を生成して表示することが可能となる。
　すなわち、ノイズ低減蛍光画像のノイズレベルは、常に可視光画像のノイズレベルに一致する設定に制御されて表示されるので、重畳画像の重畳率を変化させて、蛍光画像の割合を変化させてもノイズ増減が抑制され、観察しやすい画像の表示が可能となる。

　　［３．画像処理装置の実行する処理のシーケンスについて］
　次に、図２に示す画像処理装置１００の実行する処理のシーケンスについて、図８に示すフローチャートを参照して説明する。

　図８示すフローに従った処理は、例えば画像処理装置の記憶部に格納されたプログラムに従ってプログラム実行機能を有する制御部の制御の下に実行される。
　以下、図８に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ１０１）
　まず、画像処理装置は、ステップＳ１０１において、可視光画像と蛍光画像のノイズレベルを推定する。

　この処理は、図２に示す画像処理装置１００の可視光画像ノイズレベル推定部１０２、蛍光画像ノイズレベル推定部１０３の実行する処理である。
　可視光画像ノイズレベル推定部１０２、蛍光画像ノイズレベル推定部１０３は、可視光画像１０と、蛍光画像２０に含まれるノイズレベルを推定する。

　先に図４を参照して説明したように、可視光画像１０と、蛍光画像２０に設定した画素ブロック中、
　可視光画像１０については、平坦領域、蛍光画像２０については、低輝度領域からブロックを選択し、両ブロックの位置が近く、さらに画像中心に近いブロックのペアを選択して、この選択ブロックペアをノイズレベルの推定処理に適用する画素ブロックとする。

　このノイズレベル推定処理に適用する画素ブロックとして選択された可視光画像のブロックと、蛍光画像のブロックについて、例えば画素値（輝度）の標準偏差を算出して、算出値をノイズレベルとする。
　なお、標準偏差の他、ブロック内の画素の画素値（輝度）平均値や、分散、あるいは隣接差分絶対値和等を用いてもよい。

　　（ステップＳ１０２）
　次に、画像処理装置は、ステップＳ１０２において、蛍光画像のノイズレベルを、可視光画像のノイズレベルに合わせるために蛍光画像に施すノイズ低減処理のノイズ低減強度βを算出する。

　この処理は、図２に示す画像処理装置１００の蛍光画像ノイズ低減強度算出部１０４の実行する処理である。
　先に図５を参照して説明したように、蛍光画像ノイズ低減強度算出部１０４は、図５に示すステップＳ２１～Ｓ２６の処理を実行して、可視光画像と蛍光画像との重畳率αが変化しても、重畳画像に含まれる可視光画像と蛍光画像のノイズレベルがほぼ一致するレベルとなるように、重畳率に応じたノイズレベル低減強度βを算出する。

　ノイズ低減強度βは、先に説明したように、以下の（式５）に従って算出する。
　　β＝（α／（１－α））（ｎ_Ｆ／ｎ_Ｖ）　・・・（式５）
　上記（式５）から、理解されるように、ノイズ低減強度βは、蛍光画像の重畳率αが増加すると増加し、蛍光画像の重畳率αが減少すると減少する設定である。

　　（ステップＳ１０３）
　次に、画像処理装置は、ステップＳ１０３において、算出したノイズ低減強度βを適用して、蛍光画像のノイズの低減処理を実行して、ノイズ低減蛍光画像を生成する。

　この処理は、図２に示す画像処理装置１００の蛍光画像ノイズ低減部１０５の実行する処理である。
　先に図６を参照して説明したように、蛍光画像ノイズ低減部１０５は、蛍光画像ノイズ低減強度算出部１０４の算出したノイズレベル低減強度βを適用して、以下の（式６）に従ってノイズ低減後の画素値ｙ_Ｆｎｒを持つノイズ低減蛍光画像１１２を生成する。
　ｙ_Ｆｎｒ＝ｘ_Ｆ＋（１／β）ｎ_Ｆ　・・・（式６）

　　（ステップＳ１０４）
　次に、画像処理装置は、ステップＳ１０４において、可視光画像と、ノイズ低減蛍光画像を重畳率αに従って重畳し、重畳画像を生成する。

　この処理は、図２に示す画像処理装置１００の画像重畳部１０６の実行する処理である。
　先に図７を参照して説明したように、画像重畳部１０６は、可視光画像１０と、蛍光画像ノイズ低減部１０５の生成したノイズ低減蛍光画像１１２を重畳して重畳画像３０を生成する。
　生成された重畳画像３０は、画像表示部１２０に表示される。

　先に図７を参照して説明したように、画像重畳部１０６は、可視光画像１０と、蛍光画像ノイズ低減部１０５の生成したノイズ低減蛍光画像１１２を重畳率αに従って重畳して重畳画像３０を生成する。重畳画像３０の画素値ｙ_ｎｒは、以下の式（式７）によって表される。
　ｙ_ｎｒ＝（１－α）ｙ_Ｖ＋αｙ_Ｆｎｒ
　　　＝（１－α）ｘ_Ｖ＋αｘ_Ｆ＋（１－α）ｎ_Ｖ＋（α／β）ｎ_Ｆ　・・・（式７）

　このようにして、画像重畳部１０６は、可視光画像１０と、蛍光画像ノイズ低減部１０５の生成したノイズ低減蛍光画像１１２を重畳して重畳画像３０を生成し、生成した重畳画像３０は、画像表示部１２０に出力して表示する。

　　［４．本開示の画像処理装置の実施例２の構成と処理について］
　次に、図９以下を参照して本開示の画像処理装置の実施例２の構成と処理について説明する。

　　［４－１．ノイズ低減強度に基づいてフィルタサイズを決定する構成例について］
　まず、ノイズ低減強度に基づいてフィルタサイズを決定する構成例について説明する。
　図９は、本開示の実施例２の画像処理装置２００の構成例を示すブロック図である。
　図９に示す実施例２の画像処理装置２００も、先に実施例１として説明した図２に示す画像処理装置１００と同様、可視光画像１０と、蛍光画像２０を入力して、これら２つの画像を重畳した重畳画像３０を生成して出力する。重畳画像３０は、例えば、画像表示部（ディスプレイ）を持つ画像表示装置２２０に出力され表示される。

　図９に示す画像処理装置２００も、先に実施例１として説明した図２に示す画像処理装置１００と同様、可視光画像１０と、蛍光画像２０を重畳した重畳画像３０のノイズレベルを制御する構成を持つ。具体的には、例えば、蛍光画像２０のノイズレベルを重畳対象となる可視光画像１０のノイズレベルまで低下させて重畳することを可能とした構成を持つ。

　図９に示すように、画像処理装置２００は、重畳率設定部２０１、可視光画像ノイズレベル推定部２０２、蛍光画像ノイズレベル推定部２０３、蛍光画像ノイズ低減強度算出部２０４、蛍光画像ノイズ低減部２０５、画像重畳部２０６を有する。
　これらの構成要素は、先に実施例１として説明した図２に示す画像処理装置１００と同様の構成である。

　図９に示す画像処理装置２００と、図２に示す画像処理装置１００との違いは、蛍光画像ノイズ低減部２０５である。
　図９に示す画像処理装置２００の蛍光画像ノイズ低減部２０５は、図９に示すようにルックアップテーブル（ＬＵＴ）２２１を有している。

　蛍光画像ノイズ低減部２０５は、ルックアップテーブル（ＬＵＴ）２２１の格納データを参照して、蛍光画像２０のノイズレベル低減処理を行う。
　蛍光画像ノイズ低減部２０５の具体的構成と処理について、図１０を参照して説明する。

　蛍光画像ノイズ低減部２０５は、図１０に示すように、ルックアップテーブル（ＬＵＴ）２２１と、平均フィルタ適用部２２２を有している。
　蛍光画像ノイズ低減部２０５は、図１０に示すように、蛍光画像２０を入力し、さらに、蛍光画像ノイズ低減強度算出部２０４の算出したノイズレベル低減強度β，２１１を入力する。

　ルックアップテーブル（ＬＵＴ）２２１には、ノイズ低減強度βと、そのノイズ低減強度βに最適な平均フィルタのサイズを対応付けたデータが格納されている。
　ルックアップテーブル（ＬＵＴ）２２１の格納データの一例を図１１に示す。
　図１１には、横軸にノイズ低減強度β、縦軸に平均フィルタサイズを設定したグラフを示している。グラフに示す線は、様々なノイズ低減強度βの値に対応付けられた最適な平均フィルタのサイズを示すデータである。

　ルックアップテーブル（ＬＵＴ）２２１には、このような対応データが予め格納されており、蛍光画像ノイズ低減部２０５は、蛍光画像ノイズ低減強度算出部２０４から入力したノイズレベル低減強度β，２１１に基づいて、最適な平均フィルタのサイズを取得し、取得したフィルタサイズ２１３を平均フィルタ適用部２２２に出力する。

　平均フィルタ適用部２２２は、ＬＵＴ２２１から入力したフィルタサイズ２１３によって決定される大きさの平均フィルタを、蛍光画像２０に適用して、蛍光画像のノイズ低減処理を実行する。
　この平均フィルタ適用処理によってノイズ低減蛍光画像２１２を生成する。

　なお、平均フィルタは、補正対象画素を中心とする画素領域、例えばｎ×ｎ画素の画素領域の全画素の平均画素値を算出し、その算出画素値を補正画素値として設定するフィルタである。ｎは、例えば数画素から数１０画素である。

　図１１にグラフ（ＬＵＴ）から理解されるように、蛍光画像ノイズ低減強度算出部２０４から入力したノイズレベル低減強度βが大きいほど、フィルタサイズは大きく設定される。
　すなわち、ノイズレベル低減強度βが大きいほど、より広い領域の画素を用いた平均化処理が施される。すなわちノイズ低減効果が大きくなる。

　本実施例２では、予めルックアップテーブル（ＬＵＴ）２２１として、ノイズレベル低減強度βと、平均フィルタのサイズを対応づけたテーブルを格納し、このテーブルデータに基づいて選択されたサイズを持つ平均化フィルタを蛍光画像２０に適用してノイズ低減蛍光画像２１２を生成する。

　なお、上述した実施例では、蛍光画像２０からノイズ低減蛍光画像２１２を生成する際に、平均フィルタを適用する構成として説明したが、これは一例であり、蛍光画像２０からノイズ低減蛍光画像２１２を生成する際に適用するフィルタは、平均フィルタに限るものではなく、メディアンフィルタやバイラテラルフィルタ等、様々なフィルタが適用可能である。

　本実施例の図９に示す画像処理装置２００の実行する処理のシーケンスについて、図１２に示すフローチャートを参照して説明する。
　以下、図１２に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ２０１～Ｓ２０２）
　ステップＳ２０１～Ｓ２０２の処理は、先に説明した実施例１の処理である図８に示すフローチャートのステップＳ１０１～Ｓ１０２の処理と同様の処理である。

　まず、画像処理装置は、ステップＳ２０１において、可視光画像と蛍光画像のノイズレベルを推定する。
　この処理は、図９に示す画像処理装置２００の可視光画像ノイズレベル推定部２０２、蛍光画像ノイズレベル推定部２０３の実行する処理である。
　可視光画像ノイズレベル推定部２０２、蛍光画像ノイズレベル推定部２０３は、先に図４を参照して説明したシーケンスに従って、可視光画像１０と、蛍光画像２０に含まれるノイズレベルを推定する。

　次に、画像処理装置は、ステップＳ２０２において、蛍光画像のノイズレベルを、可視光画像のノイズレベルに合わせるために蛍光画像に施すノイズ低減処理のノイズ低減強度βを算出する。
　この処理は、図９に示す画像処理装置２００の蛍光画像ノイズ低減強度算出部２０４の実行する処理である。
　先に図５を参照して説明したように、蛍光画像ノイズ低減強度算出部２０４は、図５に示すステップＳ２１～Ｓ２６の処理を実行して、可視光画像とノイズ低減蛍光画像との重畳率αが変化しても、重畳画像に含まれる可視光画像とノイズ低減蛍光画像のノイズレベルがほぼ同一になるように重畳率に応じたノイズレベル低減強度βを算出する。

　　（ステップＳ２０３）
　次に、画像処理装置は、ステップＳ２０３において、算出したノイズ低減強度βを適用して、蛍光画像のノイズの低減処理を実行して、ノイズ低減蛍光画像を生成する。

　この処理は、図９に示す画像処理装置２００の蛍光画像ノイズ低減部２０５の実行する処理である。
　先に図１０を参照して説明したように、蛍光画像ノイズ低減部２０５は、蛍光画像ノイズ低減強度算出部２０４の算出したノイズレベル低減強度βを入力し、ルックアップテーブル（ＬＵＴ）２２１から、ノイズ低減強度βの値に対応付けられた最適な平均フィルタのサイズを取得する。

　さらに、取得したフィルタサイズ２１３を平均フィルタ適用部２２２に出力する。
　平均フィルタ適用部２２２は、ＬＵＴ２２１から入力したフィルタサイズ２１３によって決定される大きさの平均フィルタを、蛍光画像２０に適用して、蛍光画像のノイズ低減処理を実行する。
　この平均フィルタ適用処理によってノイズ低減蛍光画像２１２を生成する。

　　（ステップＳ２０４）
　次に、画像処理装置は、ステップＳ２０４において、可視光画像と、ノイズ低減蛍光画像を重畳率αに従って重畳し、重畳画像を生成する。

　この処理は、図９に示す画像処理装置２００の画像重畳部２０６の実行する処理である。
　この処理は、先の実施例１において、図７を参照して説明した処理と同様の処理である。画像重畳部２０６は、可視光画像１０と、蛍光画像ノイズ低減部２０５の生成したノイズ低減蛍光画像２１２を重畳して重畳画像３０を生成する。
　生成された重畳画像３０は、画像表示部２２０に表示される。

　先に図７を参照して説明したように、画像重畳部１０６は、可視光画像１０と、蛍光画像ノイズ低減部１０５の生成したノイズ低減蛍光画像１１２を重畳率αに従って重畳して重畳画像３０を生成する。重畳画像３０の画素値ｙ_ｎｒは、先に説明した式（式７）によって表される。

　本実施例においても、重畳画像のノイズ信号レベルは、重畳率αの変化に応じて変化するが、重畳率αが変化しても、その重畳画像を構成する可視光画像のノイズ信号レベル（強度）と、ノイズ低減蛍光画像のノイズ信号レベル（強度）とはほぼ一致する設定に制御されることになる。
　すなわち、ノイズ低減蛍光画像のノイズレベルは、常に可視光画像のノイズレベルに一致する設定に制御されて表示されるので、重畳画像の重畳率を変化させて、蛍光画像の割合を変化させてもノイズ増減が抑制され、観察しやすい画像の表示が可能となる。

　　［４－２．ノイズ低減強度と画像特徴量に基づく学習データに基づいてフィルタサイズを決定する構成例について］
　次に、実施例２の変形例として、ノイズ低減強度と画像特徴量に基づく学習データに基づいてフィルタサイズを決定する構成例について説明する。
　図１３は、本開示の実施例２の変形例の画像処理装置２００の構成例を示すブロック図である。
　図１３に示す画像処理装置２００は、先に図９を参照して説明した画像処理装置２００の構成とほぼ同様の構成であり、蛍光画像ノイズ低減部２０５が、ルックアップテーブル（ＬＵＴ）２２１を有している。
　図９の画像処理装置２００の構成と異なる点は、蛍光画像ノイズ低減部２０５に蛍光画像２０に併せて、可視光画像１０を入力している点である。

　蛍光画像ノイズ低減部２０５の具体的構成と処理について、図１４を参照して説明する。
　蛍光画像ノイズ低減部２０５は、図１４に示すように、先に図１０を参照して説明した蛍光画像ノイズ低減部２０５と同様、ルックアップテーブル（ＬＵＴ）２２１と、平均フィルタ適用部２２２を有している。
　図１４に示す蛍光画像ノイズ低減部２０５は、さらに、クラス分類処理部２２３を有している。

　クラス分類処理部２２３は、可視光画像１０と、蛍光画像２０を入力し、これら２つの画像の特徴量に基づいて、事前に取得済みの学習データを適用してクラス分類情報２１４を出力する。

　ルックアップテーブル（ＬＵＴ）２２１には、ノイズ低減強度β，２１１と、クラス分類情報２１４に対応付けた最適な平均フィルタのサイズが格納されている。
　ルックアップテーブル（ＬＵＴ）２２１の格納データの一例を図１５に示す。
　図１５には、横軸にノイズ低減強度β、縦軸に平均フィルタサイズを設定したグラフを、複数（０００～ｎｎｎ）、示している。個々のグラフに示す線は、様々なノイズ低減強度βの値に対応付けられた最適な平均フィルタのサイズを示すデータである。

　図１５に示す複数のグラフ（ＬＵＴ）は、可視光画像１０と、蛍光画像２０、これら２つの画像の特徴量に基づいて、事前の学習データを適用して分類されたクラスに対応したクラス対応のグラフ（ＬＵＴ）である。
　ＬＵＴ２２１では、クラス分類情報２１４に対応したデータ（グラフで示すＬＵＴ）が選択され、その選択データから、入力ノイズ低減強度β，２１１に対応付けられたフィルタサイズを取得し、取得したフィルタサイズ２１３を平均フィルタ適用部２２２に出力する。

　なお、前述したように、クラス分類処理部２２３は、可視光画像１０と、蛍光画像２０を入力し、これら２つの画像の特徴量に基づいて、事前の学習データを適用して、クラス分類情報２１４を出力する。
　クラス分類処理部２２３におけるクラス分類情報２１４の出力例について、図１６を参照して説明する。

　図１６には、
　（ａ）画像特徴
　（ｂ）クラス分類情報
　（ｃ）適用ＬＵＴ
　これらの対応データを示している。

　（ａ）画像特徴は、入力する可視光画像１０と、蛍光画像２０、これら２つの画像の特徴量に相当する。
　具体的には、平坦部、テクスチャ部、エッジ部等の画像特徴量に応じた区別がなされ、さらに、各区別された画像特徴の中で、強、中、弱のレベル分けがなされている。

　（ｂ）クラス分類情報は、事前の学習処理によって設定した画像特徴量に対応付けられたクラス識別子である。
　（ｃ）適用ＬＵＴは、図１５を参照して説明したクラス対応のグラフ（ＬＵＴ）の識別子である。

　クラス分類処理部２２３は、可視光画像１０と、蛍光画像２０を入力し、これら２つの画像の特徴量を取得する。この特徴量が、（ａ）画像特徴に相当する。
　次に、（ａ）画像特徴に基づいて、クラス分類情報２１４を取得する。
　図１６に示す（ａ）画像特徴と、（ｂ）クラス分類情報は、事前に実行されたサンプル画像を適用した学習データを適用して対応付けがなされており、この対応付けデータを利用して、入力した可視光画像１０と、蛍光画像２０の画像特徴量に対応付けられたクラス分類情報２１４を選択して出力する。

　その後、クラス分類情報２１４に従って、図１５に示すＬＵＴ２２１から１つのデータ、すなわち、図１５に示す複数のグラフの１つが選択され、その選択データから、入力ノイズ低減強度β，２１１に対応付けられたフィルタサイズを取得し、取得したフィルタサイズ２１３を平均フィルタ適用部２２２に出力する。

　なお、画像特徴量は、可視光画像１０と、蛍光画像２０の画像全体で１つの特徴量を取得する構成として、１つの画像に１つのサイズのフィルタを適用する構成としてもよいし、画像の領域単位で特徴量を個別に取得して、画像領域単位で異なるサイズのフィルタを適用する構成としてもよい。

　なお、先に説明した実施例と同様、蛍光画像２０からノイズ低減蛍光画像２１２を生成する際に適用するフィルタは、平均フィルタに限るものではなく、メディアンフィルタやバイラテラルフィルタ等、様々なフィルタが適用可能である。
　また、例えばエッジ情報を利用したジョイント・バイラテラルフィルタを適用する構成も可能である。

　本実施例の図１３に示す画像処理装置２００の実行する処理のシーケンスについて、図１７に示すフローチャートを参照して説明する。
　以下、図１７に示すフローは、先に説明した図１２のフローとほぼ同様である。
　図１７に示すフローのステップＳ２０１，Ｓ２０２，Ｓ２０４は、図１２のフローのステップＳ２０１、Ｓ２０２、Ｓ２０４と同じ処理となる。
　図１７のフロー中、ステップＳ２０３ｂの処理のみが、図１２に示すフローのステップＳ２０３の処理と異なる処理となる。

　図１７のフローのステップＳ２０３ｂの処理について説明する。
　　（ステップＳ２０３ｂ）
　画像処理装置は、ステップＳ２０３において、ステップＳ２０２で算出したノイズ低減強度βを適用して、蛍光画像のノイズの低減処理を実行して、ノイズ低減蛍光画像を生成する。

　この処理は、図１３に示す画像処理装置２００の蛍光画像ノイズ低減部２０５の実行する処理である。
　先に図１４～図１６を参照して説明したように、蛍光画像ノイズ低減部２０５は、クラス分類処理部２２３、ルックアップテーブル（ＬＵＴ）２２１、平均フィルタ適用部２２２を有している。
　ルックアップテーブル（ＬＵＴ）２２１には、ノイズ低減強度β，２１１と、クラス分類情報２１４に対応付けた最適な平均フィルタのサイズが格納されている。

　クラス分類処理部２２３は、可視光画像１０と、蛍光画像２０を入力し、これら２つの画像の特徴量を取得する。この特徴量に基づいて、クラス分類情報２１４を取得する。画像特徴と、クラス分類情報は、事前に実行されたサンプル画像を適用した学習データを適用して対応付けがなされており、この対応付けデータを利用して、入力した可視光画像１０と、蛍光画像２０の画像特徴量に対応付けられたクラス分類情報２１４を選択して出力する。

　本例においても、重畳画像のノイズ信号レベルは、重畳率αの変化に応じて変化するが、重畳率αが変化しても、その重畳画像を構成する可視光画像のノイズ信号レベル（強度）と、ノイズ低減蛍光画像のノイズ信号レベル（強度）とはほぼ一致する設定に制御されることになる。
　すなわち、ノイズ低減蛍光画像のノイズレベルは、常に可視光画像のノイズレベルに一致する設定に制御されて表示されるので、重畳画像の重畳率を変化させて、蛍光画像の割合を変化させてもノイズ増減が抑制され、観察しやすい画像の表示が可能となる。

　　［５．本開示の画像処理装置の実施例３の構成と処理について］
　次に、図１８以下を参照して本開示の画像処理装置の実施例３の構成と処理について説明する。

　図１８は、本開示の実施例３の画像処理装置３００の構成例を示すブロック図である。
　図１８に示す実施例３の画像処理装置３００も、先に実施例１として説明した図２に示す画像処理装置１００と同様、可視光画像１０と、蛍光画像２０を入力して、これら２つの画像を重畳した重畳画像３０を生成して出力する。重畳画像３０は、例えば、画像表示部（ディスプレイ）を持つ画像表示装置３２０に出力され表示される。

　図１８に示す画像処理装置３００も、先に実施例１として説明した図２に示す画像処理装置１００と同様、可視光画像１０と、蛍光画像２０を重畳した重畳画像３０のノイズレベルを制御する構成を持つ。具体的には、例えば、蛍光画像２０のノイズレベルを重畳対象となる可視光画像１０のノイズレベルまで低下させて重畳することを可能とした構成を持つ。

　図１８に示すように、画像処理装置３００は、重畳率設定部３０１、可視光画像ノイズレベル推定部３０２、蛍光画像ノイズレベル推定部３０３、蛍光画像ノイズ低減強度算出部３０４、蛍光画像ノイズ低減部３０５、画像重畳部３０６を有する。
　これらの構成要素は、先に実施例１として説明した図２に示す画像処理装置１００と同様の構成である。

　図１８に示す画像処理装置３００と、図２に示す画像処理装置１００との違いは、可視光画像ノイズ低減部３０７が追加されたことである。

　可視光画像ノイズ低減部３０７は、入力した可視光画像１０のノイズレベルが、予め規定したしきい値（ｔｈ）より大きい場合に、可視光画像１０のノイズレベルを低減する処理を実行して、ノイズ低減可視光画像３１６を生成して画像重畳部３０６に出力する。

　この場合、画像重畳部３０６は、
　可視光画像ノイズ低減部３０７の生成したノイズ低減可視光画像３１６と、
　蛍光画像ノイズ低減部３０５の生成したノイズ低減蛍光画像３１５、
　これらの２つの画像の重畳処理を実行して重畳画像３０を生成する。

　なお、可視光画像ノイズ低減部３０７における可視光画像１０のノイズレベル低減処理に適用するノイズ低減強度γ３１２は、予め規定した固定値である。

　上述したように、可視光画像ノイズ低減部３０７は、入力した可視光画像１０のノイズレベルが、予め規定したしきい値より大きい場合に、可視光画像１０のノイズレベルを低減する処理を実行する。
　入力した可視光画像１０のノイズレベルが、予め規定したしきい値より大きいか否かを判定するのは、蛍光画像ノイズ低減強度算出部３０４である。

　蛍光画像ノイズ低減強度算出部３０４は、入力する可視光画像１０のノイズレベルが予め規定したしきい値より大きいか否かを判定し、大きいと判定した場合は、可視光画像ノイズ低減部３０７に、予め規定したノイズ低減強度γ３１２を出力する。
　可視光画像ノイズ低減部３０７は、このノイズ低減強度γ３１２を適用して、可視光画像１０のノイズレベル低減処理を実行する。

　可視光画像ノイズ低減部３０７は、入力する可視光画像１０、すなわち、
　ｙ_Ｖ＝ｘ_Ｖ＋ｎ_Ｖ
　上記画素値ｙ_Ｖによって構成される可視光画像１０に対して、ノイズレベル低減強度γを適用して、以下の式に従ってノイズ低減後の画素値ｙ_Ｖｎｒを持つノイズ低減可視光画像３１６を生成する。
　ｙ_Ｖｎｒ＝ｘ_Ｖ＋（１／γ）ｎ_Ｖ

　なお、上記式において、信号ｘ_Ｖは原信号、すなわちノイズ成分を含まない被写体を反映した画像信号であり、信号ｎ_ｖは、被写体を反映した画像信号とは異なるノイズ成分のみの信号である。

　次に、図１９を参照して、蛍光画像ノイズ低減強度算出部３０４の実行する処理の詳細について説明する。
　先の実施例１において、図５を参照して説明したと同様、蛍光画像ノイズ低減強度算出部３０４は、可視光画像ノイズレベル推定部３０２と、蛍光画像ノイズレベル推定部３０３において推定された可視光画像１０と蛍光画像２０に含まれるノイズレベルに応じて、蛍光画像２０のノイズレベルの低減強度であるノイズレベル低減強度β，３１１を算出する。

　蛍光画像ノイズ低減強度算出部３０４は、例えば、可視光画像と蛍光画像との重畳率が変化しても、重畳画像に含まれる可視光画像と蛍光画像のノイズレベルがほぼ一致するレベルとなるように、重畳率に応じたノイズレベル低減強度β，３１１を算出する。

　本実施例では、前述したように、入力した可視光画像１０のノイズレベルが、予め規定したしきい値（ｔｈ）より大きい場合に、可視光画像１０のノイズレベルを低減する処理を実行して、ノイズ低減可視光画像３１６を生成して画像重畳部３０６に出力する。
　この場合、画像重畳部３０６は、
　可視光画像ノイズ低減部３０７の生成したノイズ低減可視光画像３１６と、
　蛍光画像ノイズ低減部３０５の生成したノイズ低減蛍光画像３１５、
　これらの２つの画像の重畳処理を実行して重畳画像３０を生成する。

　画像重畳部３０６は、これら２つの画像を重畳率αに従って重畳して重畳画像３０を生成する。重畳画像３０の画素値ｙ_ｎｒは、以下の式（式８）によって表される。
　ｙ_ｎｒ＝（１－α）ｙ_Ｖｎｒ＋αｙ_Ｆｎｒ
　　＝（１－α）ｘ_Ｖ＋αｘ_Ｆ＋（（１－α）／γ）ｎ_Ｖ＋（α／β）ｎ_Ｆ　・・・（式８）

　このように、蛍光画像の重畳対象となる可視光画像が、ノイズ低減可視光画像３１６となる場合、ノイズ低減蛍光画像３１５のノイズレベルも、このノイズ低減可視光画像３１６のノイズレベルに合わせるように調整することが必要となる。

　図１９は、この場合の処理シーケンス、すなわち、入力可視光画像１０のノイズレベルがしきい値より高いと判定され、ノイズ低減蛍光画像３１５と、ノイズ低減可視光画像３１６との重畳処理が実行される場合の処理シーケンスである。
　すなわち、ノイズ低減蛍光画像３１５のノイズレベルを、ノイズ低減可視光画像３１６のノイズレベルに合わせるように調整する処理のシーケンスである。
　以下、図１９を参照して、蛍光画像ノイズ低減強度算出部３０４の実行するステップＳ３１～Ｓ３６の処理について、以下、順次説明する。

　　（ステップＳ３１）
　まず、蛍光画像ノイズ低減強度算出部３０４は、ステップＳ３１において、可視光画像の画素値ｙ_Ｖを原信号ｘ_Ｖと、ノイズ成分信号ｎ_ｖを用いて、以下の式で表す。
　ｙ_Ｖ＝ｘ_Ｖ＋ｎ_Ｖ

　　（ステップＳ３２）
　次に、蛍光画像ノイズ低減強度算出部３０４は、ステップＳ３２において、蛍光画像の画素値ｙ_Ｆを原信号ｘ_Ｆと、ノイズ成分ｎ_Ｆを用いて、以下の式で表す。
　ｙ_Ｆ＝ｘ_Ｆ＋ｎ_Ｆ

　　（ステップＳ３３）
　次に、蛍光画像ノイズ低減強度算出部３０４は、ステップＳ３３において、ノイズ低減後の蛍光画像の画素値ｙ_Ｆｎｒを原信号ｘ_Ｆと、ノイズ低減強度βと、ノイズ成分ｎ_Ｆを用いて、以下の式で表す。
　ｙ_Ｆｎｒ＝ｘ_Ｆ＋（１／β）ｎ_Ｆ

　　（ステップＳ３４）
　次に、蛍光画像ノイズ低減強度算出部３０４は、ステップＳ３４において、可視光画像ｙ_Ｖとノイズ低減蛍光画像ｙ_Ｆｎｒの重畳画像ｙ_ｎｒを、重畳率αを用いて以下で表す。
　ｙ_ｎｒ＝（１－α）ｙ_Ｖ＋αｙ_Ｆｎｒ
　　　＝（１－α）ｘ_Ｖ＋αｘ_Ｆ＋（１－α）ｎ_Ｖ＋（α／β）ｎ_Ｆ

　　（ステップＳ３５）
　次に、蛍光画像ノイズ低減強度算出部３０４は、ステップＳ３５において、重畳画像を構成する可視光画像のノイズ成分ｎ_Ｖと、ノイズ低減蛍光画像のノイズ成分（α／β）ｎ_Ｆを同等にするための式、すなわち以下の式（式４）を設定する。
　　（１－α）ｎ_Ｖ＝（α／β）ｎ_Ｆ　・・・（式４）

　　（ステップＳ３６）
　次に、蛍光画像ノイズ低減強度算出部３０４は、ステップＳ３６において、入力した可視光画像１０のノイズレベルがしきい値（ｔｈ）より大きいこと確認すると、可視光画像ノイズ低減部３０７に、予め規定した可視光画像用のノイズ低減強度γを出力する。

　さらに、上記（式４）を用いて、蛍光画像に施すノイズ低減処理に適用するノイズ低減強度βを以下の（式９）に従って算出する。
　　β＝（α／（１－α））（ｎ_Ｆ／（（１／γ）ｎ_Ｖ））　・・・（式９）

　上記（式９）は、先に、実施例１において、図５を参照して説明したステップＳ２６において適用したノイズ低減強度β算出式、すなわち、以下の（式５）、
　　β＝（α／（１－α））（ｎ_Ｆ／ｎ_Ｖ）　・・・（式５）
　上記（式５）中の、可視光画像のノイズレベルｎ_Ｖを、ノイズ低減処理後のノイズレベル、すなわち、（１／γ）ｎ_Ｖに変更した式に相当する。

　このようにして、蛍光画像ノイズ低減強度算出部３０４は、蛍光画像２０に対するノイズ低減処理を実行する蛍光画像ノイズ低減部３０５において適用するノイズ低減強度βを算出する。
　上記（式９）から、理解されるように、ノイズ低減強度βは、蛍光画像の重畳率αが増加すると増加し、蛍光画像の重畳率αが減少すると減少する設定である。

　このノイズ信号レベルは、重畳率αの変化に応じて変化するが、重畳率αが変化しても、その重畳画像を構成するノイズ低減可視光画像のノイズ信号レベル（強度）と、ノイズ低減蛍光画像のノイズ信号レベル（強度）とはほぼ一致する設定に制御されることになる。

　画像重畳部１０６は、これら２つの画像を重畳率αに従って重畳して重畳画像３０を生成する。重畳画像３０の画素値ｙ_ｎｒは、前述の式（式８）によって表される。
　ｙ_ｎｒ＝（１－α）ｙ_Ｖｎｒ＋αｙ_Ｆｎｒ
　　＝（１－α）ｘ_Ｖ＋αｘ_Ｆ＋（（１－α）／γ）ｎ_Ｖ＋（α／β）ｎ_Ｆ　・・・（式８）

　次に、本実施例３の図１８に示す画像処理装置３００の実行する処理のシーケンスについて、図２０に示すフローチャートを参照して説明する。
　以下、図２０に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ３０１）
　ステップＳ３０１の処理は、先に説明した実施例１の処理である図８に示すフローチャートのステップＳ１０１の処理と同様の処理である。

　まず、画像処理装置は、ステップＳ３０１において、可視光画像と蛍光画像のノイズレベルを推定する。
　この処理は、図１８に示す画像処理装置３００の可視光画像ノイズレベル推定部３０２、蛍光画像ノイズレベル推定部３０３の実行する処理である。
　可視光画像ノイズレベル推定部３０２、蛍光画像ノイズレベル推定部３０３は、先に図４を参照して説明したシーケンスに従って、可視光画像１０と、蛍光画像２０に含まれるノイズレベルを推定する。

　　（ステップＳ３０２）
　次に、画像処理装置は、ステップＳ３０２において、可視光画像１０のノイズレベルが既定のしきい値（ｔｈ）より大きいか否かを判定する。
　この処理は、図１８に示す画像処理装置３００の蛍光画像ノイズ低減強度算出部３０４の実行する処理である。

　可視光画像１０のノイズレベルが既定のしきい値（ｔｈ）より大きい場合は、ステップＳ３１１に進む。
　一方、可視光画像１０のノイズレベルが既定のしきい値（ｔｈ）より大きくない場合は、ステップＳ３２１に進む。

　　（ステップＳ３１１）
　ステップＳ３０２において、可視光画像１０のノイズレベルが既定のしきい値（ｔｈ）より大きい場合は、ステップＳ３１１に進む。
　画像処理装置は、ステップＳ３１１において、可視光画像に対するノイズ低減処理を実行する。

　この処理は、図１８に示す画像処理装置３００の可視光画像ノイズ低減部３０７の実行する処理である。
　可視光画像ノイズ低減部３０７は、予め規定されたノイズ低減強度γを適用して、可視光画像ののいず低減処理を実行して、ノイズ低減可視光画像を生成する。

　　（ステップＳ３１２）
　次に、画像処理装置は、ステップＳ３１２において、蛍光画像のノイズレベルを、ステップＳ３１１において生成したノイズ低減可視光画像のノイズレベルに合わせるために蛍光画像に施すノイズ低減処理のノイズ低減強度βを算出する。

　この処理は、図１８に示す画像処理装置３００の蛍光画像ノイズ低減強度算出部３０４の実行する処理である。
　この処理は、先に図１９を参照して説明した処理である。

　図１９を参照して説明したように、蛍光画像ノイズ低減強度算出部３０４は、図１９に示すステップＳ３１～Ｓ３６の処理を実行して、ノイズ低減可視光画像とノイズ低減蛍光画像との重畳率αが変化しても、重畳画像に含まれるノイズ低減可視光画像とノイズ低減蛍光画像のノイズレベルがほぼ同一になるように重畳率に応じたノイズレベル低減強度βを算出する。

　　（ステップＳ３１３）
　次に、画像処理装置は、ステップＳ３１３において、算出したノイズ低減強度βを適用して、蛍光画像のノイズの低減処理を実行して、ノイズ低減蛍光画像を生成する。

　この処理は、図１８に示す画像処理装置３００の蛍光画像ノイズ低減部３０５の実行する処理である。
　この処理は、実施例１において図６を参照して説明した処理と同様の処理である。
　あるいは実施例２において図１０他を参照して説明したルックアップテーブル（ＬＵＴ）２２１を適用した処理として実行してもよい。
　図１８に示す画像処理装置３００の蛍光画像ノイズ低減部３０５は、いずれかの処理を実行してノイズ低減蛍光画像３１２を生成する。

　　（ステップＳ３１４）
　次に、画像処理装置は、ステップＳ３１４において、ノイズ低減可視光画像と、ノイズ低減蛍光画像を重畳率αに従って重畳し、重畳画像を生成する。

　この処理は、図１８に示す画像処理装置３００の画像重畳部３０６の実行する処理である。
　生成された重畳画像は、画像表示部２２０に表示される。

　画像重畳部１０６は、ノイズ低減強度γを適用してノイズ低減処理がなされたノイズ低減可視光画像と、ノイズ低減強度γを適用してノイズ低減処理がなされたノイズ低減蛍光画像を重畳率αに従って重畳して重畳画像３０を生成する。重畳画像３０の画素値ｙ_ｎｒは、先に説明した式（式８）によって表される。

　　（ステップＳ３２１）
　一方、ステップＳ３０２において、可視光画像１０のノイズレベルが既定のしきい値（ｔｈ）より大きくないと判定した場合は、ステップＳ３２１に進む。
　ステップＳ３２１～Ｓ３２３の処理は、実施例１において、図８のフローを参照して説明したステップＳ１０２～Ｓ１０４と同様の処理である。

　画像処理装置は、ステップＳ３２１において、蛍光画像のノイズレベルを、ノイズ低減なしの可視光画像のノイズレベルに合わせるために蛍光画像に施すノイズ低減処理のノイズ低減強度βを算出する。
　この処理は、図１８に示す画像処理装置３００の蛍光画像ノイズ低減強度算出部３０４の実行する処理である。
　この場合の処理は、先の実施例１において、図５を参照して説明したステップＳ２１～Ｓ２６の処理となる。
　ノイズ低減なし可視光画像とノイズ低減蛍光画像との重畳率αが変化しても、重畳画像に含まれるノイズ低減なし可視光画像とノイズ低減蛍光画像のノイズレベルがほぼ同一になるように重畳率に応じたノイズレベル低減強度βを算出する。

　　（ステップＳ３２２）
　次に、画像処理装置は、ステップＳ３２２において、算出したノイズ低減強度βを適用して、蛍光画像のノイズの低減処理を実行して、ノイズ低減蛍光画像を生成する。

　　（ステップＳ３２３）
　次に、画像処理装置は、ステップＳ３２３において、ノイズ低減なし可視光画像と、ノイズ低減蛍光画像を重畳率αに従って重畳し、重畳画像を生成する。

　この処理は、図１８に示す画像処理装置３００の画像重畳部３０６の実行する処理である。
　この処理は、先の実施例１において、図７を参照して説明した処理と同様の処理である。画像重畳部３０６は、可視光画像１０と、蛍光画像ノイズ低減部３０５の生成したノイズ低減蛍光画像３１２を重畳して重畳画像３０を生成する。
　生成された重畳画像３０は、画像表示部３２０に表示される。

　先に図７を参照して説明したように、画像重畳部３０６は、可視光画像１０と、蛍光画像ノイズ低減部３０５の生成したノイズ低減蛍光画像３１２を重畳率αに従って重畳して重畳画像３０を生成する。重畳画像３０の画素値ｙ_ｎｒは、先に説明した式（式７）によって表される。

　本実施例においては、可視光画像が既定しきい値より大きいノイズレベルである場合は、ノイズ低減可視光画像とノイズ低減蛍光画像の重畳画像を生成し、
　可視光画像が既定しきい値より大きいノイズレベルでない場合は、ノイズ低減なしの可視光画像とノイズ低減蛍光画像の重畳画像を生成する。

　ただし、いずれの場合でも、重畳画像のノイズ信号レベルは、重畳率αの変化に応じて変化するが、重畳率αが変化しても、その重畳画像を構成する可視光画像、またはノイズ低減可視光画像のノイズ信号レベル（強度）と、ノイズ低減蛍光画像のノイズ信号レベル（強度）とはほぼ一致する設定に制御されることになる。
　すなわち、ノイズ低減蛍光画像のノイズレベルは、常に、重畳対象となる可視光画像、またはノイズ低減可視光画像のノイズレベルに一致する設定に制御されて表示される。従って、重畳率を変化させて、蛍光画像の割合を変化させてもノイズ増減が抑制され、観察しやすい画像の表示が可能となる。

　　［６．画像処理装置のハードウェア構成例について］
　　次に、図２１を参照して画像処理装置のハードウェア構成例について説明する。
　図２１は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）６０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）６０２、または記憶部６０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）６０３には、ＣＰＵ６０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ６０１、ＲＯＭ６０２、およびＲＡＭ６０３は、バス６０４により相互に接続されている。

　ＣＰＵ６０１はバス６０４を介して入出力インタフェース６０５に接続され、入出力インタフェース６０５には、撮像部６２１の撮影画像の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部６０６、表示部６２２やスピーカなどに対するデータ出力を実行する出力部６０７が接続されている。ＣＰＵ６０１は、入力部６０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部６０７に出力する。

　入出力インタフェース６０５に接続されている記憶部６０８は、例えばハードディスク等からなり、ＣＰＵ６０１が実行するプログラムや各種のデータを記憶する。通信部６０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース６０５に接続されているドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア６１１を駆動し、データの記録あるいは読み取りを実行する。

　　［７．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減部と、
　可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳部と、
　を備え、
　前記ノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理装置。

　（２）前記ノイズ低減処理に適用するノイズ低減強度を算出する蛍光画像ノイズ低減強度算出部を有し、
　前記蛍光画像ノイズ低減強度算出部は、
　前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する（１）に記載の画像処理装置。

　（３）　前記画像処理装置は、さらに、
　前記可視光画像のノイズレベルを推定する可視光画像ノイズレベル推定部と、
　前記蛍光画像のノイズレベルを推定する蛍光画像ノイズレベル推定部を有し、
　前記蛍光画像ノイズ低減強度算出部は、
　前記前記可視光画像のノイズレベルと、前記蛍光画像のノイズレベルを適用して、前記ノイズ低減強度を算出する（２）に記載の画像処理装置。

　（４）　前記画像処理装置は、さらに、
　前記画像重畳部において実行する可視光画像とノイズ低減蛍光画像との重畳処理に適用する各画像の重畳率を設定する重畳率設定部を有し、
　前記蛍光画像ノイズ低減強度算出部は、
　前記重畳率が変更された場合でも、前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する（２）または（３）に記載の画像処理装置。

　（５）　前記蛍光画像ノイズ低減強度算出部は、
　前記ノイズ低減蛍光画像の重畳率が大きいほど、大きなノイズ低減強度を算出する（４）に記載の画像処理装置。

　（６）　前記画像処理装置は、さらに、
　前記可視光画像のノイズレベルを推定する可視光画像ノイズレベル推定部と、
　前記蛍光画像のノイズレベルを推定する蛍光画像ノイズレベル推定部を有し、
　前記蛍光画像ノイズ低減強度算出部は、
　前記前記可視光画像のノイズレベルと、前記蛍光画像のノイズレベルと、前記重畳率を適用して、前記ノイズ低減強度を算出する（４）に記載の画像処理装置。

　（７）　前記蛍光画像ノイズ低減部は、
　ノイズ低減強度と、フィルタサイズの対応データからなるルックアップテーブルを有し、
　蛍光画像ノイズ低減強度算出部の算出したノイズ低減強度に対応付けられたフィルタサイズを、前記ルックアップテーブルから取得して、取得したフィルタサイズを有するフィルタを蛍光画像に適用して、ノイズ低減蛍光画像を生成する（１）～（６）いずれかに記載の画像処理装置。

　（８）　前記フィルタは平均フィルタ、または、メディアンフィルタ、バイラテラルフィルタのいずれかである（７）に記載の画像処理装置。

　（９）　前記蛍光画像ノイズ低減部は、
　事前の学習データを適用した画像特徴量に基づくクラス分類情報を出力するクラス分類処理部を有し、
　前記クラス分類処理部は、
　重畳処理用の可視光画像と蛍光画像の特徴量に基づくクラス分類情報を出力し、
　前記クラス分類情報によって選択されるルックアップテーブルを適用して、前記ノイズ低減強度に対応付けられたフィルタサイズを取得して、取得したフィルタサイズを有するフィルタを蛍光画像に適用して、ノイズ低減蛍光画像を生成する（７）または（８）に記載の画像処理装置。

　（１０）　前記画像処理装置は、さらに、
　可視光画像ノイズ低減部を有し、
　前記可視光画像ノイズ低減部は、
　前記可視光画像が、予め規定したしきい値より大きいノイズレベルを有する場合に、前記可視光画像に対するノイズ低減処理を実行して、ノイズ低減可視画像を生成し、
　前記画像重畳部は、前記ノイズ低減可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する（１）～（９）いずれかに記載の画像処理装置。

　（１１）　前記蛍光画像ノイズ低減強度算出部は、
　前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する前記ノイズ低減可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する（１０）に記載の画像処理装置。

　（１２）　前記画像処理装置は、さらに、
　前記可視光画像と前記蛍光画像の撮像処理を行なう撮像部を有する（１）～（１１）いずれかに記載の画像処理装置。

　（１３）　画像処理装置において実行する画像処理方法であり、
　蛍光画像ノイズ低減部が、蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減ステップと、
　画像重畳部が、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳ステップを有し、
　前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理方法。

　（１４）　画像処理装置において画像処理を実行させるプログラムであり、
　蛍光画像ノイズ低減部に、蛍光画像のノイズ低減処理を実行させてノイズ低減蛍光画像を生成させる蛍光画像ノイズ低減ステップと、
　画像重畳部に、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成させる画像重畳ステップを実行させ、
　前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理として実行させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、可視光画像と、可視光画像のノイズレベルにほぼ一致するノイズレベルの蛍光画像との重畳画像を生成する装置、方法が実現される。
　具体的には、例えば、蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減部と、設定された重畳率に応じて、可視光画像とノイズ低減蛍光画像との重畳画像を生成する画像重畳部と、蛍光画像ノイズ低減部における蛍光画像のノイズ低減処理に適用するノイズ低減強度を算出する蛍光画像ノイズ低減強度算出部を有する。蛍光画像ノイズ低減強度算出部は、重畳率が変更された場合でも、ノイズ低減蛍光画像のノイズレベルを、重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する。
　これらの構成、処理により、可視光画像のノイズレベルにほぼ一致するノイズレベルの蛍光画像との重畳画像を生成する装置、方法が実現される。

　　　１　生体組織
　　　２　血管
　　１０　可視光画像
　　２０　蛍光画像
　　３０　重畳画像
　１００，２００，３００　画像処理装置
　１０１，２０１，３０１　重畳率設定部
　１０２，２０２，３０２　可視光画像ノイズレベル推定部
　１０３，２０３，３０３　蛍光画像ノイズレベル推定部
　１０４，２０４，３０４　蛍光画像ノイズ低減強度算出部
　１０５，２０５，４０５　蛍光画像ノイズ低減部
　１０６，２０６，３０６　画像重畳部
　２２１　ルックアップテーブル（ＬＵＴ）
　２２２　平均フィルタ適用部
　２２３　クラス分類処理部
　３０７　可視光画像ノイズ低減部
　６０１　ＣＰＵ
　６０２　ＲＯＭ
　６０３　ＲＡＭ
　６０４　バス
　６０５　入出力インタフェース
　６０６　入力部
　６０７　出力部
　６０８　記憶部
　６０９　通信部
　６１０　ドライブ
　６１１　リムーバブルメディア
　６２１　撮像部
　６２２　表示部

Claims

　蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減部と、
　可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳部と、
　を備え、
　前記ノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理装置。
　前記ノイズ低減処理に適用するノイズ低減強度を算出する蛍光画像ノイズ低減強度算出部を有し、
　前記蛍光画像ノイズ低減強度算出部は、
　前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する請求項１に記載の画像処理装置。
　前記画像処理装置は、さらに、
　前記可視光画像のノイズレベルを推定する可視光画像ノイズレベル推定部と、
　前記蛍光画像のノイズレベルを推定する蛍光画像ノイズレベル推定部を有し、
　前記蛍光画像ノイズ低減強度算出部は、
　前記前記可視光画像のノイズレベルと、前記蛍光画像のノイズレベルを適用して、前記ノイズ低減強度を算出する請求項２に記載の画像処理装置。
　前記画像処理装置は、さらに、
　前記画像重畳部において実行する可視光画像とノイズ低減蛍光画像との重畳処理に適用する各画像の重畳率を設定する重畳率設定部を有し、
　前記蛍光画像ノイズ低減強度算出部は、
　前記重畳率が変更された場合でも、前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する請求項２に記載の画像処理装置。
　前記蛍光画像ノイズ低減強度算出部は、
　前記ノイズ低減蛍光画像の重畳率が大きいほど、大きなノイズ低減強度を算出する請求項４に記載の画像処理装置。
　前記画像処理装置は、さらに、
　前記可視光画像のノイズレベルを推定する可視光画像ノイズレベル推定部と、
　前記蛍光画像のノイズレベルを推定する蛍光画像ノイズレベル推定部を有し、
　前記蛍光画像ノイズ低減強度算出部は、
　前記前記可視光画像のノイズレベルと、前記蛍光画像のノイズレベルと、前記重畳率を適用して、前記ノイズ低減強度を算出する請求項４に記載の画像処理装置。
　前記蛍光画像ノイズ低減部は、
　ノイズ低減強度と、フィルタサイズの対応データからなるルックアップテーブルを有し、
　蛍光画像ノイズ低減強度算出部の算出したノイズ低減強度に対応付けられたフィルタサイズを、前記ルックアップテーブルから取得して、取得したフィルタサイズを有するフィルタを蛍光画像に適用して、ノイズ低減蛍光画像を生成する請求項１に記載の画像処理装置。
　前記フィルタは平均フィルタ、または、メディアンフィルタ、バイラテラルフィルタのいずれかである請求項７に記載の画像処理装置。
　前記蛍光画像ノイズ低減部は、
　事前の学習データを適用した画像特徴量に基づくクラス分類情報を出力するクラス分類処理部を有し、
　前記クラス分類処理部は、
　重畳処理用の可視光画像と蛍光画像の特徴量に基づくクラス分類情報を出力し、
　前記クラス分類情報によって選択されるルックアップテーブルを適用して、前記ノイズ低減強度に対応付けられたフィルタサイズを取得して、取得したフィルタサイズを有するフィルタを蛍光画像に適用して、ノイズ低減蛍光画像を生成する請求項７に記載の画像処理装置。
　前記画像処理装置は、さらに、
　可視光画像ノイズ低減部を有し、
　前記可視光画像ノイズ低減部は、
　前記可視光画像が、予め規定したしきい値より大きいノイズレベルを有する場合に、前記可視光画像に対するノイズ低減処理を実行して、ノイズ低減可視画像を生成し、
　前記画像重畳部は、前記ノイズ低減可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する請求項１に記載の画像処理装置。
　前記蛍光画像ノイズ低減強度算出部は、
　前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する前記ノイズ低減可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する請求項１０に記載の画像処理装置。
　前記画像処理装置は、さらに、
　前記可視光画像と前記蛍光画像の撮像処理を行なう撮像部を有する請求項１に記載の画像処理装置。
　画像処理装置において実行する画像処理方法であり、
　蛍光画像ノイズ低減部が、蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減ステップと、
　画像重畳部が、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳ステップを有し、
　前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理方法。
　画像処理装置において画像処理を実行させるプログラムであり、
　蛍光画像ノイズ低減部に、蛍光画像のノイズ低減処理を実行させてノイズ低減蛍光画像を生成させる蛍光画像ノイズ低減ステップと、
　画像重畳部に、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成させる画像重畳ステップを実行させ、
　前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理として実行させるプログラム。