WO2017175452A1

WO2017175452A1 - 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Info

Publication number: WO2017175452A1
Application number: PCT/JP2017/002583
Authority: WO
Inventors: 神尾　和憲; イーウェンズー; 拓郎川合; 隆浩永野
Original assignee: ソニー株式会社
Priority date: 2016-04-04
Filing date: 2017-01-25
Publication date: 2017-10-12
Also published as: US20190122345A1; US10929959B2

Abstract

蛍光画像の高画質化処理を実行する装置、方法を提供する。蛍光画像と可視光画像を入力し、画像特徴量を抽出し、蛍光画像に対して、特徴量に応じて決定される補正パラメータに基づいて画素値補正処理を実行する。画素値補正に利用する補正パラメータは、補正パラメータ算出部が、特徴量に基づいて決定する。画像補正部は、補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する。例えば、特徴量として、蛍光画像からぼけ態様情報を取得し、画像補正部は、蛍光画像のぼけを減少させるように、蛍光画像の画素値補正処理を実行する。

Description

画像処理装置、撮像装置、および画像処理方法、並びにプログラム

　本開示は、画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。特に、可視画像と蛍光画像を利用した画像処理を行なう画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。

　生体内の画像を撮影する内視鏡として、通常のカラー画像である可視光画像が利用されるが、昨今、可視光画像とは異なる蛍光画像の利用が進んでいる。
　蛍光画像は、例えば、特定の波長領域からなる励起光を照射し、生体内の物質による反射光に含まれる蛍光を撮影することで得られる画像である。
　蛍光画像は、例えば、生体内の病変に応じた強度の違い等を表現可能であり、蛍光画像を用いることにより、病気の進行状況の解析などを効果的に行うことができる。

　なお、可視光画像と蛍光画像を用いた内視鏡装置については、例えば特許文献１（特開２０１０－８２１４１号公報）、特許文献２（特開２０１１－２００３３０号公報）、特許文献３（特開２０１３－２４８３１９号公報）等に記載がある。

　しかし、蛍光画像は、通常の可視光画像に比較して画像のぼけが大きくなるという欠点がある。特に生体内の深い位置にある血管等の画像は、生体内で多くの散乱光が発生し、鮮明な画像が得られないという問題がある。

特開２０１０－８２１４１号公報特開２０１１－２００３３０号公報特開２０１３－２４８３１９号公報

　本開示は、例えば、上記の問題点に鑑みてなされたものであり、例えばぼけの少ない蛍光画像を取得可能とした画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　蛍光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量クラス分類処理部と、
　前記蛍光画像に対して、前記特徴量に応じて決定される補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する画像処理装置にある。

　さらに、本開示の第２の側面は、
　可視光画像と蛍光画像、または可視蛍光混合画像の撮像処理を行なう撮像部と、
　前記撮像部の撮影画像を入力し、入力画像から可視光画像と蛍光画像を分離して出力する画像分離部と、
　前記画像分離部の出力する蛍光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量クラス分類処理部と、
　前記画像分離部の出力する蛍光画像に対して、前記特徴量に応じて決定される補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する撮像装置にある。

　さらに、本開示の第３の側面は、
　画像処理装置において実行する画像処理方法であり、
　特徴量クラス分類処理部が、蛍光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出ステップと、
　画像補正部が、前記蛍光画像に対して、前記特徴量に応じて決定される補正パラメータに基づいて画素値補正処理を実行する画像補正ステップを実行する画像処理方法にある。

　さらに、本開示の第４の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　特徴量クラス分類処理部に、蛍光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出させ、
　画像補正部に、前記蛍光画像に対して、前記特徴量に応じて決定される補正パラメータに基づいて画素値補正処理を実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、蛍光画像の高画質化処理を実行する装置、方法が実現される。
　具体的には、蛍光画像と可視光画像を入力し、画像特徴量を抽出し、蛍光画像に対して、特徴量に応じて決定される補正パラメータに基づいて画素値補正処理を実行する。画素値補正に利用する補正パラメータは、補正パラメータ算出部が、特徴量に基づいて決定する。画像補正部は、補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する。例えば、特徴量として、蛍光画像からぼけ態様情報を取得し、画像補正部は、蛍光画像のぼけを減少させるように、蛍光画像の画素値補正処理を実行する。
　これらの処理により、蛍光画像の高画質化処理を実行する装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

蛍光画像について説明する図である。画像処理装置の構成例について説明する図である。画像処理部の構成と処理について説明する図である。画像特徴量について説明する図である。画像処理部の構成と処理について説明する図である。画像処理部の構成と処理について説明する図である。画像処理部の構成と処理について説明する図である。画像処理部の実行する処理例について説明する図である。画像処理部の実行する処理例について説明する図である。画像処理部の構成と処理について説明する図である。撮影画像と出力画像の対応関係例について説明する図である。補間画像を用いた撮影画像と出力画像との対応関係例について説明する図である。画像処理装置の構成例について説明する図である。画像処理部の構成と処理について説明する図である。撮影画像に基づく画像補正によって生成される出力画像との対応関係例について説明する図である。画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。画像処理装置のハードウェア構成例を示す図である。

　以下、図面を参照しながら本開示の画像処理装置、撮像装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
　１．蛍光画像の概要について
　２．本開示の画像処理装置の構成と処理について
　３．画像特徴量としてぼけ態様情報（ＰＳＦ情報）を適用した高画質化処理を実行する構成について
　４．画像補間処理を実行して、補間画像を適用して高画質化処理としての画像補正を実行する構成について
　５．画像撮影シーケンスに応じた蛍光画像の補正処理態様の例について
　６．画像処理装置の実行する処理シーケンスについて
　６－１．画像処理の基本シーケンスについて
　６－２．可視光画像と蛍光画像を時分割撮影する構成における画像処理シーケンスについて
　６－３．可視光画像と蛍光画像の各画像撮影モードを設定してモードに応じた画像を連続撮影する構成における画像処理シーケンスについて
　７．画像処理装置のハードウェア構成例について
　８．本開示の構成のまとめ

　　［１．蛍光画像の概要について］
　まず、蛍光画像の概要について説明する。
　前述したように、生体内の画像を撮影する内視鏡として、通常のカラー画像である可視光画像が利用されるが、昨今、可視光と異なる蛍光画像の利用が増加している。
　蛍光画像は、特定波長の励起光を照射し、生体内の物質による反射光に含まれる蛍光を撮影した画像である。
　蛍光画像は、例えば、生体内の病変に応じた強度の違い等を表現可能であり、蛍光画像を用いることにより、病気の進行状況の解析などを効果的に行うことができる。

　図１を参照して、蛍光画像の撮影構成について説明する。
　蛍光画像は、特定波長の励起光を照射し、例えば血管等の生体組織から出力される蛍光を撮像素子に入力して撮影する画像である。

　図１（１）は、生体組織１０内の比較的浅い部分にある血管１１を撮影する構成例であり、（２）は、生体組織１０内の比較的深い部分にある血管１１を撮影する構成例を示している。
　励起光が血管に照射されると、複数の散乱光が発生する。特に生体組織１０の深い部分では、より多くの散乱光が発生し、その結果、撮像素子に撮影される蛍光画像のぼけが大きくなってしまうという問題がある。

　本開示の画像処理装置は、例えば蛍光画像のぼけを低減し、ぼけの少ない蛍光画像を生成可能とする。
　以下、本開示の画像処理装置の構成と処理の詳細について説明する。

　　［２．本開示の画像処理装置の構成と処理について］
　図２以下を参照して本開示の画像処理装置の構成と処理について説明する。
　図２は、本開示の画像処理装置１００の一例である撮像装置の構成を示すブロック図である。
　なお、本開示の画像処理装置は、撮像装置に限らず、例えば撮像装置の撮影画像を入力して画像処理を実行するＰＣ等の情報処理装置も含まれる。
　以下では、本開示の画像処理装置１００の一例として、撮像装置の構成と処理について説明する。
　以下の実施例において説明する撮影処理以外の画像処理は、撮像装置に限らず、ＰＣ等の情報処理装置において実行することも可能である。

　図２に示す撮像装置としての画像処理装置１００は、制御部１０１、記憶部１０２、コーデック１０３、入力部１０４、出力部１０５、撮像部１０６、画像処理部１２０を有する。
　撮像部１０６は、通常のカラー画像を構成する可視光領域の撮影光と、蛍光領域の撮影光の双方を含む可視蛍光混合画像を撮影する。
　あるいは、通常のカラー画像である可視光画像と、蛍光画像を個別に撮影する。例えばこれらの２種類の画像を交互に撮影する。
　前述したように、蛍光画像は、生体内の物質からの反射光に含まれる蛍光成分を撮影した画像である。

　制御部１０１は、画像の撮影、撮影画像に対する信号処理、画像の記録処理、表示処理等、撮像装置１００において実行する各種の処理を制御する。制御部１０１は、例えば記憶部１０２に格納された様々な処理プログラムに従った処理を実行するＣＰＵ等を備え、プログラムを実行するデータ処理部として機能する。

　記憶部１０２は、撮影画像の格納部、さらに、制御部１０１において実行する処理プログラムや、各種パラメータの記憶部、さらにデータ処理時のワークエリアとして機能するＲＡＭ，ＲＯＭ等によって構成される。
　コーデック１０３は、撮影画像の圧縮、伸長処理等の符号化、復号処理を実行する。
　入力部１０４は、例えばユーザ操作部であり、撮影開始、終了、様々なモード設定等の制御情報を入力する。
　出力部１０５は表示部、スピーカ等によって構成され、撮影画像、スルー画等の表示、音声出力等に利用される。

　画像処理部１２０は、撮像部１０６から撮影画像を入力し、入力画像の高画質化処理を実行する。
　具体的には、例えば、高画質化した補正可視光画像１５１や、補正蛍光画像１５２を生成する。

　図３以下を参照して画像処理部１２０の構成と処理について説明する。
　図３に示すように、本実施例の撮像部１０６は、通常のカラー画像を構成する可視光領域の撮影光と、蛍光領域の撮影光の双方を含む可視蛍光混合画像２１０を撮影する。撮像部１０６の撮影した可視蛍光混合画像２１０は、画像処理部１２０に入力される。
　画像処理部１２０は、可視蛍光混合画像２１０を入力し、高画質化処理を施した補正可視光画像２２１と、補正蛍光画像２２２を生成して出力する。

　画像処理部１２０の実行する処理について説明する。
　画像処理部１２０は、まず、撮像部１０６の撮影した可視蛍光混合画像２１０を、画像分離部３０１に入力し、可視蛍光混合画像２１０を、通常のＲＧＢカラー画像と同様の可視光成分からなる可視光画像２１１と、蛍光成分のみからなる蛍光画像２１２に分離する。
　これは、例えば、分離行列を適用したマトリクス演算によって実行される。

　画像分離部３０１における画像分離処理によって生成された可視光画像２１１と、蛍光画像２１２は、特徴量クラス分類処理部３０２と、画像補正部３０５に入力される。

　特徴量クラス分類処理部３０２は、可視光画像２１１と、蛍光画像２１２を入力し、これらの画像から画像の特徴量を抽出し、抽出した特徴量に基づくクラス分類処理を実行し、記憶部（データベース）に格納するとともに、特徴量データのクラス分類結果を画像補正パラメータ算出部３０４に入力する。

　なお、クラス分類処理は、いわゆる機械学習におけるクラス分類処理である。
　ここでは、画像から取得される特徴量に基づいて、どのような画像補正が高画質化処理に有効であるかの補正態様や補正パラメータを決定するためのクラス分類となる。
　なお、記憶部（データベース）３０３には、このクラス分類に適用するための教師データが格納されており、特徴量クラス分類処理部３０２は、記憶部（データベース）３０３に格納された教師データを利用して、入力画像（可視光画像２１１、蛍光画像２１２）に対する高画質化処理に最適な補正態様等を決定する。
　補正態様の決定情報は、画像補正パラメータ算出部３０４に入力される。

　画像補正パラメータ算出部３０４は、特徴量クラス分類処理部３０２から入力する補正態様決定情報と、記憶部（データベース）３０３に格納された教師データを利用して、可視光画像２１１や蛍光画像２１２の高画質化処理を行なうための画像補正パラメータを決定する。
　決定した画像補正パラメータは、画像補正部３０５に入力される。

　画像補正部３０５は、画像補正パラメータ算出部３０４から入力する画像補正パラメータを適用して可視光画像２１１や蛍光画像２１２の画像補正処理を実行して、高画質化処理の施された補正可視光画像２２１と、補正蛍光画像２２２を生成して出力する。

　特徴量クラス分類処理部３０２が、可視光画像２１１と、蛍光画像２１２から取得する特徴量データの例について、図４を参照して説明する。
　図４には、特徴量クラス分類処理部３０２が、２つの画像の少なくともいずれかから抽出可能な以下の３種類の画像特徴量の例を示している。
　（１）点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）
　（２）輝度分布情報
　（３）ノイズ情報

　「（１）点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）」は、画像のぼけ量を示す関数である点広がり関数（ＰＳＦ）である。
　図４（１）（ｂ）の具体例に示すように、ある画素位置の画素値の周囲に対するひろがり度合い、すなわちぼけ量を示す関数である。
　なお、この点広がり関数は、可視光画像２１１、または蛍光画像２１２の一方の画像のみから取得可能な画像特徴量である。

　「（２）輝度分布情報」は、画像中の各画素の輝度値の分布情報である。図４（２）（ｂ）の具体例には、横軸に画素位置、縦軸に輝度値を設定したグラフ（輝度分布グラフ）を示している。
　図に示す例は、グラフの左側が低輝度値であり、右側が高輝度値となっている。このような輝度分布は、例えば被写体の境界等のエッジ領域に相当する輝度分布である。
　なお、このような輝度分布情報は、可視光画像２１１、または蛍光画像２１２の一方の画像のみから取得可能な画像特徴量である。

　「（３）ノイズ情報」は、画像に含まれるノイズを示す情報である。カメラによる撮影画像には、ある程度のノイズが含まれている。
　図４（３）（ｂ）の具体例には、横軸に画素位置、縦軸に画素値を設定したグラフ（ノイズ分布グラフ）を示している。
　このグラフに示すように、画素値は、本来の被写体の色や輝度に所定量のノイズを加算した値となる。なお、ノイズには高周波ノイズ、低周波ノイズ等、様々なタイプのノイズがある。
　なお、このノイズ情報も、可視光画像２１１、または蛍光画像２１２の一方の画像のみから取得可能な画像特徴量である。

　図４に示すこれら３つの画像特徴量は、特徴量クラス分類処理部３０２が、可視光画像２１１、または蛍光画像２１２の少なくとも一方の画像から取得する特徴量データの例である。
　特徴量クラス分類処理部３０２は、可視光画像２１１、または蛍光画像２１２の少なくとも一方の画像から、図４に示す３つの画像特徴量の少なくともいずれかの特徴量を取得する。

　画像補正部３２５は、取得特徴量に基づいて、可視光画像２１１や蛍光画像２１２に対する高画質化処理としての画像補正処理を実行し、画質を改善した補正可視光画像２２１、補正蛍光画像２２２を生成して出力する。

　なお、図３に示す構成において、撮像部１０６は、通常のカラー画像を構成する可視光領域の撮影光と、蛍光領域の撮影光の双方を含む可視蛍光混合画像２１０を撮影し、可視蛍光混合画像２１０を画像処理部１２０に入力する構成である。
　画像処理部１２０は、画像分離部３０１において、可視蛍光混合画像２１０から可視光画像２１１と、蛍光画像２１２の２枚の画像を生成する。

　次に、撮像部１０６が、通常のカラー画像である可視光画像と、蛍光画像を個別に交互に撮影して画像処理部１２０に入力する場合の画像処理部１２０の構成と処理について図５を参照して説明する。

　図５に示す撮像部１０６は、通常のカラー画像に相当する可視光画像２３１と、蛍光画像２３２を個別に交互に撮影して画像処理部１２０に入力する。
　画像処理部１２０は、可視光画像２３１と蛍光画像２３２を順次、入力し、これらの各画像に対して高画質化処理を施した補正可視光画像２４１と、補正蛍光画像２４２を生成して出力する。

　画像処理部１２０の実行する処理について説明する。
　撮像部１０６が順次、撮影する可視光画像２３１と、蛍光画像２３２は、画像処理部１２０の画像分離部３２１に入力される。
　画像分離部３２１は、制御部１０１の制御によって、撮像部１０６からの入力画像を時分割処理により、可視光画像２３３と、蛍光画像２３４に分離する。
　例えばタイミングｔ０に入力する画像は、可視光画像、次のタイミングｔ１の入力画像は蛍光画像、さらにｔ２＝可視光画像、ｔ３＝蛍光画像、・・・となる。
　制御部１０１は、撮像部１０６の画像撮影タイミングに応じて、画像分離部３２１を制御し、可視光画像２３３と、蛍光画像２３４の分離処理を行なう。

　画像分離部３２１における画像分離処理によって生成された可視光画像２３３と、蛍光画像２３４は、特徴量クラス分類処理部３２２と、画像補正部３２５に入力される。

　特徴量クラス分類処理部３２２は、可視光画像２３３と、蛍光画像２３４を入力し、これらの画像から画像の特徴量を抽出し、抽出した特徴量に基づくクラス分類処理を実行し、記憶部（データベース）に格納するとともに、特徴量データのクラス分類結果を画像補正パラメータ算出部３２４に入力する。

　なお、クラス分類処理は、いわゆる機械学習におけるクラス分類処理である。
　ここでは、画像から取得される特徴量に基づいて、どのような画像補正が高画質化処理に有効であるかの補正態様を決定するためのクラス分類となる。
　なお、記憶部（データベース）３２３には、このクラス分類に適用するための教師データが格納されており、特徴量クラス分類処理部３２２は、記憶部（データベース）３０３に格納された教師データを利用して、入力画像（可視光画像２３３、蛍光画像２３４）に対する高画質化処理に最適な補正態様を決定する。
　補正態様の決定情報は、画像補正パラメータ算出部３２４に入力される。

　画像補正パラメータ算出部３２４は、特徴量クラス分類処理部３２２から入力する補正態様決定情報と、記憶部（データベース）３２３に格納された教師データを利用して、可視光画像２３３や蛍光画像２３４の高画質化処理を行なうための画像補正パラメータを決定する。
　決定した画像補正パラメータは、画像補正部３２５に入力される。

　画像補正部３２５は、画像補正パラメータ算出部３２４から入力する画像補正パラメータを適用して可視光画像２３３や蛍光画像２３４の画像補正処理を実行して、高画質化処理の施された補正可視光画像２４１と、補正蛍光画像２４２を生成して出力する。

　特徴量クラス分類処理部３２２が、可視光画像２３３と、蛍光画像２３４から取得する特徴量データは、先に説明した図４に示すデータであり、例えば、以下のデータである。
　（１）点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）
　（２）輝度分布情報
　（３）ノイズ情報

　図４に示すこれら３つの画像特徴量は、特徴量クラス分類処理部３２２が、可視光画像２３３、または蛍光画像２３４の少なくとも一方の画像から取得する特徴量データの例である。

　画像補正部３２５は、取得特徴量に基づいて、可視光画像２３３や蛍光画像２３４に対する高画質化処理としての画像補正処理を実行し、画質を改善した補正可視光画像２４１、補正蛍光画像２４２を生成して出力する。

　　［３．画像特徴量としてぼけ態様情報（ＰＳＦ情報）を適用した高画質化処理を実行する構成について］
　図３や図５に示す画像処理部の特徴量クラス分類処理部は、先に図４を参照して説明したように、可視光画像や蛍光画像から、例えば以下の画像特徴量を抽出する。
　（１）点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）
　（２）輝度分布情報
　（３）ノイズ情報

　図３や図５に示す画像処理部の画像補正部は、これらの特徴量に基づいて決定される補正態様や補正パラメータに従って、可視光画像や蛍光画像を高画質化するための画像補正処理を実行する。
　以下、画像特徴量としてぼけ態様情報（ＰＳＦ情報）を適用した高画質化処理を実行する構成について説明する。

　図６は、先に図３を参照して説明した画像処理部１２０の構成と同様の構成である。
　すなわち、撮像部１０６が、通常のカラー画像を構成する可視光領域の撮影光と、蛍光領域の撮影光の双方を含む可視蛍光混合画像２１０を撮影する。撮像部１０６の撮影した可視蛍光混合画像２１０は、画像処理部１２０に入力する。
　画像処理部１２０は、可視蛍光混合画像２１０を入力し、高画質化処理を施した補正可視光画像２２１と、補正蛍光画像２２２を生成して出力する。

　図６に示す画像処理部１２０は、図３に示す画像処理部１２０の特徴量クラス分類処理部３０２を、ＰＳＦ推定部３３０に置き換え、さらに、画像補正パラメータ算出部３０４を、逆フィルタ算出部３４０に置き換えた構成に相当する。

　図６に示す画像処理部１２０の実行する処理について説明する。
　画像処理部１２０は、まず、撮像部１０６の撮影した可視蛍光混合画像２１０を、画像分離部３０１に入力し、可視蛍光混合画像２１０を、通常のＲＧＢカラー画像と同様の可視光成分からなる可視光画像２１１と、蛍光成分のみからなる蛍光画像２１２に分離する。
　これは、例えば、分離行列を適用したマトリクス演算によって実行される。

　画像分離部３０１における画像分離処理によって生成された可視光画像２１１と、蛍光画像２１２は、ＰＳＦ推定部３３０と、画像補正部３０５に入力される。

　ＰＳＦ推定部３３０は、可視光画像２１１と、蛍光画像２１２を入力し、これらの画像から画像の特徴量として、ぼけ態様情報としての点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を抽出し、抽出したぼけ態様情報（ＰＳＦ情報）に基づくクラス分類処理を実行し、記憶部（データベース）に格納するとともに、ぼけ態様情報（ＰＳＦ情報）のクラス分類結果を逆フィルタ算出部３４０に入力する。

　なお、クラス分類処理は、いわゆる機械学習におけるクラス分類処理である。
　ここでは、画像から取得される特徴量に基づいて、どのような画像補正が高画質化処理に有効であるかの補正態様を決定するためのクラス分類となる。
　なお、記憶部（データベース）３０３には、このクラス分類に適用するための教師データが格納されており、ＰＳＦ推定部３３０は、記憶部（データベース）３０３に格納された教師データを利用して、入力画像（可視光画像２１１、蛍光画像２１２）に対する高画質化処理に最適な補正態様を決定する。
　補正態様の決定情報は、逆フィルタ算出部３４０に入力される。

　逆フィルタ算出部３４０は、ＰＳＦ推定部３３０から入力する補正態様決定情報と、記憶部（データベース）３０３に格納された教師データを利用して、可視光画像２１１や蛍光画像２１２の高画質化処理を行なうための逆フィルタ、すなわちぼけを解消するために適用する例えばウィナーフィルタ等の逆フィルタを生成する。
　生成した逆フィルタは、画像補正部３０５に入力される。

　画像補正部３０５は、逆フィルタ算出部３４０から入力する逆フィルタを適用して可視光画像２１１や蛍光画像２１２の画像補正処理を実行して、高画質化処理の施された補正可視光画像２２１と、補正蛍光画像２２２を生成して出力する。

　ＰＳＦ推定部３３０、逆フィルタ算出部３４０、画像補正部３０５の実行する具体的な処理例について、図７を参照して説明する。
　なお、図７を参照して説明する例は、補正対象を蛍光画像とした処理例である。
　ＰＳＦ推定部３３０は、蛍光画像２１２から、画像特徴量として点広がり関数（ＰＳＦ）（＝ぼけ態様を示す態様を示す関数）を抽出し、逆フィルタ算出部３４０に出力する。

　逆フィルタ算出部３４０、および画像補正部３０５は、ＰＳＦ推定部３３０が蛍光画像２１２から抽出した点広がり関数（ＰＳＦ）（＝ぼけ態様を示す態様を示す関数）に基づいて、蛍光画像２１２を高画質化するための画像補正処理に適用する逆フィルタの生成処理と、逆フィルタを適用した画素値補正処理を実行する。

　図７には、ＰＳＦ推定部３３０、逆フィルタ算出部３４０、および画像補正部３０５の実行する処理をそれぞれ示している。
　ＰＳＦ推定部３３０は、図７に示すように、ステップＳ１１において、蛍光画像２１２から画像特徴量としての点広がり関数（ＰＳＦ）（＝ぼけ態様を示す態様を示す関数）を取得する。

　点広がり関数（ＰＳＦ）（＝ぼけ態様を示す関数）は、先に図４（１）を参照して説明したように、画像のぼけ量を示す関数である。
　図４（１）（ｂ）の具体例に示すように、ある画素位置の画素値の周囲に対するひろがり度合い、すなわちぼけ量を示す関数である。
　なお、ここでは、蛍光画像２１２を用いて点広がり関数（ＰＳＦ）を取得している。

　ＰＳＦ推定部３３０が蛍光画像２１２から抽出した点広がり関数（ＰＳＦ）情報は、逆フィルタ算出部３４０に入力される。

　逆フィルタ算出部３４０は、ステップＳ１２において、ＰＳＦ推定部３３０が蛍光画像２１２から抽出した点広がり関数（ＰＳＦ）情報に基づいて、補正処理に適用する補正パラメータとして、ぼけ解消のためのフィルタである逆フィルタを構成する係数を算出する。すなわち、補正対象画素の周囲の参照画素に対して適用する乗算係数を算出する。

　この逆フィルタ算出部３４０における補正パラメータの算出処理例について、図８、図９を参照して説明する。

　図８には、以下の各図を示している。
　（ａ１）補正前の画像の画素値分布例
　（ａ２）タップ設定と、補正パラメータ（乗算係数Ｋ_ｉ）の例
　（ｂ）補正後の画像の画素値分布例

　（ａ１）補正前の画像の画素値分布例は、補正対象画像である蛍光画像の画素値分布例である。
　前述したように、蛍光画像は、例えば生体内部画像を撮影する場合、散乱光が多くなり、ぼけ量が多くなる。図８（ａ１）に示すように、画素値分布が、被写体輝度をなめらかに反映した分布となり、ぼけの大きな画像となる。

　逆フィルタ算出部３４０は、このようなぼけの大きな蛍光画像を補正してぼけの少ないクリアな画像とする画像補正を行うための参照領域の設定（タップ選択）を行い、さらにぼけ解消のためのフィルタである逆フィルタを構成する係数、すなわち、補正対象画素の周囲の参照画素に対して適用する乗算係数ｋ_ｉを算出する。

　具体的には、例えば、蛍光画像２１２のぼけ量が大きい（広い）ほど広範囲の参照画素領域（タップ領域）を設定し、蛍光画像２１２のぼけを解消するために効果的な補正パラメータとしての乗算係数ｋ_ｉを決定する。

　図８の「（ａ２）タップ設定と、補正パラメータ（乗算係数Ｋ_ｉ）の例」には、補正対象となる画素を中心として、その補正対象画素の画素値を補正するために用いる周囲の参照画素の位置と各参照画素に対する乗算係数ｋ_ｉの値を示している。
　図に示す例では、補正対象画素を中心とする３×３＝９画素を示している。９個の画素位置に示す０，－１，９は、逆フィルタ算出部３４０の算出した補正パラメータである乗算係数ｋ_ｉである。なお、ｉは画素位置を示す画素位置識別子である。

　タップ選択処理においては、補正対象画素の補正画素値を算出するために参照する画素位置をタップ位置として選択する。図に示す例では、－１または９の設定された画素位置がタップとなる。
　さらに、逆フィルタ算出部３４０はタップ位置の画素値に乗算する乗算係数ｋ_ｉを算出する。図８（ａ２）に示す－１や９である。

　なお、逆フィルタ算出部３４０の算出するフィルタはぼけを解消するためのフィルタであり、具体的には例えばウィナーフィルタ等を生成する。
　逆フィルタ算出部３４０の生成した逆フィルタは、画像補正部３０５に入力される。

　画像補正部３０５は、逆フィルタ算出部３４０の生成した逆フィルタを用いて、蛍光画像２１２の補正画素値を算出する。具体的には、図７のステップＳ１３に示す以下の補正画素値算出式（式１）を適用して補正対象画素の補正画素値ｙを算出する。
　以下の（式１）に従って、補正画素値ｙを算出する。

　なお、上記（式１）において、各記号は以下の意味を持つ。
　ｙ：補正対象画素の補正画素値
　ｘ_ｉ：参照画素の画素値
　ｉ：参照画素の画素識別子
　ｋ_ｉ：参照画素ｉ対応の乗算係数

　補正対象画素は、例えば図８（ａ２）に示す３×３＝９画素の中心位置の画素である。
　参照画素は、３×３＝９画素の各画素であり、ｘ_ｉはこれらの各画素の画素値である。ｉは画素の識別子である。９個の画素を参照する場合、ｎ＝８に設定され、ｉ＝０～８の各画素の画素値を用いて、補正画素値Ｔが算出される。
　ｋ_ｉは、各画素位置ｉに設定される画素値ｘ_ｉに対する乗算係数である。
　上記（式１）に従って補正対象画素の画素値を算出する。

　なお、図８（ａ２）に示すタップ設定、補正パラメータ（乗算係数）の設定は一例であり、タップや、補正パラメータは、特徴量に応じて様々な設定に変更される。

　画像補正部３０５は、上記（式１）に従って蛍光画像２１２の構成画素全ての補正画素値を順次、算出し、算出した構成される補正蛍光画像２２２を生成して出力する。

　補正蛍光画像２２２の画素値分布例を図８（ｂ）に示す。
　補正蛍光画像２２２の画素値分布は、図８（ａ１）に示す補正前の蛍光画像の画素値分布に比較して、画素値変化の勾配が急になり、ぼけが解消された画像となる。

　これは、ぼけ解消フィルタとして係数を設定した逆フィルタを適用した画素値補正を行った結果である。
　このように、蛍光画像のぼけ態様を示す特徴量であるＰＳＦ情報を用いて、蛍光画像の画素値を補正することで、ぼけの多い蛍光画像の高画質化、すなわちぼけ量を減少させた補正蛍光画像２２２を生成して出力することが可能となる。

　なお、図８（ａ１），（ａ２）に示す例は、比較的ぼけの広がりが小さい場合のタップ設定と補正パラメータ（乗算係数ｋ_ｉ）の設定例である。

　タップ設定や、補正パラメータ（乗算係数ｋ_ｉ）の設定は、特徴量として取得するＰＳＦ、すなわちぼけ態様に応じて変更される。
　図９に、比較的ぼけの広がりが大きい場合のタップ設定と補正パラメータ（乗算係数Ｋ_ｉ）の設定例を示す。

　図９（ａ１）、（ａ２）に示すように、ぼけ量が大きい場合、参照判定とする画素領域を、より大きくするようなタップ設定とし、より広範囲の参照画素の画素値に基づいて補正画素値を決定する処理を行なう。

　このように特徴量クラス分類処理部３０２として設定されるＰＳＦ推定部３３０の算出する点広がり関数（ＰＳＦ）情報に基づいて、補正処理に適用する参照画素領域選択処理、すなわちタップ選択処理を実行し、また補正パラメータ（乗算係数）を算出して補正処理を行なうことで、ぼけ態様に応じた最適な画素値補正が可能となり、ぼけを減少させた高品質な補正蛍光画像を生成することが可能となる。

　次に、撮像部１０６が、通常のカラー画像である可視光画像と、蛍光画像を個別に交互に撮影して画像処理部１２０に入力する場合の画像処理部１２０の構成と処理について図１０を参照して説明する。
　図１０に示す画像処理装置の構成は先に図５を参照して画像処理装置の構成と同様の構成である。
　図１０に示す撮像部１０６は、通常のカラー画像に相当する可視光画像２３１と、蛍光画像２３２を個別に交互に撮影して画像処理部１２０に入力する。
　画像処理部１２０は、可視光画像２３１と蛍光画像２３２を順次、入力し、これらの各画像に対して高画質化処理を施した補正可視光画像２４１と、補正蛍光画像２４２を生成して出力する。

　図１０に示す画像処理部１２０は、図５に示す画像処理部１２０の特徴量クラス分類処理部３２２を、ＰＳＦ推定部３５０に置き換え、さらに、画像補正パラメータ算出部３２４を、逆フィルタ算出部３６０に置き換えた構成に相当する。

　図１０に示す画像処理部１２０の実行する処理について説明する。
　撮像部１０６が順次、撮影する可視光画像２３１と、蛍光画像２３２は、画像処理部１２０の画像分離部３２１に入力される。
　画像分離部３２１は、制御部１０１の制御によって、撮像部１０６からの入力画像を時分割処理により、可視光画像２３３と、蛍光画像２３４に分離する。
　例えばタイミングｔ０に入力する画像は、可視光画像、次のタイミングｔ１の入力画像は蛍光画像、さらにｔ２＝可視光画像、ｔ３＝蛍光画像、・・・の設定となる。
　制御部１０１は、撮像部１０６の画像撮影タイミングに応じて、画像分離部３２１を制御し、可視光画像２３３と、蛍光画像２３４の分離処理を行なう。

　画像分離部３０１における画像分離処理によって生成された可視光画像２３３と、蛍光画像２３４は、ＰＳＦ推定部３５０と、画像補正部３２５に入力される。

　ＰＳＦ推定部３５０は、可視光画像２３３と、蛍光画像２３４を入力し、これらの画像から画像の特徴量として、ぼけ態様情報としての点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を抽出し、抽出したぼけ態様情報（ＰＳＦ情報）に基づくクラス分類処理を実行し、記憶部（データベース）に格納するとともに、ぼけ態様情報（ＰＳＦ情報）のクラス分類結果を逆フィルタ算出部３６０に入力する。

　なお、クラス分類処理は、いわゆる機械学習におけるクラス分類処理である。
　ここでは、画像から取得される特徴量に基づいて、どのような画像補正が高画質化処理に有効であるかの補正態様を決定するためのクラス分類となる。
　なお、記憶部（データベース）３２３には、このクラス分類に適用するための教師データが格納されており、ＰＳＦ推定部３５０は、記憶部（データベース）３２３に格納された教師データを利用して、入力画像（可視光画像２３３、蛍光画像２３４）に対する高画質化処理に最適な補正態様を決定する。
　補正態様の決定情報は、逆フィルタ算出部３６０に入力される。

　逆フィルタ算出部３６０は、ＰＳＦ推定部３５０から入力する補正態様決定情報と、記憶部（データベース）３２３に格納された教師データを利用して、可視光画像２３３や蛍光画像２３４の高画質化処理を行なうための逆フィルタ、すなわちぼけを解消するために適用する例えばウィナーフィルタ等の逆フィルタを生成する。
　生成した逆フィルタは、画像補正部３２５に入力される。

　画像補正部３２５は、逆フィルタ算出部３６０から入力する逆フィルタを適用して可視光画像２３３や蛍光画像２３４の画像補正処理を実行して、高画質化処理の施された補正可視光画像２４１と、補正蛍光画像２４２を生成して出力する。

　ＰＳＦ推定部３５０、逆フィルタ算出部３６０、画像補正部３２５の実行する具体的な処理例について、図１０に示す処理ステップＳ２１～Ｓ２３を参照して説明する。
　なお、図１０を参照して説明する例は、補正対象を蛍光画像とした処理例である。

　図１０には、ＰＳＦ推定部３５０、逆フィルタ算出部３６０、および画像補正部３２５の実行する処理をステップＳ２１～Ｓ２３として示している。
　ＰＳＦ推定部３５０は、図１０に示すように、ステップＳ２１において、蛍光画像２３４から画像特徴量としての点広がり関数（ＰＳＦ）（＝ぼけ態様を示す態様を示す関数）を取得する。

　点広がり関数（ＰＳＦ）（＝ぼけ態様を示す関数）は、先に図４（１）を参照して説明したように、画像のぼけ量を示す関数である。
　図４（１）（ｂ）の具体例に示すように、ある画素位置の画素値の周囲に対するひろがり度合い、すなわちぼけ量を示す関数である。
　なお、ここでは、蛍光画像２３４を用いて点広がり関数（ＰＳＦ）を取得している。

　ＰＳＦ推定部３５０が蛍光画像２３４から抽出した点広がり関数（ＰＳＦ）情報は、逆フィルタ算出部３６０に入力される。

　逆フィルタ算出部３６０は、ステップＳ２２において、ＰＳＦ推定部３５０が蛍光画像２３４から抽出した点広がり関数（ＰＳＦ）情報に基づいて、補正処理に適用する補正パラメータとして、ぼけ解消のためのフィルタである逆フィルタを構成する係数を算出する。すなわち、補正対象画素の周囲の参照画素に対して適用する乗算係数を算出する。

　この逆フィルタ算出部３６０における補正パラメータの算出処理は、先に図８、図９を参照して説明したと同様の処理である。

　なお、逆フィルタ算出部３６０の算出するフィルタはぼけを解消するためのフィルタであり、具体的には例えばウィナーフィルタ等を生成する。
　逆フィルタ算出部３６０の生成した逆フィルタは、画像補正部３２５に入力される。

　画像補正部３２５は、逆フィルタ算出部３６０の生成した逆フィルタを用いて、蛍光画像２３４の補正画素値を算出する。具体的には、図１０のステップＳ２３に示す以下の補正画素値算出式（式２）を適用して補正対象画素の補正画素値ｙを算出する。
　以下の（式２）に従って、補正画素値ｙを算出する。

　なお、上記（式２）において、各記号は以下の意味を持つ。
　ｙ：補正対象画素の補正画素値
　ｘ_ｉ：参照画素の画素値
　ｉ：参照画素の画素識別子
　ｋ_ｉ：参照画素ｉ対応の乗算係数

　補正対象画素は、例えば図８（ａ２）に示す３×３＝９画素の中心位置の画素である。
　参照画素は、３×３＝９画素の各画素であり、ｘ_ｉはこれらの各画素の画素値である。ｉは画素の識別子である。９個の画素を参照する場合、ｎ＝８に設定され、ｉ＝０～８の各画素の画素値を用いて、補正画素値Ｔが算出される。
　ｋ_ｉは、各画素位置ｉに設定される画素値ｘ_ｉに対する乗算係数である。
　上記（式２）に従って補正対象画素の画素値を算出する。

　このように特徴量クラス分類処理部３０２として設定されるＰＳＦ推定部３５０の算出する点広がり関数（ＰＳＦ）情報に基づいて、補正処理に適用する参照画素領域選択処理、すなわちタップ選択処理を実行し、また補正パラメータ（乗算係数）を算出して補正処理を行なうことで、ぼけ態様に応じた最適な画素値補正が可能となり、ぼけを減少させた高品質な補正蛍光画像を生成することが可能となる。

　なお、図６～図１０を参照して説明した処理例では、蛍光画像に対するぼけ解消処理を中心として説明したが、同様の処理工程を可視光画像に適用することで可視光画像のぼけ解消を行うことも可能である。

　　［４．画像補間処理を実行して、補間画像を適用して高画質化処理としての画像補正を実行する構成について］
　次に、画像補間処理を実行して、補間画像を適用して高画質化処理としての画像補正を実行する構成について説明する。

　図２に示す画像処理装置１００の撮像部１０６は、可視光画像、または蛍光画像、または可視光＋蛍光画像等、異なる種類の画像を撮影する。
　撮像部１０６が、異なる種類の画像撮影を実行する構成では、出力可能な可視光画像と、蛍光画像のフレームレートが一致するとは限らない。
　例えば、撮像部１０６が、以下の２種類の異なる画像を交互に撮影する構成を想定する。
　（ａ）可視光画像
　（ｂ）可視光＋蛍光画像
　具体的には、図１１（１）に示す撮影画像の設定である。

　図１１（１）に示す撮影画像の時系列シーケンスは以下の通りである。
　時間ｔ１では、可視光＋蛍光画像（ｆ１）を撮影する。
　時間ｔ２では、可視光画像（ｆ２）を撮影する。
　時間ｔ３では、可視光＋蛍光画像（ｆ３）を撮影する。
　時間ｔ４では、可視光画像（ｆ４）を撮影する。
　時間ｔ５では、可視光＋蛍光画像（ｆ５）を撮影する。
　時間ｔ６では、可視光画像（ｆ６）を撮影する。
　以下、この繰り返しとなる。

　このような設定で、画像撮影を行うと、
　出力可能な画像は、図１１（２）出力画像の設定となる。すなわち、以下の設定である。
　時間ｔ１では、可視光＋蛍光画像（ｆ１）の画像分離処理により、可視光画像（ｆ１）と蛍光画像（ｆ１）が得られる。
　時間ｔ２では、蛍光画像は出力されず、可視光画像（ｆ２）のみ出力される。
　時間ｔ３では、可視光＋蛍光画像（ｆ３）の画像分離処理により、可視光画像（ｆ３）と蛍光画像（ｆ３）が得られる。
　時間ｔ４では、蛍光画像は出力されず、可視光画像（ｆ４）のみ出力される。
　時間ｔ５では、可視光＋蛍光画像（ｆ５）の画像分離処理により、可視光画像（ｆ５）と蛍光画像（ｆ５）が得られる。
　時間ｔ６では、蛍光画像は出力されず、可視光画像（ｆ６）のみ出力される。
　以下、この繰り返しとなる。

　図１１に示す画像撮影処理を行なうと、出力される蛍光画像は、可視光画像のフレームレートの半分のフレームレートになってしまう。
　このようなフレームレートの低下を防止し、さらに、高画質化処理を実行する画像処理装置の構成と処理について、図１２以下を参照して説明する。

　図１２は、本実施例の画像処理装置の実行する画像補間処理について説明する図である。
　図１２（１）は、図１１（１）と同様の撮影画像の設定であり、撮影画像の時系列シーケンスは以下の通りである。
　時間ｔ１では、可視光＋蛍光画像（ｆ１）を撮影する。
　時間ｔ２では、可視光画像（ｆ２）を撮影する。
　時間ｔ３では、可視光＋蛍光画像（ｆ３）を撮影する。
　時間ｔ４では、可視光画像（ｆ４）を撮影する。
　時間ｔ５では、可視光＋蛍光画像（ｆ５）を撮影する。
　時間ｔ６では、可視光画像（ｆ６）を撮影する。
　以下、この繰り返しとなる。

　本実施例の構成では、図１２（２）出力画像に示すように、蛍光画像の撮影されないタイミングｔ２，ｔ４，ｔ６・・・、これらの各時間において、補間蛍光画像を生成する。
　図１２（２）に示す補間蛍光画像（ｔ２）、補間蛍光画像（ｔ４）、補間蛍光画像（ｔ６）である。

　このような画像補間処理を行なうことで、図１２（２）に示す出力画像が得られる。すなわち、以下の設定である。
　時間ｔ１では、可視光＋蛍光画像（ｆ１）の画像分離処理により、可視光画像（ｆ１）と蛍光画像（ｆ１）が得られる。
　時間ｔ２では、可視光画像（ｆ２）と補間蛍光画像（ｆ２）が出力される。
　時間ｔ３では、可視光＋蛍光画像（ｆ３）の画像分離処理により、可視光画像（ｆ３）と蛍光画像（ｆ３）が得られる。
　時間ｔ４では、可視光画像（ｆ４）と補間蛍光画像（ｆ４）が出力される。
　時間ｔ５では、可視光＋蛍光画像（ｆ５）の画像分離処理により、可視光画像（ｆ５）と蛍光画像（ｆ５）が得られる。
　時間ｔ６では、可視光画像（ｆ６）と補間蛍光画像（ｆ６）が出力される。
　以下、この繰り返しとなる。

　このように、画像補間処理を行なうことで、出力される蛍光画像は、可視光画像のフレームレートと同じフレームレートにすることができる。
　図１３を参照して画像補間処理を行ない、かつ高画質化処理を行なう画像処理部を有する画像処理装置の構成例と処理について説明する。

　図１３に示す画像処理装置４００の撮像部１０６は、図１２（１）を参照して説明した撮影画像の撮影シーケンスで画像を撮影する。
　図１３には、以下の３つの時系列撮影画像フレームを示している。
　（ａ）時間ｔ（ｎ－１）の撮影画像フレーム＝可視光＋蛍光画像（Ｆｎ－１）４２１、
　（ｂ）時間ｔ（ｎ）の撮影画像フレーム＝可視光画像（Ｆｎ）４２２、
　（ｃ）時間ｔ（ｎ＋１）の撮影画像フレーム＝可視光＋蛍光画像（Ｆｎ＋１）４２３、

　これらの連続する３つの画像フレーム４２１～４２３は、補間画像生成部４１０に入力される。
　補間画像生成部４１０は、動き予測処理（ＭＥ）部４１１、補間画像推定部４１２、減算部４１３を有する。

　動き予測処理（ＭＥ）部４１１は、３つの画像フレーム４２１～４２３を入力し、これらの画像フレーム間の動き予測（ＭＥ：Ｍｏｔｉｏｎ　Ｅｓｔｉｍａｔｉｏｎ）を実行し、動き情報を補間画像推定部４１２に入力する。
　３つの画像フレーム４２１～４２３は、先に図１２（１）撮影画素眉宇の撮影シーケンスに従って撮影された画像であり、それぞれ異なる撮影タイミングに撮影されている。従って、各画像に含まれる被写体の位置は、被写体の動きやぶれ等によってずれが発生している。
　動き予測処理（ＭＥ）部４１１は、３つの画像フレーム４２１～４２３間の被写体
位置ずれ量を算出して、これを動き情報として補間画像推定部４１２に入力する。

　補間画像推定部４１２は、３つの画像フレーム４２１～４２３を入力するとともに、動き予測処理（ＭＥ）部４１１から、これら３画像の動き情報を入力する。
　補間画像推定部４１２は、動き予測処理（ＭＥ）部４１１から入力する３画像の動き情報を適用して、３つの画像フレーム４２１～４２３の位置合わせを行う。すなわち各画像の同一座標位置に同一の被写体が位置するようにずれを解消する位置合わせ処理を実行する。
　なお、この位置合わせ処理に際しては、時間ｔ（ｎ）の撮影画像フレーム＝可視光画像（Ｆｎ）４２２を基準フレームとして、この時間ｔ（ｎ）に撮影された可視光画像の被写体位置に他の画像フレームの被写体位置を一致させる処理を行なう。

　補間画像推定部４１２は、さらに、位置合わせ後の３つの画像フレーム４２１～４２３をブレンドして、時間ｔ（ｎ）の仮想的な撮影画像フレームである可視光＋蛍光画像（Ｆｎ）を生成する。

　補間画像推定部４１２が生成した可視光＋蛍光画像（Ｆｎ）は、減算部４１３に入力される。
　減算部４１３は、補間画像推定部４１２が生成した可視光＋蛍光画像（Ｆｎ）から、可視光画像（Ｆｎ）４２２を減算する処理を行なう。
　この減算処理によって、補間蛍光画像（Ｆｎ）４３１を生成する。
　補間蛍光画像（Ｆｎ）４３１は、実際には蛍光画像の撮影が実行されていない時間ｔ（ｎ）の撮影タイミングにおいて撮影された蛍光画像に相当する仮想的な画像である。

　この時間ｔ（ｎ）の撮影タイミングにおける推定画像である補間蛍光画像（Ｆｎ）４３１と、実際に時間ｔ（ｎ）の撮影タイミングにおいて撮影された可視光画像（Ｆｎ）４２２が画像処理部４５０に入力される。

　画像処理部４５０の構成と処理について、図１４を参照して説明する。
　図１４に示す画像処理部４５０の構成は、図３や図５他を参照して説明した画像処理部１２０から画像分離部を省略した構成に相当する。

　画像処理部４５０の実行する処理について説明する。
　撮像部１０６から入力される可視光画像４２２と、補間画像生成部４１０の生成した補間蛍光画像４３１は、画像処理部４５０の特徴量クラス分類処理部４５１と、画像補正部４５４に入力される。

　特徴量クラス分類処理部４５１は、可視光画像４２２と、補間蛍光画像４３１を入力し、これらの画像から画像の特徴量を抽出し、抽出した特徴量に基づくクラス分類処理を実行し、記憶部（データベース）に格納するとともに、特徴量データのクラス分類結果を画像補正パラメータ算出部４５３に入力する。

　なお、クラス分類処理は、いわゆる機械学習におけるクラス分類処理である。
　ここでは、画像から取得される特徴量に基づいて、どのような画像補正が高画質化処理に有効であるかの補正態様を決定するためのクラス分類となる。
　なお、記憶部（データベース）４５２には、このクラス分類に適用するための教師データが格納されており、特徴量クラス分類処理部４５１は、記憶部（データベース）３０３に格納された教師データを利用して、入力画像（可視光画像４２２、補間蛍光画像４３１に対する高画質化処理に最適な補正態様を決定する。
　補正態様の決定情報は、画像補正パラメータ算出部４５３に入力される。

　画像補正パラメータ算出部４５３は、特徴量クラス分類処理部４５１から入力する補正態様決定情報と、記憶部（データベース）４５２に格納された教師データを利用して、可視光画像４２２や、補間蛍光画像４３１の高画質化処理を行なうための画像補正パラメータを決定する。
　決定した画像補正パラメータは、画像補正部４５４に入力される。

　画像補正部４５４は、画像補正パラメータ算出部４５３から入力する画像補正パラメータを適用して可視光画像４２２や、補間蛍光画像４３１の画像補正処理を実行して、高画質化処理の施された補正可視光画像４７１と、補正蛍光画像４７２を生成して出力する。

　特徴量クラス分類処理部４５１が、可視光画像４２２や、補間蛍光画像４３１から取得する特徴量データは、先に説明した図４に示すデータであり、例えば、以下のデータである。
　（１）点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）
　（２）輝度分布情報
　（３）ノイズ情報

　図４に示すこれら３つの画像特徴量は、特徴量クラス分類処理部４５１が、可視光画像４２２と、補間蛍光画像４３１の少なくとも一方の画像から取得する特徴量データの例である。

　画像補正部４５４は、取得特徴量に基づいて、可視光画像４２２や、補間蛍光画像４３１に対する高画質化処理としての画像補正処理を実行し、画質を改善した補正可視光画像４７１、補正蛍光画像４７２を生成して出力する。

　　［５．画像撮影シーケンスに応じた蛍光画像の補正処理態様の例について］
　次に、図１５を参照して画像撮影シーケンスに応じた蛍光画像の補正処理態様の例について説明する。
　先に図１１、図１２を参照して説明したように、例えば図２に示す画像処理装置１００の撮像部１０６は、可視光画像、蛍光画像、あるいは可視光＋蛍光画像等の異なるタイプの画像を撮影する構成であり、これらの画像撮影タイミングやシーケンスは様々な設定が想定される。

　一例として、図１５（１）撮影画像に示すような撮影シーケンスも想定される。
　図１５（１）に示す撮影画像のシーケンスは、
　複数の可視光画像フレームと、複数の蛍光画像フレームを交互に撮影する画像撮影シーケンスである。

　このような画像撮影シーケンスでは、例えば蛍光画像（ｆ４）についての高画質化処理は、先に図５を参照して説明した画像処理部の構成を適用して、直前の撮影画像フレームである可視光画像（ｆ３）を適用して実行することができる。
　しかし、蛍光画像（ｆ５）～蛍光画像（ｆ７）の３つの画像フレームについては、これら３つの画像フレームの撮影タイミングの直前に撮影されている可視光画像が存在しない。
　従って、図５を参照して説明した２つの連続撮影画像フレームを適用した高画質化処理を行なうことができなくなる。

　このような場合には、図１５に示すような画像補正処理を実行する。
　具体的には、可視光画像（ｆ３）と蛍光画像（ｆ４）に基づいて画像特徴量クラス分類処理部５０１が決定した画像補正態様と、画像補正パラメータ算出部５０２が決定した補正パラメータを適用して、蛍光画像（ｆ４）のみならず、その後に連続撮影される蛍光画像（ｆ５）～蛍光画像（ｆ７）の画像補正も実行する。

　このような処理により、図１５（２）に示すように、出力画像として、補正蛍光画像（ｆ４）～補正蛍光画像（ｆ７）を生成して出力することができる。
　すなわち、可視光画像と蛍光画像が交互に撮影されていない場合でも、高画質化された補正蛍光画像を生成して出力することが可能となる。

　　［６．画像処理装置の実行する処理シーケンスについて］
　次に、図１６以下に示すフローチャートを参照して、本開示の画像処理装置の実行する処理シーケンスについて説明する。

　　［６－１．画像処理の基本シーケンスについて］
　まず、図１６に示すフローチャートを参照して、本開示の画像処理装置の実行する基本シーケンスについて説明する。
　図１６は、画像処理装置において実行する基本的な処理シーケンスを説明するフローチャートである。

　図１６に示すフローに従った処理は、例えば画像処理装置の記憶部に格納されたプログラムに従ってプログラム実行機能を有する制御部の制御の下に実行される。
　以下、図１６に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ１０１～Ｓ１０２）
　ステップＳ１０１～Ｓ１０２は、画像撮影処理である。
　例えば図２、図３、図５他に示す撮像部１０６における画像撮影処理である。
　撮影画像は、可視光画像と蛍光画像、あるいは可視蛍光混合画像の撮影処理として実行される。

　ステップＳ１０１の光源照射は、可視光画像を撮影するための可視光の照射処理と、蛍光画像を撮影するための励起光の照射処理を含む。
　ステップＳ１０２の撮影処理は、これらの光源照射の下における画像撮影処理であり、可視光画像と蛍光画像、あるいは可視蛍光混合画像の撮影処理である。

　　（ステップＳ１０３）
　ステップＳ１０３～Ｓ１０６の処理は、例えば図２、図３、図５他に示す画像処理部における画像処理である。

　ステップＳ１０３において、可視光画像と蛍光画像の分離処理を実行する。
　この処理は、例えば図３における画像分離部３０１や、図５に示す画像分離部３２１において実行される。
　図３に示す例では、撮像部１０６の撮影した可視蛍光混合画像２１０を、画像分離部３０１に入力し、可視蛍光混合画像２１０を、通常のＲＧＢカラー画像と同様の可視光成分からなる可視光画像２１１と、蛍光成分のみからなる蛍光画像２１２に分離する。
　これは、例えば、分離行列を適用したマトリクス演算によって実行される。

　図５に示す例では、撮像部１０６が順次、撮影する可視光画像２３１と、蛍光画像２３２は、画像処理部１２０の画像分離部３２１に入力される。
　画像分離部３２１は、制御部１０１の制御によって、撮像部１０６からの入力画像を時分割処理により、可視光画像２３３と、蛍光画像２３４に分離する。

　　（ステップＳ１０４）
　次に、ステップＳ１０４において画像からの特徴量抽出を行う。
　この処理は、例えば図３、図５に示す特徴量クラス分類処理部の実行する処理である。
　特徴量クラス分類処理部は、可視光画像と、蛍光画像を入力し、これらの画像から画像の特徴量を抽出し、抽出した特徴量に基づくクラス分類処理を実行し、記憶部（データベース）に格納するとともに、特徴量データのクラス分類結果を画像補正パラメータ算出部に入力する。

　なお、特徴量クラス分類処理部が画像から抽出する特徴量は、例えば、ぼけ態様情報である点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）等の特徴量である。
　なお、その他の特徴量としては、例えば先に図４を参照して説明したように、輝度分布情報や、ノイズ情報等がある。

　　（ステップＳ１０５）
　次に、ステップＳ１０５において、補正パラメータ算出処理を実行する。
　この処理は、例えば図３、図５に示す画像補正パラメータ算出部の実行する処理である。

　画像補正パラメータ算出部は、特徴量クラス分類処理部から入力する補正態様決定情報と、記憶部（データベース）に格納された教師データを利用して、可視光画像や蛍光画像の高画質化処理を行なうための画像補正パラメータを決定する。
　決定した画像補正パラメータは、画像補正部に入力される。

　なお、画像補正パラメータ算出部の算出する補正パラメータの一つの具体例は、ぼけを解消するための逆フィルタの設定パラメータである乗算係数である。
　画像補正パラメータ算出部は、例えばウィナーフィルタ等のぼけ解消に適用する逆フィルタを生成する。

　　（ステップＳ１０６）
　最後にステップＳ１０６において、画像補正処理を実行する。
　この処理は、例えば図３、図５に示す画像補正部の実行する処理である。

　画像補正部は、画像補正パラメータ算出部から入力する画像補正パラメータを適用して可視光画像や蛍光画像の画像補正処理を実行して、高画質化処理の施された補正可視光画像、または補正蛍光画像を生成して出力する。

　なお、補正処理の具体例は、ウィナーフィルタ等のぼけ解消処理を実行する逆フィルタを適用した画素値補正処理である。
　例えば、先に図６～図１０を参照して説明したぼけ解消処理が実行される。
　この画像補正処理によってぼけの解消された高画質化された補正画像が出力される。

　なお、図６～図１０を参照して説明した処理例では、蛍光画像に対するぼけ解消処理を中心として説明したが同様の処理工程を可視光画像に適用することで可視光画像のぼけ解消を行うことも可能である。

　　［６－２．可視光画像と蛍光画像を時分割撮影する構成における画像処理シーケンスについて］
　次に、図１７に示すフローチャートを参照して、可視光画像と蛍光画像を時分割撮影する構成における画像処理シーケンスについて説明する。
　この処理シーケンスは、例えば先に説明した図５や図１０に示す構成のように、撮像部１０６が可視光画像と蛍光画像を交互に撮影して画像処理部に入力して画像処理を実行する構成における処理シーケンスである。

　図１７に示すフローに従った処理は、例えば画像処理装置の記憶部に格納されたプログラムに従ってプログラム実行機能を有する制御部の制御の下に実行される。
　以下、図１７に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ２０１）
　まず、ステップＳ２０１において、制御部が可視光画像の撮影タイミングであるか蛍光画像の撮影タイミングであるかを判断する。
　可視光画像の撮影タイミングであると判定した場合はステップＳ２０２に進む。
　一方、蛍光画像の撮影タイミングであると判定した場合はステップＳ２０４に進む。

　　（ステップＳ２０２～Ｓ２０３）
　ステップＳ２０１において、制御部が可視光画像の撮影タイミングであると判定した場合、ステップＳ２０２～Ｓ２０３において、撮像部は、制御部の制御の下、可視光画像撮影に必要にな光照射処理と可視光画像撮影処理を行なう。

　　（ステップＳ２０４～Ｓ２０５）
　一方、ステップＳ２０１において、制御部が蛍光画像の撮影タイミングであると判定した場合、ステップＳ２０４～Ｓ２０５において、撮像部は、制御部の制御の下、蛍光画像撮影に必要にな光照射処理と蛍光画像撮影処理を行なう。

　　（ステップＳ２０６）
　次に、ステップＳ２０６において、制御部は、可視光画像と蛍光画像の１組の画像ペアの撮影が完了したか否かを判定する。
　可視光画像と蛍光画像の１組の画像ペアの撮影が完了していない場合は、ステップＳ２０１に戻り、ステップＳ２０１以下の処理を繰り返す。
　一方、可視光画像と蛍光画像の１組の画像ペアの撮影が完了したと判定すると、ステップＳ２０７に進む。

　　（ステップＳ２０７）
　ステップＳ２０７～Ｓ２０９の処理は、例えば図５や図１０等に示す画像処理部において実行する画像処理である。

　ステップＳ２０７において、画像からの特徴量抽出を行う。
　この処理は、例えば図５に示す特徴量クラス分類処理部の実行する処理である。
　特徴量クラス分類処理部は、可視光画像と、蛍光画像を入力し、これらの画像から画像の特徴量を抽出し、抽出した特徴量に基づくクラス分類処理を実行し、記憶部（データベース）に格納するとともに、特徴量データのクラス分類結果を画像補正パラメータ算出部に入力する。

　　（ステップＳ２０８）
　次に、ステップＳ２０８において、補正パラメータ算出処理を実行する。
　この処理は、例えば図５に示す画像補正パラメータ算出部の実行する処理である。

　　（ステップＳ２０９）
　最後にステップＳ２０９において、画像補正処理を実行する。
　この処理は、例えば図５に示す画像補正部の実行する処理である。

　　［６－３．可視光画像と蛍光画像の各画像撮影モードを設定してモードに応じた画像を連続撮影する構成における画像処理シーケンスについて］
　次に、図１８に示すフローチャートを参照して、可視光画像と蛍光画像の各画像撮影モードを設定してモードに応じた画像を連続撮影する構成における画像処理シーケンスについて説明する。
　この処理シーケンスは、例えば先に図１５を参照して説明した画像撮影処理を実行する場合の処理シーケンスである。

　すなわち、図１８に示すフローは、図１５（１）撮影画像の画像シーケンスに示すように、可視光画像の連続撮影を実行する可視光画像撮影モードと、蛍光画像の連続撮影を行う蛍光画像撮影モードが交互に切り替えられる設定である場合の処理を説明するフローである。

　図１８に示すフローに従った処理は、例えば画像処理装置の記憶部に格納されたプログラムに従ってプログラム実行機能を有する制御部の制御の下に実行される。
　以下、図１８に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ３０１）
　まず、ステップＳ３０１において、制御部が、現在の撮影モードが、可視光画像を連続撮影する可視光画像撮影モードであるか、あるいは蛍光画像を連続撮影する蛍光画像撮影モードであるかを判断する。

　可視光画像撮影モードであると判定した場合はステップＳ３０２に進む。
　一方、蛍光画像撮影モードであると判定した場合はステップＳ３０４に進む。

　　（ステップＳ３０２～Ｓ３０３）
　ステップＳ３０１において、制御部が可視光画像撮影モードであると判定した場合、ステップＳ３０２～Ｓ３０３において、撮像部は、制御部の制御の下、可視光画像撮影に必要にな光照射処理と可視光画像撮影処理を行なう。

　　（ステップＳ３０４～Ｓ３０５）
　一方、ステップＳ３０１において、制御部が蛍光画像撮影モードであると判定した場合、ステップＳ３０４～Ｓ３０５において、撮像部は、制御部の制御の下、蛍光画像撮影に必要にな光照射処理と蛍光画像撮影処理を行なう。

　　（ステップＳ３０６）
　次に、ステップＳ３０６において、制御部は、可視光画像と蛍光画像の連続撮影画像ペアが取得されたか否かを判定する。
　可視光画像と蛍光画像の連続撮影画像ペアが取得されたと判定されるタイミングは、例えば図１５に示す蛍光画像（ｆ４）の取得タイミングである。

　可視光画像と蛍光画像の１組の連続撮影画像ペアの取得タイミングでない場合は、ステップＳ３０１に戻り、ステップＳ３０１以下の処理を繰り返す。
　一方、可視光画像と蛍光画像の１組の連続撮影画像ペアが取得されたと判定すると、ステップＳ３０７に進む。

　　（ステップＳ３０７）
　ステップＳ３０７～Ｓ３０９の処理は、例えば図２、図３、図５等に示す画像処理部において実行する画像処理である。

　ステップＳ３０７において、画像からの特徴量抽出を行う。
　この処理は、例えば図３、図５等に示す特徴量クラス分類処理部の実行する処理である。
　特徴量クラス分類処理部は、可視光画像と、蛍光画像を入力し、これらの画像から画像の特徴量を抽出し、抽出した特徴量に基づくクラス分類処理を実行し、記憶部（データベース）に格納するとともに、特徴量データのクラス分類結果を画像補正パラメータ算出部に入力する。

　　（ステップＳ３０８）
　次に、ステップＳ３０８において、補正パラメータ算出処理を実行する。
　この処理は、例えば図３、図５等に示す画像補正パラメータ算出部の実行する処理である。

　　（ステップＳ３０９）
　最後にステップＳ３０９において、画像補正処理を実行する。
　この処理は、例えば図３、図５等に示す画像補正部の実行する処理である。

　　（ステップＳ３１０）
　次に、ステップＳ３１０において、画像撮影モードの切り換えが発生したか否かを判定する。

　画像撮影モードの切り換えが発生していないと判定した場合、すなわち継続的に同一種類の画像撮影が行われている場合は、ステップＳ３０９に戻り、その画像に対する画像補正を行う。この画像補正は、ステップＳ３０６で取得された可視光画像と蛍光画像の連続撮影画像ペアに基づいて決定された補正態様と補正パラメータを利用して実行される。

　この処理は、例えば、図１５に示す蛍光画像（ｆ５）～蛍光画像（ｆ７）に対する画像補正処理に相当する。
　図１５に示す蛍光画像（ｆ５）～蛍光画像（ｆ７）に対する画像補正は、可視光画像（ｆ３）と蛍光画像（ｆ４）に基づいて決定された補正態様と補正パラメータを利用して実行される。

　ステップＳ３１０において、画像撮影モードの切り換えが発生したと判定すると、ステップＳ３０１に戻り、ステップＳ３０１以下の処理を実行する。

　このフローに従った処理により、先に説明した図１５に示すような画像撮影シーケンスを実行した場合でも、全ての画像に対する画像補正を行うことができる。

　　［７．画像処理装置のハードウェア構成例について］
　　次に、図１９を参照して画像処理装置のハードウェア構成例について説明する。
　図１９は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）６０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）６０２、または記憶部６０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）６０３には、ＣＰＵ６０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ６０１、ＲＯＭ６０２、およびＲＡＭ６０３は、バス６０４により相互に接続されている。

　ＣＰＵ６０１はバス６０４を介して入出力インタフェース６０５に接続され、入出力インタフェース６０５には、撮像部６２１の撮影画像の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部６０６、表示部６２２やスピーカなどに対するデータ出力を実行する出力部６０７が接続されている。ＣＰＵ６０１は、入力部６０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部６０７に出力する。

　入出力インタフェース６０５に接続されている記憶部６０８は、例えばハードディスク等からなり、ＣＰＵ６０１が実行するプログラムや各種のデータを記憶する。通信部６０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース６０５に接続されているドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア６１１を駆動し、データの記録あるいは読み取りを実行する。

　　［８．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　蛍光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量クラス分類処理部と、
　前記蛍光画像に対して、前記特徴量に応じて決定される補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する画像処理装置。

　（２）　前記画像処理装置は、さらに、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記画像補正部は、
　前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する（１）に記載の画像処理装置。

　（３）　前記特徴量クラス分類処理部は、
　前記蛍光画像からぼけ態様情報を取得し、
　前記画像補正部は、
　前記蛍光画像のぼけを減少させるように、前記蛍光画像の画素値補正処理を実行する（１）または（２）に記載の画像処理装置。

　（４）　前記画像処理装置は、さらに、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記補正パラメータ算出部は、前記蛍光画像のぼけを解消するための補正パラメータを決定し、
　前記画像補正部は、
　前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する（３）に記載の画像処理装置。

　（５）　前記特徴量クラス分類処理部は、
　前記蛍光画像、または前記可視光画像の少なくともいずれかの画像から、
　（ａ）輝度分布情報
　（ｂ）ぼけ態様情報
　（ｃ）ノイズ情報
　上記（ａ）～（ｃ）のいずれかの特徴量を抽出する（１）～（４）いずれかに記載の画像処理装置。

　（６）　前記画像処理装置は、
　可視光画像と蛍光画像の混合画像を入力し、該混合画像から可視光画像と蛍光画像を生成する画像分離部を有し、
　前記特徴量クラス分類処理部は、
　前記画像分離部の生成した蛍光画像と可視光画像を入力し、
　前記画像補正部は、
　前記画像分離部の生成した蛍光画像に対して、前記特徴量に応じて決定される補正パラメータに基づく画素値補正処理を実行する（１）～（５）いずれかに記載の画像処理装置。

　（７）　前記画像処理装置は、
　可視光画像と蛍光画像を交互に入力し、入力画像を可視光画像と蛍光画像に分離して出力する画像分離部を有し、
　前記特徴量クラス分類処理部は、
　前記画像分離部の出力する蛍光画像と可視光画像を入力し、
　前記画像補正部は、
　前記画像分離部の出力する蛍光画像に対して、前記特徴量に応じて決定される補正パラメータに基づく画素値補正処理を実行する（１）～（６）いずれかに記載の画像処理装置。

　（８）　前記画像補正部は、
　入力画像として、蛍光画像が連続する場合、
　最も時間的に近い過去の可視光画像と蛍光画像の連続撮影画像ペアを適用して取得された特徴量に基づいて決定される補正パラメータを適用して、連続入力蛍光画像の補正処理を実行する（１）～（７）いずれかに記載の画像処理装置。

　（９）　前記画像処理装置は、
　さらに、蛍光画像の非撮影タイミングにおける仮想的な蛍光画像を前後の撮影画像に基づいて生成する補間画像生成部を有し、
　前記特徴量クラス分類処理部は、
　前記補間画像生成部の生成した補間画像を入力して特徴量抽出処理を実行し、
　前記画像補正部は、
　前記補間画像生成部の生成した補間画像に対して、前記特徴量に応じて決定される補正パラメータに基づく画素値補正処理を実行する（１）～（８）いずれかに記載の画像処理装置。

　（１０）　前記画像補正部は、
　前記可視光画像に対して、前記特徴量に応じて決定される補正パラメータに基づいて画素値補正処理を実行する（１）～（９）いずれかに記載の画像処理装置。

　（１１）　可視光画像と蛍光画像、または可視蛍光混合画像の撮像処理を行なう撮像部と、
　前記撮像部の撮影画像を入力し、入力画像から可視光画像と蛍光画像を分離して出力する画像分離部と、
　前記画像分離部の出力する蛍光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量クラス分類処理部と、
　前記画像分離部の出力する蛍光画像に対して、前記特徴量に応じて決定される補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する撮像装置。

　（１２）　前記撮像装置は、さらに、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記画像補正部は、
　前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する（１１）に記載の撮像装置。

　（１３）　前記特徴量クラス分類処理部は、
　前記蛍光画像からぼけ態様情報を取得し、
　前記画像補正部は、
　前記蛍光画像のぼけを減少させるように、前記蛍光画像の画素値補正処理を実行する（１１）または（１２）請求項１１に記載の撮像装置。

　（１４）　前記撮像装置は、さらに、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記補正パラメータ算出部は、前記蛍光画像のぼけを解消するための補正パラメータを決定し、
　前記画像補正部は、
　前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する（１３）に記載の撮像装置。

　（１５）　画像処理装置において実行する画像処理方法であり、
　特徴量クラス分類処理部が、蛍光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出ステップと、
　画像補正部が、前記蛍光画像に対して、前記特徴量に応じて決定される補正パラメータに基づいて画素値補正処理を実行する画像補正ステップを実行する画像処理方法。

　（１６）　画像処理装置において画像処理を実行させるプログラムであり、
　特徴量クラス分類処理部に、蛍光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出させ、
　画像補正部に、前記蛍光画像に対して、前記特徴量に応じて決定される補正パラメータに基づいて画素値補正処理を実行させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、蛍光画像の高画質化処理を実行する装置、方法が実現される。
　具体的には、蛍光画像と可視光画像を入力し、画像特徴量を抽出し、蛍光画像に対して、特徴量に応じて決定される補正パラメータに基づいて画素値補正処理を実行する。画素値補正に利用する補正パラメータは、補正パラメータ算出部が、特徴量に基づいて決定する。画像補正部は、補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する。例えば、特徴量として、蛍光画像からぼけ態様情報を取得し、画像補正部は、蛍光画像のぼけを減少させるように、蛍光画像の画素値補正処理を実行する。
　これらの処理により、蛍光画像の高画質化処理を実行する装置、方法が実現される。

　　１０　生体組織
　　１１　血管
　１００　画像処理装置
　１０１　制御部
　１０２　記憶部
　１０３　コーデック
　１０４　入力部
　１０５　出力部
　１０６　撮像部
　１５１　補正可視光画像
　１５２　補正蛍光画像
　３０１　画像分離部
　３０２　特徴量クラス分類処理部
　３０３　記憶部（データベース）
　３０４　画像補正パラメータ算出部
　３０５　画像補正部
　３２１　画像分離部
　３２２　特徴量クラス分類処理部
　３３３　記憶部（データベース）
　３２４　画像補正パラメータ算出部
　３２５　画像補正部
　３３０　ＰＳＦ推定部
　３４０　逆フィルタ算出部
　３５０　ＰＳＦ推定部
　３６０　逆フィルタ算出部
　４００　画像処理装置
　４１０　補間画像生成部
　４１１　動き予測処理（ＭＥ）部
　４１２　補間画像推定部
　４１３　減算部
　４５０　画像処理部
　４５１　特徴量クラス分類処理部
　４５２　記憶部（データベース）
　４５３　画像補正パラメータ算出部
　４５４　画像補正部
　５０１　画像特徴量クラス分類処理部
　５０２　画像補正パラメータ算出部
　５０３　画像補正部
　６０１　ＣＰＵ
　６０２　ＲＯＭ
　６０３　ＲＡＭ
　６０４　バス
　６０５　入出力インタフェース
　６０６　入力部
　６０７　出力部
　６０８　記憶部
　６０９　通信部
　６１０　ドライブ
　６１１　リムーバブルメディア
　６２１　撮像部
　６２２　表示部

Claims

　蛍光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量クラス分類処理部と、
　前記蛍光画像に対して、前記特徴量に応じて決定される補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する画像処理装置。
　前記画像処理装置は、さらに、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記画像補正部は、
　前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する請求項１に記載の画像処理装置。
　前記特徴量クラス分類処理部は、
　前記蛍光画像からぼけ態様情報を取得し、
　前記画像補正部は、
　前記蛍光画像のぼけを減少させるように、前記蛍光画像の画素値補正処理を実行する請求項１に記載の画像処理装置。
　前記画像処理装置は、さらに、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記補正パラメータ算出部は、前記蛍光画像のぼけを解消するための補正パラメータを決定し、
　前記画像補正部は、
　前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する請求項３に記載の画像処理装置。
　前記特徴量クラス分類処理部は、
　前記蛍光画像、または前記可視光画像の少なくともいずれかの画像から、
　（ａ）輝度分布情報
　（ｂ）ぼけ態様情報
　（ｃ）ノイズ情報
　上記（ａ）～（ｃ）のいずれかの特徴量を抽出する請求項１に記載の画像処理装置。
　前記画像処理装置は、
　可視光画像と蛍光画像の混合画像を入力し、該混合画像から可視光画像と蛍光画像を生成する画像分離部を有し、
　前記特徴量クラス分類処理部は、
　前記画像分離部の生成した蛍光画像と可視光画像を入力し、
　前記画像補正部は、
　前記画像分離部の生成した蛍光画像に対して、前記特徴量に応じて決定される補正パラメータに基づく画素値補正処理を実行する請求項１に記載の画像処理装置。
　前記画像処理装置は、
　可視光画像と蛍光画像を交互に入力し、入力画像を可視光画像と蛍光画像に分離して出力する画像分離部を有し、
　前記特徴量クラス分類処理部は、
　前記画像分離部の出力する蛍光画像と可視光画像を入力し、
　前記画像補正部は、
　前記画像分離部の出力する蛍光画像に対して、前記特徴量に応じて決定される補正パラメータに基づく画素値補正処理を実行する請求項１に記載の画像処理装置。
　前記画像補正部は、
　入力画像として、蛍光画像が連続する場合、
　最も時間的に近い過去の可視光画像と蛍光画像の連続撮影画像ペアを適用して取得された特徴量に基づいて決定される補正パラメータを適用して、連続入力蛍光画像の補正処理を実行する請求項１に記載の画像処理装置。
　前記画像処理装置は、
　さらに、蛍光画像の非撮影タイミングにおける仮想的な蛍光画像を前後の撮影画像に基づいて生成する補間画像生成部を有し、
　前記特徴量クラス分類処理部は、
　前記補間画像生成部の生成した補間画像を入力して特徴量抽出処理を実行し、
　前記画像補正部は、
　前記補間画像生成部の生成した補間画像に対して、前記特徴量に応じて決定される補正パラメータに基づく画素値補正処理を実行する請求項１に記載の画像処理装置。
　前記画像補正部は、
　前記可視光画像に対して、前記特徴量に応じて決定される補正パラメータに基づいて画素値補正処理を実行する請求項１に記載の画像処理装置。
　可視光画像と蛍光画像、または可視蛍光混合画像の撮像処理を行なう撮像部と、
　前記撮像部の撮影画像を入力し、入力画像から可視光画像と蛍光画像を分離して出力する画像分離部と、
　前記画像分離部の出力する蛍光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量クラス分類処理部と、
　前記画像分離部の出力する蛍光画像に対して、前記特徴量に応じて決定される補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する撮像装置。
　前記撮像装置は、さらに、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記画像補正部は、
　前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する請求項１１に記載の撮像装置。
　前記特徴量クラス分類処理部は、
　前記蛍光画像からぼけ態様情報を取得し、
　前記画像補正部は、
　前記蛍光画像のぼけを減少させるように、前記蛍光画像の画素値補正処理を実行する請求項１１に記載の撮像装置。
　前記撮像装置は、さらに、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記補正パラメータ算出部は、前記蛍光画像のぼけを解消するための補正パラメータを決定し、
　前記画像補正部は、
　前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する請求項１３に記載の撮像装置。
　画像処理装置において実行する画像処理方法であり、
　特徴量クラス分類処理部が、蛍光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出ステップと、
　画像補正部が、前記蛍光画像に対して、前記特徴量に応じて決定される補正パラメータに基づいて画素値補正処理を実行する画像補正ステップを実行する画像処理方法。
　画像処理装置において画像処理を実行させるプログラムであり、
　特徴量クラス分類処理部に、蛍光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出させ、
　画像補正部に、前記蛍光画像に対して、前記特徴量に応じて決定される補正パラメータに基づいて画素値補正処理を実行させるプログラム。