JPWO2018150685A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

遠赤外線画像等の低品質画像の高画質化処理を実行する装置、方法を提供する。少なくとも２段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有する。画像補正部は、補正対象となる低品質画像と、参照画像となる高品質画像を入力し、各段処理部は、高品質画像の劣化画像から抽出した特徴量対応のクラス対応補正係数を適用して、低品質画像の補正処理を実行する。先行処理部は、後続処理部より劣化レベルの大きい画像から抽出した特徴量対応のクラス対応補正係数を適用して補正処理を実行する。補正係数は、学習処理によって事前に生成する。

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像品質を向上させる画像処理を行なう画像処理装置、および画像処理方法、並びにプログラムに関する。

昨今、可視光の画像撮影を行う可視光カメラとともに、可視光による画像撮影が困難な夜間等においても人物等を撮影可能な遠赤外線カメラ等の赤外線カメラを組み合わせたシステムが多く利用されている。
このような２つのカメラを用いた撮像装置について、例えば特許文献１（特開２０１１−２１１３８７号公報）に開示されている。

しかし、一般的に赤外線カメラによって撮影される赤外線画像は、可視光画像に比較して解像度が低下してしまうという問題がある。

また、生体内の画像を撮影する内視鏡として、通常のカラー画像である可視光画像も利用されるが、昨今、可視光画像とは異なる蛍光画像の利用が進んでいる。
蛍光画像は、例えば、特定の波長領域からなる励起光を照射し、生体内の物質による反射光に含まれる蛍光を撮影することで得られる画像である。
蛍光画像は、例えば、生体内の病変に応じた強度の違い等を表現可能であり、蛍光画像を用いることにより、病気の進行状況の解析などを効果的に行うことができる。

なお、可視光画像と蛍光画像を用いた内視鏡装置については、例えば特許文献２（特開２０１３−２４８３１９号公報）等に記載がある。

しかし、蛍光画像もまた、上述の赤外線画像と同様、可視光画像に比較して低解像度の画像しか得られず画像品質が低下するという欠点がある。特に生体内の深い位置にある血管等の画像は、生体内で多くの散乱光が発生し、鮮明な画像が得られないという問題がある。

特開２０１１−２１１３８７号公報 特開２０１３−２４８３１９号公報

本開示は、例えば、上記の問題点に鑑みてなされたものであり、例えば遠赤外線画像や蛍光画像等の画像品質の悪い画像を、画像処理によって画質を向上させて高品質化する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
第１段処理部から最終段処理部まで、少なくとも２段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記画像補正部は、補正対象画像である低品質画像と、参照画像である高品質画像を入力し、
前記複数処理部の各段処理部は、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する構成であり、
前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数である画像処理装置にある。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、第１段処理部から最終段処理部まで、少なくとも２段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記画像補正部が、補正対象画像である低品質画像と、参照画像である高品質画像を入力する画像入力ステップと、
前記複数処理部の各段処理部が、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する補正ステップを実行し、
前記補正ステップにおいて適用する前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数である画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、第１段処理部から最終段処理部まで、少なくとも２段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記プログラムは、前記画像補正部に、補正対象画像である低品質画像と、参照画像である高品質画像を入力させる画像入力ステップと、
前記複数処理部の各段処理部に、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行させる補正ステップを実行させ、
前記補正ステップにおいて適用する前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数であるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、遠赤外線画像等の低品質画像の高画質化処理を実行する装置、方法が実現される。
具体的には、例えば、少なくとも２段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有する。画像補正部は、補正対象となる低品質画像と、参照画像となる高品質画像を入力し、各段処理部は、高品質画像の劣化画像から抽出した特徴量対応のクラス対応補正係数を適用して、低品質画像の補正処理を実行する。先行処理部は、後続処理部より劣化レベルの大きい画像から抽出した特徴量対応のクラス対応補正係数を適用して補正処理を実行する。補正係数は、学習処理によって事前に生成する。
これらの処理により、遠赤外線画像等の低品質画像の高画質化処理を実行する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

蛍光画像について説明する図である。 撮影画像の種類と光の波長との対応関係について説明する図である。 可視光画像と赤外線画像の画素配列の例について説明する図である。 本開示の画像処理装置の実行する処理について説明する図である。 画像処理部の構成と処理について説明する図である。 画像補正部の構成と処理について説明する図である。 画像からの特徴量取得と補正係数算出を行う学習処理の実行構成と処理について説明する図である。 画像からの特徴量取得と補正係数算出を行う学習処理の実行構成と処理について説明する図である。 画像から取得する特徴量と補正係数およびクラス分類処理について説明する図である。 画像から特徴量を取得し、クラス分類された補正係数を適用して補正処理を行う処理例について説明する図である。 画像から特徴量を取得し、クラス分類された補正係数を適用して補正処理を行う処理例について説明する図である。 画像から特徴量を取得し、クラス分類された補正係数を適用して補正処理を行う処理例について説明する図である。 画像補正部の多段構成と処理について説明する図である。 画像の特徴量の種類と具体例について説明する図である。 画像補正部の多段構成例について説明する図である。 画像処理装置の実行する学習処理シーケンスについて説明するフローチャートを示す図である。 画像処理装置の実行する画像補正処理シーケンスについて説明するフローチャートを示す図である。 画像処理装置のハードウェア構成例について説明する図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本開示の画像処理装置の構成と処理について
２．低品質画像の高画質化処理を実行する画像処理装置の構成例について
３．画像補正部の構成例と処理について
４．学習処理によるクラス対応補正係数の算出と記憶部に対する格納処理について
５．学習処理によって算出したクラス対応補正係数を適用した画像補正処理について
６．その他の実施例について
６−１．画像補正処理に利用可能な特徴量の例について
６−２．画像補正部の多段構成のその他の例について
７．画像処理装置の実行する処理のシーケンスについて
８．画像処理装置のハードウェア構成例について
９．本開示の画像処理装置を適用した応用例について
１０．本開示の構成のまとめ

［１．本開示の画像処理装置の構成と処理について］
図１以下を参照して本開示の画像処理装置の構成と処理について説明する。
まず、図１以下を参照して本開示の画像処理装置が処理対象とする画像について説明する。

本開示の画像処理装置は、低品質の画像、例えば遠赤外線画像や、蛍光画像等、一般的な可視光画像に比較して解像度が低く品質の悪い低品質画像に対する画像処理を行い、画質を向上させる高品質化処理を行う。

具体的には、遠赤外線画像や蛍光画像等の低品質画像と、これらの低品質画像と同一の被写体を撮影した高品質画像である可視光画像を組み合わせて画像処理を行うことで、遠赤外線画像や蛍光画像等の低品質画像の高品質化処理を行う。
以下、高品質化処理の対象となる低品質画像である蛍光画像と遠赤外線画像について説明する。

まず、蛍光画像について説明する。
前述したように、生体内の画像を撮影する内視鏡として、通常のカラー画像である可視光画像の他、可視光画像と異なる蛍光画像の利用が増加している。
蛍光画像は、特定波長の励起光を照射し、生体内の物質による反射光に含まれる蛍光を撮影した画像である。
蛍光画像は、例えば、生体内の病変に応じた強度の違い等を表現可能であり、蛍光画像を用いることにより、病気の進行状況の解析などを効果的に行うことができる。

図１を参照して、蛍光画像の撮影構成例について説明する。
蛍光画像は、特定波長の励起光を照射し、例えば血管等の生体組織から出力される蛍光を撮像素子に入力して撮影する画像である。

図１（１）は、生体組織１０内の比較的浅い部分にある血管１１を撮影する構成例であり、（２）は、生体組織１０内の比較的深い部分にある血管１１を撮影する構成例を示している。
励起光が血管に照射されると、複数の散乱光が発生する。特に生体組織１０の深い部分では、より多くの散乱光が発生し、その結果、撮像素子に撮影される蛍光画像の画質が低下するという問題が発生する。

次に、図２を参照して、遠赤外線画像について説明する。
図２に示すように、可視光画像２０は、波長が約０．４μｍ〜０．７μｍの範囲の画像であり、一般的なカメラで撮影されるＲＧＢ画像等のカラー画像である。

一方、遠赤外線画像は、波長が．０．７μｍ以上の長波長光からなる画像である。赤外線画像を撮影する赤外線画像撮影カメラは、例えば暗闇等において熱を発生する人物等を撮影することが可能であり、監視カメラ等に利用される。
なお、赤外線は、図２に示すように、
波長が約０．７〜１μｍの近赤外線、
波長が約３〜５μｍの中赤外線、
波長が約８〜１４μｍの遠赤外線、
このように区分される。

これらの画像の中でも、主に波長が約８〜１４μｍの遠赤外線を撮影する遠赤外線画像２１は、より波長の長い遠赤外線に基づく画像となり、解像度が大きく低下してしまうという問題がある。

図３は、可視光画像２０、および遠赤外線画像２１を撮影する撮像素子上の画素配列の例を示す図である。
図３（１）の可視光画像は、ＲＧＢ各画素からなるベイヤ配列の例を示している。このベイヤ配列は、多くの可視光撮影カメラの撮像素子に利用されている。
撮像素子の各画素は、ＲまたはＧまたはＢ各波長光の光量に応じた電気信号を出力する。

一方、図３（２）の遠赤外線画像は、全ての画素位置において遠赤外光（ＦＩＲ：Ｆａｒ Ｉｎｆｒａ Ｒｅｄ）の波長光を撮影する。
ただし、図３（１），（２）に示すように、一般的に遠赤外線画像撮像素子は、可視光画像撮像素子に比較して、解像度が低くなる。これは赤外線、特に遠赤外線は波長が長く、高密度の画素配列を持つ撮像素子が利用しにくい等の理由である。
蛍光画像も遠赤外線画像と同様であり、高解像度画像の取得が困難であるという問題がある。

本開示の画像処理装置は、これらの遠赤外線画像や蛍光画像等の低品質画像の品質を向上させる画像補正処理によって、高品質画像を生成する。
具体的には、遠赤外線画像や蛍光画像等の低品質画像と、これらの低品質画像と同一の被写体を撮影した高品質画像である可視光画像を組み合わせた画像処理を行うことにより、遠赤外線画像や蛍光画像等の低品質画像の高画質化処理を行う。
なお、本開示の処理は、遠赤外線画像や蛍光画像に限らず、その他の低品質画像の高画質化処理にも適用可能である。

［２．低品質画像の高画質化処理を実行する画像処理装置の構成例について］
図４は、本開示の画像処理装置１００の一例である撮像装置の構成を示すブロック図である。
なお、本開示の画像処理装置には、撮像装置に限らず、例えば撮像装置の撮影画像を入力して画像処理を実行するＰＣ等の情報処理装置も含まれる。
以下では、本開示の画像処理装置１００の一例として、撮像装置の構成と処理について説明する。
以下の実施例において説明する撮影処理以外の画像処理は、撮像装置に限らず、ＰＣ等の情報処理装置において実行可能である。

図４に示す撮像装置としての画像処理装置１００は、制御部１０１、記憶部１０２、コーデック１０３、入力部１０４、出力部１０５、撮像部１０６、画像処理部１２０を有する。
撮像部１０６は、通常の可視光画像等、高解像度の高品質画像の撮影を行う高品質画像撮像部１０７と、遠赤外線画像や蛍光画像等、例えば解像度の低い低品質画像の撮影を行う低品質画像撮像部１０８を有する。

高品質画像撮像部１０７は、例えば高解像度の可視光画像の画像撮影を行う第１撮像素子１１１を有する。第１撮像素子１１１は、例えば、先に図２（１）を参照して説明したベイヤ配列からなるＲＧＢ画素を有し、各画素単位でＲＧＢ各色の入力光対応の信号を出力する撮像素子である。

一方、低品質画像撮像部１０８は、例えば遠赤外線画像や蛍光画像等、低解像度の低品質画像を撮影する第２撮像素子１１２を有する。第２撮像素子１１２は、例えば遠赤外線画像、あるいは蛍光画像を撮影する撮像素子であり、第１撮像素子１１１よりも低品質の画像の撮影しかできない撮像素子である。

高品質画像撮像部１０７による撮影画像である高品質画像１５１と、低品質画像撮像部１０８による撮影画像である低品質画像１５２は、画像処理部２００に入力される。
画像処理部２００は、これら２つの画像を用いて、低品質画像１５２の品質向上処理、すなわち、高画質化処理を行う。
この処理結果として、高品質化補正画像１７２を生成して出力する。
高品質化補正画像１７２は、低品質画像撮像部１０８による撮影画像である遠赤外線画像や蛍光画像等の低品質画像の補正処理によって生成される高品質化された遠赤外線画像や蛍光画像である。

高品質画像撮像部１０７と、低品質画像撮像部１０８は、所定間隔、離れた位置に設定される２つの撮像部であり、それぞれの撮影画像は異なる視点からの画像となる。
異なる視点からの２つの画像の対応画素、すなわち同一位置の画素には同一の被写体画像が撮影されず、視差に応じた被写体ずれが発生する。

高品質画像撮像部１０７と、低品質画像撮像部１０８は、撮影画像が静止画である場合は、各々が１枚ずつ、計２枚の静止画を撮影する。動画を撮影する場合は、各撮像部の撮影フレームは、各撮像部が連続した画像フレームを撮影する。
なお、これらの撮影タイミングの制御は制御部１０１によって行われる。

制御部１０１は、画像の撮影、撮影画像に対する信号処理、画像の記録処理、表示処理等、撮像装置１００において実行する各種の処理を制御する。制御部１０１は、例えば記憶部１０２に格納された様々な処理プログラムに従った処理を実行するＣＰＵ等を備え、プログラムを実行するデータ処理部として機能する。

記憶部１０２は、撮影画像の格納部、さらに、制御部１０１において実行する処理プログラムや、各種パラメータの記憶部、さらにデータ処理時のワークエリアとして機能するＲＡＭ、ＲＯＭ等によって構成される。
コーデック１０３は、撮影画像の圧縮、伸長処理等の符号化、復号処理を実行する。
入力部１０４は、例えばユーザ操作部であり、撮影開始、終了、様々なモード設定等の制御情報を入力する。
出力部１０５は表示部、スピーカ等によって構成され、撮影画像、スルー画等の表示、音声出力等に利用される。

画像処理部１２０は、撮像部１０６から入力する２枚の画像を入力し、これら２枚の画像を適用して、入力画像の高画質化処理を実行する。
具体的には、低品質画像撮像部１０８の撮影する遠赤外線画像や蛍光画像等の低品質画像１５２の高画質化処理を行い、高品質化補正画像１７２を生成して出力する。
前述したように、高品質化補正画像１７２は、低品質画像撮像部１０８による撮影画像である遠赤外線画像や蛍光画像等の低品質画像の補正処理によって生成される高品質化された遠赤外線画像や蛍光画像である。

図５以下を参照して画像処理部１２０の構成と処理について説明する。
本実施例において、画像処理部１２０は、高品質画像撮像部１０７において撮影された高品質画像１５１と、低品質画像撮像部１０８において撮影された低品質画像１５２、これら２種類の画像を入力し、これら２種類の画像を利用して、低品質画像１５２の高画質化処理を施した高品質化補正画像１７２を生成して出力する。

画像処理部１２０の実行する処理について説明する。
画像処理部１２０は、低品質画像撮像部１０８において撮影された低品質画像１５２をスケーラ１２１に入力し、低品質画像１５２のサイズを高品質画像１５１のサイズに合わせるスケーリング処理を実行する。

これは、低品質画像撮像部１０８の第１撮像素子１１１のサイズと、高品質画像撮像部１０７の第２撮像素子の大きさの差異を解消するための画像サイズの調整処理である。
多くの場合、低品質画像撮像部１０８の第１撮像素子１１１のサイズは、高品質画像撮像部１０７の第２撮像素子のサイズより小さい。
スケーラ１２１は、低品質画像１５２のサイズを高品質画像１５１のサイズに合わせるスケーリング処理を実行する。

サイズが一致した高品質画像１５１と、低品質画像１５２は、視差量検出＆動き検出部１２２、および画像位置合わせ部１２３に入力される。
視差量検出＆動き検出部１２２は、高品質画像１５１と、低品質画像１５２の視差量と、２つの画像間の動き量を検出する。

低品質画像撮像部１０８と、高品質画像撮像部１０７は、所定間隔、離れた位置に設定される２つの撮像部であり、それぞれの撮影画像（高品質画像１５１、低品質画像１５２）は異なる視点からの画像となる。
異なる視点からの２つの画像、すなわち高品質画像１５１と低品質画像１５２との対応画素、すなわち同一位置の画素には同一の被写体画像が撮影されず、視差に応じた被写体ずれが発生する。

また、これらの２つの画像が完全に同一タイミングで撮影された画像でなく、被写体に動く被写体が含まれる場合には、それぞれの画像に撮影される同一被写体の位置が異なる。すなわち被写体の動き量が存在する。
視差量検出＆動き検出部１２２は、高品質画像１５１と、低品質画像１５２の視差量と、２つの画像間の動き量を検出し、これらの情報、すなわち視差情報と、動き情報、例えば動きベクトル（ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を画像位置合わせ部１２３に入力する。

画像位置合わせ部１２３は、視差量検出＆動き検出部１２２から入力する視差情報と、動き情報を利用し、サイズ調整を行った高品質画像１５１と、低品質画像１５２の位置合わせ処理を実行する。
すなわち、各画像の同一位置に同一の被写体が位置するように２枚の画像の位置合わせ処理を実行する。

なお、具体的には、例えば高品質画像１５１を基準位置として、高品質画像１５１の被写体位置は移動せず、低品質画像１５２の被写体位置を高品質画像１５１の被写体位置に合わせる処理を行なう。
ただし、どちらの画像を基準画像として用いるかは限定されるものではなく、いずれの画像を基準画像とする構成も可能である。

画像位置合わせ部１２３は、位置合わせ後の２つの画像、すなわち、図５に示す位置合わせ後高品質画像１６１と、位置合わせ後低品質画像１６２を画像補正部１２７に出力する。
画像補正部１２７は、位置合わせ後高品質画像１６１と、位置合わせ後低品質画像１６２を入力し、位置合わせ後低品質画像１６２の高画質化処理を実行する。

［３．画像補正部の構成例と処理について］
次に、図６以下を参照して、図５に示す画像処理部１２０内の画像補正部１２７の具体的構成例と実行する処理について説明する。

図６に示す画像補正部１２７は、以下の３段の処理部を持つ多段（カスケード）構成を有する。
第１段処理部２１０、
第２段処理部２２０、
第３段処理部２３０、

これら３つの処理部の構成要素は、いずれも同様であり、以下の要素によって構成される。
劣化模擬画像生成部２１１，２２１，２３１、
クラス分類処理部２１２，２２２，２３２、
クラス対応補正係数格納部２１３，２２３，２３３、
タップ選択部２１４，２２４，２３４、
画像補正部２１５，２２５，２３５、
まず、これらの各構成部の概要について説明し、各構成部の具体的な処理について、後段で詳細に説明する。

位置合わせ後高品質画像１６１は、劣化模擬画像生成部２１１，２２１，２３１に入力され、それぞれの劣化模擬画像生成部２１１，２２１，２３１において、異なる劣化レベルの模擬画像を生成する。
例えば、位置合わせ後高品質画像１６１に対して、異なる複数のＬＰＦ（ローパスフィルタ）を適用した画素値変換処理によって、異なる劣化レベルの模擬画像を生成する。

クラス分類処理部２１２，２２２，２３２は、各劣化レベルの劣化レベル模擬画像の所定画素領域単位（局所領域単位）の特徴量に基づいて、各画素領域のクラス分類処理を行う。
クラス分類処理は、各段の画像補正部２１５，２２５，２３５において実行する補正処理に適用する補正係数（補正パラメータ）を決定するためのクラスの分類処理である。

なお、各クラス対応の補正係数（補正パラメータ）は、クラス対応補正係数格納部２１３，２２３，２３３に予め格納されている。
例えばサンプル画像を利用した学習処理によって算出した補正係数（補正パラメータ）が、各クラスに対応付けてクラス対応補正係数格納部２１３，２２３，２３３に予め格納されている。この学習処理については後述する。

クラス分類処理部２１２，２２２，２３２において決定されたクラス、すなわち、劣化画像生成部２１２，２２２，２３２において生成された劣化画像の所定画素領域対応のクラスに対応する補正係数（補正パラメータ）が、クラス対応補正係数格納部２１３，２２３，２３３から画像補正部２１５，２２５，２３５に出力され、画像補正部２１５，２２５，２３５はこのクラス対応補正係数を用いて位置合わせ後低品質画像１６２の画素値補正を行う。

なお、位置合わせ後低品質画像１６２は、画像補正部２１５，２２５，２３５における補正処理の前に、まず、タップ選択部２１４，２２４，２３４に入力され、タップ選択部２１４，２２４，２３４においてタップ選択処理を行う。具体的には、補正対象画素の補正画素値を決定するために適用する参照画素、すなわち、補正対象画素位置周辺の参照画素の画素位置の決定処理を行う。

画像補正部２１５，２２５，２３５は、タップ選択部２１４，２２４，２３４において決定されたタップ（参照画素）の画素値と、クラス対応補正係数格納部２１３，２２３，２３３から入力したクラス対応補正係数を適用して、位置合わせ後低品質画像１６２の各画素の画素値を決定する。

図６に示すように、本開示の構成では、この画素値の補正を多段階の処理（カスケード処理）として実行する。
これは、各段処理部において適用する補正係数が、予め実行した学習処理によってクラス分類された補正係数であり、この補正係数を、より多くのクラス対応の的確な補正係数として設定することを可能とするためである。

例えば、図６に示す例では、第１段〜第３段の３段の補正処理部を有するが、各段において異なる補正係数を対応付けたクラスの数を１０００クラスとすれば、第１段〜第３段の３段の補正処理において、
１０００×１０００×１０００＝１０００００００００
すなわち１Ｋ×１Ｋ×１Ｋ＝１Ｇのクラスに応じた異なる補正係数を適用した補正が可能となり、より細かく分類した画像特徴に応じた的確な補正が実現される。
本開示の画像処理装置は、このような処理により、画像の局所領域単位の特徴量に応じた最適な補正を実現するものである。

［４．学習処理によるクラス対応補正係数の算出と記憶部に対する格納処理について］
次に、学習処理によるクラス対応補正係数の算出と記憶部に対する格納処理について説明する。
実際の画像補正処理の事前処理として実行する学習処理によって、クラス対応補正係数の算出処理と、算出された補正係数のクラス対応補正係数格納部２１３，２２３，２３３に対する格納処理が行われる。この処理について、図７以下を参照して説明する。
図７は、クラス対応補正係数格納部２１３，２２３，２３３に格納するためのクラス対応補正係数（パラメータ）を算出する処理例について説明する図である。

入力は、サンプル高品質画像３０１である。
なお、入力するサンプル高品質画像３０１は、１枚ではなく多数の画像とすることが好ましい。
様々な特徴を持つ多数の画像データをサンプル画像として入力し、学習処理を行う。
すなわち、様々な特徴を持つ多数の画像データを入力して、学習処理を行い学習結果として生成した異なる特徴量に対応したクラス別の補正係数（パラメータ）をクラス対応補正係数格納部２１３，２２３，２３３に格納する。

図７に示す第１段劣化模擬画像生成部２１１〜第３段劣化模擬画像生成部２３１は、図６に示す画像補正部１２７の第１段劣化模擬画像生成部２１１〜第３段劣化模擬画像生成部２３１と同じ劣化レベルの画像を生成する。
例えばＬＰＦを適用して劣化画像を生成する。

ここでは、一例として、実際の画像補正処理において画像補正部１２７に入力される補正対象画像である低品質画像が、同じく画像補正部１２７に入力される高品質画像の１／８の解像度の画像である場合の処理例について説明する。

このとき、第１段劣化模擬画像生成部２１１は、サンプル高品質画像３０１の１／８解像度を有する１／８解像度劣化模擬画像３０２を生成する。
すなわち、第１段劣化模擬画像生成部２１１は、実際の画像補正処理において画像補正部１２７に入力される補正対象画像である低品質画像の解像度レベルにほぼ一致するレベルの劣化画像を生成する。

第２段劣化模擬画像生成部２２１は、サンプル高品質画像３０１の１／４解像度を有する１／４解像度劣化模擬画像３０３を生成する。
さらに、第３段劣化模擬画像生成部２３１は、サンプル高品質画像３０１の１／２解像度を有する１／２解像度劣化模擬画像３０４を生成する。
このように、第１段〜第３段と、順次、劣化レベルを少なくした画像を生成する。

学習処理実行部３２０は、これらの画像を適用して、クラス対応補正係数（パラメータ）を算出する学習処理を実行する。
学習処理実行部３２０は、図７に示すステップＳ１１〜Ｓ１３の処理を実行する。
なお、ステップＳ１１〜Ｓ１３の処理は、シーケンシャルに実行してもパラレルに実行してもどちらでもよい。

ステップＳ１１では、１／８解像度劣化模擬画像３０２と、１／４解像度劣化模擬画像３０３を入力し、各画像の所定の画素領域（局所領域）単位で、画像特徴量を算出し、画像特徴量に対応する補正係数（補正パラメータ）を学習処理により算出する。
すなわち、１／４解像度劣化模擬画像３０３を教師画像（復元画像）とし、１／８解像度劣化模擬画像３０２を生徒画像とした教師あり学習処理を実行して、様々な特徴量に対応する最適な補正係数（補正パラメータ）を取得する。

具体的な処理例について、図８を参照して説明する。
図８に示すように、生徒画像である１／８解像度劣化模擬画像３０２と、教師画像（復元画像）である１／４解像度劣化模擬画像３０３から、同じ座標位置となる対応画素位置に、例えば、数画素〜数十画素の矩形画素領域（局所領域Ａ，Ｂ）を抽出し、これらの画素領域の特徴量、例えば輝度分布情報を取得する。
さらに、生徒画像である１／８解像度劣化模擬画像３０２の局所領域Ａの中心画素の画素値を、教師画像（復元画像）である１／４解像度劣化模擬画像３０３の局所領域Ｂの中心画素の画素値に変換するための補正係数（補正パラメータ）を算出する。

この補正係数算出処理を、様々なサンプル画像画像の画像全体について行う。
より、多くのサンプル画像を用いた学習処理を行うことで、多数の異なる特徴量対応の最適な補正係数が算出されることになる。
なお、補正係数（補正パラメータ）は、特徴量の分類情報に相当するクラス単位で算出する。
このクラス単位の補正係数が、第１段クラス対応補正係数格納部２１３に格納される。

なお、画像の領域単位の特徴量としては、様々な特徴量が適用可能である。
一例について、図９を参照して説明する。図９に示す例は、特徴量として、画像の領域単位（局所領域単位）の画素値（輝度）分布を用いた例である。
図９（１）には、復元前後画像の画素値分布例を示している。
図９（１）に示すグラフの実線が復元後画像、すなわち、教師画像である１／４解像度劣化模擬画像３０３の局所領域の画素値分布を示している。
一方、図９（１）に示すグラフの点線が復元前画像、すなわち、生徒画像である１／８解像度劣化模擬画像３０２の局所領域の画素値分布を示している。

生徒画像である１／８解像度劣化模擬画像３０２の局所領域の画素値分布は、教師画像である１／４解像度劣化模擬画像３０３の局所領域の画素値分布に比較して、なだらかである。すなわち不鮮明な画素値分布を示している。
図９（１）に示すように、各画像の振幅は明らかに異なっている。
図９（１）には、以下の２つの振幅が示されている。
（ａ）復元前画像の画素値振幅（＝生徒画像の振幅）
（ｂ）復元後画像の画素値振幅（＝教師画像の振幅）

例えば、この（ａ），（ｂ）の各データの組み合わせに基づいてクラス分類を行う。
図９（２）はクラス分類の例を説明する図である。
図９（２）に示す図は、
横軸に、（ｂ）復元後画像の画素値振幅（＝教師画像の振幅）、
縦軸に、（ａ）復元前画像の画素値振幅（＝生徒画像の振幅）、
これらの各軸を設定して、所定区分領域ごとにクラスＩＤ（識別子）を設定した例である。
例えば、このように、特徴量（局所領域の輝度分布）に基づいてクラス分類がなされる。

図７に示す学習処理部３２０は、各クラス単位の補正係数（補正パラメータ）、すなわち、生徒画像である１／８解像度劣化模擬画像３０２の各領域（局所領域）単位で、教師画像（復元画像）である１／４解像度劣化模擬画像３０３の対応位置の画素値に変換するための補正係数（補正パラメータ）を算出し、この補正係数を各クラス（クラスＩＤ）対応の補正係数（補正パラメータ）として第１段クラス対応補正係数格納部２１３に格納する。

図１０は、第１段クラス対応補正係数格納部２１３に格納される補正係数の例を示す図である。
図１０に示す第１段クラス対応補正係数格納部２１３に格納される補正係数の例は、図６に示す画像補正部１２７の第１段補正部２１５において実行する補正が、図１０に示すように、以下の（式１）に従って、補正画素値ｙを算出する補正である場合の例である。

なお、上記（式１）において、各記号は以下の意味を持つ。
ｙ：補正対象画素の補正画素値
ｘ_ｉ：参照画素の画素値
ｉ：参照画素の画素識別子
ｋ_ｉ：参照画素ｉ対応の乗算係数

図１０に示す第１段クラス対応補正係数格納部２１３に格納される補正係数は、上記（式１）に適用される参照画素ｉ対応の乗算係数ｋ_ｉのセットとなる。
（式１）に示す参照画素ｉ対応の乗算係数ｋ_ｉのセットは、例えばＬＰＦに設定する参照画素の乗算係数に相当する。
すなわち、各処理段の画像補正部では、例えば、上記の乗算係数ｋ_ｉを参照画素の画素値に乗算して、中心の補正対象画素値の補正画素値を算出するＬＰＦを適用した補正処理を行う。

乗算係数ｋ_ｉは、特徴量対応のクラスによって異なるデータとなる。
これらのクラス対応の補正係数（ｋｉ）は、図７〜図９を参照して説明した学習処理によって算出される。
なお、上記（式１）における参照画素ｘ_ｉの画素位置は、図６に示す画像補正部１２７のタップ選択部２１４，２２４，２３４において決定される。

このように、図７に示す学習処理部３２０は、ステップＳ１１において、１／８解像度劣化模擬画像３０２と、１／４解像度劣化模擬画像３０３を入力し、各画像の所定の画素領域（局所領域）単位の特徴量を検出し、さらに、１／８解像度画像から、１／４解像度画像を復元するための最適な特徴量に応じたクラス対応の補正係数を学習処理により算出して、第１段クラス対応補正係数格納部２１３に格納する。

同様に、図７に示す学習処理部３２０は、ステップＳ１２において、１／４解像度劣化模擬画像３０３と、１／２解像度劣化模擬画像３０４を入力して、１／４解像度画像から、１／２解像度画像を復元するための最適な特徴量に応じたクラス対応の補正係数を学習処理により算出して、第２段クラス対応補正係数格納部２２３に格納する。

すなわち、ステップＳ１２では、１／４解像度劣化模擬画像３０３を生徒画像とし、１／２解像度劣化模擬画像３０４を教師画像として設定した学習処理を実行する。
この学習処理において、各画像の所定の画素領域（局所領域）単位の特徴量を検出し、１／４解像度画像から１／２解像度画像を復元する特徴量対応（＝クラス対応）の最適な補正係数を学習処理により算出して、第２段クラス対応補正係数格納部２２３に格納する。

同様に、図７に示す学習処理部３２０は、ステップＳ１３において、１／２解像度劣化模擬画像３０４と、元のサンプル高品質画像３０１を入力して、１／２解像度画像から、元のサンプル高品質画像を復元するための最適な特徴量に応じたクラス対応の補正係数を学習処理により算出して、第３段クラス対応補正係数格納部２３３に格納する。

すなわち、ステップＳ１３では、１／２解像度劣化模擬画像３０４を生徒画像とし、元のサンプル高品質画像３０１（＝１／１解像度）を教師画像として設定した学習処理を実行する。
この学習処理において、各画像の所定の画素領域（局所領域）単位の特徴量を検出し、１／２解像度画像から元のサンプル画像３０１の解像度（１／１解像度）を持つ画像を復元する特徴量対応（クラス対応）の最適な補正係数を学習処理により算出して、第３段クラス対応補正係数格納部２３３に格納する。

このようにして、事前にサンプル画像を入力して行われる学習処理により、図６に示す画像補正部１２７の各補正係数格納部２１３，２２３，２３３には以下の補正係数が格納されることになる。
（１）第１段クラス対応補正係数格納部２１３＝１／８解像度画像から１／４解像度画像を復元するための最適な特徴量に応じたクラス対応の補正係数、
（２）第２段クラス対応補正係数格納部２２３＝１／４解像度画像から１／２解像度画像を復元するための最適な特徴量に応じたクラス対応の補正係数、
（３）第３段クラス対応補正係数格納部２３３＝１／２解像度画像から１／１解像度画像を復元するための最適な特徴量に応じたクラス対応の補正係数、

これらのクラス対応補正係数が、事前学習処理によって格納された後に、図６に示す画像補正部１２７に、実際の補正対象画像、すなわち、図６に示す位置合わせ後低品質画像１６２と、同一画像を撮影した高品質画像である位置合わせ高品質画像１６１を入力して、位置合わせ後低品質画像１６２に対する補正処理、すなわち高品質化処理が行われる。

［５．学習処理によって算出したクラス対応補正係数を適用した画像補正処理について］
次に、学習処理によって算出したクラス対応補正係数を適用した画像補正処理について説明する。

図６に示す画像補正部１２７において、学習処理によって算出したクラス対応補正係数は、記憶部、すなわち第１段クラス対応補正係数格納部２１３〜第３段クラス対応補正係数格納部２３３に格納されている。

このように補正係数が各記憶部に格納された後、図６に示す実際の補正対象画像となる位置合わせ後低品質画像１６２と、この位置合わせ後低品質画像１６２と同一被写体を撮影した位置合わせ後高品質画像１６１が入力される。
なお、前述したように、位置合わせ後低品質画像１６２は、例えば蛍光画像や遠赤外線画像等の低解像度画像である。
一方、位置合わせ後高品質画像１６１は可視光画像等の高解像度画像である。

図６に示す画像補正部１２７は、先に説明したように、第１段処理部２１０、第２段処理部２２０、第３段処理部２３０の多段構成であり、第１段処理部２１０の処理結果が、第２段処理部２２０に入力され、第２段処理部２２０の処理結果が、第３段処理部２３０に入力され、第３段処理部２３０の処理結果が、画像補正部１２７の処理結果として出力される。

例えば、補正対象画像である位置合わせ後低品質画像１６２が、参照画像となる位置合わせ後高品質画像１６１の１／８の解像度である場合、各処理段において実行する処理は、以下の設定となる。
第１段処理部２１０では、１／８解像度の位置合わせ後低品質画像１６２を１／４解像度画像に変換する高品質化処理を行う。
第２段処理部２２０では、第１段処理部２１０から入力する１／４解像度画像を１／２解像度画像に変換する高品質化処理を行う。
第３段処理部２３０では、第２段処理部２２０から入力する１／２解像度画像を１／１解像度画像に変換する高品質化処理を行う。

このような３段階の処理によって、補正対象画像である１／８解像度の位置合わせ後低品質画像１６２は、参照画像である位置合わせ後高品質画像１６１と同等の解像度を持つ高品質化された画像として出力される。

図６に示す画像補正部１２７の第１段処理部２１０において実行される具体的な処理例について、図１１、図１２を参照して説明する。

図１１には、図６に示す画像補正部１２７の第１段処理部２１０の構成要素である第１段劣化模擬画像生成部２１１、第１段クラス分類処理部２１２、第１段クラス対応補正係数化格納部２１３、第１段タップ選択部２１４、第１段画像補正部２１５、さらに、第２段処理部２１０の構成要素である第２段劣化模擬画像生成部２２１を示している。

参照画像となる位置合わせ後高品質画像１６１は、図６に示す画像補正部１２７の第１段劣化模擬画像生成部２１１、第２段劣化模擬画像生成部２２１、第３段劣化模擬画像生成部２３１に入力され、それぞれ異なるＬＰＦ（ローパスフィルタ）を適用した処理によって、異なるレベルの低解像度画像に変換される。

第１段劣化模擬画像生成部２１１は、位置合わせ後高品質画像１６１の１／８の解像度、すなわち、補正対象画像である位置合わせ後低品質画像１６２と同じレベルの解像度を持つ劣化模擬画像を生成する。
第２段劣化模擬画像生成部２２１は、位置合わせ後高品質画像１６１の１／４の解像度を持つ劣化模擬画像を生成する。
第３段劣化模擬画像生成部２３１は、位置合わせ後高品質画像１６１の１／２の解像度を持つ劣化模擬画像を生成する。

図１１に示す第１段劣化模擬画像生成部２１１は、位置合わせ後高品質画像１６１の１／８の解像度を持つ劣化模擬画像を第１段クラス分類処理部２１２に入力する。
また、図１１に示す第２段劣化模擬画像生成部２２１は、位置合わせ後高品質画像１６１の１／４の解像度を持つ劣化模擬画像を第１段クラス分類処理部２１２に入力する。

第１段クラス分類処理部２１２は、これらの２つの劣化模擬画像を入力して、局所領域単位の特徴量を検出し、検出した特徴量対応のクラスを特定する。
第１段画像補正部２１５は、第１段クラス分類処理部２１２において特定されたクラスに対応する補正係数を、第１段クラス対応補正係数格納部２１３から取得して、位置合わせ後低品質画像１６２の画素値補正処理を行う。

なお、第１段画像補正部２１５における画素値補正処理の前段の処理として、第１段タップ選択部２１４においてタップ選択処理が行われる。タップ選択処理は、補正対象画素の画素値算出のために利用される参照画素の選択処理である。
例えば、図１１の下段の（例１）、（例２）に示すように、１つの補正対象画素の周囲の画素から、参照画素が選択される。
なお、このタップ設定は、予め統一した設定を全ての補正に適用してもよいし、第１段クラス分類処理部２１２において検出された特徴量対応のクラスに応じて変更する設定としてもよい。

図１１に示す例において、第１段画像補正部２１５の実行する補正は、先に説明した（式１）に従った画素値補正である。すなわち、以下の（式１）に従って、補正画素値ｙを算出する。

なお、上記（式１）において、各記号は以下の意味を持つ。
ｙ：補正対象画素の補正画素値
ｘ_ｉ：参照画素の画素値
ｉ：参照画素の画素識別子
ｋ_ｉ：参照画素ｉ対応の乗算係数

この時に利用するｋ_ｉ（参照画素ｉ対応の乗算係数）が、第１段クラス対応補正係数格納部２１３から取得される特定のクラス対応の補正係数である。
すなわち、第１段クラス分類処理部２１２が、第１段劣化模擬画像生成部２１１の生成した１／８解像度劣化模擬画像と、１／４解像度劣化模擬画像の局所領域の特徴量に基づいて特定したクラス対応の補正係数が利用される。
なお、例えば先に図９を参照して説明したように、２つの劣化模擬画像の特徴量の組み合わせによって予めクラス番号が設定されており、このクラス番号に対応付けられた補正係数が第１段クラス対応補正係数格納部２１３から取得される。

さらに、図１２を参照して、この第１段処理部２１０の実行する画素値補正処理の具体例について説明する。
図１２には、先に説明した図１１と同様、図６に示す画像補正部１２７の第１段処理部２１０の構成要素である第１段劣化模擬画像生成部２１１、第１段クラス分類処理部２１２、第１段クラス対応補正係数化格納部２１３、第１段タップ選択部２１４、第１段画像補正部２１５、さらに、第２段処理部２１０の構成要素である第２段劣化模擬画像生成部２２１を示している。

第１段劣化模擬画像生成部２１１は、位置合わせ後高品質画像１６１の劣化模擬画像として、補正対象画像である位置合わせ後低品質画像１６２の同じレベルの解像度を持つ１／８解像度劣化模擬画像３３１を生成する。
第２段劣化模擬画像生成部２２１は、位置合わせ後高品質画像１６１の１／４の解像度を持つ１／４劣化模擬画像３３２を生成する。

第１段クラス分類処理部２１２は、これらの２つの劣化模擬画像を入力して、局所領域単位の特徴量を検出し、検出した特徴量対応のクラスを特定する。
図に示す例では、１／８解像度劣化模擬画像３３１の局所領域Ａと、１／４劣化模擬画像３３２の局所領域Ｂの特徴量を抽出する。
例えば、図９を参照して説明したように、局所領域内の画素値（輝度）分布を局所領域Ａ，Ｂから抽出する。
さらに、図９（２）を参照して説明したクラス分類情報に従って、抽出した特徴量対応のクラスを識別する。

第１段画像補正部２１５は、第１段クラス分類処理部２１２において特定されたクラスに対応する補正係数を、第１段クラス対応補正係数格納部２１３から取得する。
図１２に示すクラス対応補正係数３４０である。
第１段画像補正部２１５は、このクラス対応補正係数３４０を適用して、位置合わせ後低品質画像１６２の画素値補正処理を行う。

なお、第１段画像補正部２１５における画素値補正処理の前段の処理として、第１段タップ選択部２１４においてタップ選択処理が行われる。タップ選択処理は、前述したように、補正対象画素の画素値算出のために利用される参照画素の選択処理である。
例えば補正画素近傍の特徴量に応じて最適なタップ（参照画素範囲）を選択する設定とすることができる。
なお、特徴量については、例えば、第１段クラス分類処理部２１２において位置合わせ後高画質画像１６１の劣化画像から取得した特徴量を利用可能である。

第１段タップ選択部２１４におけるタップ選択により、参照画素範囲が特定され、その参照画素範囲の参照画素の画素値を適用し、さらに、第１段クラス対応補正係数格納部２１３から取得した補正係数を利用して、補正対象画素の画素値が算出される。

例えば、図１２に示す位置合わせ後低品質画像（第１段補正前）１６２ａに示す補正対象画素の補正画素値が、先に説明した（式１）に従って算出される。
第１段画像補正部２１５は、補正後画素を持つ位置合わせ後低品質画像（第１段補正後）１６２ｂ生成する。

第１段処理部２１０は、この画素値補正を位置合わせ後低品質画像１６２のすべての構成画素に対して実行する。
なお、この処理において、位置合わせ御高品質画像１６１から生成した劣化模擬画像３３１，３３２に設定する局所領域Ａ，Ｂは、補正対象画像である位置合わせ御低品質画像１６２の補正対象画素を中心とした画素領域と同じ座標領域である。
すなわち、同じ被写体の撮影領域を利用して処理が行われる。

第１段処理部２１０では、位置合わせ後低品質画像１６２のすべての構成画素に対して実行し、１／８解像度の位置合わせ後低品質画像１６２を１／４解像度画像に変換する高品質化処理を行う。
この処理画像が、第２段処理部２２０に入力される。

第２段処理部２２０では、第１段処理部２１０から入力する１／４解像度画像を１／２解像度画像に変換する高品質化処理を行う。
第２段処理部２２０では、この処理に際して、第２段処理部２２０の第２段クラス分類処理部２２２において、
第２段劣化模擬画像生成部２２１の生成した位置合わせ後高品質画像１６１の１／４の解像度を持つ１／４劣化模擬画像と、
第３段劣化模擬画像生成部２３１の生成した位置合わせ後高品質画像１６１の１／２の解像度を持つ１／２劣化模擬画像、
これらの２つの劣化模擬画像を入力して、局所領域単位の特徴量を検出し、検出した特徴量対応のクラスを特定する。

第２段画像補正部２２５は、第２段クラス分類処理部２２２において特定されたクラスに対応する補正係数を、第２段クラス対応補正係数格納部２２３から取得する。
第２段画像補正部２２５は、このクラス対応補正係数を適用して、第１段処理部２１０から入力した１／４解像度レベルの低品質画像の画素値補正を実行する。
この補正処理によって、位置合わせ後低品質画像１６２を１／２解像度画像に変換する高品質化処理を行う。
この処理画像が、第３段処理部２３０に入力される。

第３段処理部２３０では、第２段処理部２２０から入力する１／２解像度画像を１／１解像度画像に変換する高品質化処理を行う。すなわち、参照画像として利用中の位置合わせ後高品質画像１６１と同等の解像度レベルまで向上させる処理を行う。

第３段処理部２３０では、この処理に際して、第３段処理部２３０の第３段クラス分類処理部２３２において、
第３段劣化模擬画像生成部２３１の生成した位置合わせ後高品質画像１６１の１／２の解像度を持つ１／２劣化模擬画像と、
入力画像である位置合わせ後高品質画像１６１、
これらの２つの画像を入力して、局所領域単位の特徴量を検出し、検出した特徴量対応のクラスを特定する。

第３段画像補正部２３５は、第３段クラス分類処理部２３２において特定されたクラスに対応する補正係数を、第３段クラス対応補正係数格納部２３３から取得する。
第３段画像補正部２３５は、このクラス対応補正係数を適用して、第２段処理部２２０から入力した１／２解像度レベルの低品質画像の画素値補正を実行する。
この補正処理によって、位置合わせ後低品質画像１６２を１／１解像度画像に変換する高品質化処理を行う。
すなわち、参照画像として利用した位置合わせ後高品質画像１６１と同等の解像度レベルまで向上させて出力する。

このように、本開示の画像処理装置の画像補正部は、図６他を参照して説明したように、画素値の補正を多段階の処理（カスケード処理）として実行する。
これは、各段処理部において適用する補正係数を、より多くのクラス対応の的確な補正係数とするためである。

補正係数は、前述したように、予め実行する学習処理によってクラス分類された補正係数であり、この補正係数を、より多くのクラス対応の的確な補正係数、すなわち画像特徴量に応じた最適な補正係数とすることを可能とするためである。

図１３を参照して、本構成の画像補正部１２７において利用可能なクラス数について説明する。
図１３には、図６を参照して説明した画像補正部１２７と同様の構成を示している。
図１３の画像補正部１２７は、第１段〜第３段の３段の補正処理部を有するが、各段において異なる補正係数を対応付けたクラスの数を１０００クラスとすると、第１段〜第３段の３段の補正処理において、
１０００×１０００×１０００＝１０００００００００
すなわち１Ｋ×１Ｋ×１Ｋ＝１Ｇのクラスに応じた異なる補正係数を適用した補正が可能となる。
すなわち、より細かく分類した画像特徴に応じた的確な補正係数を適用した補正が実現される。

また、タップ選択処理についても、第１段タップ選択部２１４〜第３段タップ選択部２３４の３段階でのタップ選択が可能となる。
タップは補正画素値を算出する際に適用する参照画素範囲である。前述したように、例えば補正画素近傍の特徴量に応じて最適なタップ（参照画素範囲）を選択する設定とすることができる。
このタップ選択を３回に分けて実行することで、各段において検出された特徴量に応じた最適なタップ選択が可能となる。

本開示の画像処理装置は、このような処理により、画像の局所領域単位の特徴量に応じた最適な補正を実現するものである。

［６．その他の実施例について］
次に、上述した実施例と異なる実施例について説明する。
以下の２つの項目について、順次、説明する。
（１）画像補正処理に利用する特徴量のバリエーションについて
（２）多段構成の変更例について

［６−１．画像補正処理に利用可能な特徴量の例について］
まず、画像補正処理に利用可能な特徴量の例について説明する。
上述した実施例では、図６に示す画像補正部１２７の第１〜第３段クラス分類処理部２１２，２２２，２３２において各劣化模擬画像から取得する特徴量を、図９を参照して説明したように局所領域の画素値（輝度）分布情報を利用した。

学習処理においては、サンプル画像から局所領域の画素値（輝度）分布情報を取得して、その特徴量に基づく補正係数を求める構成としていた。
また、低品質画像の補正処理においても、参照画像として並列入力する高品質画像から局所領域の画素値（輝度）分布情報を取得して、事前学習処理においてクラス分類された特徴量対応のクラスの補正係数を適用して補正を行う構成としていた。

本開示の画像処理装置における高品質化処理として実行する画像補正処理において利用可能な特徴量は、例えば、図９を参照して説明した画素値分布に限らず、様々な特徴量を利用した処理が可能である。
図１４以下を参照して、本開示の画像処理装置における高品質化処理に適用する特徴量の複数の例について説明する。

図１４は、図６に示す画像補正部１２７の第１〜第３段クラス分類処理部２１２，２２２，２３２において各劣化模擬画像から取得し、補正係数に対応付けたクラスを設定することが可能な画像特徴量の例を示している。
図１４には以下の３種類の画像特徴量を示している。
（１）輝度分布情報
（２）点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）
（３）ノイズ情報

「（１）輝度分布情報」は、画像中の各画素の輝度値の分布情報である。図１４（１）（ｂ）の具体例には、横軸に画素位置、縦軸に輝度値を設定したグラフ（輝度分布グラフ）を示している。
図に示す例は、グラフの左側が低輝度値であり、右側が高輝度値となっている。このような輝度分布は、例えば被写体の境界等のエッジ領域に相当する輝度分布である。
なお、この特徴量は、先に図９を参照して説明した特徴量に相当し、位置合わせ後高品質画像１６１、またはその劣化模擬画から取得可能な画像特徴量である。

「（２）点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）」は、画像のぼけ量を示す関数である点広がり関数（ＰＳＦ）である。
図１４（２）（ｂ）の具体例に示すように、ある画素位置の画素値の周囲に対するひろがり度合い、すなわちぼけ量を示す関数である。
なお、この点広がり関数も、位置合わせ後高品質画像１６１、またはその劣化模擬画から取得可能な画像特徴量である。

「（３）ノイズ情報」は、画像に含まれるノイズを示す情報である。カメラによる撮影画像には、ある程度のノイズが含まれている。
図１４（３）（ｂ）の具体例には、横軸に画素位置、縦軸に画素値を設定したグラフ（ノイズ分布グラフ）を示している。
このグラフに示すように、画素値は、本来の被写体の色や輝度に所定量のノイズを加算した値となる。なお、ノイズには高周波ノイズ、低周波ノイズ等、様々なタイプのノイズがある。
なお、このノイズ情報も、位置合わせ後高品質画像１６１、またはその劣化模擬画から取得可能な画像特徴量である。

図１４に示すこれら３つの画像特徴量は、先に図７を参照して説明した学習処理においてサンプル画像から取得可能な特徴量であり、図６に示す画像補正部１２７の第１〜第３段クラス分類処理部２１２，２２２，２３２において、位置合わせ後高品質画像１６１、またはその劣化模擬画からも取得可能な特徴量である。

図１４（１）〜（３）に示す特徴量を用いた処理を行う場合、サンプル画像に基づく学習処理、および、実際の低品質画像の高品質化処理に際して、同様の特徴量を適用する処理を実行する。

例えば、図１４（２）に示す画像のぼけ量を示す関数である点広がり関数（ＰＳＦ）を特徴量として利用する場合、事前に実行する学習処理においては、サンプル画像から局所領域のぼけ量を示す関数である点広がり関数（ＰＳＦ）を特徴量として取得して、この特徴量に基づいて、ぼけ量を減少させるための補正係数として、ぼけ量に応じたクラス分類された補正係数を算出して記憶部（クラス対応補正係数格納部）に格納する。

さらに、低品質画像の補正処理においては、参照画像として並列入力する高品質画像から局所領域の特徴量として、ぼけ量を示す関数である点広がり関数（ＰＳＦ）を取得し、事前学習処理においてクラス分類された特徴量対応クラスの補正係数を適用して補正を行う。
各処理段の画像補正部では、例えば、ＬＰＦを適用した補正処理を行う。
クラス分類された特徴量対応クラスの補正係数は、例えばＬＰＦに設定する参照画素の乗算係数となる。

また、例えば、図１４（３）に示す画像のノイズ量を特徴量として利用する場合、事前に実行する学習処理においては、サンプル画像から局所領域のノイズ量を特徴量として取得して、この特徴量に基づいて、ノイズ量を減少させるための補正係数として、ノイズ量や種類（低域／高域）に応じたクラス分類された補正係数を算出して記憶部（クラス対応補正係数格納部）に格納する。

さらに、低品質画像の補正処理においては、参照画像として並列入力する高品質画像から局所領域の特徴量として、ノイズ量や種類を取得し、事前学習処理においてクラス分類された特徴量対応クラスの補正係数を適用して補正を行う。
各処理段の画像補正部では、例えば、ノイズを低減させる補正処理を行う。

また、複数の異なる特徴量を取得して、取得した複数の特徴量に応じて画質を向上させるための補正係数を求めて、その補正係数を適用して補正処理を行う構成としてもよい。
このように、本開示の画像処理装置では、様々な特徴量の適用が可能である。

［６−２．画像補正部の多段構成のその他の例について］
上述した実施例では、例えば、図６を参照して説明したように、画像補正部１２７は、第１段処理部２１０〜第３段処理部２３０の３段構成として、３回の画像処理を繰り返す構成とした例について説明した。

この画像補正部１２７に設定する段数については様々な設定が可能である。
２段構成や、４段以上の構成等、様々な構成が可能である。
図１５に画像補正部１２７の構成例を示す。
菅１５に示す画像補正部１２７は、第１段処理部４１０−１〜第ｎ段処理部４１０−ｎのｎ段構成として、ｎ回の画像処理を繰り返す構成を有する。

各段の処理部の構成要素は、いずれも同様であり、以下の要素によって構成される。
劣化模擬画像生成部４１１−１〜ｎ、
クラス分類処理部４１２−１〜ｎ、
クラス対応補正係数格納部４１３−１〜ｎ、
タップ選択部４１４−１〜ｎ、
画像補正部４１５−１〜ｎ、

このように段数を増加させることで、より細かく分類した画像特徴に応じた的確な補正係数を適用した補正が実現される。
また、タップ選択処理についても、各段において、様々な設定でのタップ選択が可能となり、より特徴に応じた最適なタップ選択が可能となる。

［７．画像処理装置の実行する処理のシーケンスについて］
次に、本開示の画像処理装置の実行する処理のシーケンスについて、図１６以下のフローチャートを参照して説明する。
上述した実施例において説明したように、本開示の画像処理装置は、実際の補正対象画像の補正処理の前に、サンプル画像を適用した学習処理を実行して、学習処理に基づく特徴量対応の補正係数、すなわちクラス対応補正係数を算出して記憶部であるクラス対応補正係数格納部に格納する処理を行う。

図１６に示すフローチャートはこの学習処理のシーケンスを説明するフローチャートである。
図１７に示すフローチャートは学習処理の終了後に実行する画像補正処理のシーケンスを説明するフローチャートである。

まず、図１６に示すフローチャートを参照して、学習処理のシーケンス、すなわち、サンプル画像を適用した学習処理を実行して、学習処理に基づく特徴量対応の補正係数、すなわちクラス対応補正係数を算出して記憶部であるクラス対応補正係数格納部に格納する処理のシーケンスについて説明する。

図１６に示すフローに従った処理は、例えば画像処理装置の記憶部に格納されたプログラムに従ってプログラム実行機能を有する制御部の制御の下に実行される。
以下、図１６に示すフローの各ステップの処理について、順次、説明する。

（ステップＳ１０１）
まず、画像処理装置は、ステップＳ１０１において、サンプル画像を入力する。
すなわち、特徴量抽出処理を行うためのサンプル画像の入力を行う。このサンプル画像は、例えば可視光画像等の高解像度の高品質画像とする。

なお、先に図７を参照して説明したように、入力するサンプル高品質画像は、１枚ではなく、様々な特徴を持つ多数の画像データとすることが好ましい。すなわち、様々な特徴を持つ多数の画像データを入力して学習処理を行い学習結果として生成した異なる特徴量に対応するクラス別の補正係数（パラメータ）を、図７に示すように、クラス対応補正係数格納部２１３，２２３，２３３に格納する。

（ステップＳ１０２）
次に、画像処理装置は、ステップＳ１０２において劣化画像の生成処理を行う。
この処理は、先に図７を参照して説明した劣化模擬画像生成部２１１，２２１，２３１の実行する処理である。
例えば、それぞれ異なるＬＰＦ（ローパスフィルタ）を適用して異なる劣化レベルの劣化画像を生成する。
なお、最大の劣化レベルは、補正対象画像の劣化レベルにほぼ一致するレベルとすることが好ましい。

（ステップＳ１０３）
次に、画像処理装置は、ステップＳ１０３において、入力サンプル画像、またはその劣化画像からの特徴量抽出処理を行う。
この処理は、先に図７を参照して説明した学習処理実行部３２０の実行する処理である。

例えば、先に図７を参照して説明したステップＳ１１〜Ｓ１３の処理の一部に対応する。
図７を参照して説明したステップＳ１１では、１／８解像度劣化模擬画像３０２と、１／４解像度劣化模擬画像３０３を入力し、各画像の所定の画素領域（局所領域）単位で、画像特徴量を算出する。

（ステップＳ１０４）
次に、画像処理装置は、ステップＳ１０４において、ステップＳ１０３で抽出した画像特徴量に対応する補正係数（補正パラメータ）を学習処理により算出する。

この処理も、図７を参照して説明したステップＳ１１〜Ｓ１３の処理の一部に対応する。
図７を参照して説明したステップＳ１１では、１／４解像度劣化模擬画像３０３を教師画像（復元画像）とし、１／８解像度劣化模擬画像３０２を生徒画像とした教師あり学習処理を実行して、様々な特徴量に対応する最適な補正係数（補正パラメータ）を取得する。
この補正係数算出処理を、様々なサンプル画像画像の画像全体について行う。

なお、より、多くのサンプル画像を用いた学習処理を行うことで、多数の異なる特徴量対応の最適な補正係数が算出されることになる。

（ステップＳ１０５）
次に、画像処理装置は、ステップＳ１０５において、ステップＳ１０４で算出した補正係数（補正パラメータ）を、特徴量の分類情報に相当するクラス単位の補正係数として記憶部、すなわち、例えば図７に示す第１段クラス対応補正係数格納部２１３に格納する。

（ステップＳ１０６）
次に、画像処理装置は、ステップＳ１０６において、予定した全レベルの劣化画像を適用した特徴量抽出が完了したか否かを判定する。
未処理の劣化画像がある場合は、この未処理画像について、ステップＳ１０２以下の処理を繰り返す。
これは、図７に示すステップＳ１１〜Ｓ１３の処理を順次、実行する処理に相当する。

ステップＳ１０６において、予定した全レベルの劣化画像を適用した特徴量抽出が完了したと判定した場合、ステップＳ１０７に進む。

（ステップＳ１０７）
次に、画像処理装置は、ステップＳ１０７において、予定の全サンプル画像の処理が終了したか否かを判定する。
未処理のサンプル画像がある場合は、ステップＳ１０１に戻り、未処理のサンプル画像について、ステップＳ１０１以下の処理を繰り返す。

前述したように、特徴量を抽出するサンプル画像は、様々な特徴を持つ多数の画像データとすることが好ましい。すなわち、様々な特徴を持つ多数の画像データを入力して学習処理を行い、その学習結果として生成した異なる特徴量に対応するクラス別の補正係数（パラメータ）を、図７に示すクラス対応補正係数格納部２１３，２２３，２３３に格納する。

ステップＳ１０７において、予定の全サンプル画像の処理が終了したと判定すると処理を終了する。

なお、前述したように、学習処理においてサンプル画像から取得する特徴量は、様々な特徴量が適用可能であり、先に図９や図１４を参照して説明した様々な特徴量の抽出が可能である。

次に、図１７に示すフローチャートを参照して、学習処理の終了後に実行する画像補正処理のシーケンスについて説明する。

図１７に示すフローに従った処理は、例えば画像処理装置の記憶部に格納されたプログラムに従ってプログラム実行機能を有する制御部の制御の下に実行される。
以下、図１７に示すフローの各ステップの処理について、順次、説明する。

（ステップＳ２０１）
まず、画像処理装置は、ステップＳ２０１において、補正対象画像である低品質画像と、参照画像である高品質画像を入力する。
なお、これらは、図６に示す位置合わせ後高品質画像１６１と、位置合わせ後低品質画像１６２に相当し、位置合わせ済みの同一被写体を撮影した２つの画像である。

（ステップＳ２０２）
次に、画像処理装置は、ステップＳ２０２において、参照画像である高品質画像の劣化画像を生成する。
この処理は、図６に示す画像補正部１２７の第１段劣化模擬画像生成部２１１、第２段劣化模擬画像生成部２２１、第３段劣化模擬画像生成部２３１の実行する処理である。
参照画像である高品質画像は、第１段劣化模擬画像生成部２１１、第２段劣化模擬画像生成部２２１、第３段劣化模擬画像生成部２３１に入力され、それぞれ異なるＬＰＦ（ローパスフィルタ）を適用した処理によって、異なるレベルの低解像度画像に変換される。

具体的には、第１段劣化模擬画像生成部２１１は、補正対象画像である低品質画像と同じレベルの解像度を持つ劣化模擬画像（例えば高品質画像の解像度の１／８解像度を持つ劣化模擬画像）を生成する。
第２段劣化模擬画像生成部２２１は、第１段劣化模擬画像生成部２１１の生成する劣化画像より劣化レベルの小さい劣化模擬画像（例えば高品質画像の解像度の１／４解像度を持つ劣化模擬画像）を生成する。
さらに、第３段劣化模擬画像生成部２３１は、第２段劣化模擬画像生成部２２１の生成する劣化画像より劣化レベルの小さい劣化模擬画像（例えば高品質画像の解像度の１／２解像度を持つ劣化模擬画像）を生成する。

（ステップＳ２０３）
次に、画像処理装置は、ステップＳ２０３において、補正対象画像である低品質画像の補正画素領域を選択する。
画像処理装置は、ステップＳ２０３において、補正対象画像である低品質画像から、順次、補正対象画素を選択する。
これは、例えば図１２に示す位置合わせ後低品質画像（第１段補正前）１６２ａに示す補正対象画素の選択処理に相当する。

（ステップＳ２０４）
次に、画像処理装置は、ステップＳ２０４において、参照画像である高品質画像、またはその劣化画像から、補正画素領域の対応領域を選択して、選択領域の特徴量を抽出してクラス分類処理を行う。

この処理は、例えば、図６、図１１、図１２に示す第１段クラス分類処理部２１２の実行する処理である。
図１２に示すように、第１段クラス分類処理部２１２は、１／８解像度劣化模擬画像３３１と、１／４劣化模擬画像３３２、これらの２つの劣化模擬画像を入力して、局所領域単位の特徴量を検出し、検出した特徴量対応のクラスを特定する。
図１２に示す例では、１／８解像度劣化模擬画像３３１の局所領域Ａと、１／４劣化模擬画像３３２の局所領域Ｂの特徴量を抽出する。
この処理は、例えば、先に図９を参照して説明したように、局所領域内の画素値（輝度）分布を局所領域Ａ，Ｂから抽出する処理である。
さらに、図９（２）を参照して説明したクラス分類情報に従って、抽出した特徴量対応のクラスを識別する。

（ステップＳ２０５）
次に、画像処理装置は、ステップＳ２０５において、特徴量に基づくタップ選択（参照画素領域の設定）処理を行う。
この処理は、例えば、図６、図１１、図１２に示す第１段タップ選択部２１４の実行する処理である。

先に図１１、図１２を参照して説明したように、第１段画像補正部２１５における画素値補正処理の前段の処理として、第１段タップ選択部２１４においてタップ選択処理が行われる。タップ選択処理は、補正対象画素の画素値算出のために利用される参照画素の選択処理である。

このタップ選択は、ステップＳ２０４において高品質画像、またはその劣化画像から抽出した特徴量に基づいて決定することが可能である。
例えば、特徴量として取得した局所領域の画素値振幅が小さい場合は、広い参照領域（タップ範囲）を設定し、特徴量として取得した局所領域の画素値振幅が大きい場合は、狭い参照領域（タップ範囲）を設定する等の処理である。

（ステップＳ２０６）
次に、画像処理装置は、ステップＳ２０６において、ステップＳ２０４で、高画質画像、またはその劣化画像から抽出した特徴量対応のクラスに対応づけられた補正係数を記憶部から取得する。

この処理は、例えば、図６、図１１、図１２を参照して説明した第１段画像補正部２１５の実行する処理である。
第１段画像補正部２１５は、第１段クラス分類処理部２１２において特定されたクラスに対応する補正係数を、第１段クラス対応補正係数格納部２１３から取得する。
図１２に示すクラス対応補正係数３４０である。
第１段画像補正部２１５は、このクラス対応補正係数３４０を適用して低品質画像の画素値補正処理を行う。

（ステップＳ２０７）
次に、画像処理装置は、ステップＳ２０７において、ステップＳ２０５で選択したタップと、ステップＳ２０６で記憶部から取得した特徴量に対応した補正係数、すなわちクラス対応の補正係数を適用して低品質画像の画像補正処理を実行する。

例えば、先に説明した（式１）、すなわち図１１に示す式を適用して、補正後の画素値ｙを算出する処理を行う。

（ステップＳ２０８）
次に、画像処理装置は、ステップＳ２０８において、補正対象画像である低品質画像の画像全領域の画素値補正が完了したか否かを判定する。
未処理画素がある場合は、未処理画素について、ステップＳ２０３以下の処理を実行する。
ステップＳ２０８において、補正対象画像である低品質画像の画像全領域の画素値補正が完了したと判定すると、ステップＳ２０９に進む。

（ステップＳ２０９〜Ｓ２１０）
次に、画像処理装置は、ステップＳ２０９において、次段の処理部が存在するか否かを判定する。
先に、図６他を参照して説明したように、本開示の画像処理装置の画像補正部１２３７は、複数段の多段構成（カスケード構成）を有している。
すなわち、第１段処理部における高品質化処理結果である補正処理結果が、第２段処理部に入力され、第２段処理部において高品質化処理としての補正処理がなされる。さらに、第２段処理部における高品質化処理結果である補正処理結果が、第３段処理部に入力され、第３段処理部において高品質化処理としての補正処理がなされる。

ステップＳ２０９では、後続の処理段があるか否かを判定する。
後続の処理段がある場合は、ステップＳ２１０に進む。
ステップＳ２１０では、次段の処理部に補正画像を出力して、次段補正部での処理を開始する。
すなわち、次段の処理部において、ステップＳ２０３以下の処理を実行する。
ステップＳ２０９で、後続の処理段がないと判定すると、処理を終了する。

このように、本開示の画像処理装置では、図６他を参照して説明したように、画素値の補正を多段階の処理（カスケード処理）として実行する。
この構成により、各段処理部において適用する補正係数が、より多くのクラス対応の的確な補正係数とすることができる。
補正係数は、前述したように、予め実行する学習処理によってクラス分類された補正係数であり、この補正係数を、より多くのクラス対応の的確な補正係数、すなわち画像特徴量に応じた最適な補正係数とすることが可能となる。

先に図１３を参照して説明したように、例えば、図１３に示す第１段〜第３段の３段の補正処理部において利用可能な補正係数を対応付けたクラスの数を１０００クラスとすると、第１段〜第３段の３段の補正処理において、
１０００×１０００×１０００＝１０００００００００
すなわち１Ｋ×１Ｋ×１Ｋ＝１Ｇのクラスに応じた異なる補正係数を適用した補正が可能となる。

この構成により、より細かく分類した画像特徴に応じた的確な補正係数を適用した補正が実現される。
また、タップ選択処理についても、第１段タップ選択部２１４〜第３段タップ選択部２３４の３段階でのタップ選択が可能となる。
タップは補正画素値を算出する際に適用する参照画素範囲である。前述したように、例えば補正画素近傍の特徴量に応じて最適なタップ（参照画素範囲）を選択する設定とすることができる。
タップ選択を３回に分けて実行することで、各段において検出された特徴量に応じた最適なタップ選択が可能となる。
本開示の画像処理装置は、このような処理により、画像の局所領域単位の特徴量に応じた最適な補正が実現される。

［８．画像処理装置のハードウェア構成例について］
次に、図１８を参照して画像処理装置のハードウェア構成例について説明する。
図１８は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、撮像部５２１の撮影画像の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部５０６、表示部５２２やスピーカなどに対するデータ出力を実行する出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。

入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、Ｗｉ−Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

［９．本開示の画像処理装置を適用した応用例について］
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１９に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１９では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Ａｎｔｉｌｏｃｋ Ｂｒａｋｅ Ｓｙｓｔｅｍ）又はＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図２０は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２０には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図１９に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＷｉＭＡＸ、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）若しくはＬＴＥ−Ａ（ＬＴＥ−Ａｄｖａｎｃｅｄ）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Ｐｅｅｒ Ｔｏ Ｐｅｅｒ）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Ｗｉｒｅｌｅｓｓ Ａｃｃｅｓｓ ｉｎ Ｖｅｈｉｃｌｅ Ｅｎｖｉｒｏｎｍｅｎｔ）、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ ｔｏ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、車両と家との間（Ｖｅｈｉｃｌｅ ｔｏ Ｈｏｍｅ）の通信及び歩車間（Ｖｅｈｉｃｌｅ ｔｏ Ｐｅｄｅｓｔｒｉａｎ）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、又はＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１９の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図１９に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、先に説明した本実施形態に係る画像処理装置の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００において、先に説明した本実施形態に係る画像処理装置は、図１９に示した応用例の統合制御ユニット７６００に適用することができる。例えば、図２０に示す画像処理装置のＣＰＵ８０１は、図１９に示す統合制御ユニット７６００のマイクロコンピュータ７６１０、図２０に示す画像処理装置のＲＯＭ８０２，ＲＡＭ８０３，記憶部８０８は、図１９に示す統合制御ユニット７６００の記憶部７６９０、図２０に示す画像処理装置の通信部８０９は、図１９に示す統合制御ユニット７６００の車載ネットワークＩ／Ｆ７６８０に相当する。

また、先に説明した画像処理装置の少なくとも一部の構成要素は、図１９に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、先に説明した画像処理装置が、図１９に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

［１０．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 第１段処理部から最終段処理部まで、少なくとも２段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記画像補正部は、補正対象画像である低品質画像と、参照画像である高品質画像を入力し、
前記複数処理部の各段処理部は、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する構成であり、
前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数である画像処理装置。

（２） 前記複数処理部の各段処理部において、
先行処理部は、後続処理部より劣化レベルの大きい前記高品質画像の劣化画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する（１）に記載の画像処理装置。

（３） 前記第１段処理部は、
前記高品質画像の劣化画像であり、劣化レベルが前記補正対象画像である前記低品質画像とほぼ同等の劣化レベルを持つ前記高品質画像の劣化画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する（１）または（２）に記載の画像処理装置。

（４） 前記クラス対応補正係数は、事前のサンプル画像に基づく学習処理によって生成したクラス対応補正係数である（１）〜（３）いすがれかに記載の画像処理装置。

（５） 前記クラス対応補正係数は、前記サンプル画像、または前記サンプル画像の劣化画像から抽出した特徴量に対応づけられたクラス対応補正係数であり、
前記複数処理部の各段処理部において、
先行処理部は、後続処理部より劣化レベルの大きい画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用した補正処理を実行する（４）に記載の画像処理装置。

（６） 前記複数処理部の各段処理部において、
先行処理部は、後続処理部より低い解像度の画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する（１）〜（５）いずれかにに記載の画像処理装置。

（７） 前記クラス対応補正係数は、
劣化レベルの大きい画像の特徴量と、劣化レベルの小さい画像の特徴量の組み合わせに基づく設定クラスに対応付けられた補正係数である（１）〜（６）いずれかに記載の画像処理装置。

（８） 前記クラス対応補正係数は、
補正対象画素の画素値を算出するフィルタに適用する参照画素対応の乗算係数によって構成される（１）〜（７）いずれかに記載の画像処理装置。

（９） 前記複数処理部の各段処理部は、
補正対象画像である低品質画像の補正対象画素の補正画素値算出時に参照する参照画素範囲を設定するためのタップ選択部を有する（１）〜（８）いずれかに記載の画像処理装置。

（１０） 前記タップ選択部は、
前記補正対象画素を含む画素領域の特徴量に応じて参照画素範囲の設定を行う（９）に記載の画像処理装置。

（１１） 前記特徴量は、
（ａ）輝度分布情報
（ｂ）ぼけ態様情報
（ｃ）ノイズ情報
上記（ａ）〜（ｃ）のいずれかの特徴量である（１）〜（１０）いずれかに記載の画像処理装置。

（１２） 前記補正対象画像である低品質画像は、
遠赤外線画像、または蛍光画像のいずれかである（１）〜（１１）いずれかに記載の画像処理装置。

（１３） 前記参照画像である高品質画像は可視光画像である（１）〜（１２）いずれかに記載の画像処理装置。

（１４） 前記画像処理装置は、さらに、
可視光画像の撮像処理を行う高品質画像像撮像部と、
遠赤外線画像、または蛍光画像の撮像処理を行なう低品質画像撮像部を有し、
前記画像補正部は、
前記高品質画像像撮像部と、低品質画像像撮像部において撮影された高品質画像と低品質画像を入力して、前記低品質画像の補正処理を実行する（１）〜（１３）いずれかに記載の画像処理装置。

（１５） 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、第１段処理部から最終段処理部まで、少なくとも２段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記画像補正部が、補正対象画像である低品質画像と、参照画像である高品質画像を入力する画像入力ステップと、
前記複数処理部の各段処理部が、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する補正ステップを実行し、
前記補正ステップにおいて適用する前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数である画像処理方法。

（１６） 画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、第１段処理部から最終段処理部まで、少なくとも２段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記プログラムは、前記画像補正部に、補正対象画像である低品質画像と、参照画像である高品質画像を入力させる画像入力ステップと、
前記複数処理部の各段処理部に、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行させる補正ステップを実行させ、
前記補正ステップにおいて適用する前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数であるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、遠赤外線画像等の低品質画像の高画質化処理を実行する装置、方法が実現される。
具体的には、例えば、少なくとも２段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有する。画像補正部は、補正対象となる低品質画像と、参照画像となる高品質画像を入力し、各段処理部は、高品質画像の劣化画像から抽出した特徴量対応のクラス対応補正係数を適用して、低品質画像の補正処理を実行する。先行処理部は、後続処理部より劣化レベルの大きい画像から抽出した特徴量対応のクラス対応補正係数を適用して補正処理を実行する。補正係数は、学習処理によって事前に生成する。
これらの処理により、遠赤外線画像等の低品質画像の高画質化処理を実行する装置、方法が実現される。

１０ 生体組織
１１ 血管
２０ 可視光画像
２１ 赤外線画像
１００ 画像処理装置
１０１ 制御部
１０２ 記憶部
１０３ コーデック
１０４ 入力部
１０５ 出力部
１０６ 撮像部
１０７ 高品質画像撮像部
１０８ 低品質画像撮像部
１１１ 第１撮像素子
１１２ 第２撮像素子
１２０ 画像処理部
１２１ スケーラ
１２２ 視差量検出＆動き量検出部
１２３ 画像位置合わせ部
１２７ 画像補正部
１５１ 高品質画像
１５２ 低品質画像
１６１ 位置合わせ後高品質画像
１６２ 位置合わせ後低品質画像
１７２ 高品質化補正画像
２１１，２２１，２３１，４１１ 劣化模擬画像生成部
２１２，２２２，２３２，４１２ クラス分類処理部
２１３，２２３，２３３，４１３ クラス対応補正係数格納部
２１４，２２４，２３４，４１４ タップ選択部
２１５，２２５，２３５，４１５ 画像補正部
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ バス
５０５ 入出力インタフェース
５０６ 入力部
５０７ 出力部
５０８ 記憶部
５０９ 通信部
５１０ ドライブ
５１１ リムーバブルメディア
５２１ 撮像部
５２２ 表示部

Claims (16)

1. 第１段処理部から最終段処理部まで、少なくとも２段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
   前記画像補正部は、補正対象画像である低品質画像と、参照画像である高品質画像を入力し、
   前記複数処理部の各段処理部は、
   前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する構成であり、
   前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数である画像処理装置。
2. 前記複数処理部の各段処理部において、
   先行処理部は、後続処理部より劣化レベルの大きい前記高品質画像の劣化画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する請求項１に記載の画像処理装置。
3. 前記第１段処理部は、
   前記高品質画像の劣化画像であり、劣化レベルが前記補正対象画像である前記低品質画像とほぼ同等の劣化レベルを持つ前記高品質画像の劣化画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する請求項１に記載の画像処理装置。
4. 前記クラス対応補正係数は、事前のサンプル画像に基づく学習処理によって生成したクラス対応補正係数である請求項１に記載の画像処理装置。
5. 前記クラス対応補正係数は、前記サンプル画像、または前記サンプル画像の劣化画像から抽出した特徴量に対応づけられたクラス対応補正係数であり、
   前記複数処理部の各段処理部において、
   先行処理部は、後続処理部より劣化レベルの大きい画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用した補正処理を実行する請求項４に記載の画像処理装置。
6. 前記複数処理部の各段処理部において、
   先行処理部は、後続処理部より低い解像度の画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する請求項１に記載の画像処理装置。
7. 前記クラス対応補正係数は、
   劣化レベルの大きい画像の特徴量と、劣化レベルの小さい画像の特徴量の組み合わせに基づく設定クラスに対応付けられた補正係数である請求項１に記載の画像処理装置。
8. 前記クラス対応補正係数は、
   補正対象画素の画素値を算出するフィルタに適用する参照画素対応の乗算係数によって構成される請求項１に記載の画像処理装置。
9. 前記複数処理部の各段処理部は、
   補正対象画像である低品質画像の補正対象画素の補正画素値算出時に参照する参照画素範囲を設定するためのタップ選択部を有する請求項１に記載の画像処理装置。
10. 前記タップ選択部は、
    前記補正対象画素を含む画素領域の特徴量に応じて参照画素範囲の設定を行う請求項９に記載の画像処理装置。
11. 前記特徴量は、
    （ａ）輝度分布情報
    （ｂ）ぼけ態様情報
    （ｃ）ノイズ情報
    上記（ａ）〜（ｃ）のいずれかの特徴量である請求項１に記載の画像処理装置。
12. 前記補正対象画像である低品質画像は、
    遠赤外線画像、または蛍光画像のいずれかである請求項１に記載の画像処理装置。
13. 前記参照画像である高品質画像は可視光画像である請求項１に記載の画像処理装置。
14. 前記画像処理装置は、さらに、
    可視光画像の撮像処理を行う高品質画像像撮像部と、
    遠赤外線画像、または蛍光画像の撮像処理を行なう低品質画像撮像部を有し、
    前記画像補正部は、
    前記高品質画像像撮像部と、低品質画像像撮像部において撮影された高品質画像と低品質画像を入力して、前記低品質画像の補正処理を実行する請求項１に記載の画像処理装置。
15. 画像処理装置において実行する画像処理方法であり、
    前記画像処理装置は、第１段処理部から最終段処理部まで、少なくとも２段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
    前記画像補正部が、補正対象画像である低品質画像と、参照画像である高品質画像を入力する画像入力ステップと、
    前記複数処理部の各段処理部が、
    前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する補正ステップを実行し、
    前記補正ステップにおいて適用する前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数である画像処理方法。
16. 画像処理装置において画像処理を実行させるプログラムであり、
    前記画像処理装置は、第１段処理部から最終段処理部まで、少なくとも２段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
    前記プログラムは、前記画像補正部に、補正対象画像である低品質画像と、参照画像である高品質画像を入力させる画像入力ステップと、
    前記複数処理部の各段処理部に、
    前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行させる補正ステップを実行させ、
    前記補正ステップにおいて適用する前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数であるプログラム。

Images