WO2017169039A1

WO2017169039A1 - 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Info

Publication number: WO2017169039A1
Application number: PCT/JP2017/002582
Authority: WO
Inventors: 友希鴇崎; 神尾　和憲; イーウェンズー; 隆浩永野
Original assignee: ソニー株式会社
Priority date: 2016-03-29
Filing date: 2017-01-25
Publication date: 2017-10-05
Also published as: US20190102870A1; US10853926B2; JP6711396B2; JPWO2017169039A1

Abstract

赤外光画像の高画質化処理を実行する装置、方法を提供する。赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出部と、赤外光画像に対して、特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する。さらに、画素値補正に利用する参照領域を、特徴量に基づいて決定するタップ選択部と、画素値補正に利用する補正パラメータを、特徴量に基づいて決定する補正パラメータ算出部を有し、画像補正部は、タップ選択部の決定したタップと、補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する。

Description

画像処理装置、撮像装置、および画像処理方法、並びにプログラム

　本開示は、画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。特に、可視光画像と赤外光画像の画像処理を行なう画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。

　昨今、可視光の画像撮影を行う可視光カメラとともに、可視光による画像撮影が困難な夜間等においても人物等を撮影可能な赤外光カメラを組み合わせたシステムが多く利用されている。
　このような２つのカメラを用いた撮像装置について、例えば特許文献１（特開２０１１－２１１３８７号公報）に開示されている。

　しかし、一般的に赤外光カメラは、可視光での撮影を行う可視光カメラに比較して解像度が低下してしまうという問題がある。

特開２０１１－２１１３８７号公報

　本開示は、例えば、上記の問題点に鑑みてなされたものであり、本開示の一実施例においては、赤外光カメラの撮影画像の高画質化を実現する画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　また、本開示の一実施例においては、可視光画像と赤外光画像の双方について、高画質化処理を行なう画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出部と、
　前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する画像処理装置にある。

　さらに、本開示の第２の側面は、
　赤外光画像の撮像処理を行なう赤外光画像撮像部と、
　可視光画像の撮像処理らを行う可視光画像撮像部と、
　前記赤外光画像と可視光画像を入力し、少なくともいずれかの画像の画素値補正処理を実行する画像処理部を有し、
　前記画像処理部は、
　赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出部と、
　前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する撮像装置にある。

　さらに、本開示の第３の側面は、
　赤外光画像を入力し、特徴量を抽出する特徴量算出部と、
　前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する画像処理装置にある。

　さらに、本開示の第４の側面は、
　画像処理装置において実行する画像処理方法であり、
　特徴量算出部が、赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出ステップと、
　画像補正部が、前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正ステップを実行する画像処理方法にある。

　さらに、本開示の第５の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　特徴量算出部に、赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出させ、
　画像補正部に、前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、赤外光画像の高画質化処理を実行する装置、方法が実現される。
　具体的には、赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出部と、赤外光画像に対して、特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する。さらに、画素値補正に利用する参照領域を、特徴量に基づいて決定するタップ選択部と、画素値補正に利用する補正パラメータを、特徴量に基づいて決定する補正パラメータ算出部を有し、画像補正部は、タップ選択部の決定したタップと、補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する。
　これらの処理により、赤外光画像の高画質化処理を実行する装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

撮影画像の種類と光の波長との対応関係について説明する図である。可視光画像と赤外光画像の画素配列の例について説明する図である。本開示の画像処理装置の実行する処理について説明する図である。画像処理装置の構成例について説明する図である。画像処理部の構成と処理について説明する図である。特徴量の種類と具体例について説明する図である。特徴量として輝度分布情報を用いた場合の画像補正処理を実行する画像処理部の構成と処理について説明する図である。特徴量として輝度分布情報を用いた場合の画像補正処理の一例について説明する図である。特徴量としてぼけ態様を示すＰＳＦ情報を用いた場合の画像補正処理を実行する画像処理部の構成と処理について説明する図である。特徴量としてぼけ態様を示すＰＳＦ情報を用いた場合の画像補正処理の一例について説明する図である。特徴量としてぼけ態様を示すＰＳＦ情報を用いた場合の画像補正処理の一例について説明する図である。特徴量としてノイズ情報を用いた場合の画像補正処理を実行する画像処理部の構成と処理について説明する図である。特徴量としてノイズ情報を用いた場合の画像補正処理の一例について説明する図である。特徴量としてノイズ情報を用いた場合の画像補正処理の一例について説明する図である。画像処理部の構成と処理について説明する図である。画像補正部の構成と処理について説明する図である。画像処理装置の構成と処理について説明する図である。画像処理装置の構成と処理について説明する図である。画像処理装置の構成と処理について説明する図である。画像処理装置の構成と処理について説明する図である。画像処理装置の実行する画像処理シーケンスについて説明するフローチャートを示す図である。画像処理装置のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示の画像処理装置、撮像装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
　１．本開示の画像処理装置の構成と処理について
　２．赤外光画像の高画質化処理を実行する画像処理装置について
　２－１．画像特徴量として輝度分布情報を用いた画像補正処理により、高画質画像を生成する処理例について
　２－２．画像特徴量として点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）を用いた画像補正処理により、高画質画像を生成する処理例について
　２－３．画像特徴量としてノイズ情報を用いた画像補正処理により、高画質画像を生成する処理例について
　３．可視光画像の高画質化処理を行なう構成例について
　４．画像処理装置のその他の実施例について
　４－１．撮影画像に対する縮小画像を生成し、縮小画像に対する画像処理を実行する実施例
　４－２．可視光画像に基づく擬似赤外光画像を生成し、撮影された赤外光画像と擬似赤外光画像を用いて視差量、動き情報を算出する実施例
　４－３．画像補正部の生成した補正赤外光画像をフィードバックして再利用する実施例
　４－４．可視光画像を利用せず、赤外光画像のみを利用した実施例
　５．画像処理装置の実行する処理のシーケンスについて
　６．画像処理装置のハードウェア構成例について
　７．本開示の構成のまとめ

　　［１．本開示の画像処理装置の構成と処理について］
　図１以下を参照して本開示の画像処理装置の構成と処理について説明する。
　まず、図１以下を参照して本開示の画像処理装置が処理対象とする画像について説明する。

　本開示の画像処理装置は、可視光画像と、赤外光画像を入力し、これらの画像を適用した画像処理を実行する。
　図１に示すように、可視光画像１０は、波長が約０．４μｍ～０．７μｍの範囲の画像であり、一般的なカメラで撮影されるＲＧＢ画像等のカラー画像である。

　赤外光画像は、波長が．０．７μｍ以上の長波長光からなる画像である。赤外光画像を撮影する赤外光画像撮影カメラは、例えば暗闇等において熱を発生する人物等を撮影することが可能であり、監視カメラ等に利用される。
　なお、赤外線は、図１に示すように、
　波長が約０．７～１μｍの近赤外線、
　波長が約３～５μｍの中赤外線、
　波長が約８～１４μｍの遠赤外線、
　このように区分される。

　以下に説明する実施例では、主に波長が約８～１４μｍの遠赤外線を撮影する赤外光画像２０を利用した画像処理例について説明する。
　ただし、本開示の処理は、遠赤外光画像に限らず、その他の赤外光画像を利用した処理にも適用可能である。

　図２は、可視光画像１０、および赤外光画像２０を撮影する撮像素子上の画素配列の例を示す図である。
　図２（１）の可視光画像は、ＲＧＢ各画素からなるベイヤ配列の例を示している。このベイヤ配列は、多くの可視光撮影カメラの撮像素子に利用されている。
　撮像素子の各画素は、ＲまたはＧまたはＢ各波長光の光量に応じた電気信号を出力する。

　一方、図２（２）の遠赤外光画像は、全ての画素位置において遠赤外光（ＦＩＲ：Ｆａｒ　ＩｎｅｒａＲｅｄ）の波長光を撮影する。
　ただし、図２（１），（２）に示すように、一般的に赤外光画像撮像素子は、可視光画像撮像素子に比較して、解像度が低くなる。これは赤外光、特に遠赤外光は波長光が長く、高密度の画素配列を持つ撮像素子が利用しにくい等の理由である。

　本開示の画像処理装置の実行する１つの処理例について図３を参照して説明する。本開示の画像処理装置は、例えば、低解像度の赤外光画像に対する画像処理を実行して、高解像度の遠赤外光画像を生成する。

　図３に示すように、本開示の画像処理装置の画像処理部３０は、（Ａ）撮像部の撮影画像として、高解像度の可視光画像と低解像度の遠赤外光画像を入力する。

　画像処理部３０は、これらの２つの入力画像を利用して、低解像度の遠赤外光画像の高画質化処理を実行し、（Ｂ）に示すような高画質化画像、すなわち、高解像度の可視光画像、高解像度の遠赤外光画像の少なくとも一方の高画質化画像を生成して出力する。

　以下、このような画像処理を実行する画像処理装置の具体的な構成と処理について説明する。
　　［２．赤外光画像の高画質化処理を実行する画像処理装置について］
　図４は、本開示の画像処理装置１００の一例である撮像装置の構成を示すブロック図である。
　なお、本開示の画像処理装置には、撮像装置に限らず、例えば撮像装置の撮影画像を入力して画像処理を実行するＰＣ等の情報処理装置も含まれる。
　以下では、本開示の画像処理装置１００の一例として、撮像装置の構成と処理について説明する。
　以下の実施例において説明する撮影処理以外の画像処理は、撮像装置に限らず、ＰＣ等の情報処理装置において実行可能である。

　図４に示す撮像装置としての画像処理装置１００は、制御部１０１、記憶部１０２、コーデック１０３、入力部１０４、出力部１０５、撮像部１０６、画像処理部１２０を有する。
　撮像部１０６は、遠赤外光画像を撮影する赤外光画像撮像部１０７と、通常の可視光画像の撮影を行う可視光画像撮像部１０８を有する。

　赤外光画像撮像部１０７は、遠赤外光画像の画像撮影を行うための第１撮像素子１１１を有する。第１撮像素子１１１は、例えば先に図２（２）を参照して説明した遠赤外光を入射する画素からなる撮像素子であり、各画素から、遠赤外光の入射光量に応じた電気信号を出力する。

　一方、可視光画像撮像部１０８は、可視光画像の画像撮影を行うための第２撮像素子１１２を有する。第２撮像素子１１２は、例えば、先に図２（１）を参照して説明したベイヤ配列からなるＲＧＢ画素を有し、各画素単位でＲＧＢ各色の入力光対応の信号を出力する撮像素子である。

　赤外光画像撮像部１０７と、可視光画像撮像部１０８は、所定間隔、離れた位置に設定される２つの撮像部であり、それぞれの撮影画像は異なる視点からの画像となる。
　異なる視点からの２つの画像の対応画素、すなわち同一位置の画素には同一の被写体画像が撮影されず、視差に応じた被写体ずれが発生する。

　赤外光画像撮像部１０７と、可視光画像撮像部１０８は、撮影画像が静止画である場合は、各々が１枚ずつ、計２枚の静止画を撮影する。動画を撮影する場合は、各撮像部の撮影フレームは、各撮像部が連続した画像フレームを撮影する。
　なお、これらの撮影タイミングの制御は制御部１０１によって行われる。

　制御部１０１は、画像の撮影、撮影画像に対する信号処理、画像の記録処理、表示処理等、撮像装置１００において実行する各種の処理を制御する。制御部１０１は、例えば記憶部１０２に格納された様々な処理プログラムに従った処理を実行するＣＰＵ等を備え、プログラムを実行するデータ処理部として機能する。

　記憶部１０２は、撮影画像の格納部、さらに、制御部１０１において実行する処理プログラムや、各種パラメータの記憶部、さらにデータ処理時のワークエリアとして機能するＲＡＭ、ＲＯＭ等によって構成される。
　コーデック１０３は、撮影画像の圧縮、伸長処理等の符号化、復号処理を実行する。
　入力部１０４は、例えばユーザ操作部であり、撮影開始、終了、様々なモード設定等の制御情報を入力する。
　出力部１０５は表示部、スピーカ等によって構成され、撮影画像、スルー画等の表示、音声出力等に利用される。

　画像処理部１２０は、撮像部１０６から入力する２枚の画像を入力し、これら２枚の画像を適用して、入力画像の高画質化処理を実行する。
　具体的には、例えば、高画質化した補正赤外光画像１９１を生成する。なお、本実施例では、高画質化処理対象は、赤外光画像のみであり、可視光画像についての高画質化処理は実行しない。可視光画像１９２は撮影された可視光画像に相当する。
　なお、可視光画像に対する高画質化処理を行なうことも可能であり、この実施例については後段で説明する。

　図５以下を参照して画像処理部１２０の構成と処理について説明する。
　本実施例において、画像処理部１２０は、赤外光画像撮像部１０７において撮影された赤外光画像２０１と、可視光画像撮像部１０８において撮影された可視光画像２０２、これら２種類の画像を入力し、これら２種類の画像を利用して、高画質化処理を施した補正赤外光画像２０５を生成して出力する。

　画像処理部１２０の実行する処理について説明する。
　画像処理部１２０は、赤外光画像撮像部１０７において撮影された赤外光画像２０１をスケーラ１２１に入力し、赤外光画像２０１のサイズを可視光画像２０２のサイズに合わせるスケーリング処理を実行する。

　これは、赤外光画像撮像部１０７の第１撮像素子１１１のサイズと、可視光画像撮像部１０８の第２撮像素子の大きさの差異を解消するための画像サイズの調整処理である。
　多くの場合、赤外光画像撮像部１０７の第１撮像素子１１１のサイズは、可視光画像撮像部１０８の第２撮像素子のサイズより小さい。
　スケーラ１２１は、赤外光画像２０１のサイズを可視光画像２０２のサイズに合わせるスケーリング処理を実行する。

　サイズが一致した赤外光画像２０１と、可視光画像２０２は、視差量検出＆動き検出部１２２、および画像位置合わせ部１２３に入力される。
　視差量検出＆動き検出部１２２は、赤外光画像２０１と、可視光画像２０２の視差量と、２つの画像間の動き量を検出する。

　赤外光画像撮像部１０７と、可視光画像撮像部１０８は、所定間隔、離れた位置に設定される２つの撮像部であり、それぞれの撮影画像（赤外光画像２０１、可視光画像２０２）は異なる視点からの画像となる。
　異なる視点からの２つの画像、すなわち赤外光画像２０１と、可視光画像２０２との対応画素、すなわち同一位置の画素には同一の被写体画像が撮影されず、視差に応じた被写体ずれが発生する。

　また、これらの２つの画像が完全に同一タイミングで撮影された画像でなく、被写体に動く被写体が含まれる場合には、それぞれの画像に撮影される同一被写体の位置が異なる。すなわち被写体の動き量が存在する。
　視差量検出＆動き検出部１２２は、赤外光画像２０１と、可視光画像２０２の視差量と、２つの画像間の動き量を検出し、これらの情報、すなわち視差情報と、動き情報、例えば動きベクトル（ＭＶ：Ｍｏｔｉｏｎ　Ｖｅｃｔｏｒ）を画像位置合わせ部１２３に入力する。

　画像位置合わせ部１２３は、視差量検出＆動き検出部１２２から入力する視差情報と、動き情報を利用し、サイズ調整を行った赤外光画像２０１と、可視光画像２０２の位置合わせ処理を実行する。
　すなわち、各画像の同一位置に同一の被写体が位置するように２枚の画像の位置合わせ処理を実行する。

　なお、具体的には、例えば可視光画像２０２を基準位置として、可視光画像２０２の被写体位置は移動せず、赤外光画像２０１の被写体位置を可視光画像２０２の被写体位置に合わせる処理を行なう。
　ただし、どちらの画像を基準画像として用いるかは限定されるものではなく、いずれの画像を基準画像とする構成も可能である。

　画像位置合わせ部１２３は、位置合わせ後の２つの画像、すなわち、図５に示す位置合わせ後赤外光画像２０３と、位置合わせ後可視光画像２０４を特徴量算出部１２４に出力する。
　さらに、位置合わせ後赤外光画像２０３については、タップ選択部１２５を介して画像補正部１２７に入力する。

　特徴量算出部１２４は、位置合わせ後赤外光画像２０３と、位置合わせ後可視光画像２０４を入力し、これらの画像から画像の特徴量を抽出し、抽出した特徴量データをタップ選択部１２５と、補正パラメータ算出部１２６に出力する。

　特徴量算出部１２４が、位置合わせ後赤外光画像２０３と、位置合わせ後可視光画像２０４から取得する特徴量データの例について、図６を参照して説明する。
　図６には、特徴量算出部１２４が、２つの画像の少なくともいずれかから抽出可能な以下の３種類の画像特徴量の例を示している。
　（１）輝度分布情報
　（２）点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）
　（３）ノイズ情報

　「（１）輝度分布情報」は、画像中の各画素の輝度値の分布情報である。図６（１）（ｂ）の具体例には、横軸に画素位置、縦軸に輝度値を設定したグラフ（輝度分布グラフ）を示している。
　図に示す例は、グラフの左側が低輝度値であり、右側が高輝度値となっている。このような輝度分布は、例えば被写体の境界等のエッジ領域に相当する輝度分布である。
　なお、このような輝度分布情報は、位置合わせ後赤外光画像２０３、または位置合わせ後可視光画像２０４の一方の画像のみから取得可能な画像特徴量である。

　「（２）点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）」は、画像のぼけ量を示す関数である点広がり関数（ＰＳＦ）である。
　図６（２）（ｂ）の具体例に示すように、ある画素位置の画素値の周囲に対するひろがり度合い、すなわちぼけ量を示す関数である。
　なお、この点広がり関数も、位置合わせ後赤外光画像２０３、または位置合わせ後可視光画像２０４の一方の画像のみから取得可能な画像特徴量である。

　「（３）ノイズ情報」は、画像に含まれるノイズを示す情報である。カメラによる撮影画像には、ある程度のノイズが含まれている。
　図６（３）（ｂ）の具体例には、横軸に画素位置、縦軸に画素値を設定したグラフ（ノイズ分布グラフ）を示している。
　このグラフに示すように、画素値は、本来の被写体の色や輝度に所定量のノイズを加算した値となる。なお、ノイズには高周波ノイズ、低周波ノイズ等、様々なタイプのノイズがある。
　なお、このノイズ情報も、位置合わせ後赤外光画像２０３、または位置合わせ後可視光画像２０４の一方の画像のみから取得可能な画像特徴量である。

　図６に示すこれら３つの画像特徴量は、特徴量算出部１２４が、位置合わせ後赤外光画像２０３、または位置合わせ後可視光画像２０４の少なくとも一方の画像から取得する特徴量データの例である。
　特徴量算出部１２４は、位置合わせ後赤外光画像２０３、または位置合わせ後可視光画像２０４の少なくとも一方の画像から、図６に示す３つの画像特徴量の少なくともいずれかの特徴量を取得する。

　画像補正部１２７は、取得特徴量に基づいて、位置合わせ後赤外光画像２０３に対する高画質化処理としての画像補正処理を実行し、画質を改善した補正赤外光画像２０５を生成して出力する。

　図５に示すタップ選択部１２５、補正パラメータ算出部１２６、画像補正部１２７は、特徴量算出部１２４の算出した画像特徴量に基づいて、位置合わせ後赤外光画像２０３を高画質化するための画像補正処理に適用するタップ設定処理と、補正パラメータ算出処理と、画像補正処理を実行する。

　以下、図６に示３つの特徴量、すなわち、
　（１）輝度分布情報
　（２）点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）
　（３）ノイズ情報
　これらの画像特徴量を個別に適用した画像補正処理、すなわち、赤外光画像の高画質化処理の具体的処理例について、順次、説明する。

　　［２－１．画像特徴量として輝度分布情報を用いた画像補正処理により、高画質画像を生成する処理例について］
　まず、画像特徴量として輝度分布情報を取得し、取得した輝度分布情報を用いた画像補正処理により、赤外光画像の高画質化処理を行なう処理例について説明する。

　図７は、図５を参照して説明した画像処理部１２０の構成と同様の構成を示す図である。
　特徴量抽出部１２４は、画像特徴量として輝度分布情報を抽出し、タップ選択部１２５、補正パラメータ算出部１２６、および画像補正部１２７は、特徴量抽出部１２４が抽出した輝度分布情報に基づいて、位置合わせ後赤外光画像２０３を高画質化するための画像補正処理に適用するタップ設定処理と、補正パラメータ算出処理と、画像補正処理を実行する。

　図７には、特徴量抽出部１２４、タップ選択部１２５、補正パラメータ算出部１２６、および画像補正部１２７の実行する処理をそれぞれ示している。
　特徴量抽出部１２４は、図７に示すように、ステップＳ１０１において、位置合わせ後赤外光画像２０３と、位置合わせ後可視光画像２０４から画像特徴量としての輝度分布情報を取得する。

　輝度分布情報は、先に図６（１）を参照して説明したように、画像中の各画素の輝度値の分布情報である。例えば、図６（１）（ｂ）に示すような輝度分布グラフに相当する画素対応の輝度情報によって構成される。

　特徴量抽出部１２４が位置合わせ後赤外光画像２０３と、位置合わせ後可視光画像２０４から抽出した輝度分布情報は、タップ選択部１２５と、補正パラメータ算出部１２６に入力される。

　タップ選択部１２５は、ステップＳ１０２において、特徴量抽出部１２４が位置合わせ後赤外光画像２０３と、位置合わせ後可視光画像２０４から抽出した輝度分布情報に基づいて、補正処理に適用する参照画素領域選択処理、すなわちタップ選択処理を実行する。

　また、補正パラメータ算出部１２６は、ステップＳ１０３において、特徴量抽出部１２４が位置合わせ後赤外光画像２０３と、位置合わせ後可視光画像２０４から抽出した輝度分布情報に基づいて、補正処理に適用する補正パラメータを算出する。例えば、補正対象画素の周囲の参照画素に対して適用する乗算係数を算出する。

　このタップ選択部１２５におけるタップ選択処理と、補正パラメータ算出部１２６における補正パラメータの算出処理例について、図８を参照して説明する。

　図８には、以下の各図を示している。
　（ａ１）補正前の画像の輝度分布例
　（ａ２）タップ設定と、補正パラメータ（乗算係数Ｋ_ｉ）の例
　（ｂ）補正後の画像の輝度分布例

　（ａ１）補正前の画像の輝度分布例には、可視光画像の輝度分布例と、赤外光画像の輝度分布例を示している。可視光画像は、可視光画像撮像部１０８に配置された高密度画素構成の第２撮像素子１１２によって撮影された画像であり、高解像度画像であるため、輝度分布が、被写体輝度をより正確に反映した分布となる。
　一方、赤外光画像は、赤外光画像撮像部１０７に配置された低密度画素構成の第１撮像素子１１１によって撮影された画像であり、さらにスケーラ１２１によって拡大処理がなされた低解像度画像であるため、輝度分布は、被写体輝度を正確に反映せずなだらかな分布となる。すなわち、赤外光画像は、ぼやけた低解像度の画像となる。

　タップ選択部１２５は、このような低解像度の赤外光画像を補正して解像度レベルを向上させた画像補正を行うためのタップ選択を行う。具体的には補正対象となる画素の画素値の補正処理に適用する参照画素の画素範囲を設定する。
　タップ選択部１２５は、画像補正部１２７における画素値補正に利用する参照領域を、特徴量抽出部１２４から入力する特徴量に基づいて決定する。
　具体的には、例えば、位置合わせ後赤外光画像２０３と、位置合わせ後可視光画像２０４から抽出した輝度分布情報のずれが大きいほど広範囲の参照画素領域（タップ領域）を設定する。

　また、補正パラメータ算出部１２６は、補正対象となる画素の画素値の補正処理に適用する補正パラメータを算出する。具体的には、参照画素の画素値に乗算する乗算係数Ｋ_ｉを算出する。
　補正パラメータ算出部１２６は、画像補正部１２７における画素値補正に利用する補正パラメータを、特徴量抽出部１２４から入力する特徴量に基づいて決定する。
　具体的には、例えば、位置合わせ後赤外光画像２０３と、位置合わせ後可視光画像２０４から抽出した輝度分布情報のずれの状態に応じて、ずれを解消するために効果的な補正パラメータを決定する。

　図８の「（ａ２）タップ設定と、補正パラメータ（乗算係数Ｋ_ｉ）の例」には、補正対象となる画素を中心として、その補正対象画素の画素値を補正するために用いる周囲の参照画素の位置と各参照画素に対する乗算係数Ｋ_ｉの値を示している。
　図に示す例では、補正対象画素を中心とする３×３＝９画素を示している。９個の画素位置に示す０，１，－１は、補正パラメータ算出部１２６の算出した補正パラメータである乗算係数Ｋ_ｉである。なお、ｉは画素位置を示す画素位置識別子である。

　タップ選択部１２５は、補正対象画素の補正画素値を算出するために参照する画素位置をタップ位置として選択する。図に示す例では、１または－１の設定された画素位置がタップとなる。
　補正パラメータ算出部１２６はタップ位置の画素値に乗算する乗算係数Ｋ_ｉを算出する。図８（ａ２）に示す－１や１である。

　タップ選択部１２５の設定した選択タップ情報、すなわち参照画素位置情報と、補正パラメータ算出部１２６の算出した補正パラメータ、すなわち各参照画素位置の画素値に対する乗算係数Ｋ_ｉは、画像補正部１２７に入力される。

　画像補正部１２７は、これらの入力値に基づいて、補正対象画素の補正画素値を算出する。具体的には、図７のステップＳ１０４に示す以下の補正画素値算出式（式１）を適用して補正対象画素の補正画素値Ｔを算出する。
　以下の（式１）に従って、補正画素値Ｔを算出する。

　なお、上記（式１）において、各記号は以下の意味を持つ。
　Ｔ：補正対象画素の補正画素値
　Ｔ_ｉ：参照画素の画素値
　ｉ：参照画素の画素識別子
　Ｋ_ｉ：参照画素ｉ対応の乗算係数

　補正対象画素は、例えば図８（ａ２）に示す３×３＝９画素の中心位置の画素である。
　参照画素は、３×３＝９画素の各画素であり、Ｔ_ｉはこれらの各画素の画素値である。ｉは画素の識別子である。９個の画素を参照する場合、ｎ＝８に設定され、ｉ＝０～８の各画素の画素値を用いて、補正画素値Ｔが算出される。
　Ｋ_ｉは、各画素位置ｉに設定される画素値Ｔ_ｉに対する乗算係数である。
　上記（式１）に従って補正対象画素の画素値を算出する。

　なお、図８（ａ２）に示すタップ設定、補正パラメータ（乗算係数）の設定は一例であり、タップや、補正パラメータは、特徴量に応じて様々な設定に変更される。

　画像補正部１２７は、上記（式１）に従って位置合わせ後赤外光画像２０３の構成画素全ての補正画素値を順次、算出し、算出した構成される補正赤外光画像２０５を生成して出力する。

　補正赤外光画像２０５の輝度分布例を図８（ｂ）に示す。
　補正赤外光画像２０５の輝度分布は、図８（ａ１）に示す補正前の赤外光画像の輝度分布に比較して、可視光画像の輝度分布に近づいた形状となる。なわち解像度が向上した分布となる。

　これは、解像度の高い可視光画像の特徴量、すなわち輝度分布を解像度の低い赤外光画像の画素値に反映させる画素値補正を行った結果である。
　このように、解像度の高い可視光画像の特徴量である輝度分布情報を用いて、赤外光画像の画素値を補正することで、低解像度の赤外光画像の高画質化、すなわち解像度を上昇させた補正赤外光画像２０５を生成して出力することが可能となる。

　　［２－２．画像特徴量として点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）を用いた画像補正処理により、高画質画像を生成する処理例について］
　次に、画像特徴量として点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す態様を示す関数）情報を取得し、取得した点広がり関数（ＰＳＦ）情報を用いた画像補正処理により、赤外光画像の高画質化処理を行なう処理例について説明する。

　図９は、図７と同様、図５を参照して説明した画像処理部１２０の構成と同様の構成を示す図である。
　特徴量抽出部１２４は、位置合わせ後赤外光画像２０３から、画像特徴量として点広がり関数（ＰＳＦ）（＝ぼけ態様を示す態様を示す関数）を抽出し、タップ選択部１２５、補正パラメータ算出部１２６に出力する。

　タップ選択部１２５、補正パラメータ算出部１２６、および画像補正部１２７は、特徴量抽出部１２４が位置合わせ後赤外光画像２０３から抽出した点広がり関数（ＰＳＦ）（＝ぼけ態様を示す態様を示す関数）に基づいて、位置合わせ後赤外光画像２０３を高画質化するための画像補正処理に適用するタップ設定処理と、補正パラメータ算出処理と、画像補正処理を実行する。

　図９には、特徴量抽出部１２４、タップ選択部１２５、補正パラメータ算出部１２６、および画像補正部１２７の実行する処理をそれぞれ示している。
　特徴量抽出部１２４は、図９に示すように、ステップＳ１２１において、位置合わせ後赤外光画像２０３から画像特徴量としての点広がり関数（ＰＳＦ）（＝ぼけ態様を示す態様を示す関数）を取得する。

　点広がり関数（ＰＳＦ）（＝ぼけ態様を示す関数）は、先に図６（２）を参照して説明したように、画像のぼけ量を示す関数である。
　図６（２）（ｂ）の具体例に示すように、ある画素位置の画素値の周囲に対するひろがり度合い、すなわちぼけ量を示す関数である。
　なお、ここでは、位置合わせ後赤外光画像２０３を用いて点広がり関数（ＰＳＦ）を取得している。

　特徴量抽出部１２４が位置合わせ後赤外光画像２０３から抽出した点広がり関数（ＰＳＦ）情報は、タップ選択部１２５と、補正パラメータ算出部１２６に入力される。

　タップ選択部１２５は、ステップＳ１２２において、特徴量抽出部１２４が位置合わせ後赤外光画像２０３から抽出した点広がり関数（ＰＳＦ）情報に基づいて、補正処理に適用する参照画素領域選択処理、すなわちタップ選択処理を実行する。
　具体的には、例えば、位置合わせ後赤外光画像２０３のぼけ量が大きい（広い）ほど広範囲の参照画素領域（タップ領域）を設定する。

　また、補正パラメータ算出部１２６は、ステップＳ１２３において、特徴量抽出部１２４が位置合わせ後赤外光画像２０３から抽出した点広がり関数（ＰＳＦ）情報に基づいて、補正処理に適用する補正パラメータを算出する。
　具体的には、ぼけ解消のためのフィルタである逆フィルタを構成する係数、すなわち、補正対象画素の周囲の参照画素に対して適用する乗算係数を算出する。

　このタップ選択部１２５におけるタップ選択処理と、補正パラメータ算出部１２６における補正パラメータの算出処理例について、図１０、図１１を参照して説明する。

　図１０には、以下の各図を示している。
　（ａ１）補正前の画像の画素値分布例
　（ａ２）タップ設定と、補正パラメータ（乗算係数Ｋ_ｉ）の例
　（ｂ）補正後の画像の画素値分布例

　（ａ１）補正前の画像の画素値分布例は、補正対象画像である赤外光画像の画素値分布例である。
　前述したように、赤外光画像は、赤外光画像撮像部１０７に配置された低密度画素構成の第１撮像素子１１１によって撮影された画像であり、さらにスケーラ１２１によって拡大処理がなされた低解像度画像であるため、画素値分布が、被写体輝度をなめらかに反映した分布となる。すなわち、赤外光画像は、ぼけの大きな画像となる。

　タップ選択部１２５は、このようなぼけの大きな赤外光画像を補正してぼけの少ないクリアな画像とする画像補正を行うためのタップ選択を行う。具体的には補正対象となる画素の画素値の補正処理に適用する参照画素の画素範囲を設定する。
　タップ選択部１２５は、画像補正部１２７における画素値補正に利用する参照領域を、特徴量抽出部１２４から入力する特徴量に基づいて決定する。
　具体的には、例えば、位置合わせ後赤外光画像２０３のぼけ量が大きい（広い）ほど広範囲の参照画素領域（タップ領域）を設定する。

　また、補正パラメータ算出部１２６は、補正対象となる画素の画素値の補正処理に適用する補正パラメータを算出する。具体的には、ぼけ解消のためのフィルタである逆フィルタを構成する係数、すなわち、補正対象画素の周囲の参照画素に対して適用する乗算係数Ｋ_ｉを算出する。
　補正パラメータ算出部１２６は、画像補正部１２７における画素値補正に利用する補正パラメータを、特徴量抽出部１２４から入力する特徴量に基づいて決定する。
　具体的には、例えば、位置合わせ後赤外光画像２０３のぼけを解消するために効果的な補正パラメータを決定する。

　図１０の「（ａ２）タップ設定と、補正パラメータ（乗算係数Ｋ_ｉ）の例」には、補正対象となる画素を中心として、その補正対象画素の画素値を補正するために用いる周囲の参照画素の位置と各参照画素に対する乗算係数Ｋ_ｉの値を示している。
　図に示す例では、補正対象画素を中心とする３×３＝９画素を示している。９個の画素位置に示す０，－１，９は、補正パラメータ算出部１２６の算出した補正パラメータである乗算係数Ｋ_ｉである。なお、ｉは画素位置を示す画素位置識別子である。

　タップ選択部１２５は、補正対象画素の補正画素値を算出するために参照する画素位置をタップ位置として選択する。図に示す例では、－１または９の設定された画素位置がタップとなる。
　補正パラメータ算出部１２６はタップ位置の画素値に乗算する乗算係数Ｋ_ｉを算出する。図１０（ａ２）に示す－１や９である。

　画像補正部１２７は、これらの入力値に基づいて、補正対象画素の補正画素値を算出する。具体的には、図９のステップＳ１２４に示す以下の補正画素値算出式（式２）を適用して補正対象画素の補正画素値Ｔを算出する。
　以下の（式２）に従って、補正画素値Ｔを算出する。

　なお、上記（式２）において、各記号は以下の意味を持つ。
　Ｔ：補正対象画素の補正画素値
　Ｔ_ｉ：参照画素の画素値
　ｉ：参照画素の画素識別子
　Ｋ_ｉ：参照画素ｉ対応の乗算係数

　補正対象画素は、例えば図１０（ａ２）に示す３×３＝９画素の中心位置の画素である。
　参照画素は、３×３＝９画素の各画素であり、Ｔ_ｉはこれらの各画素の画素値である。ｉは画素の識別子である。９個の画素を参照する場合、ｎ＝８に設定され、ｉ＝０～８の各画素の画素値を用いて、補正画素値Ｔが算出される。
　Ｋ_ｉは、各画素位置ｉに設定される画素値Ｔ_ｉに対する乗算係数である。
　上記（式２）に従って補正対象画素の画素値を算出する。

　なお、図１０（ａ２）に示すタップ設定、補正パラメータ（乗算係数）の設定は一例であり、タップや、補正パラメータは、特徴量に応じて様々な設定に変更される。

　画像補正部１２７は、上記（式２）に従って位置合わせ後赤外光画像２０３の構成画素全ての補正画素値を順次、算出し、算出した構成される補正赤外光画像２０５を生成して出力する。

　補正赤外光画像２０５の画素値分布例を図１０（ｂ）に示す。
　補正赤外光画像２０５の画素値分布は、図１０（ａ１）に示す補正前の赤外光画像の画素値分布に比較して、画素値変化の勾配が急になり、ぼけが解消された画像となる。

　これは、ぼけ解消フィルタとして係数を設定した逆フィルタを適用した画素値補正を行った結果である。
　このように、赤外光画像のぼけ態様を示す特徴量であるＰＳＦ情報を用いて、赤外光画像の画素値を補正することで、ぼけの多い赤外光画像の高画質化、すなわちぼけ量を減少させた補正赤外光画像２０５を生成して出力することが可能となる。

　なお、図１０（ａ１），（ａ２）に示す例は、比較的ぼけの広がりが小さい場合のタップ設定と補正パラメータ（乗算係数Ｋ_ｉ）の設定例である。

　タップ設定や、補正パラメータ（乗算係数Ｋ_ｉ）の設定は、特徴量として取得するＰＳＦ、すなわちぼけ態様に応じて変更される。
　図１１に、比較的ぼけの広がりが大きい場合のタップ設定と補正パラメータ（乗算係数Ｋ_ｉ）の設定例を示す。

　図１１（ａ１）、（ａ２）に示すように、ぼけ量が大きい場合、参照判定とする画素領域を、より大きくするようなタップ設定とし、より広範囲の参照画素の画素値に基づいて補正画素値を決定する処理を行なう。

　このように特徴量算出部１２４の算出する点広がり関数（ＰＳＦ）情報に基づいて、補正処理に適用する参照画素領域選択処理、すなわちタップ選択処理を実行し、また補正パラメータ（乗算係数）を算出して補正処理を行なうことで、ぼけ態様に応じた最適な画素値補正が可能となり、ぼけを減少させた高品質な補正赤外光画像を生成することが可能となる。

　　［２－３．画像特徴量としてノイズ情報を用いた画像補正処理により、高画質画像を生成する処理例について］
　次に、画像特徴量としてノイズ情報を取得し、取得したノイズ情報を用いた画像補正処理により、赤外光画像の高画質化処理を行なう処理例について説明する。

　図１２は、図７、図９と同様、図５を参照して説明した画像処理部１２０の構成と同様の構成を示す図である。
　特徴量抽出部１２４は、位置合わせ後可視光画像２０４から、画像特徴量としてノイズ情報を抽出し、タップ選択部１２５、補正パラメータ算出部１２６に出力する。

　タップ選択部１２５、補正パラメータ算出部１２６、および画像補正部１２７は、特徴量抽出部１２４が位置合わせ後可視光画像２０４から抽出したノイズ情報に基づいて、位置合わせ後赤外光画像２０３を高画質化するための画像補正処理に適用するタップ設定処理と、補正パラメータ算出処理と、画像補正処理を実行する。

　図１２には、特徴量抽出部１２４、タップ選択部１２５、補正パラメータ算出部１２６、および画像補正部１２７の実行する処理をそれぞれ示している。
　特徴量抽出部１２４は、図１２に示すように、ステップＳ１４１において、位置合わせ後可視光画像２０４から画像特徴量としてのノイズ情報を取得する。

　ノイズ情報は、先に図６（３）を参照して説明したように、画像に含まれるノイズを示す情報である。カメラによる撮影画像には、ある程度のノイズが含まれている。
　図６（３）（ｂ）の具体例に示すように、画像に設定される画素値には、所定量のノイズが含まれ、画素値は、本来の被写体の色や輝度に所定量のノイズを加算した値となる。なお、ノイズには高周波ノイズ、低周波ノイズ等、様々なタイプのノイズがある。
　なお、ここでは、位置合わせ後可視光画像２０４を用いてノイズ情報を取得している。

　特徴量抽出部１２４が位置合わせ後可視光画像２０４から抽出したノイズ情報は、タップ選択部１２５と、補正パラメータ算出部１２６に入力される。

　タップ選択部１２５は、ステップＳ１４２において、特徴量抽出部１２４が位置合わせ後可視光画像２０４から抽出したノイズ情報に基づいて、補正処理に適用する参照画素領域選択処理、すなわちタップ選択処理を実行する。
　具体的には、例えば、位置合わせ後可視光画像２０４に含まれるノイズに低域成分ノイズが多いほど広範囲の参照画素領域（タップ領域）を設定する。

　また、補正パラメータ算出部１２６は、ステップＳ１４３において、特徴量抽出部１２４が位置合わせ後可視光画像２０４から抽出したノイズ情報に基づいて、補正処理に適用する補正パラメータを算出する。
　具体的には、補正対象画素の周囲の参照画素に対して適用する乗算係数を算出する。

　このタップ選択部１２５におけるタップ選択処理と、補正パラメータ算出部１２６における補正パラメータの算出処理例について、図１３、図１４を参照して説明する。

　図１３には、以下の各図を示している。
　（ａ１）補正前の画像の画素値分布例
　（ａ２）タップ設定と、補正パラメータ（乗算係数Ｋ_ｉ）の例
　（ｂ）補正後の画像の画素値分布例

　（ａ１）補正前の画像の画素値分布例は、補正対象画像である赤外光画像の画素値分布例である。
　前述したように、赤外光画像は、赤外光画像撮像部１０７に配置された低密度画素構成の第１撮像素子１１１によって撮影された画像であり、さらにスケーラ１２１によって拡大処理がなされた低解像度画像であり、高解像度画像であるね可視光画像に比較して、より多くのノイズが含まれた画像となる。

　タップ選択部１２５は、このようなノイズの多い赤外光画像を補正してノイズの少ない画像とする画像補正を行うためのタップ選択を行う。具体的には補正対象となる画素の画素値の補正処理に適用する参照画素の画素範囲を設定する。
　タップ選択部１２５は、画像補正部１２７における画素値補正に利用する参照領域を、特徴量抽出部１２４から入力する特徴量に基づいて決定する。
　具体的には、例えば、位置合わせ後可視光画像２０４のノイズに低域成分ノイズが多いほど広範囲の参照画素領域（タップ領域）を設定する。

　また、補正パラメータ算出部１２６は、補正対象となる画素の画素値の補正処理に適用する補正パラメータを算出する。具体的には、ノイズを減少させるフィルタを構成する係数、すなわち、補正対象画素の周囲の参照画素に対して適用する乗算係数Ｋ_ｉを算出する。
　補正パラメータ算出部１２６は、画像補正部１２７における画素値補正に利用する補正パラメータを、特徴量抽出部１２４から入力する特徴量に基づいて決定する。
　具体的には、例えば、位置合わせ後可視光画像２０４に含まれるノイズ成分に応じてノイズ低減に効果的な補正パラメータを決定する。

　図１３の「（ａ２）タップ設定と、補正パラメータ（乗算係数Ｋ_ｉ）の例」には、補正対象となる画素を中心として、その補正対象画素の画素値を補正するために用いる周囲の参照画素の位置と各参照画素に対する乗算係数Ｋ_ｉの値を示している。
　図に示す例では、補正対象画素を中心とする３×３＝９画素を示している。９個の画素位置に示す１／９は、補正パラメータ算出部１２６の算出した補正パラメータである乗算係数Ｋ_ｉである。なお、ｉは画素位置を示す画素位置識別子である。
　なお、この係数設定は平滑化フィルタの係数設定に相当する。

　タップ選択部１２５は、補正対象画素の補正画素値を算出するために参照する画素位置をタップ位置として選択する。図に示す例では、１／９の設定された９個の全画素位置がタップとなる。
　補正パラメータ算出部１２６はタップ位置の画素値に乗算する乗算係数Ｋ_ｉを算出する。図１３（ａ２）に示す１／９である。

　画像補正部１２７は、これらの入力値に基づいて、補正対象画素の補正画素値を算出する。具体的には、図１２のステップＳ１４４に示す以下の補正画素値算出式（式３）を適用して補正対象画素の補正画素値Ｔを算出する。
　以下の（式３）に従って、補正画素値Ｔを算出する。

　なお、上記（式３）において、各記号は以下の意味を持つ。
　Ｔ：補正対象画素の補正画素値
　Ｔ_ｉ：参照画素の画素値
　ｉ：参照画素の画素識別子
　Ｋ_ｉ：参照画素ｉ対応の乗算係数

　補正対象画素は、例えば図１３（ａ２）に示す３×３＝９画素の中心位置の画素である。
　参照画素は、３×３＝９画素の各画素であり、Ｔ_ｉはこれらの各画素の画素値である。ｉは画素の識別子である。９個の画素を参照する場合、ｎ＝８に設定され、ｉ＝０～８の各画素の画素値を用いて、補正画素値Ｔが算出される。
　Ｋ_ｉは、各画素位置ｉに設定される画素値Ｔ_ｉに対する乗算係数である。
　上記（式３）に従って補正対象画素の画素値を算出する。

　なお、図１３（ａ２）に示すタップ設定、補正パラメータ（乗算係数）の設定は一例であり、タップや、補正パラメータは、特徴量に応じて様々な設定に変更される。

　画像補正部１２７は、上記（式３）に従って位置合わせ後赤外光画像２０３の構成画素全ての補正画素値を順次、算出し、算出した構成される補正赤外光画像２０５を生成して出力する。

　補正赤外光画像２０５の画素値分布例を図１３（ｂ）に示す。
　補正赤外光画像２０５の画素値分布は、図１３（ａ１）に示す補正前の赤外光画像の画素値分布に比較して、画素値に含まれるノイズが減少した画像となる。

　これは、ノイズ解消フィルタとして係数を設定した例えば平滑化フィルタを適用した画素値補正を行った結果である。
　このように、赤外光画像のノイズ態様を示す特徴量であるノイズ情報を用いて、赤外光画像の画素値を補正することで、ノイズの多い赤外光画像の高画質化、すなわちノイズ量を減少させた補正赤外光画像２０５を生成して出力することが可能となる。

　なお、図１３（ａ１），（ａ２）に示す例は、赤外光画像中に含まれるノイズの多くが高域成分ノイズであり、比較的、低域成分ノイズが少ない場合のタップ設定と補正パラメータ（乗算係数Ｋ_ｉ）の設定例である。

　タップ設定や、補正パラメータ（乗算係数Ｋ_ｉ）の設定は、特徴量として取得するノイズ情報に応じて変更される。
　図１４は、図１３の例より、低域成分ノイズが多い場合のタップ設定と補正パラメータ（乗算係数Ｋ_ｉ）の設定例である。

　図１４（ａ１）、（ａ２）に示すように、低域成分ノイズが多い場合、参照判定とする画素領域を、より大きくするようなタップ設定とし、より広範囲の参照画素の画素値に基づいて補正画素値を決定する処理を行なう。

　このように特徴量算出部１２４の算出するノイズ情報に基づいて、補正処理に適用する参照画素領域選択処理、すなわちタップ選択処理を実行し、また補正パラメータ（乗算係数）を算出して補正処理を行なうことで、ノイズ態様に応じた最適な画素値補正が可能となり、ノイズを減少させた高品質な補正赤外光画像を生成することが可能となる。

　なお、上述した各画像処理装置の実施例では、図６に示３つの特徴量、すなわち、
　（１）輝度分布情報
　（２）点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）
　（３）ノイズ情報
　これらの画像特徴量を個別に適用した画像補正処理、すなわち、赤外光画像の高画質化処理を行なう処理例として説明した。
　このように１種類の特徴量を用いて画像補正を行うことも可能であるが、上記の特徴量（１）～（３）の任意の２つ、または３つを組み合わせて利用して画像補正を行う構成としてもよい。

　　［３．可視光画像の高画質化処理を行なう構成例について］
　図５～図１４を参照して説明した画像処理装置は、赤外光画像のみの高画質化処理を実行する画像処理装置である。
　次に、図１５以下を参照して、赤外光画像に併せて可視光画像についても高画質化処理を実行する画像処理装置の構成と処理について説明する。

　図１５は、本実施例に係る画像処理装置の構成例を示す図である。図１５に示す構成は、先に説明した図５とほぼ同様の構成である。異なる点は、画像位置合わせ部１２３から出力される位置合わせ後可視光画像２０４が、画像補正部１２７に入力され、画像補正部１２７において位置合わせ後可視光画像２０４に対する高画質化処理としての画像補正がなされ、補正可視光画像２０６を出力する点である。
　その他の構成については図５以下を参照して説明した構成と同様の構成であり、赤外光画像については、先に図５～図１４を参照して説明したと同様の高画質化処理が施されて補正赤外光画像２０５が出力される。

　すなわち、本実施例は、画像補正部１２７において、赤外光画像については、図５～図１４を参照して説明したと同様の高画質化処理を実行し、可視光画像についても高画質化処理としての画像補正処理を実行する構成である。

　画像補正部１２７の構成と処理について、図１６を参照して説明する。
　図１６に示すように画像補正部１２７は、赤外光画像補正部１３１と、可視光画像補正部１３２を有する。

　赤外光画像補正部１３１は、先に図５～図１４を参照して説明したと同様のタップ設定、補正パラメータ設定に基づく画像補正処理を実行し、高画質化された補正赤外光画像２０５を生成して出力する。

　本実施例では、この補正赤外光画像２０５は、さらに、可視光画像補正部１３２に入力される。
　可視光画像補正部１３２は、位置合わせ後可視光画像２０４に対して、補正赤外光画像２０５の重畳処理を実行する。具体的には、例えば位置合わせ後可視光画像２０４と、補正赤外光画像２０５の対応位置（同一座標位置）の画素値のブレンド処理、具体的には、例えば補正赤外光画像２０５の高域成分を、位置合わせ後可視光画像２０４に足し込む処理を実行して、補正可視光画像２０６を生成して出力する。

　補正赤外光画像２０５は、先に図５～図１４を参照して説明した処理によって高画質化された画像であり、この高画質化画像に設定された画素値を、位置合わせ後可視光画像２０４の元の画素値とブレンドすることで、可視光画像の補正画像を生成する。
　この処理によって、高画質化された補正可視光画像２０６を生成し、出力する。

　　［４．画像処理装置のその他の実施例について］
　次に、図１７以下を参照して画像処理装置のその他の実施例について説明する。
　以下の各実施例について、順次、説明する。
　（１）撮影画像に対する縮小画像を生成し、縮小画像に対する画像処理を実行する実施例
　（２）可視光画像に基づく擬似赤外光画像を生成し、撮影された赤外光画像と擬似赤外光画像を用いて視差量、動き情報を算出する実施例
　（３）画像補正部の生成した補正赤外光画像をフィードバックして再利用する実施例
　（４）可視光画像を利用せず、赤外光画像のみを利用した実施例

　　［４－１．撮影画像に対する縮小画像を生成し、縮小画像に対する画像処理を実行する実施例］
　まず、図１７を参照して撮影画像に対する縮小画像を生成し、縮小画像に対する画像処理を実行する実施例について説明する。

　図１７は、本実施例の画像処理装置の構成を示す図である。
　図１７に示す構成は、先に説明した図５とほぼ同様の構成である。異なる点は、画像縮小部１５１が追加された点と、画像補正部１２７において、画像拡大処理を実行する点である。
　その他の構成については図５～図１４を参照して説明した構成と同様の構成であり、赤外光画像については、図５～図１４を参照して説明したと同様の高画質化処理が施されて補正赤外光画像２０５が出力される。

　図１７に示す画像処理装置では、可視光画像撮像部１０８の撮影した可視光画像２０２を画像縮小部１５１において縮小する。
　さらに、スケーラ１２１は、赤外光画像撮影部１０７において撮影された赤外光画像２０１を、画像縮小部１５１において縮小された可視光サイズと同じサイズに縮小する処理を実行する。

　その後の処理、すなわち、視差量検出＆動き検出部１２２、画像位置合わせ部１２３、特徴量算出部１２４、タップ選択部１２５、補正パラメータ算出部１２６、画像補正部１２７では、この縮小画像を用いて処理を実行する。

　最後に画像補正部１２７は、縮小画像に基づいて生成した高画質化赤外光画像を元の画像サイズ、または元の可視光画像サイズと同様の画像サイズに拡大する拡大処理を実行して、拡大後の赤外光画像を補正赤外光画像２０５として出力する。

　この実施例では、視差量検出＆動き検出部１２２、画像位置合わせ部１２３、特徴量算出部１２４、タップ選択部１２５、補正パラメータ算出部１２６、画像補正部１２７では、縮小画像を用いた処理を実行することになり、処理量が削減され、処理時間や処理に必要なメモリやデータ処理部等のリソースがを削減することが可能となる。
　従って、データ処理機能やメモリ量の少ないモバイル端末等においても高速に確実な処理を行なうことが可能となる。

　　［４－２．可視光画像に基づく擬似赤外光画像を生成し、撮影された赤外光画像と擬似赤外光画像を用いて視差量、動き情報を算出する実施例］
　次に、図１８を参照して、可視光画像に基づく擬似赤外光画像を生成し、撮影された赤外光画像と擬似赤外光画像を用いて視差量、動き情報を算出する実施例について説明する。

　図１８は、本実施例の画像処理装置の構成を示す図である。
　図１８に示す構成は、先に説明した図５とほぼ同様の構成である。異なる点は、擬似赤外光画像生成部１６１が追加された点である。
　その他の構成については図５～図１４を参照して説明した構成と同様の構成であり、赤外光画像については、図５～図１４を参照して説明したと同様の高画質化処理が施されて補正赤外光画像２０５が出力される。

　図１８に示す画像処理装置では、可視光画像撮像部１０８の撮影した可視光画像２０２を擬似赤外光画像生成部１６１に入力し、擬似赤外光画像生成部１６１において、可視光画像２０２に基づく擬似赤外光画像を生成する。

　可視光画像２０２は、例えば先に図２（１）を参照して説明したＲＧＢ各画素から構成されるベイヤ配列に従った画素配列を持つ画像である。
　擬似赤外光画像生成部１６１は、まず、このＲＧＢ配列画像に基づくデモザイク処理を実行して、全画素にＧ画素値を設定する。さらに、このＧ画素値に基づいて、擬似的な赤外光画素値（ＩＲ）を算出する。
　例えば、以下の式に従って画像を構成する各画素ｉの赤外光画素値（ＩＲ_ｉ）を算出する。
　ＩＲ_ｉ＝ａ×Ｇ_ｉ
　なお、上記のＧ画素値を用いた例は一例であり、擬似赤外光画像生成部１６１は、その他の方法を適用して可視光画像２０２に基づく擬似赤外光画像１６１を生成してもよい。

　上記式において、
　ｉは、画素の識別子、
　ＩＲ_ｉは、擬似赤外光画像の画素ｉの擬似赤外光画素値、
　ａは、予め既定した係数、
　Ｇ_ｉは、可視光画像のデモザイク処理によって生成した画像の画素ｉの画素値である。

　擬似赤外光画像生成部１６１が、可視光画像２０２に基づいて生成した擬似赤外光画像は、赤外光画像撮像部１０７において撮影されスケーラ１２１で可視光画像２０２と同一サイズに調整された赤外光画像とともに、視差量検出＆動き検出部１２２に入力される。
　視差量検出＆動き検出部１２２は、これらの２つの入力画像を比較して、画像間の視差量と、動き量を検出する。

　この実施例では、視差量検出＆動き検出部１２２は、赤外光画像と擬似赤外光画像の２つの同質の画像を利用した画像間の視差量と、動き量を検出する構成であり、より精度の高い検出処理が可能となる。

　その後の画像位置合わせ部１２３、特徴量算出部１２４、タップ選択部１２５、補正パラメータ算出部１２６、画像補正部１２７の処理は、先に図５～図１４を参照して説明した構成と同様の構成であり、赤外光画像については、図５～図１４を参照して説明したと同様の高画質化処理が施されて補正赤外光画像２０５が出力される。

　　［４－３．画像補正部の生成した補正赤外光画像をフィードバックして再利用する実施例］
　次に、図１９を参照して、．画像補正部の生成した補正赤外光画像をフィードバックして再利用する実施例について説明する。

　図１９は、本実施例の画像処理装置の構成を示す図である。
　図１９に示す構成は、先に説明した図５とほぼ同様の構成である。異なる点は、減算器１７１と、加算器１７２を追加した点である。

　図１９に示す画像処理装置では、画像位置合わせ部１２３において位置合わせ処理を行なった後の位置合わせ後赤外光画像２０３が減算器１７１に入力される。
　減算器１７１では、位置合わせ後赤外光画像２０３から、位置合わせ後補正赤外光画像２１１の差分画像が生成される。

　位置合わせ後補正赤外光画像２１１は、１つ前の画像フレームに基づいて生成された補正赤外光画像２０５の各画素位置を、位置合わせ後赤外光画像２０３と同一画素位置に調整した位置合わせ処理後の画像である。

　減算器１７１から出力される差分画像は、特徴量算出部１２４に出力され、さらにタップ選択部１２５を介して画像補正部１２７に出力される。
　特徴量算出部１２４や、タップ選択部１２５、画像補正部１２７における処理は差分画像に対して実行される。
　画像補正部１２７の出力する差分画像は、加算器１７２に入力され、加算器１２７２において、補正済みの差分画像と位置合わせ後補正赤外光画像との加算処理が実行され、その結果が、補正赤外光画像２０５として出力される。

　なお、補正赤外光画像２０５は、画像位置合わせ部１２３にもフィードバック入力され、次の画像フレームの処理に適用される。

　この実施例では、先行して補正処理がなされ、高画質化画像とした先行画像フレームを次の補正対象画像の補正処理においてフィードバック利用する構成としている。
　この構成により、先行補正結果を参照して、次の画像フレームの補正処理を行なうことが可能となり、補正精度を向上させることができる。

　　［４－４．可視光画像を利用せず、赤外光画像のみを利用した実施例］
　次に、図２０を参照して、可視光画像を利用せず、赤外光画像のみを利用した実施例について説明する。

　図２０は、本実施例の画像処理装置の構成を示す図である。
　図２０に示す画像処理装置は、先に説明した図５に示す画像処理装置とは異なり、可視光画像撮像部１０８を有していない。
　赤外光画像撮像部１０７のみを有し、赤外光画像２０１のみを利用した画像処理を実行する。

　画像処理部１２０の実行する処理について説明する。
　画像処理部１２０は、赤外光画像撮像部１０７において撮影された赤外光画像２０１を特徴量算出部１８１と、タップ選択部１８２を介して画像補正部１８４に入力する。

　特徴量算出部１８１は、赤外光画像２０１から画像の特徴量を抽出し、抽出した特徴量データをタップ選択部１８２と、補正パラメータ算出部１８３に出力する。
　特徴量算出部１８１が、赤外光画像２０１から取得する特徴量データは、例えば先に図６を参照して説明した特徴量であり、以下の３種類の画像特徴量の少なくともいずれかを含む。
　（１）輝度分布情報
　（２）点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）
　（３）ノイズ情報

　特徴量算出１８１は、これら３つの画像特徴量の少なくともいずれかを取得する。画像補正部１８４は、取得した特徴量に基づいて、赤外光画像２０１に対する高画質化処理としての画像補正処理を実行し、画質を改善した補正赤外光画像２０５を生成して出力する。

　図２０に示すタップ選択部１８２、補正パラメータ算出部１８３、画像補正部１８４は、特徴量算出部１８１の算出した画像特徴量に基づいて、赤外光画像２０１を高画質化するための画像補正処理に適用するタップ設定処理と、補正パラメータ算出処理と、画像補正処理を実行する。
　これらの処理は、先に図５～図１４を参照して説明した処理と同様の構成である。

　例えば、画像補正部１８４は、図２０に示す以下の補正画素値算出式（式４）を適用して補正対象画素の補正画素値Ｔを算出する。
　以下の（式４）に従って、補正画素値Ｔを算出する。

　なお、上記（式４）において、各記号は以下の意味を持つ。
　Ｔ：補正対象画素の補正画素値
　Ｔ_ｉ：参照画素の画素値
　ｉ：参照画素の画素識別子
　Ｋ_ｉ：参照画素ｉ対応の乗算係数

　本実施例は、赤外光画像のみを利用した構成であり、例えば単眼型の撮像装置において適用可能な構成となる。

　　［５．画像処理装置の実行する処理のシーケンスについて］
　次に、本開示の画像処理装置の実行する処理シーケンスについて説明する。
　図２１は、図５～図１４を参照して説明した画像処理装置の画像処理部において実行する処理シーケンスを説明するフローチャートである。

　図２１に示すフローに従った処理は、例えば画像処理装置の記憶部に格納されたプログラムに従ってプログラム実行機能を有する制御部の制御の下に実行される。
　以下、図２１に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ３０１ａ，３０１ｂ）
　ステップＳ３０１ａ，３０１ｂは、画像撮影処理である。
　例えば図５に示す赤外光画像撮像部１０７と、可視光画像撮像部１０８において画像が撮影される。
　ステップＳ３０１ａは、図５に示す可視光画像撮像部１０８における可視光画像２０２の撮影処理である。
　ステップＳ３０１ｂは、赤外光画像撮像部１０７における赤外光画像２０１の撮影処理である。

　　（ステップＳ３０２）
　ステップＳ３０２は、図５に示すスケーラ１２１の実行する処理である。
　スケーラ１２１は、ステップＳ３０２において、ステップＳ３０１ｂで赤外光画像撮像部１０７が撮影した赤外光画像２０１を入力し、赤外光画像２０１のサイズを可視光画像２０２のサイズに合わせるスケーリング処理を実行する。

　サイズが一致した赤外光画像２０１と、可視光画像２０２は、視差量検出＆動き検出部１２２、および画像位置合わせ部１２３に入力される。

　　（ステップＳ３０３）
　ステップＳ３０３は、図５に示す視差量検出＆動き検出部１２２の実行する処理である。
　視差量検出＆動き検出部１２２は、赤外光画像２０１と、可視光画像２０２の視差量と、２つの画像間の動き量を検出する。

　また、これらの２つの画像が完全に同一タイミングで撮影された画像でなく、被写体に動く被写体が含まれる場合には、それぞれの画像に撮影される同一被写体の位置が異なる。

　視差量検出＆動き検出部１２２は、赤外光画像２０１と、可視光画像２０２の視差量と、２つの画像間の動き量を検出し、これらの情報、すなわち視差情報と、動き情報、例えば動きベクトル（ＭＶ：Ｍｏｔｉｏｎ　Ｖｅｃｔｏｒ）を画像位置合わせ部１２３に入力する。

　　（ステップＳ３０４）
　ステップＳ３０４の処理は、図５に示す画像位置合わせ部１２３の実行する処理である。
　画像位置合わせ部１２３は、視差量検出＆動き検出部１２２から入力する視差情報と、動き情報を利用し、サイズ調整を行った赤外光画像２０１と、可視光画像２０２の位置合わせ処理を実行する。
　すなわち、各画像の同一位置に同一の被写体が撮影された２枚の位置合わせ画像を生成する。

　　（ステップＳ３０５）
　ステップＳ３０５の処理は、図５に示す特徴量算出部１２４の実行する処理である。
　特徴量算出部１２４は、位置合わせ後赤外光画像２０３と、位置合わせ後可視光画像２０４を入力し、これらの画像から画像の特徴量を抽出し、抽出した特徴量データをタップ選択部１２５と、補正パラメータ算出部１２６に出力する。

　特徴量算出部１２４が、位置合わせ後赤外光画像２０３と、位置合わせ後可視光画像２０４から取得する特徴量は、先に図６を参照して説明したように、例えば、以下の３種類の画像特徴量の少なくともいずれかである。
　（１）輝度分布情報
　（２）点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）
　（３）ノイズ情報

　「（１）輝度分布情報」は、画像中の各画素の輝度値の分布情報である。
　「（２）点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）」は、画像のぼけ量を示す関数である点広がり関数（ＰＳＦ）である。
　「（３）ノイズ情報」は、画像に含まれるノイズを示す情報である。

　特徴量算出部１２４は、位置合わせ後赤外光画像２０３と、位置合わせ後可視光画像２０４から、図６に示す３つの画像特徴量の少なくともいずれかを取得する。

　　（ステップＳ３０６）
　ステップＳ３０６の処理は、図５に示すタップ選択部１２５の実行する処理である。
　タップ選択部１２５は、特徴量算出部１２４の算出した画像特徴量に基づいて、位置合わせ後赤外光画像２０３を高画質化するための画像補正処理に適用するタップ設定処理を実行する。
　具体的には、先に図５～図１４を参照して説明した処理を実行する。

　　（ステップＳ３０７）
　ステップＳ３０７の処理は、図５に示す補正パラメータ算出部１２６の実行する処理である。
　補正パラメータ算出部１２６は、特徴量算出部１２４の算出した画像特徴量に基づいて、位置合わせ後赤外光画像２０３を高画質化するための画像補正処理に適用する補正パラメータ算出処理を実行する。
　具体的には、先に図５～図１４を参照して説明した処理を実行し、フィルタに適用する乗算係数Ｋ_ｉの算出等を行う。

　　（ステップＳ３０８）
　ステップＳ３０８の処理は、図５に示す画像補正部１２７の実行する処理である。
　画像補正部１２７は、特徴量算出部１２４の算出した画像特徴量に基づいて、位置合わせ後赤外光画像２０３を高画質化するための画像補正処理を実行する。
　具体的には、先に図５～図１４を参照して説明した処理を実行する。

　なお、前述したように、画像補正処理は、図６に示３つの特徴量、すなわち、
　（１）輝度分布情報
　（２）点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）（＝ぼけ態様を示す関数）
　（３）ノイズ情報
　これらの画像特徴量を個別に適用した画像補正処理として実行してもよいが、上記の特徴量（１）～（３）の任意の２つ、または３つを組み合わせて利用して画像補正を行う構成としてもよい。

　　［６．画像処理装置のハードウェア構成例について］
　　次に、図２２を参照して画像処理装置のハードウェア構成例について説明する。
　図２２は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

　ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、撮像部５２１の撮影画像の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部５０６、表示部５２２やスピーカなどに対するデータ出力を実行する出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。

　入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

　　［７．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出部と、
　前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する画像処理装置。

　（２）前記画像処理装置は、さらに、
　前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記画像補正部は、
　前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する（１）に記載の画像処理装置。

　（３）　前記特徴量算出部は、
　前記赤外光画像、または前記可視光画像の少なくともいずれかの画像から、
　（ａ）輝度分布情報
　（ｂ）ぼけ態様情報
　（ｃ）ノイズ情報
　上記（ａ）～（ｃ）のいずれかの特徴量を抽出する（１）または（２）に記載の画像処理装置。

　（４）　前記特徴量算出部は、
　前記赤外光画像と、前記可視光画像から輝度分布情報を取得し、
　前記画像補正部は、
　前記赤外光画像と、前記可視光画像の輝度分布のずれを解消するように、前記赤外光画像の画素値補正処理を実行する（１）～（３）いずれかに記載の画像処理装置。

　（５）　前記画像処理装置は、さらに、
　前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記タップ選択部は、前記赤外光画像と、前記可視光画像の輝度分布のずれが大きいほど広範囲の参照画素領域（タップ領域）を設定し、
　前記補正パラメータ算出部は、前記赤外光画像と、前記可視光画像の輝度分布のずれを解消するための補正パラメータを決定し、
　前記画像補正部は、
　前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する（４）に記載の画像処理装置。

　（６）　前記特徴量算出部は、
　前記赤外光画像からぼけ態様情報を取得し、
　前記画像補正部は、
　前記赤外光画像のぼけを減少させるように、前記赤外光画像の画素値補正処理を実行する（１）～（５）いずれかに記載の画像処理装置。

　（７）　前記画像処理装置は、さらに、
　前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記タップ選択部は、前記赤外光画像のぼけ範囲が大きいほど広範囲の参照画素領域（タップ領域）を設定し、
　前記補正パラメータ算出部は、前記赤外光画像のぼけを解消するための補正パラメータを決定し、
　前記画像補正部は、
　前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する（６）に記載の画像処理装置。

　（８）　前記特徴量算出部は、
　前記可視光画像からノイズ情報を取得し、
　前記画像補正部は、
　前記赤外光画像のノイズを減少させるように、前記赤外光画像の画素値補正処理を実行する（１）～（７）いずれかに記載の画像処理装置。

　（９）　前記画像処理装置は、さらに、
　前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記タップ選択部は、前記可視光画像のノイズに低域成分ノイズが多いほど広範囲の参照画素領域（タップ領域）を設定し、
　前記補正パラメータ算出部は、前記可視光画像に含まれるノイズ成分に応じた補正パラメータを決定し、
　前記画像補正部は、
　前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する（８）に記載の画像処理装置。

　（１０）　前記画像補正部は、
　前記赤外光画像の画素値補正結果として取得した補正赤外光画像を適用して、前記可視光画像の画像補正処理を実行する（１）～（９）いずれかに記載の画像処理装置。

　（１１）　赤外光画像の撮像処理を行なう赤外光画像撮像部と、
　可視光画像の撮像処理らを行う可視光画像撮像部と、
　前記赤外光画像と可視光画像を入力し、少なくともいずれかの画像の画素値補正処理を実行する画像処理部を有し、
　前記画像処理部は、
　赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出部と、
　前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する撮像装置。

　（１２）　前記画像処理部は、さらに、
　前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記画像補正部は、
　前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する（１１）に記載の撮像装置。

　（１３）　前記特徴量算出部は、
　前記赤外光画像、または前記可視光画像の少なくともいずれかの画像から、
　（ａ）輝度分布情報
　（ｂ）ぼけ態様情報
　（ｃ）ノイズ情報
　上記（ａ）～（３ｃのいずれかの特徴量を抽出する（１１）または（１２）に記載の撮像装置。

　（１４）　赤外光画像を入力し、特徴量を抽出する特徴量算出部と、
　前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する画像処理装置。

　（１５）　前記画像処理装置は、さらに、
　前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記画像補正部は、
　前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する（１４）に記載の画像処理装置。

　（１６）　前記特徴量算出部は、
　前記赤外光画像から、
　（ａ）輝度分布情報
　（ｂ）ぼけ態様情報
　（ｃ）ノイズ情報
　上記（ａ）～（ｃ）のいずれかの特徴量を抽出する（１４）または（１５）に記載の画像処理装置。

　（１７）　画像処理装置において実行する画像処理方法であり、
　特徴量算出部が、赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出ステップと、
　画像補正部が、前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正ステップを実行する画像処理方法。

　（１８）　画像処理装置において画像処理を実行させるプログラムであり、
　特徴量算出部に、赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出させ、
　画像補正部に、前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、赤外光画像の高画質化処理を実行する装置、方法が実現される。
　具体的には、赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出部と、赤外光画像に対して、特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する。さらに、画素値補正に利用する参照領域を、特徴量に基づいて決定するタップ選択部と、画素値補正に利用する補正パラメータを、特徴量に基づいて決定する補正パラメータ算出部を有し、画像補正部は、タップ選択部の決定したタップと、補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する。
　これらの処理により、赤外光画像の高画質化処理を実行する装置、方法が実現される。

　　１０　可視光画像
　　２０　赤外光画像
　１００　画像処理装置
　１０１　制御部
　１０２　記憶部
　１０３　コーデック
　１０４　入力部
　１０５　出力部
　１０６　撮像部
　１０７　赤外光画像撮像部
　１０８　可視光画像撮像部
　１１１　第１撮像素子
　１１２　第２撮像素子
　１１３　赤外光（ＩＲ）照射部
　１２０　画像処理部
　１２１　スケーラ
　１２２　視差量検出＆動き量検出部
　１２３　画像位置合わせ部
　１２４　特徴量算出部
　１２５　タップ選択部
　１２６　補正パラメータ算出部
　１２７　画像補正部
　１３１　赤外光画像補正部
　１３２　可視光画像補正部
　１５１　画像縮小部
　１６１　擬似赤外光画像生成部
　１７１　減算器
　１７２　加算器
　１８１　特徴量算出部
　１８２　タップ選択部
　１８３　補正パラメータ算出部
　１８４　画像補正部
　１９１　補正赤外光画像
　１９２　可視光画像
　５０１　ＣＰＵ
　５０２　ＲＯＭ
　５０３　ＲＡＭ
　５０４　バス
　５０５　入出力インタフェース
　５０６　入力部
　５０７　出力部
　５０８　記憶部
　５０９　通信部
　５１０　ドライブ
　５１１　リムーバブルメディア
　５２１　撮像部
　５２２　表示部

Claims

　赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出部と、
　前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する画像処理装置。
　前記画像処理装置は、さらに、
　前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記画像補正部は、
　前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する請求項１に記載の画像処理装置。
　前記特徴量算出部は、
　前記赤外光画像、または前記可視光画像の少なくともいずれかの画像から、
　（ａ）輝度分布情報
　（ｂ）ぼけ態様情報
　（ｃ）ノイズ情報
　上記（ａ）～（ｃ）のいずれかの特徴量を抽出する請求項１に記載の画像処理装置。
　前記特徴量算出部は、
　前記赤外光画像と、前記可視光画像から輝度分布情報を取得し、
　前記画像補正部は、
　前記赤外光画像と、前記可視光画像の輝度分布のずれを解消するように、前記赤外光画像の画素値補正処理を実行する請求項１に記載の画像処理装置。
　前記画像処理装置は、さらに、
　前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記タップ選択部は、前記赤外光画像と、前記可視光画像の輝度分布のずれが大きいほど広範囲の参照画素領域（タップ領域）を設定し、
　前記補正パラメータ算出部は、前記赤外光画像と、前記可視光画像の輝度分布のずれを解消するための補正パラメータを決定し、
　前記画像補正部は、
　前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する請求項４に記載の画像処理装置。
　前記特徴量算出部は、
　前記赤外光画像からぼけ態様情報を取得し、
　前記画像補正部は、
　前記赤外光画像のぼけを減少させるように、前記赤外光画像の画素値補正処理を実行する請求項１に記載の画像処理装置。
　前記画像処理装置は、さらに、
　前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記タップ選択部は、前記赤外光画像のぼけ範囲が大きいほど広範囲の参照画素領域（タップ領域）を設定し、
　前記補正パラメータ算出部は、前記赤外光画像のぼけを解消するための補正パラメータを決定し、
　前記画像補正部は、
　前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する請求項６に記載の画像処理装置。
　前記特徴量算出部は、
　前記可視光画像からノイズ情報を取得し、
　前記画像補正部は、
　前記赤外光画像のノイズを減少させるように、前記赤外光画像の画素値補正処理を実行する請求項１に記載の画像処理装置。
　前記画像処理装置は、さらに、
　前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記タップ選択部は、前記可視光画像のノイズに低域成分ノイズが多いほど広範囲の参照画素領域（タップ領域）を設定し、
　前記補正パラメータ算出部は、前記可視光画像に含まれるノイズ成分に応じた補正パラメータを決定し、
　前記画像補正部は、
　前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する請求項８に記載の画像処理装置。
　前記画像補正部は、
　前記赤外光画像の画素値補正結果として取得した補正赤外光画像を適用して、前記可視光画像の画像補正処理を実行する請求項１に記載の画像処理装置。
　赤外光画像の撮像処理を行なう赤外光画像撮像部と、
　可視光画像の撮像処理らを行う可視光画像撮像部と、
　前記赤外光画像と可視光画像を入力し、少なくともいずれかの画像の画素値補正処理を実行する画像処理部を有し、
　前記画像処理部は、
　赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出部と、
　前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する撮像装置。
　前記画像処理部は、さらに、
　前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記画像補正部は、
　前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する請求項１１に記載の撮像装置。
　前記特徴量算出部は、
　前記赤外光画像、または前記可視光画像の少なくともいずれかの画像から、
　（ａ）輝度分布情報
　（ｂ）ぼけ態様情報
　（ｃ）ノイズ情報
　上記（ａ）～（ｃ）のいずれかの特徴量を抽出する請求項１１に記載の撮像装置。
　赤外光画像を入力し、特徴量を抽出する特徴量算出部と、
　前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する画像処理装置。
　前記画像処理装置は、さらに、
　前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
　前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
　前記画像補正部は、
　前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する請求項１４に記載の画像処理装置。
　前記特徴量算出部は、
　前記赤外光画像から、
　（ａ）輝度分布情報
　（ｂ）ぼけ態様情報
　（ｃ）ノイズ情報
　上記（ａ）～（ｃ）のいずれかの特徴量を抽出する請求項１４に記載の画像処理装置。
　画像処理装置において実行する画像処理方法であり、
　特徴量算出部が、赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出ステップと、
　画像補正部が、前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正ステップを実行する画像処理方法。
　画像処理装置において画像処理を実行させるプログラムであり、
　特徴量算出部に、赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出させ、
　画像補正部に、前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行させるプログラム。