JP6798616B2

JP6798616B2 - 画像生成装置、画像生成方法およびプログラム

Info

Publication number: JP6798616B2
Application number: JP2019521630A
Authority: JP
Inventors: 謙一郎福司
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2017-06-01
Filing date: 2017-06-01
Publication date: 2020-12-09
Anticipated expiration: 2037-06-01
Also published as: JPWO2018220780A1; WO2018220780A1; US11189018B2; US20210166361A1

Description

本発明は、過酷環境下でも視認性の良い画像を得ることができる画像生成装置、画像生成システム、画像生成方法および画像生成プログラムに関する。

ドライバーの視界の補助、運転の支援、セキュリティー監視、災害救助などの用途で、過酷環境下でも視認性の良い画像を利用者に提供する技術が求められている。過酷環境は、例えば、夜間等の暗い環境、及び、霧、霞又は煙などによって視界が不良である環境などである。一般的な可視光カメラによって、このような過酷環境下で撮影された画像の画質は、ノイズ及びぼけが生じるために低下することが知られている。例えば、夜間は照度が低いので、明るい画像を得るためには、ゲインを上げる設定をする必要がある。しかし、ゲインを上げたときに生ずる高感度ノイズにより、得られる画像の画質が悪化し、視認性が低下する。また、霧、霞又は煙などが発生している状況では、散乱の影響によって画像にぼけが生じるので、得られる画像の画質が悪化し、視認性が低下する。

過酷環境下では不可視光の波長帯の活用も広まっている。例えば、遠赤外光に感度を持つカメラを使用することによって、過酷環境下でも鮮明で高画質な画像を撮影できることが知られている。その理由は、遠赤外光は物体から生ずる放射熱に起因するので、夜間の、環境光が全くない状況でも画像が取得できるからである。また、光は波長が短いほど散乱の影響を受けやすいので、可視光に比べて波長の長い遠赤外光は、散乱の影響が少ない。そのため、遠赤外光に感度を持つカメラを使用することによって、霧、霞又は煙が発生している状況でも、鮮明さが損なわれない高画質な画像を撮影できる。ところが、遠赤外線カメラは、物体から生ずる放射熱、即ち温度を画像化するため、遠赤外線カメラによって得られる画像の見え方は、人間の知覚特性とかけ離れている。そのため、赤外線カメラによって得られる画像は、人間にとって不自然であると感じられ、さらに、視認性が低下するという問題がある。例えば、黒い服を着ている人物であっても、体温の影響で、遠赤外線カメラの画像上では白く映る。そのため、画像において白く映る人物が、黒い服を着ている人物であると、すぐに認識できない可能性がある。さらには、温度が一様な領域は、画像上では平坦な領域になる。例えば、温度が一様な路面の状況などを、遠赤外線カメラの画像によって把握することは容易ではない。遠赤外線カメラの画像の視認性の低さのために、遠赤外線カメラは、夜間における運転支援カメラとして使用するのに適しているとは言えない。

このように、可視光又は遠赤外光などの単一波長帯の光だけでは、過酷環境下では視認性の良い画像を得ることができない。そこで、異なる波長帯の光で撮影した画像を合成し、それらの波長帯の持つ利点を併せ持つ画像を生成する技術が提案されている。

特許文献１には、可視光の輝度成分と、近赤外光の輝度成分とを、所定の比率で合成する技術が記載されている。

特許文献２には、可視光画像と不可視光画像の夫々の所定の領域ごとに、相関値を計算し、計算された相関値に基づいて出力を切り替える技術が記載されている。

特許文献３には、可視光画像及び近赤外画像の、同じ位置の画素のうち、明るい方の画素の輝度情報を用いて、擬似濃淡画像を生成する技術が記載されている。

特開２０１３−２５５１４４号公報特開２０１７−１１６３３号公報特開２０１０−１６６３６３号公報

しかし、特許文献１〜３に記載の技術には、以下に記載する課題がある。

特許文献１の技術は、可視光画像にノイズ及びぼけ生じて画質が悪化していたとしても、可視光画像に生じているノイズ及びぼけは、除去されずに出力画像に合成されてしまう。そのため、特許文献１の技術には、出力画像の画質が低画質になり、出力画像の視認性が低下するという課題がある。

特許文献２の技術は、可視光画像の、ノイズ及びぼけなどが生じて画質が低下している領域を、不可視光画像の対応する領域で置き換える。そのため、画質を向上させることができると考えられる。しかし、前述のように、遠赤外光などの不可視光画像は見え方が人間の知覚特性とかけ離れている。そのため、特許文献２の技術には、出力画像が不自然な画像になり、出力画像視認性が低下するという課題がある。

特許文献３の技術では、可視光画像の、ノイズ・ぼけが生じて画質が低下している領域に含まれる画素と、不可視光画像の、不自然に見える領域に含まれる画素が、出力画像において混在する。そのため、特許文献３の技術にも、視認性が低下する課題がある。

以上のように、特許文献１から特許文献３の技術においては、過酷環境下で視認性の良い画像を得ることができないという課題がある。

本発明の目的の１つは、過酷環境下でも視認性の良い画像を得ることができる画像生成装置等を提供することである。

本発明の一態様に係る画像生成装置は、第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成する処理手段と、前記合成画像を出力する出力手段と、を備える。

本発明の一態様に係る画像生成方法は、第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成し、前記合成画像を出力する。

本発明の一態様に係る記憶媒体は、コンピュータに、第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成する生成処理と、前記合成画像を出力する出力処理と、を実行させるプログラムを記憶する。本発明は、上述の記憶媒体が記憶するプログラムによっても実現される。

本発明によれば、過酷環境下でも視認性の良い画像を得ることができる。

図１は、本発明の第１の実施形態に係る画像生成システムの構成の一例を示すブロック図である。図２は、本発明の第１の実施形態の画像生成装置の構成の例を表すブロック図である。図３は、本発明の第１の実施形態の画像生成装置の動作の例を表すフローチャートである。図４は、本発明の第２の実施形態の画像生成システムの構成の例を表すブロック図である。図５は、本発明の第２の実施形態の画像生成装置の構成の例を表すブロック図である。図６は、本発明の第２の実施形態の画像生成装置の動作の例を表すフローチャートである。図７は、本発明の第３の実施形態の画像生成システムの構成を表すブロック図である。図８は、本発明の第３の実施形態の画像生成装置の構成を表すブロック図である。図９は、本発明の第３の実施形態の画像生成装置の動作の例を表すフローチャートである。図１０は、本発明の第４の実施形態の画像生成システムの構成の例を表すブロック図である。図１１Ａは、本発明の第４の実施形態の画像生成装置の構成の例を表すブロック図である。図１１Ｂは、本発明の第４及び第５の実施形態の第２フィルタ処理部の構成の例を表すブロック図である。図１２は、本発明の第４の実施形態の画像生成装置の動作の例を表すフローチャートである。図１３は、本発明の第５の実施形態の画像生成システムの構成の例を表すブロック図である。図１４は、本発明の第５の実施形態の画像生成装置の構成の例を表すブロック図である。図１５は、本発明の第５の実施形態の画像生成装置の動作の例を表すフローチャートである。図１６は、本発明の第６の実施形態の画像生成システムの構成の例を表すブロック図である。図１７Ａは、本発明の第６の実施形態の画像生成装置の構成の例を表すブロック図である。図１７Ｂは、本発明の第６及び第７の実施形態の第２フィルタ処理部の構成の例を表すブロック図である。図１８は、本発明の第６の実施形態の画像生成装置の動作の例を表すフローチャートである。図１９は、本発明の第７の実施形態の画像生成システムの構成の例を表すブロック図である。図２０は、本発明の第７の実施形態の画像生成装置の構成の例を表すブロック図である。図２１は、本発明の第７の実施形態の画像生成装置の動作の例を表すフローチャートである。図２２は、本発明の第８の実施形態の画像生成システムの構成の例を表すブロック図である。図２３Ａは、本発明の第８の実施形態の画像生成装置の構成の例を表すブロック図である。図２３Ｂは、本発明の第８及び第９の実施形態の第２フィルタ処理部の構成の例を表すブロック図である。図２４は、本発明の第８の実施形態の画像生成装置の動作の例を表すフローチャートである。図２５は、本発明の第９の実施形態の画像生成システムの構成の例を表すブロック図である。図２６は、本発明の第９の実施形態の画像生成装置の構成の例を表すブロック図である。図２７は、本発明の第９の実施形態の画像生成装置の動作の例を表すフローチャートである。図２８は、本発明の第１０の実施形態の画像生成システムの構成の例を表すブロック図である。図２９Ａは、本発明の第１０の実施形態の画像生成装置の構成の例を表すブロック図である。図２９Ｂは、本発明の第１０及び第１１の実施形態の第２フィルタ処理部の構成の例を表すブロック図である。図３０は、本発明の第１０の実施形態の画像生成装置の動作の例を表すフローチャートである。図３１は、本発明の第１１の実施形態の画像生成システムの構成の例を表すブロック図である。図３２は、本発明の第１１の実施形態の画像生成装置の構成の例を表すブロック図である。図３３は、本発明の第１１の実施形態の画像生成装置の動作の例を表すフローチャートである。図３４は、本発明の第１２の実施形態の画像生成システムの構成の例を表すブロック図である。図３５Ａは、本発明の第１２の実施形態の画像生成装置の構成の例を表すブロック図である。図３５Ｂは、本発明の第１２及び第１３の実施形態の第２フィルタ処理部の構成の例を表すブロック図である。図３６は、本発明の第１２の実施形態の画像生成装置の動作の例を表すフローチャートである。図３７は、本発明の第１３の実施形態の画像生成システムの構成の例を表すブロック図である。図３８は、本発明の第１３の実施形態の画像生成装置の構成の例を表すブロック図である。図３９Ａは、本発明の第１３の実施形態の画像生成装置の動作の例を表すフローチャートである。図３９Ｂは、本発明の第１３の実施形態の画像生成装置の動作の例を表すフローチャートである。図４０は、本発明の第１４の実施形態の画像生成装置の構成の例を表すブロック図である。図４１は、本発明の第１４の実施形態の画像生成装置の動作の例を表すフローチャートである。図４２は、本発明の実施形態に係る画像生成装置の各々を実現できるコンピュータのハードウェア構成の例を表すブロック図である。図４３は、第１の画像の例である。図４４は、第２の画像の例である。図４５は、第３の画像の例である。

次に、本発明の実施の形態について、図面を参照して詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像生成システム１の構成の一例を示すブロック図である。図１に示す通り、画像生成システム１は、第１の画像取得装置２０００と、第２の画像取得装置３０００と、画像生成装置１００と、表示装置４０００と、を含む。画像生成装置１００は、第１の画像取得装置２０００、第２の画像取得装置３０００、及び、表示装置４０００と、通信可能に接続されている。

装置間の接続は、例えばＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）ケーブルやＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）ケーブル等のケーブルを用いた有線接続であってもよい。装置間の接続は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ等を用いた無線接続であってもよい。装置間の接続は、以上の例に限定されない。

第１の画像取得装置２０００及び第２の画像取得装置３０００は、所定の波長帯の光の強度の２次元分布を画像情報として取得する装置である。第１の画像取得装置２０００及び第２の画像取得装置３０００は、例えば、一般的なデジタルカメラ、ウェブカメラ、赤外線カメラ等の撮像装置によって実現される。撮像装置は、例えば、撮像素子を用いたカメラ等である。撮像素子は、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、またはマイクロボロメータ等である。撮像素子から出力される画像データが示す画像のサイズは、例えば、１９２０×１０８０ピクセルであってもよい。なお、画像のサイズは、例えば、画像の縦方向のピクセル数及び横方向のピクセル数によって表される。第１の画像取得装置２０００及び第２の画像取得装置３０００は、以上の例に限定されない。第１の画像取得装置２０００と第２の画像取得装置３０００は、それぞれ、取得した画像情報を示す画像データを、画像生成装置１００に出力する。以下では、第１の画像取得装置２０００が出力する画像データを、第１の画像と表記する。第２の画像取得装置３０００が出力する画像データを、第２の画像と表記する。第１の画像取得装置２０００及び第２の画像取得装置３０００の画角は、同一であってもよく、異なっていてもよい。第１の画像の画素数と、第２の画像の画素数は、同一であってもよく、異なっていてもよい。第１の画像取得装置２０００及び第２の画像取得装置３０００は、撮像された範囲の少なくとも一部が共通であるように設置される。しかし、第１の画像取得装置２０００及び第２の画像取得装置３０００の間の距離が大きくなるのに従って、視差が拡大し、画像の位置合わせが容易ではなくなる。第１の画像取得装置２０００と第２の画像取得装置３０００は、視差が無視できる程度に近い距離に設置されていればよい。第１の画像取得装置２０００及び第２の画像取得装置３０００は、例えば、光軸が平行であり、かつ、光軸の間の距離が３０ｃｍ程度となるように設置されていてもよい。また、第１の画像取得装置２０００及び第２の画像取得装置３０００は、ハーフミラーやダイクロイックミラーを使用して、第１の画像取得装置２０００及び第２の画像取得装置３０００の光軸が一致するよう配置されていてもよい。このような配置によって、第１の画像と第２の画像との間の視差を無くすことができる。

第１の画像と第２の画像の双方において撮像されている範囲を、共通範囲と表記する。撮像された画像において、共通範囲が撮像された領域を、共通領域と表記する。第１の画像に、共通領域ではない領域が含まれている場合、例えば、後述の、画像生成装置１００の取得部１０５が、第１の画像から共通領域を抽出し、抽出した共通領域を新たな第１の画像にしてもよい。第２の画像に、共通領域ではない領域が含まれている場合、例えば、同様に後述の取得部１０５が、第２の画像から共通領域を抽出し、抽出した共通領域を新たな第２の画像にしてもよい。第１の画像及び第２の画像における共通領域の位置は、第１の画像取得装置２０００及び第２の画像取得装置３０００のカメラパラメータ及び相対位置に基づいて、予め計算されていてもよい。カメラパラメータ及び相対位置は、予め、測定などによって得られていればよい。取得部１０５が、第１の画像と第２の画像との間の共通領域を抽出してもよい。共通領域を抽出する方法として、既存の様々な方法が適用できる。

第１の画像のサイズと第２の画像のサイズとが一致しない場合、後述の取得部１０５が、第１の画像及び第２の画像の少なくとも一方に、例えば、第１の画像のサイズ及び第２の画像のサイズが一致するように補間又は間引きを行ってもよい。

以下の説明では、第１の画像取得装置２０００の撮像範囲は、第２の画像取得装置３０００の撮像範囲と同じである。第１の画像のサイズは、第２の画像のサイズと同じである。

第１の画像取得装置２０００及び第２の画像取得装置３０００が感度を有する波長帯は、特に限定されない。第１の画像取得装置２０００及び第２の画像取得装置３０００は、異なる波長帯に感度を有していてもよい。その場合、共通範囲の異なる特性を取得することができる。以下で説明する例では、第１の画像取得装置２０００は、可視〜短波赤外（波長約３６０ｎｍ〜１７００ｎｍ）に感度を持つカメラである。第２の画像取得装置３０００は、遠赤外（波長約７．５μｍ〜１３μｍ）に感度を持つカメラである。

画像生成装置１００は、第１の画像取得装置２０００から第１の画像を受信する。画像生成装置１００は、第２の画像取得装置３０００から、第２の画像を受信する。画像生成装置１００は、受信した第１の画像と第２の画像とを用いて、第１の画像から抽出された成分と第２の画像から抽出された成分とを含む、合成画像を生成する。画像生成装置１００は、合成画像を、表示装置４０００に出力する。画像生成装置１００の具体的な機能構成については、他の図面を参照して説明を行う。画像生成装置１００は、生成した合成画像を記憶してもよい。画像生成装置１００は、例えば画像生成装置１００を操作するユーザの指示に従って、記憶している合成画像を読み出し、読み出した合成画像を表示装置４０００に出力してもよい。

表示装置４０００は、画像生成装置１００から合成画像を受け取り、受け取った合成画像を表示する。

（画像生成装置１００の構成）
以下の説明では、第１の画像の画素値及び第２の画像の画素値は、１次元のデータである。すなわち、第１の画像及び第２の画像では、１つの画素の画素値は、１個のスカラーによって表される。画素値は多次元のデータであってもよい。すなわち、１つの画素の画素値が、複数のスカラーによって表されていてもよい。例えば、第１の画像及び第２の画像はカラー画像であり、第１の画像及び第２の画像の画素値は、Ｒ、Ｇ、Ｂのそれぞれのチャネルの輝度値を持つ３次元のデータによって表されていてもよい。このように画素値が多次元によって表されている場合、後述の処理は、次元毎に適用されればよい。例えば、画素値がＲ、Ｇ、Ｂのそれぞれのチャネルの輝度値を持つ３次元のデータによって表されている場合、画素値がＲのチャネルの輝度値を持つ１次元のデータである画像に対して、後述の処理が適用されればよい。画素値が１次元のデータである画像に対して処理が適用された結果、１つの合成画像が得られる。同様に、画素値がＧのチャネルの輝度値を持つ１次元のデータである画像に対して、後述の処理が適用されればよい。さらに、画素値がＢのチャネルの輝度値を持つ１次元のデータである画像に対して、後述の処理が適用されればよい。３回の処理によって、画素値が１次元のデータである３つの合成画像が得られる。さらに、最終的な合成画像は、得られた３つの合成画像の、位置が同一である画素の３つの１次元の画素値を、その位置における画素の３次元の画素値として持つカラー画像であればよい。なお、画素値とは、画像内に含まれる画素の輝度値、色相、彩度などの画素の性質を表す値のことである。

次に、本実施形態の画像生成装置１００について、図面を参照して詳細に説明する。

図２は、本実施形態の画像生成装置１００の構成の例を表すブロック図である。図２に示す通り、画像生成装置１００は、第１フィルタ処理部１０１と、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６とを含む。

取得部１０５は、第１の画像取得装置２０００から第１の画像を取得し、第２の画像取得装置３０００から第２の画像を取得する。取得部１０５は、取得した第１の画像と第２の画像とを、第１フィルタ処理部１０１に送る。取得部１０５は、第１の画像を、さらに、減算部１０２に送る。

第１フィルタ処理部１０１は、取得部１０５から、第１の画像と第２の画像とを受け取る。以下、第１の画像は、「第１の画像Ｓ１」と表記される。第１の画像は、単に「Ｓ１」とも表記される。第２の画像は、「第２の画像Ｓ２」と表記される。第２の画像は、単に「Ｓ２」とも表記される。第１フィルタ処理部１０１は、第１の画像Ｓ１と第２の画像Ｓ２とに画像変換を適用し、その結果として中間画像を生成する。画像変換については後で詳細に説明する。中間画像は、「中間画像Ｓ１’」と表記される。中間画像は、単に「Ｓ１’」とも表記される。また、中間画像は、合成画像と表記されることがある。第１フィルタ処理部１０１は、生成した中間画像Ｓ１’を、減算部１０２と、第１加算部１０４とに出力する。

第１フィルタ処理部１０１が第１の画像と第２の画像とに適用する画像変換は、第１の画像と第２の画像とを、第１の画像の成分及び第２の画像の成分を含む中間画像に変換する処理である。第１フィルタ処理部１０１は、例えば、第１の画像の中間画像への寄与に対する第２の画像の中間画像への寄与の比が、第１の周波数帯と、第１の周波数帯とは異なる第２の周波数帯とで異なるように、中間画像を生成してもよい。第１フィルタ処理部１０１は、例えば、第１の画像の中間画像への寄与に対する第２の画像の中間画像への寄与の比が、第１の周波数帯よりも高い第２の周波数帯において、第１の周波数帯における比よりも大きくなるよう、中間画像を生成してもよい。言い換えると、第１フィルタ処理部１０１は、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む中間画像を生成する。第１周波数成分は、第１の周波数帯における成分である。第２周波数成分は、第２の周波数帯における成分である。更に具体的には、中間画像は、第１の画像の、所定の周波数より低い周波数の成分と、第２の画像の、所定の周波数以上の周波数の成分とが合成された画像であってもよい。中間画像は、第２の画像のエッジと同じ位置にある第１の画像のエッジを保存しながら行われる、第１の画像の平滑化又は高周波成分の低減であってもよい。

以下では、上述の画像変換について、更に詳しく説明する。

画像変換は、例えば、Ｓ２をガイド画像とするＧｕｉｄｅｄＦｉｌｔｅｒを、Ｓ１に対して適用することであってもよい。第１フィルタ処理部１０１は、Ｓ２をガイド画像とするＧｕｉｄｅｄＦｉｌｔｅｒを、Ｓ１に対して適用することによって得られる画像を、中間画像Ｓ１’として生成してもよい。Ｓ２をガイド画像とするＧｕｉｄｅｄＦｉｌｔｅｒをＳ１に適用することによって、ガイド画像であるＳ２に存在するエッジなどをＳ１において保存したまま、Ｓ１の平滑化がなされる。次式は、ＧｕｉｄｅｄＦｉｌｔｅｒの計算式を示す。

数１において、スカラーi及びkは、それぞれ、位置を表す。スカラーq_iは、Ｓ１’の、位置iにおける画素値である。スカラーp_iは、Ｓ１の、位置iにおける画素値である。スカラーI_iは、Ｓ２の、位置iにおける画素値である。画素の集合ω_kは、画像中の位置kの画素を中心とした１辺が（２ｒ＋１）画素の矩形領域を表す。スカラーN_ωは、１辺が（２ｒ＋１）画素の矩形領域に含まれる画素の総数であり、N_ω＝(２ｒ＋１)^２が成り立つ。また、μ_k及びσ_ｋ ^２は、それぞれ、Ｓ２の矩形領域ω_kに含まれる画素の画素値の平均値及び分散値である。スカラーεは、予め定められた正規化パラメータである。次式によって表される値が、Ｓ１の矩形領域ω_kに含まれる画素の画素値の平均値である。

画像変換は、Ｓ２を参照画像とするＪｏｉｎｔＢｉｌａｔｅｒａｌＦｉｌｔｅｒを、Ｓ１に適用することであってもよい。第１フィルタ処理部１０１は、Ｓ２を参照画像とするＪｏｉｎｔＢｉｌａｔｅｒａｌＦｉｌｔｅｒを、Ｓ１に適用することによって算出される画像を、Ｓ１’として得てもよい。Ｓ２を参照画像とするＪｏｉｎｔＢｉｌａｔｅｒａｌＦｉｌｔｅｒを、Ｓ１に適用することによって、Ｓ２に存在するエッジなどをＳ１において保存したまま、Ｓ１のノイズ除去等を行うことができる。ＪｏｉｎｔＢｉｌａｔｅｒａｌＦｉｌｔｅｒの計算式を次式に示す。

ここで、関数G(σ_s, x) は、分散σ_s ² 、平均0である正規分布関数である。関数 G (σ_r, x) は、分散σ_r ²、平均0である正規分布関数である。||i-j||は画像における位置iと位置jの距離である。|I_i-I_j |は、Ｓ２の、位置iにおける画素値と、Ｓ２の、位置jにおける画素値との差の絶対値である。

画像変換は、ラプラシアンピラミッドを用いて複数の周波数成分に分解した、第１の画像および第２の画像を、周波数成分ごとに設定された比率で合成することであってもよい。画像の周波数成分は、画像の、複数の空間周波数帯の１つにおける成分である。ラプラシアンピラミッドは、画像を異なる複数の周波数成分に分解する方法である。

第１フィルタ処理部１０１は、例えば、画像を異なる２つの周波数成分に分解するラプラシアンピラミッドを第１の画像に適用することによって、第１の画像の高周波成分と、低周波成分を得てもよい。高周波成分は、２つの周波数帯のうち、周波数が高い方の周波数帯における成分である。低周波成分は、２つの周波数帯のうち、周波数が低い方の周波数帯における成分である。この場合、第１フィルタ処理部１０１は、同じラプラシアンピラミッドを、同様に、第２の画像に適用することによって、第２の画像の高周波成分と、低周波成分を得ればよい。次に、第１フィルタ処理部１０１は、第１の画像の低周波成分と、第２の画像の高周波成分とを使用して、ラプラシアンピラミッドの逆手順により画像を再構成してもよい。第１フィルタ処理部１０１は、第１の画像の低周波成分と、第２の画像の高周波成分とを使用した再構成によって得られた画像を、Ｓ１’とする。

以上の説明では、第１フィルタ処理部１０１が、高周波と低周波の２つの周波数成分に分解する例を示したが、分解する周波数成分の個数は特に限定されない。また、上述の例では、同一の周波数帯において中間画像の成分に含まれる第１の画像の成分の比率および第２の画像の成分の比率は、１または０である。しかし、同一の周波数帯において中間画像の成分に含まれる第１の画像の成分の比率および第２の画像の成分の比率は、和が１であるように設定された実数であってもよい。言い換えると、第１フィルタ処理部１０１は、周波数帯ごとに和が１になるよう設定された比率を、第１の画像の各周波数成分および第１の画像の各周波数成分に重みとして掛け、重みがかけられた各周波数成分を合成した画像を、Ｓ１’として生成してもよい。比率は、周波数が高いほど第２の画像の比率が大きく、周波数が低いほど第１の画像の比率が大きくなるよう設定されていてもよい。その場合、Ｓ１’は、低い周波数帯では第２の画像Ｓ２の低周波成分よりも第１の画像Ｓ１の低周波成分を多く含み、高い周波数帯では第１の画像Ｓ１の低周波成分よりも第２の画像Ｓ２の低周波成分を多く含む。

このように、第１フィルタ処理部１０１が生成する中間画像には、第１の画像の低周波成分（例えば、グレースケール画像の輝度、又は、カラー画像の色など）の特性を保持しつつ、第２の画像の高周波成分（例えば、エッジやテクスチャの成分）が反映されている。言い換えると、第１フィルタ処理部１０１は、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む中間画像を生成する。なお、以下の説明では、「テクスチャ」はテクスチャの高周波成分を表し、テクスチャの低周波成分は、輝度又は色などの分布に含まれる。

減算部１０２は、第１の画像Ｓ１を取得部１０５から受け取り、中間画像Ｓ１’を第１フィルタ処理部１０１から受け取る。減算部１０２は、受け取った、第１の画像Ｓ１と画像Ｓ１’との差分をとり、第１の画像Ｓ１と画像Ｓ１’との差分を表す差分画像Ｄを生成する。減算部１０２は、例えば、差分画像Ｄの、位置iにおける画素の画素値が、第１の画像Ｓ１の、位置iにおける画素の画素値から、中間画像Ｓ１’の、位置iにおける画素の画素値を引いた値であるように、差分画像Ｄを生成すればよい。減算部１０２は、生成した差分画像Ｄをノイズ抑制部１０３に出力する。

ノイズ抑制部１０３は、減算部１０２から差分画像Ｄを受け取る。ノイズ抑制部１０３は、受け取った差分画像Ｄに対してノイズ抑制処理を適用し、ノイズ抑制処理が適用された差分画像Ｄである画像Ｄ’を生成する。ノイズ抑制部１０３は、生成した画像Ｄ’を第１加算部１０４に出力する。ノイズ抑制部１０３によるノイズ抑制処理の例として、シュリンケージがある。ノイズ抑制部１０３は、差分画像Ｄの画素（以下、対象画素と表記）の画素値にシュリンケージを適用し、得られた値を、画像Ｄ’の、対象画素と同じ位置の画素の画素値にする。ノイズ抑制部１０３は、差分画素Ｄのすべての画素に対して、同様の処理を行えばよい。以下では、ノイズ抑制処理の適用前の、差分画像Ｄの画素の画素値をｗとし、ノイズ抑制処理としてのシュリンケージの適用によって得られたその画素の画素値をｗ’とする。次に示す数４は、シュリンケージの具体例を表す式である。数５も、シュリンケージの具体例を表す式である。

ここで、αは減衰係数であり、λは減衰幅であり、関数sign(w)はwの正負符号を出力する関数であり、|w|はwの絶対値であり、関数max(a、b)はaおよびbの最大値を出力する関数である。他にも多種のシュリンケージが存在する。ノイズ抑制部１０３によるノイズ抑制処理に適用可能なシュリンケージは、上述の例に限られない。

ノイズ抑制処理は、例えば、ラプラシアンピラミッドを利用した処理であってもよい。ノイズ抑制部１０３は、まず、ラプラシアンピラミッドを差分画像Ｄに適用することによって、差分画像Ｄを周波数分解する。すなわち、ノイズ抑制部１０３は、差分画像Ｄを、複数の周波数成分に分解する。以下の説明では、周波数成分の数をＮとする。差分画像Ｄのn番目の周波数成分を表す画像を、画像L_n{D}と表記する。また、ガウシアンフィルタが掛けられた画像を、ガウシアン画像と表記する。差分画像Ｄに再帰的にガウシアンフィルタをn回かけて生成したガウシアン画像を、ガウシアン画像g_n {D}と表記する。差分画像の複数の周波数成分は、階層数Ｎのガウシアン画像g_n {D}(0≦n＜N)の、隣接階層間の差分として、数６のように定義される。ここで、画像g₀ {D}は差分画像Ｄそのものある。ガウシアン画像g_n+1 {D}は、ガウシアン画像g_n {D}にガウシアンフィルタをかけた画像である。数６では、L_n{D}、g_n{D}は、それぞれ、例えば、各要素が画素値である行列を表すとみなすことができる。この場合、L_n{D}、g_n{D}のそれぞれの（ｉ，ｊ）要素は、位置が（ｉ，ｊ）によって示される画素の画素値である。数６の最初の式は、行列の引き算を表す。上述のように画像g₀{D}は、画像Dそのものであるので、数６においてg₀{D}（すなわち、nが0である場合のg_n{D}）の各要素は、差分画像Dの画素値である。Expandは、例えば補間等によって画像の解像度を向上させる処理（すなわち、画像の縦方向及び横方向の画素数を増加させる処理）である、アップサンプリング処理を表す。数６のExpandは、画像g_n+1{D}の画素数が、画像g_n{D}の画素数と同じサイズになるように、g_n+1{D}の画素数を増加させる。

ノイズ抑制部１０３は、例えば数６に従って、差分画像Ｄが分解されたN個の周波数成分を表す画像L_n {D} (1≦n＜N) を生成する処理を行う。この処理によって生成される画像L_n{D}が表す成分の空間周波数は、nが大きいほど低い。すなわち、画像 L₀ {D}は、差分画像Ｄの最も空間周波数の高い成分を表し、L₁ 、L₂ 、…、 L_N-1の順に、これらの画像が表す成分の空間周波数は低くなる。

次に、ノイズ抑制部１０３は、例えば、最も高い周波数成分の比率が最も小さくなるよう、各周波数成分に対してあらかじめ設定された比率を用いて、L_n {D}のノイズを低減させてもよい。数７は、比率の例を表す。例えば、比率α_nは、番号がnである周波数成分の比率である。

ノイズ抑制部１０３は、画像Ｄ’の周波数成分を表す画像L_n{D'}を、例えば、画像L_n{D}の各画素の画素値に比率α_nをかけることを表す式L_n {D'}=α_nL_n {D} に従って生成する。数７に示す例のように、最も空間周波数の高い成分の比率が０である場合、最も空間周波数の高い成分に含まれる高周波ノイズは除去される。以上により、ノイズ抑制部１０３は、高周波ノイズが除去されたラプラシアンピラミッドLn {D'}を生成できる。比率α_nの値は、数７の例に限られない。例えば、周波数成分のノイズの量が多いほど、その周波数成分の比率は小さくてもよい。

ノイズ抑制部１０３は、比率を使用する代わりに、例えば、ノイズの量の多いほど画素値の減衰率が高くなるように周波数成分ごとに定義されたシュリンケージ処理を、画像L_n{D}に対して行うことによって得られる画像を、画像L_n{D'}としてもよい。最も空間周波数が高い成分のシュリンケージ処理が、画素値の減衰率が最も高くなるように定義されていれば、高周波ノイズを除去することができる。番号nの周波数成分のシュリンケージ処理を表す関数をShrink_n (x)とすると、上述のシュリンケージ処理は、式L_n {D'}=Shrink_n (L_n {D})と表される。シュリンケージ処理として、既存の様々なシュリンケージ処理を適用できる。ノイズ抑制部１０３は、以上のように、周波数成分毎のノイズ量に合わせたシュリンケージによりノイズ抑制してもよい。

次に、ノイズ抑制部１０３は、ラプラシアンピラミッドL_n {D'}を統合し、統合されたラプラシアンピラミッドL_n {D'}を表す画像を、画像Ｄ’として生成する。ラプラシアンピラミッドの統合は、例えば次式によって表される。

ただし、g_N-1 {D' }=g_N-1 {D}とする。

以上の説明では、ラプラシアンピラミッドが用いられたが、ノイズ抑制部１０３は、ラプラシアンピラミッドの代わりにウェーブレット変換を用いて同様の処理を行うことができる。

ノイズ抑制部１０３は、ノイズが抑制された差分画像である画像Ｄ’を、第１加算部１０４に送出する。

第１加算部１０４は、ノイズ抑制部１０３から、ノイズが抑制された差分画像である画像Ｄ’を受け取り、第１フィルタ処理部１０１から、第２の画像のエッジやテクスチャなどの高周波成分を保存しながら平滑化が行われた第１の画像である、画像Ｓ１’を受け取る。第１加算部１０４は、受け取った、ノイズが抑制された画像Ｄ’と中間画像Ｓ１’とを加算して、差分画像Ｄ’と中間画像Ｓ１’とが加算された画像である合成画像Ｓ３＝Ｓ１’＋Ｄ’を生成する。言い換えると合成画像Ｓ３の画素の画素値は、その画素と同じ位置における、差分画像Ｄ’の画素の画素値と中間画像Ｓ１’の画素の画素値との和である。第１加算部１０４は、生成した合成画像Ｓ３を、出力部１０６に送出する。

出力部１０６は、第１加算部１０４から合成画像Ｓ３を受け取り、受け取った合成画像Ｓ３を表示装置４０００に出力する。

次に、本実施形態の画像生成装置１００の動作について、図面を参照して詳細に説明する。

図３は、本実施形態の画像生成装置１００の動作の例を表すフローチャートである。

まず、取得部１０５が、第１の画像と第２の画像とを受け取る（ステップＳ１０１）。取得部１０５は、受け取った第１の画像と第２の画像とを、第１フィルタ処理部１０１に送出する。取得部１０５は、さらに、第１の画像を減算部１０２に送出する。

第１フィルタ処理部１０１は、第１の画像と第２の画像とを受け取る。第１フィルタ処理部１０１は、受け取った第１の画像と第２の画像とから、第１の画像に基づく第１周波数成分と、第２の画像に基づく第２周波数成分とを含む中間画像を生成する（ステップＳ１０２）。第１周波数成分は、第１の周波数帯における成分である。第２周波数成分は、第１の周波数帯よりも高い周波数を持つ、第２の周波数帯における成分である。第１フィルタ処理部１０１は、生成した中間画像を、減算部１０２と、第１加算部１０４とに送出する。

減算部１０２は、取得部１０５から第１の画像を受け取り、第１フィルタ処理部１０１から中間画像を受け取る。減算部１０２は、受け取った第１の画像と中間画像との差分画像を生成する（ステップＳ１０３）。差分画像は、第１の画像から中間画像を生成した際に中間画像において失われた、第１の画像の成分に相当する。減算部１０２は、例えば、第１の画像から中間画像が引かれた、差分画像を生成すればよい。すなわち、減算部１０２は、画素の画素値が、その画素と同じ位置において、第１の画像の画素の画素値から差分画像の画素の画素値を引いた値である、差分画像を生成すればよい。減算部１０２は、生成した差分画像を、ノイズ抑制部１０３に送出する。

ノイズ抑制部１０３は、減算部１０２から差分画像を受け取り、受け取った差分画像に対してノイズを抑制する処理を行う（ステップＳ１０４）。ノイズ抑制部１０３は、ノイズを抑制する処理が行われた差分画像（以下、ノイズ抑制差分画像とも表記）を、第１加算部１０４に送出する。

第１加算部１０４は、第１フィルタ処理部１０１から中間画像を受け取る。第１加算部１０４は、第１フィルタ処理部１０１から受け取った中間画像と、ノイズ抑制部１０３から受け取ったノイズ抑制差分画像とを足すことによって、中間画像とノイズ抑制差分画像との合成画像を生成する（ステップＳ１０５）。第１加算部１０４は、生成した合成画像を、出力部１０６に送出する。

出力部１０６は、第１加算部１０４から合成画像を受け取り、受け取った合成画像を、表示装置４０００に出力する（ステップＳ１０６）。表示装置４０００は、合成画像を受け取り、受け取った合成画像を表示する。

減算部１０２によって生成される差分画像Ｄは、中間画像において失われた第１の画像のテクスチャ成分を表す。ノイズ抑制部１０３によって生成される差分画像Ｄ’は、差分画像Ｄに対してノイズの低減を行う処理（すなわち、ノイズの抑制を行う処理）を適用することによって生成された画像である。上述のように、第１フィルタ処理部１０１によって生成される中間画像Ｓ１’は、第２の画像に基づく高周波成分（第２周波数成分）と、第１の画像に基づく低周波数成分（第１周波数成分）を含む画像である。言い換えると、第２の画像に存在するエッジ等は中間画像Ｓ１’において保存される。しかし、第１の画像に存在するエッジ等は、第２の画像のそのエッジ等と同じ位置にエッジ等が存在しない場合、中間画像Ｓ１’では失われる。

例えば、第１の画像Ｓ１が可視から短波赤外の光の画像である場合、例えば暗所などの過酷環境下では、第１の画像Ｓ１には、高周波成分として、エッジ及びテクスチャに加えて、高感度ノイズが含まれる。そのため、撮像の対象の輪郭やテクスチャは視認しにくい。しかし、第１の画像Ｓ１の画素値の分布（例えば、背景や対象の明るさや色）は、肉眼で知覚されるシーンに近い。第１の画像Ｓ１の低周波成分は、視認性の向上に寄与するが、第１の画像Ｓ１の高周波成分は、ノイズが含まれているままでは視認性の向上に寄与しない。第２の画像Ｓ２が遠赤外の画像である場合、第２の画像に含まれるノイズは少ない。そのため、例えば背景と温度の異なる対象の輪郭等は視認しやすい。しかし、第２の画像Ｓ２の画素値の分布は肉眼によって知覚されるシーンと異なるので、第２の画像Ｓ２の視認性は高いとは言えない。第２の画像Ｓ２の高周波成分は、視認性の向上に寄与するが、第２の画像Ｓ２の低周波成分は、視認性の向上に寄与しない。

中間画像Ｓ１’では、第１の画像Ｓ１のノイズ、エッジ、テクスチャ等の高周波成分と第２の画像の低周波成分は低減されているが、第１の画像Ｓ１の低周波成分と、第２の画像Ｓ２の高周波成分は保存されている。差分画像Ｄは、第１の画像Ｓ１に含まれ中間画像Ｓ１’に含まれない、第１の画像Ｓ１のノイズ、エッジ、及び、テクスチャ等の高周波成分を含む。差分画像Ｄ’では、差分画像Ｄに含まれていたノイズが低減される。第１加算部１０４によって生成される合成画像Ｓ３は、中間画像Ｓ１’と差分画像Ｄ’との合成画像、すなわち、中間画像Ｓ１’の画素の画素値に、差分画像Ｄ’の同じ位置の画素の画素値を加えることによって生成された画像である。上述のように、中間画像Ｓ１’は、第２の画像に存在するエッジ等の高周波成分を含み、受信した第１の画像Ｓ１に含まれていたノイズ及びテクスチャ等の高周波成分が低減された第１の画像である。差分画像は、中間画像Ｓ１’には含まれない第１の画像Ｓ１の高周波成分のうち、ノイズが低減された画像である。そのため、合成画像は、第１の画像ではノイズのために必ずしも判然としないが第２の画像には存在するエッジ等の高周波成分と、第１の画像の低周波成分に加えて、第１の画像のノイズが低減されたテクスチャを含む。よって、合成画像の視認性は、第１の画像の視認性と比較して、向上している。

このように、本実施形態によると、中間画像において失われている第１の画像のテクスチャ成分が、ノイズを低減する処理がなされてから中間画像に加算されることによって、視認性の高い合成画像が得られる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について、図面を参照して詳細に説明する。

図４は、本実施形態の画像生成システム２の構成の例を表すブロック図である。本実施形態の画像生成システム２は、図１に示す第１の実施形態の画像生成システム１と比較すると、画像生成装置１００の代わりに、画像生成装置２００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。

図５は、本実施形態の画像生成装置２００の構成の例を表すブロック図である。画像生成装置２００は、第１フィルタ処理部１０１と、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、テクスチャ抽出部２０１と、第２加算部２０２とを含む。

本実施形態の取得部１０５は、第１の実施形態の取得部１０５と同じ動作を行う。本実施形態の取得部１０５は、更に、受けとった第２の画像を、テクスチャ抽出部２０１に送出する。

本実施形態の第１加算部１０４は、生成した合成画像を、第２加算部２０２に送出する。本実施形態の第１加算部１０４の他の動作は、第１の実施形態の第１加算部１０４の動作と同じである。

テクスチャ抽出部２０１は、取得部１０５から第２の画像を受け取る。テクスチャ抽出部２０１が、第２の画像のテクスチャを表すテクスチャ画像を生成する。言い換えると、テクスチャ抽出部２０１が、第２の画像から、第２の画像のテクスチャを、テクスチャ画像として抽出する。テクスチャ抽出部２０１は、例えば、受け取った第２の画像に空間高周波通過フィルタを適用することによって、第２の画像から、第２の画像のテクスチャを表すテクスチャ画像を抽出すればよい。テクスチャ抽出部２０１は、後述される構造／テクスチャ分解部４０２と同じ方法で、第２の画像をテクスチャ成分と構造成分とに分解し、得られたテクスチャ成分を表す画像を、テクスチャ画像として生成してもよい。なお、以下では、画像のテクスチャ（以下、テクスチャ成分とも表記）を表すテータは、画像（すなわち、テクスチャ画像）であるとして説明する。しかし、画像のテクスチャ成分を表すデータは、必ずしも画像の形式のデータでなくてもよい。画像のテクスチャ成分を表すデータは、その画像の各画素の画素値の、テクスチャに由来する成分の値を特定できるデータであればよい。テクスチャ抽出部２０１は、抽出したテクスチャ画像を、第２加算部２０２へ送出する。

第２加算部２０２は、第１加算部１０４から合成画像を受け取り、テクスチャ抽出部２０１からテクスチャ画像を受け取る。第２加算部２０２は、受け取った合成画像にテクスチャ画像を加算することによって、合成画像を更新する。第２加算部２０２は、合成画像にテクスチャ画像を加算することによって、新たな合成画像を生成するとみなすこともできる。第２加算部２０２は、更新された合成画像を、出力部１０６に送出する。

本実施形態の出力部１０６は、第２加算部２０２から、更新された合成画像を受け取る。出力部１０６は、受け取った合成画像を表示装置４０００に出力する。

次に、本実施形態の画像生成装置２００の動作について、図面を参照して詳細に説明する。

図６は、本実施形態の画像生成装置２００の動作の例を表すフローチャートである。図６に示すステップＳ１０１からステップＳ１０５までの動作及びステップＳ１０６の動作は、以下の相違を除いて、図３に示す第１の実施形態の画像生成装置２００の同じ符号が付与されているステップの動作と同じである。

ステップＳ１０１において、取得部１０５は、受け取った第２の画像を、テクスチャ抽出部２０１にも送出する。ステップＳ１０５において、第１加算部１０４は、生成した合成画像を、第２加算部２０２に送出する。図６の例では、画像生成装置２００は、ステップＳ１０５の次に、ステップＳ２０１を行う。

ステップＳ２０１において、テクスチャ抽出部２０１が、第２の画像のテクスチャ画像を生成する。言い換えると、テクスチャ抽出部２０１が、第２の画像から、第２の画像のテクスチャを、テクスチャ画像として抽出する。テクスチャ抽出部２０１は、抽出したテクスチャ画像を、第２加算部２０２に送出する。

次に、第２加算部２０２は、第１加算部１０４が生成した合成画像に、テクスチャ抽出部２０１が抽出したテクスチャ画像を加える（ステップＳ２０２）。第２加算部２０２は、テクスチャ画像が加えられた合成画像を、出力部１０６に送出する。
なお、ステップＳ２０１の動作の順番は、図６の例に限られない。画像生成装置２００は、ステップＳ２０１の動作を、ステップＳ１０１の後、ステップＳ２０２の前のどの時点で行ってもよい。画像生成装置２００は、ステップＳ２０１の動作を、ステップＳ１０２からステップＳ１０５までの少なくともいずれかと並列に行ってもよい。

本実施形態の第２加算部２０２は、第１の実施形態の合成画像に、更に、テクスチャ抽出部２０１によって抽出されたテクスチャ画像を加算する。従って、本実施形態には、さらに視認性の高い画像を得ることができるという効果がある。

＜第３の実施形態＞
次に、本発明の第３の実施形態について、図面を参照して詳細に説明する。

図７は、本実施形態の画像生成システム３の構成を表すブロック図である。本実施形態の画像生成システム３は、図１に示す第１の実施形態の画像生成システム１と比較すると、画像生成装置１００の代わりに、画像生成装置３００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。

図８は、本実施形態の画像生成装置３００の構成を表すブロック図である。画像生成装置３００は、第２フィルタ処理部３０１と、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６とを含む。減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５及び出力部１０６は、以下の相違を除いて、第１の実施形態の減算部１０２、ノイズ抑制部１０３、第１加算部１０４及び出力部１０６と同じである。取得部１０５は、第２の実施形態の取得部１０５と同様に動作する。

第２フィルタ処理部３０１は、第１フィルタ処理部１０１と、テクスチャ抽出部２０１と、第３加算部３０２とを含む。第１フィルタ処理部１０１は、以下の相違を除いて、第１の実施形態の第１フィルタ処理部１０１と同じである。テクスチャ抽出部２０１は、以下の相違を除いて、第２の実施形態のテクスチャ抽出部２０１と同じである。なお、画像生成装置３００は、第２フィルタ処理部３０１を含まず、第２フィルタ処理部３０１の代わりに、第１フィルタ処理部１０１、テクスチャ抽出部２０１及び第３加算部３０２を含んでいてもよい。

第１フィルタ処理部１０１は、生成した中間画像を、第３加算部３０２に送出する。

テクスチャ抽出部２０１は、抽出した、第２の画像のテクスチャを表すテクスチャ画像を、第３加算部３０２に送出する。

第３加算部３０２は、生成された中間画像を第１フィルタ処理部１０１から受け取り、抽出されたテクスチャ画像をテクスチャ抽出部２０１から受け取る。第３加算部３０２は、受け取った中間画像に、受け取ったテクスチャ画像を加算する。第３加算部３０２は、受け取った中間画像に、受け取ったテクスチャ画像を加算することによって、新たな中間画像を生成するとみなすこともできる。第３加算部３０２は、テクスチャ画像が加算された中間画像を、減算部１０２と第１加算部１０４とに送出する。

減算部１０２は、第３加算部３０２から、テクスチャ画像が加算された中間画像を受け取る。減算部１０２の他の動作は、第１の実施形態の減算部１０２の動作と同じである。

第１加算部１０４は、第３加算部３０２から、テクスチャ画像が加算された中間画像を受け取る。第１加算部１０４の他の動作は、第１の実施形態の第１加算部１０４の動作と同じである。

次に、本実施形態の画像生成装置３００の動作について図面を参照して詳細に説明する。

図９は、本実施形態の画像生成装置３００の動作の例を表すフローチャートである。図９に示す、ステップＳ１０１、ステップＳ１０２、及び、ステップＳ１０３からステップＳ１０６までの動作は、以下の相違を除いて、図３に示す第１の実施形態の同じ符号が付与されたステップの動作と同じである。

図９に示す例では、本実施形態の画像生成装置３００は、ステップＳ１０２の動作の後に、ステップＳ２０１の動作を行う。ステップＳ２０１の動作は、テクスチャ抽出部２０１が、生成したテクスチャ画像を、第３加算部３０２に送出する点を除いて、第２の実施形態のステップＳ２０１の動作と同じである。なお、画像生成装置３００は、ステップＳ２０１の動作を、ステップＳ１０２の動作の前に行ってもよい。画像生成装置３００は、ステップＳ２０１の動作を、ステップＳ１０２の動作と並列に行ってもよい。

次に、第３加算部３０２が、中間画像とテクスチャ画像とを受け取り、受け取った中間画像に、受け取ったテクスチャ画像を加える（ステップＳ３０２）。第３加算部３０２は、テクスチャ画像が加えられた中間画像を、減算部１０２と第１加算部１０４とに送出する。

ステップＳ３０２の動作の後、画像生成装置３００はステップＳ１０３からステップＳ１０６までの動作を行う。

本実施形態の第３加算部３０２は、中間画像に、第２の画像のテクスチャ画像を足す。そのため、第１加算部１０４によって生成される合成画像には、第２の実施形態の合成画像と同様に、第２の画像のテクスチャが含まれている。従って、本実施形態には、第２の実施形態と同様に、さらに視認性の高い画像を得ることができるという効果がある。

＜第４の実施形態＞
次に、本発明の第４の実施形態について、図面を参照して詳細に説明する。

図１０は、本実施形態の画像生成システム４の構成の例を表すブロック図である。図１０によると、本実施形態の画像生成システム４は、第１の実施形態の画像生成システム１と比較すると、画像生成装置１００の代わりに、画像生成装置４００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。

図１１Ａは、本実施形態の画像生成装置４００の構成の例を表すブロック図である。本実施形態の画像生成装置４００は、減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５、出力部１０６、及び、第２フィルタ処理部４０１を含む。減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５及び出力部１０６は、以下の相違を除いて、第１の実施形態の減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５及び出力部１０６と同じである。

図１１Ｂは、本実施形態の第２フィルタ処理部４０１の構成の例を表すブロック図である。第２フィルタ処理部４０１は、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、を含む。第１フィルタ処理部１０１は、以下の相違を除いて、第１の実施形態の第１フィルタ処理部１０１と同じである。なお、画像生成装置４００は、第２フィルタ処理部４０１を含まず、第２フィルタ処理部４０１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２とを含んでいてもよい。

取得部１０５は、第１の画像Ｓ１を、第１フィルタ処理部１０１と減算部１０２とに送出する。取得部１０５は、第２の画像Ｓ２を、構造／テクスチャ分解部４０２に送出する。

構造／テクスチャ分解部４０２は、取得部１０５から、第２の画像を受け取る。構造／テクスチャ分解部４０２は、受け取った第２の画像を、構造成分を表す構造画像Ｓ２’と、テクスチャ成分をあらわすテクスチャ画像Ｔ２とに分離する。構造成分は、例えば、滑らかな輝度値の変化及び輝度値のエッジ成分である。テクスチャ成分は、例えば、輝度値の微小振動成分である。構造／テクスチャ分解部４０２による、第２の画像を構造画像Ｓ２’とテクスチャ画像Ｔ２とに分離する方法については、後で詳細に説明する。上述のように、以上及び以下の説明では、画像のテクスチャ成分を表すデータは、画像（すなわちテクスチャ画像）である。しかし、画像のテクスチャ成分を表すデータは、画像の形式のデータではなくてよい。画像のテクスチャ成分を表すデータは、その画像の各画素の画素値の、テクスチャに由来する成分の値を特定できる形式のデータであればよい。同様に、以下の説明では、画像の構造成分を表すデータは、画像（すなわち、構造画像）である。しかし、画像の構造成分を表すデータは、画像の形式のデータでなくてよい。画像の構造成分を表すデータは、その画像の各画素の画素値の、構造に由来する（例えば、テクスチャに由来しない）成分の値を特定できる形式のデータであればよい。構造／テクスチャ分解部４０２は、構造画像Ｓ２’を、第１フィルタ処理部１０１に送出する。

第１フィルタ処理部１０１は、取得部１０５から第１の画像Ｓ１を受け取り、構造／テクスチャ分解部４０２から、第２の画像の構造画像Ｓ２’を受け取る。第１フィルタ処理部１０１は、受け取った第２の画像の構造画像Ｓ２’を、第１の実施形態における第２の画像として使用して、第１の実施形態の第１フィルタ処理部１０１と同様に、中間画像Ｓ１’を生成する。言い換えると、第１フィルタ処理部１０１は、第１の画像に基づく第１周波数成分と第２の画像の構造成分を表す構造画像に基づく第２周波数成分とを含む中間画像を生成する。

次に、構造／テクスチャ分解部４０２による、第２の画像を構造画像Ｓ２’とテクスチャ画像Ｔ２とに分離する方法について詳細に説明する。

画像の構造成分とテクスチャ成分を計算する方法の例として、ＴｏｔａｌＶａｒｉａｔｉｏｎ（ＴＶ）正則化法がある。ＴＶ正則化による構造成分とテクスチャ成分の分離は、次式を計算することによって行われる。

ここで、f及びuは、入力画像における位置xの関数であり、f(x)は入力画像の位置xにおける画素値であり、u(x)の最適解がSとして算出される。Jε(u)はエネルギー汎関数であり、∇u(x)は、u(x)の勾配を表す。入力画像は、例えば、第１の画像、または、第２の画像である。S、 Tは、それぞれ、入力画像の構造成分とテクスチャ成分である。λ、εは、所定の正則化パラメータである。数９では、f及びuが連続関数である場合の式を表すが、実際にはf及びuは離散値を持つ。構造／テクスチャ分解部４０２は、実際には、数９を離散化した式に基づいて、入力画像を構造成分とテクスチャ成分に分離すればよい。

なお、構造／テクスチャ分解部４０２は、構造成分及びテクスチャ成分の分離を、上述のＴＶ正則化法以外の方法、例えば、ハイパスフィルタ又はローパスフィルタを用いた方法によって計算してもよい。その場合、構造／テクスチャ分解部４０２は、入力画像に空間ハイパスフィルタを適用し、得られた結果をその入力画像のテクスチャ成分とし、入力画像からテクスチャ成分を引いた成分を構造成分としてもよい。構造／テクスチャ分解部４０２は、入力画像に空間ローパスフィルタを適用し、得られた結果をその入力画像の構造成分とし、入力画像から構造成分を引いた成分をテクスチャ成分としてもよい。ただし、本実施形態では、構造／テクスチャ分解部４０２は、第２の画像の構造成分を算出し、第２の画像の構造成分を表す構造画像Ｓ２’を生成すればよい。

次に、本実施形態の画像生成装置４００の動作について、図面を参照して詳細に説明する。

図１２は、本実施形態の画像生成装置４００の動作の例を表すフローチャートである。図１２に示す、ステップＳ１０１の動作と、ステップＳ１０３からステップＳ１０６までの動作は、以下の相違を除いて、図３に示す、第１の実施形態の同じ符号が付与されているステップの動作と同じである。

ステップＳ１０１において、取得部１０５は、受け取った第１の画像を第１フィルタ処理部１０１と減算部１０２とに送出する。取得部１０５は、受け取った第２の画像を、構造／テクスチャ分解部４０２に送出する。ステップＳ１０１の後、画像生成装置４００は、ステップＳ４０１及びステップＳ４０２の動作を行う。

ステップＳ４０１において、構造／テクスチャ分解部４０２は、受け取った第２の画像から構造成分を分離し、分離した構造成分を表す、第２の画像の構造画像を生成する。前述のように、第２の画像の構造画像は、第２の画像の画素値の、滑らかに変化する成分に加えて、エッジの成分も含む。構造／テクスチャ分解部４０２は、生成した、第２の画像の構造画像を第１フィルタ処理部１０１に送出する。

ステップＳ４０２において、第１フィルタ処理部１０１は、第１の画像に基づく第１周波数成分と、第２の画像に構造画像に基づく第２周波数成分とを含む中間画像を生成する。ステップＳ４０２における第１フィルタ処理部１０１の動作は、第２の画像そのものの代わりに第２の画像の構造画像を第２の画像として使用した、図３に示す第１の実施形態のステップＳ１０２の動作と同じである。第１フィルタ処理部１０１は、例えば、第２の画像の構造画像をガイド画像として使用するガイデッド・フィルタを第１の画像に適用することによって得られる画像を、中間画像として生成すればよい。

画像生成装置４００は、ステップＳ４０２の動作の後、ステップＳ１０３からステップＳ１０６までの動作を行う。ステップＳ１０３からステップＳ１０６の動作は、図３に示す、第１の実施形態のステップＳ１０３からステップＳ１０６の動作と同じである。

本実施形態には、視認性が更に向上した画像を生成できるという効果がある。その理由は、構造／テクスチャ分解部４０２が、第２の画像の構造画像を生成するからである。そのため、第１フィルタ処理部１０１が、第２の画像の構造画像をガイド画像として使用してガイデッド・フィルタを第１の画像に適用することができる。第２の画像の構造画像には、第２の画像のエッジ成分は含まれるが、第２の画像のテクスチャ成分は含まれない。第２の画像にテクスチャがある場合、第２の画像をそのままガイド画像として使用するガイデッド・フィルタを第１の画像に適用すると、第１の画像の平滑化において、第２の画像のテクスチャのエッジと同じ位置に存在するノイズ等が保存される。第２の画像の構造画像をガイド画像として使用するガイデッド・フィルタを第１の画像に適用した場合、第２の画像のテクスチャが存在しても、第１の画像の平滑化において、第２の画像のテクスチャのエッジと同じ位置に存在するノイズ等は保存されない。この場合であっても、第２の画像の輪郭等のエッジと同じ位置に存在するエッジは保存される。第４の実施形態によると、第２の画像にテクスチャがあった場合でも、構造成分のみを抜き出しているので、効果的にガイデッド・フィルタを掛けることができる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について、図面を参照して詳細に説明する。

図１３は、本実施形態の画像生成システム５の構成の例を表すブロック図である。図１３に示す画像生成システム５は、図４に示す、第２の実施形態の画像生成システム２と比較すると、画像生成装置２００の代わりに画像生成装置５００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。

図１４は、本実施形態の画像生成装置５００の構成の例を表すブロック図である。画像生成装置５００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、テクスチャ抽出部２０１と、第２加算部２０２と、第２フィルタ処理部４０１とを含む。図１４に示す画像生成装置５００は、図５に示す画像生成装置２００と比較すると、第１フィルタ処理部１０１の代わりに、第２フィルタ処理部４０１を含む。

図１１Ｂは、本実施形態の第２フィルタ処理部４０１の構成の例を表すブロック図である。第２フィルタ処理部４０１は、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２とを含む。本実施形態の第２フィルタ処理部４０１は、第４の実施形態の第２フィルタ処理部４０１と同じである。なお、画像生成装置５００は、第２フィルタ処理部４０１を含まず、第２フィルタ処理部４０１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２とを含んでいてもよい。

本実施形態の減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５、出力部１０６、テクスチャ抽出部２０１及び第２加算部２０２は、以下の相違を除いて、第２の実施形態の、同じ名称及び符号が付与されている構成要素と同じ動作を行う。本実施形態の第２フィルタ処理部４０１は、第４の実施形態の第２フィルタ処理部４０１と同じ動作を行う。

本実施形態の取得部１０５は、受信した第１の画像Ｓ１を、第１フィルタ処理部１０１と減算部１０２とに送出する。本実施形態の取得部１０５は、更に、受信した第２の画像Ｓ２を、テクスチャ抽出部２０１及び構造／テクスチャ分解部４０２に送出する。

次に、本実施形態の画像生成装置５００の動作について、図面を参照して詳細に説明する。

図１５は、本実施形態の画像生成装置５００の動作の例を表すフローチャートである。図１５に示す、ステップＳ１０１、ステップＳ４０１、ステップＳ４０２、及び、ステップＳ１０３からステップＳ１０５の動作は、図１２に示す、第４の実施形態の同じ符号が付与されているステップの動作と同じである。図１５に示す、ステップＳ２０１、ステップＳ２０２、及び、ステップＳ１０６の動作は、図６に示す、第２の実施形態の同じ符号が付与されているステップの動作と同じである。また、画像生成装置５００は、ステップＳ２０１の動作を、ステップＳ１０１、ステップＳ４０１、ステップＳ４０２、ステップＳ１０３からステップＳ１０５のどの動作の後に行ってもよい。画像生成装置５００は、ステップＳ２０１の動作を、ステップＳ４０１、ステップＳ４０２、ステップＳ１０３からステップＳ１０５の少なくともいずれかの動作と並列に行ってもよい。

以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第２の実施形態の効果が生じる理由と同じ理由に加えて、第４の実施形態の効果が生じる理由と同じ理由によって生じる。

＜第６の実施形態＞
次に、本発明の第６の実施形態について、図面を参照して詳細に説明する。

図１６は、本実施形態の画像生成システム６の構成の例を表すブロック図である。本実施形態の画像生成システム６は、図７に示す、第４の実施形態の画像生成システム４と比較すると、画像生成装置４００の代わりに、画像生成装置６００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。

図１７Ａは、本実施形態の画像生成装置６００の構成の例を表すブロック図である。図１７Ａに示すように、画像生成装置６００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、第２フィルタ処理部６０１とを含む。画像生成装置６００は、図８に示す、第４の実施形態の画像生成装置４００と比較すると、第２フィルタ処理部４０１の代わりに、第２フィルタ処理部６０１を含む。減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５及び出力部１０６は、以下の相違を除いて、第４の実施形態の、同じ名称と符号が付与されている構成要素の動作と同じ動作を行う。

図１７Ｂは、本実施形態の第２フィルタ処理部６０１の構成の例を表すブロック図である。第２フィルタ処理部６０１は、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、第３加算部３０２と、を含む。すなわち、第２フィルタ処理部６０１は、第４の実施形態の第２フィルタ処理部４０１と比較すると、第３加算部３０２を更に含む。なお、画像生成装置６００は、第２フィルタ処理部６０１を含まず、第２フィルタ処理部６０１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、第３加算部３０２とを含んでいてもよい。

第１フィルタ処理部１０１及び構造／テクスチャ分解部４０２は、それぞれ、以下の相違を除いて、第４の実施形態の第１フィルタ処理部１０１及び構造／テクスチャ分解部４０２の動作と同じ動作を行う。第３加算部３０２は、以下の相違を除いて、第３の実施形態の第３加算部３０２の動作と同じ動作を行う。

本実施形態の構造／テクスチャ分解部４０２は、第４の実施形態の構造／テクスチャ分解部４０２の動作と同じ動作を行う。すなわち、構造／テクスチャ分解部４０２は、第２の画像を構造成分とテクスチャ成分とに分解し、第２の画像の構造成分を表す、第２の画像の構造画像を生成し、生成した構造画像を第１フィルタ処理部１０１に送出する。構造／テクスチャ分解部４０２は、更に、第２の画像のテクスチャ成分を表すテクスチャ画像を生成する。構造／テクスチャ分解部４０２は、生成したテクスチャ画像を、第３加算部３０２に送出する。

第１フィルタ処理部１０１は、第４の実施形態の第１フィルタ処理部１０１と同様に、第１の画像と、第２の画像の構造画像から、中間画像を生成する。言い換えると、第１フィルタ処理部１０１は、第１の画像に基づく第１周波数成分と第２の画像の構造成分を表す構造画像に基づく第２周波数成分とを含む中間画像を生成する。第１フィルタ処理部１０１は、生成した中間画像を、第３加算部３０２に送出する。

第３加算部３０２は、生成された中間画像を第１フィルタ処理部１０１から受信し、生成された、第２の画像のテクスチャ成分を表すテクスチャ画像を、構造／テクスチャ分解部４０２から受信する。第３加算部３０２は、第１フィルタ処理部１０１から受け取った中間画像に、構造／テクスチャ分解部４０２から受け取ったテクスチャ画像を加算することによって、中間画像を更新する。第３加算部３０２は、中間画像にテクスチャ画像が加算された、新たな中間画像を生成するとみなすこともできる。第３加算部３０２は、テクスチャ画像が加算された中間画像を、減算部１０２と第１加算部１０４とに送出する。

次に、本実施形態の画像生成装置６００の動作について、図面を参照して詳細に説明する。

図１８は、本実施形態の画像生成装置６００の動作の例を表すフローチャートである。図１８に示す、ステップＳ１０１の動作は、図１２に示す、第４の実施形態のステップＳ１０１の動作と同じである。本実施形態の画像生成装置６００は、ステップＳ１０１の動作の次に、ステップＳ６０１の動作を行う。

ステップＳ６０１において、構造／テクスチャ分解部４０２は、第２の画像の構造成分を表す構造画像と、第２の画像のテクスチャ成分を表すテクスチャ画像とを生成する。画像生成装置６００は、ステップＳ６０１の次に、ステップＳ４０２の動作を行う。ステップＳ４０２の動作は、第４の実施形態のステップＳ４０２の動作と同じである。

画像生成装置６００は、ステップＳ４０２の動作の次に、ステップＳ３０２及びステップＳ１０３からステップＳ１０６の動作を行う。ステップＳ３０２及びステップＳ１０３からステップＳ１０６の動作は、図９に示す、第３の実施形態のステップＳ３０２及びステップＳ１０３からステップＳ１０６の動作と同じである。

以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第３の実施形態の効果が生じる理由と同じ理由に加えて、第４の実施形態の効果が生じる理由と同じ理由によって生じる。

＜第７の実施形態＞
次に、本発明の第７の実施形態について、図面を参照して詳細に説明する。

図１９は、本実施形態の画像生成システム７の構成の例を表すブロック図である。本実施形態の画像生成システム７は、図４に示す第２の実施形態の画像生成システム２と比較すると、画像生成装置２００の代わりに、画像生成装置７００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。

図２０は、本実施形態の画像生成装置７００の構成の例を表すブロック図である。画像生成装置７００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、テクスチャ抽出部２０１と、第２加算部２０２と、第２フィルタ処理部６０１とを含む。本実施形態の画像生成装置７００は、図１４に示す第５の実施形態の画像生成装置５００と比較すると、第２フィルタ処理部４０１の代わりに、第２フィルタ処理部６０１を含む。減算部１０２、ノイズ抑制部１０３、第１加算部１０４及び取得部１０５は、第５の実施形態の同じ名称と符号とが付与されている構成要素と同じである。出力部１０６、テクスチャ抽出部２０１及び第２加算部２０２は、以下の相違を除いて、第５の実施形態の同じ名称と符号とが付与されている構成要素と同じである。

図１７Ｂは、本実施形態の第２フィルタ処理部６０１の構成の例を表すブロック図である。本実施形態の第２フィルタ処理部６０１は、第６の実施形態の第２フィルタ処理部６０１と同じである。なお、画像生成装置７００は、第２フィルタ処理部６０１を含まず、第２フィルタ処理部６０１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、第３加算部３０２とを含んでいてもよい。

次に、本実施形態の画像生成装置７００の動作について、図面を参照して詳細に説明する。

図２１は、本実施形態の画像生成装置７００の動作の例を表すフローチャートである。図２１のステップＳ１０１、ステップＳ６０１、ステップＳ４０２、ステップＳ３０２、及び、ステップＳ１０３からステップＳ１０４において、画像生成装置７００は、図１８に示す、第６の実施形態の同じ符号が付与されているステップと同様に動作する。ステップＳ１０５、ステップＳ２０１、ステップＳ２０２及びステップＳ１０６において、画像生成装置７００は、図１５に示す、第５の実施形態の同じ符号が付与されているステップと同様に動作する。

以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第２の実施形態の効果が生じる理由と同じ理由と、第３の実施形態の効果が生じる理由と同じ理由とに加えて、第４の実施形態の効果が生じる理由と同じ理由によって生じる。

＜第８の実施形態＞
次に、本発明の第８の実施形態について、図面を参照して詳細に説明する。

図２２は、本実施形態の画像生成システム８の構成の例を表すブロック図である。画像生成システム８は、図１に示す第１の実施形態の画像生成システム１と比較すると、画像生成装置１００の代わりに画像生成装置８００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。

図２３Ａは、本実施形態の画像生成装置８００の構成の例を表すブロック図である。画像生成装置８００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、第２フィルタ処理部８０１とを含む。本実施形態の画像生成装置８００は、図２に示す第１の実施形態の画像生成装置１００と比較すると、第１フィルタ処理部１０１の代わりに、第２フィルタ処理部８０１を含む。本実施形態の減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５及び出力部１０６は、以下の相違を除いて、第１の実施形態の、同じ名称と符号が付与されている構成要素と同じである。

図２３Ｂは、本実施形態の第２フィルタ処理部８０１の構成の例を表すブロック図である。第２フィルタ処理部８０１は、第１フィルタ処理部１０１と、構造／テクスチャ分解部８０２と、を含む。なお、画像生成装置８００は、第２フィルタ処理部８０１を含まず、第２フィルタ処理部８０１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部８０２とを含んでいてもよい。

本実施形態の取得部１０５は、第１の画像及び第２の画像を、第２フィルタ処理部８０１に送出する。具体的には、取得部１０５は、第１の画像を、構造／テクスチャ分解部８０２に送出し、第２の画像を、第１フィルタ処理部１０１に送出する。

構造／テクスチャ分解部８０２は、第１の画像を、構造成分と、テクスチャ成分とに分離する。構造／テクスチャ分解部８０２は、第４の実施形態の構造／テクスチャ分解部４０２による、画像を構造成分とテクスチャ成分に分離する方法と同じ方法によって、第１の画像を、構造成分とテクスチャ成分とに分離すればよい。構造／テクスチャ分解部８０２は、構造成分を表す構造画像Ｓ１’’’を、第１フィルタ処理部１０１に送出する。

第１フィルタ処理部１０１は、第１の画像の構造成分Ｓ１’’’を、第１の実施形態における第１の画像として使用して、第１の実施形態の第１フィルタ処理部１０１と同様の動作を行う。言い換えると、第１フィルタ処理部１０１は、第１の画像の構造成分を表す構造画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む中間画像を生成する。

次に、本実施形態の画像生成装置８００の動作について、図面を参照して詳細に説明する。

図２４は、本実施形態の画像生成装置８００の動作の例を表すフローチャートである。図２４のステップＳ１０１の動作は、図３に示す、第１の実施形態のステップＳ１０１の動作と同様である。画像生成装置８００は、ステップＳ１０１の動作の次に、ステップＳ８０１の動作を行う。

ステップＳ８０１において、構造／テクスチャ分解部８０２は、第１の画像を構造成分とテクスチャ成分に分解し、第１の画像の構造成分を表す構造画像を生成する（ステップＳ８０１）。構造／テクスチャ分解部８０２は、第１の画像の構造画像を、第１フィルタ処理部１０１に送出する。

次に、第１フィルタ処理部１０１は、第１の画像の構造画像に基づく第１周波数成分と、第２の画像に基づく第２周波数成分とを含む中間画像を生成する（ステップＳ８０２）。

画像生成装置８００は、ステップＳ８０２の次に、ステップＳ１０３、ステップＳ１０４、ステップＳ１０５及びステップＳ１０６の動作を行う。画像生成装置８００は、ステップＳ１０３、ステップＳ１０４、ステップＳ１０５及びステップＳ１０６において、第１の実施形態における、同じ符号が付与されているステップの動作と同様の動作を行う。

以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第１の実施形態の効果が生じる理由と同じ理由に加えて、第１フィルタ処理部１０１が、第１の画像の構造画像を使用して中間画像を生成することによって生じる。第１の画像にテクスチャが存在する場合であっても、第１の画像の構造画像には、第１の画像のテクスチャは含まれない。そのため、中間画像は、第１の画像のテクスチャの影響を受けない。そのため、中間画像を使用して生成される合成画像の視認性が向上する。

＜第９の実施形態＞
次に、本発明の第９の実施形態について、図面を参照して詳細に説明する。

図２５は、本実施形態の画像生成システム９の構成の例を表すブロック図である。画像生成システム９は、図４に示す第２の実施形態の画像生成システム２と比較すると、画像生成装置２００の代わりに画像生成装置９００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。

図２６は、本実施形態の画像生成装置９００の構成の例を表すブロック図である。画像生成装置９００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、テクスチャ抽出部２０１と、第２加算部２０２と、第２フィルタ処理部８０１とを含む。画像生成装置９００は、図５に示す、第２の実施形態の画像生成装置２００と比較すると、第１フィルタ処理部１０１の代わりに、第２フィルタ処理部８０１を含む。画像生成装置９００の他の構成要素は、以下の相違を除いて、第２の実施形態の画像生成装置２００に含まれる、同じ名称と同じ符号が付与されている構成要素と同様である。

図２３Ｂは、本実施形態の第２フィルタ処理部８０１の構成を表すブロック図である。本実施形態の第２フィルタ処理部８０１は、第８の実施形態の第２フィルタ処理部８０１と同じである。なお、画像生成装置９００は、第２フィルタ処理部８０１を含まず、第２フィルタ処理部８０１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部８０２とを含んでいてもよい。

次に、本実施形態の画像生成装置９００の動作について、図面を参照して詳細に説明する。

図２７は、本実施形態の画像生成装置９００の動作の例を表すフローチャートである。画像生成装置９００は、ステップＳ１０１、ステップＳ８０１、ステップＳ８０２、ステップＳ１０３、ステップＳ１０４において、第８の実施形態の、同じ符号が付与されているステップの動作と同じ動作を行う。画像生成装置９００は、ステップＳ１０５、ステップＳ２０１、ステップＳ２０２、ステップＳ１０６において、第２の実施形態の、同じ符号が付与されているステップの動作と同じ動作を行う。

以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第２の実施形態の効果が生じる理由と同じ理由に加えて、第８の実施形態の効果が生じる理由と同じ理由によって生じる。

＜第１０の実施形態＞
次に、本発明の第１０の実施形態について、図面を参照して詳細に説明する。

図２８は、本実施形態の画像生成システム１０の構成の例を表すブロック図である。画像生成システム１０は、図１に示す第１の実施形態の画像生成システム１と比較すると、画像生成装置１００の代わりに画像生成装置１０００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。

図２９Ａは、本実施形態の画像生成装置１０００の構成の例を表すブロック図である。画像生成装置１０００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、第２フィルタ処理部１００１とを含む。画像生成装置１０００は、図２に示す、第１の実施形態の画像生成装置１００と比較すると、第１フィルタ処理部１０１の代わりに、第２フィルタ処理部１００１を含む。本実施形態の画像生成装置１０００の他の構成要素は、以下の相違を除いて、第１の実施形態の画像生成装置１００の、同じ名称と同じ符号が付与されている構成要素と同様である。

図２９Ｂは、本実施形態の第２フィルタ処理部１００１の構成の例を表すブロック図である。第２フィルタ処理部１００１は、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、構造／テクスチャ分解部８０２とを含む。なお、画像生成装置１０００は、第２フィルタ処理部１００１を含まず、第２フィルタ処理部１００１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、構造／テクスチャ分解部８０２とを含んでいてもよい。

取得部１０５は、受け取った第１の画像と第２の画像とを、第２フィルタ処理部１００１に送出する。具体的には、取得部１０５は、第１の画像を構造／テクスチャ分解部８０２に送出し、第２の画像を構造／テクスチャ分解部８０２に送出する。取得部１０５は、以上の相違を除いて、第１の実施形態の取得部１０５と同様に動作する。

構造／テクスチャ分解部４０２は、第４の実施形態の構造／テクスチャ分解部４０２と同じである。構造／テクスチャ分解部８０２は、第８の実施形態の構造／テクスチャ分解部８０２と同じである。

第１フィルタ処理部１０１は、第１の画像の構造成分を表す構造画像と、第２の画像の構造成分を表す構造画像とを、それぞれ、第１の実施形態における第１の画像と第２の画像として使用して、第１の実施形態の第１フィルタ処理部１０１と同様に動作する。言い換えると、第１フィルタ処理部１０１は、第１の画像の構造成分を表す構造画像に基づく第１周波数成分と第２の画像の構造成分を表す構造画像に基づく第２周波数成分とを含む中間画像を生成する。第１フィルタ処理部１０１は、生成された中間画像Ｓ１’を、減算部１０２と、第１加算部１０４とに出力する。

次に、本実施形態の画像生成装置１０００の動作について、図面を参照して詳細に説明する。

図３０は、本実施形態の画像生成装置１０００の動作の例を表すフローチャートである。画像生成装置１０００は、図３０に示すステップＳ１０１及びＳ８０１において、第８の実施形態のステップＳ１０１及びＳ８０１の動作と同じ動作を行う。画像生成装置１０００は、ステップＳ４０１において、第４の実施形態のステップＳ４０１の動作と同じ動作を行う。画像生成装置１０００は、ステップＳ４０１の動作の後に、ステップＳ１００１の動作を行う。

ステップＳ１００１において、第１フィルタ処理部１０１は、第１の画像の構造画像に基づく第１周波数成分と第２の画像の構造画像に基づく第２周波数成分とを含む中間画像を生成する。

ステップＳ１００１の次に、画像生成装置１０００は、ステップＳ１０３以降の動作を行う。画像生成装置１０００は、ステップＳ１０３、ステップＳ１０４、ステップＳ１００５及びステップＳ１０６において、第１の実施形態の符号が付与されているステップの動作と同じ動作を行う。

以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第４の実施形態の効果が生じる理由と同じ理由に加えて、第８の実施形態の効果が生じる理由と同じ理由によって生じる。

＜第１１の実施形態＞
次に、本発明の第１１の実施形態について、図面を参照して詳細に説明する。

図３１は、本実施形態の画像生成システム１１の構成の例を表すブロック図である。画像生成システム１１は、図２に示す第２の実施形態の画像生成システム２と比較すると、画像生成装置２００の代わりに画像生成装置１１００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。

図３２は、本実施形態の画像生成装置１１００の構成の例を表すブロック図である。画像生成装置１１００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、テクスチャ抽出部２０１と、第２加算部２０２と、第２フィルタ処理部１００１とを含む。画像生成装置１１００は、図５に示す、第２の実施形態の画像生成装置２００と比較すると、第１フィルタ処理部１０１の代わりに、第２フィルタ処理部１００１を含む。画像生成装置１１００の他の構成要素は、以下の相違を除いて、第２の実施形態の画像生成装置２００に含まれる、同じ名称と同じ符号が付与されている構成要素と同様である。

図２９Ｂは、本実施形態の第２フィルタ処理部１００１の構成の例を表すブロック図である。本実施形態の第２フィルタ処理部１００１は、第１０の実施形態の第２フィルタ処理部１００１と同じである。なお、画像生成装置１１００は、第２フィルタ処理部１００１を含まず、第２フィルタ処理部１００１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、構造／テクスチャ分解部８０２とを含んでいてもよい。

取得部１０５は、受け取った第１の画像と第２の画像とを、第２フィルタ処理部１００１に送出する。具体的には、取得部１０５は、第１の画像を構造／テクスチャ分解部８０２に送出し、第２の画像を構造／テクスチャ分解部８０２に送出する。本実施形態の取得部１０５は、以上の点を除いて、第２の実施形態の取得部１０５と同様に動作する。

次に、本実施形態の画像生成装置１１００の動作について、図面を参照して詳細に説明する。

図３３は、本実施形態の画像生成装置１１００の動作の例を表すフローチャートである。画像生成装置１１００は、図３３に示すステップＳ１０１からステップＳ１０４において、第１０の実施形態の画像生成装置１０００の、同じ符号が付与されている動作と同じ動作を行う。画像生成装置１１００は、図３３に示すステップＳ１０５からステップＳ１０６において、第２の実施形態の画像生成装置２００の、同じ符号が付与されている動作と同じ動作を行う。

以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第２の実施形態の効果が生じる理由と同じ理由に加えて、第１０の実施形態の効果が生じる理由と同じ理由によって生じる。

＜第１２の実施形態＞
次に、本発明の第１２の実施形態について、図面を参照して詳細に説明する。

図３４は、本実施形態の画像生成システム１２の構成の例を表すブロック図である。画像生成システム１２は、図１に示す第２の実施形態の画像生成システム１と比較すると、画像生成装置１００の代わりに画像生成装置１２００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。

図３５Ａは、本実施形態の画像生成装置１２００の構成の例を表すブロック図である。画像生成装置１２００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、第２フィルタ処理部１２０１とを含む。画像生成装置１２００は、図２に示す、第１の実施形態の画像生成装置１００と比較すると、第１フィルタ処理部１０１の代わりに、第２フィルタ処理部１２０１を含む。本実施形態の画像生成装置１０００の他の構成要素は、以下の相違を除いて、第１の実施形態の画像生成装置１００の、同じ名称と同じ符号が付与されている構成要素と同様である。本実施形態の取得部１０５は、第１０の実施形態の取得部１０５と同じである。

図３５Ｂは、本実施形態の第２フィルタ処理部１２０１の構成の例を表すブロック図である。第２フィルタ処理部１２０１は、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、構造／テクスチャ分解部８０２と、第３加算部３０２とを含む。本実施形態の構造／テクスチャ分解部４０２及び第３加算部３０２は、第６の実施形態の構造／テクスチャ分解部４０２及び第３加算部３０２と同じである。本実施形態の構造／テクスチャ分解部８０２は、第８の実施形態の構造／テクスチャ分解部８０２と同じである。なお、画像生成装置１２００は、第２フィルタ処理部１２０１を含まず、第２フィルタ処理部１２０１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、構造／テクスチャ分解部８０２と、第３加算部３０２とを含んでいてもよい。

第１フィルタ処理部１０１は、第１の画像の構造成分を表す構造画像と、第２の画像の構造成分を表す構造画像とを、それぞれ、第１の実施形態における第１の画像と第２の画像として使用して、第１の実施形態の第１フィルタ処理部１０１と同様に動作する。言い換えると、第１フィルタ処理部１０１は、第１の画像の構造成分を表す構造画像に基づく第１周波数成分と第２の画像の構造成分を表す構造画像に基づく第２周波数成分とを含む中間画像を生成する。第１フィルタ処理部１０１は、生成された中間画像Ｓ１’を、第３加算部３０２に出力する。

次に、本実施形態の画像生成装置１２００の動作について、図面を参照して詳細に説明する。

図３６は、本実施形態の画像生成装置１２００の動作の例を表すフローチャートである。画像生成装置１２００は、図３６に示すステップＳ１０１及びステップＳ８０１において、第８の実施形態の、ステップＳ１０１及びステップＳ８０１の動作と同じ動作を行う。画像生成装置１２００は、図３６に示すステップＳ６０１において、第６の実施形態のステップＳ６０１の動作と同じ動作を行う。画像生成装置１２００は、図３６に示すステップＳ１００１において、第１０の実施形態のステップＳ１００１の動作と同じ動作を行う。画像生成装置１２００は、図３６に示すステップＳ３０２からステップＳ１０６において、第６の実施形態の、ステップＳ３０２からステップＳ１０６の動作と同じ動作を行う。

以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第３の実施形態の効果が生じる理由と同じ理由、第４の実施形態の効果が生じる理由と同じ理由に加えて、第８の実施形態の効果が生じる理由と同じ理由によって生じる。

＜第１３の実施形態＞
次に、本発明の第１３の実施形態について、図面を参照して詳細に説明する。

図３７は、本実施形態の画像生成システム１３の構成の例を表すブロック図である。画像生成システム１３は、図２に示す第２の実施形態の画像生成システム２と比較すると、画像生成装置２００の代わりに画像生成装置１３００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。

図３８は、本実施形態の画像生成装置１３００の構成の例を表すブロック図である。画像生成装置１１００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、テクスチャ抽出部２０１と、第２加算部２０２と、第２フィルタ処理部１２０１とを含む。画像生成装置１３００は、図５に示す、第２の実施形態の画像生成装置２００と比較すると、第１フィルタ処理部１０１の代わりに、第２フィルタ処理部１２０１を含む。画像生成装置１１００の他の構成要素は、以下の相違を除いて、第２の実施形態の画像生成装置２００に含まれる、同じ名称と同じ符号が付与されている構成要素と同様である。本実施形態の取得部１０５は、第１１の実施形態の取得部１０５と同じである。

図３５Ｂは、本実施形態の第２フィルタ処理部１２０１の構成の例を表すブロック図である。本実施形態の第２フィルタ処理部１２０１は、第１２の実施形態の第２フィルタ処理部１２０１と同じである。なお、画像生成装置１３００は、第２フィルタ処理部１２０１を含まず、第２フィルタ処理部１２０１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、構造／テクスチャ分解部８０２と、第３加算部３０２とを含んでいてもよい。

次に、本実施形態の画像生成装置１３００の動作について、図面を参照して詳細に説明する。

図３９Ａ及び図３９Ｂは、本実施形態の画像生成装置１３００の動作の例を表すブロック図である。画像生成装置１３００は、図３９Ａに示す、ステップＳ１０１からステップＳ１０４において、第１２の実施形態のステップＳ１０１からステップＳ１０４の動作と同じ動作を行う。図３９Ｂに示す、ステップＳ１０５からステップＳ１０６において、第１２の実施形態のステップＳ１０５からステップＳ１０６の動作と同じ動作を行う。

以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第２の実施形態の効果が生じる理由と同じ理由に加えて、第１２の実施形態の効果が生じる理由と同じ理由によって生じる。

＜第１４の実施形態＞
次に、本発明の第１４の実施形態について、図面を参照して詳細に説明する。

図４０は、本実施形態の画像生成装置１４００の構成の例を表すブロック図である。図４０に示す画像生成装置１４００は、処理部１４０１と、出力部１４０２とを含む。

処理部１４０１は、第１の画像と、第１の画像において撮像された範囲が撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、範囲の合成画像を生成する。第１の画像は、第１波長帯で撮影された画像である。第２の画像は、第１波長帯と異なる第２波長帯で撮影された画像である。出力部１４０２は、合成画像を出力する。

処理部１４０１は、例えば、第１の実施形態及び第２の実施形態における第１フィルタ処理部１０１である。処理部１４０１は、例えば、第３の実施形態から第１３の実施形態のいずれかに係る第２フィルタ処理部であってもよい。また、第１の実施形態から第１３の実施形態の中間画像は、本実施形態の合成画像に相当する。

本実施形態によると、視認性の高い合成画像が得られるという効果がある。その理由は、処理部１４０１が、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、合成画像を生成するからである。例えば、第１の画像の第１周波数成分の視認性はよいが第２周波数成分にノイズが含まれ、第２の画像の第１周波数成分の視認性はよくないが第２周波数成分が視認性の向上に寄与する場合がある。このような場合、生成される合成画像では、第１の画像の第１周波数成分の視認性が第２の画像の第２周波数成分により向上する。

＜実装例＞
具体的な事例を説明する。図４３と図４４は夫々、第１の画像と、第２の画像の一例である。図４３から分かるように、夜間暗所では光量が少ないので、第１の画像にはノイズが生じている。そのため、第１の画像の視認性は、著しく低下している。一方、図４４から分かるように、第２の画像はノイズが少なく高画質ではあるが、第２の画像の画素値の分布は、第１の画像の画素値の分布とは大きく異なっている。第２の画像の見え方は、人間の知覚特性とかけ離れた、不自然な見え方である。さらに、第２の画像では、人物以外の周辺物体の温度が一様であるために、周辺物体の観測はできていない。そのため、第２の画像の視認性は、低下している。

図４５は合成画像の一例である。第１の画像では失われてしまっていた、服のしわや、右の人物がメガネをかけている様子が、合成画像では確認できる。このように、合成画像の画質は向上していることが分かる。また、第２の画像の画素値分布は、第２の画像では上着、髪、肌がネガポジ反転したような明るさになっているように、人間の目には不自然である。しかし、合成画像の画素値分布は、第１の画像の画素値分布と同様であるので、合成画像の視認性は向上している。

また、第２波長帯として遠赤外光を使用しており、人物以外の周辺領域の温度は一様であるため、前述のように、第２の画像では、人物以外の周辺領域は第２の画像では、平坦な画像領域になっている。すなわち、温度が一様な周辺領域の情報を第２の画像から得ることはできない。しかし、テクスチャ補正処理によって、上述の平坦な画像領域に、第１の画像の対応する領域の情報が追加されているので、合成画像の視認性は向上している。

以上のように、本発明の実施形態に係る画像生成装置によれば、過酷環境下でも高い視認性が得られる効果を奏する。

＜他の実施形態＞
本発明の実施形態に係る画像生成装置の各々は、プログラムがロードされたメモリとそのプログラムを実行するプロセッサとを含むコンピュータ、回路等の専用のハードウェア、及び、前述のコンピュータと専用のハードウェアとの組合せによって実現できる。

図４２は、本発明の実施形態に係る画像生成装置の各々を実現できるコンピュータ１００００のハードウェア構成の例を表すブロック図である。図４２に示すコンピュータ１００００は、プロセッサ１０００１と、メモリ１０００２と、記憶装置１０００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１０００４とを含む。また、コンピュータ１００００は、記憶媒体１０００５にアクセスすることができる。メモリ１０００２と記憶装置１０００３は、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ハードディスクなどの記憶装置である。記憶媒体１０００５は、例えば、ＲＡＭ、ハードディスクなどの記憶装置、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、可搬記憶媒体である。記憶装置１０００３が記憶媒体１０００５であってもよい。プロセッサ１０００１は、メモリ１０００２と、記憶装置１０００３に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ１０００１は、Ｉ／Ｏインタフェース１０００４を介して、例えば、第１の画像取得装置２０００、第２の画像取得装置３０００、及び、表示装置４０００にアクセスすることができる。プロセッサ１０００１は、記憶媒体１０００５にアクセスすることができる。記憶媒体１０００５には、コンピュータ１００００を、本発明のいずれかの実施形態に係る画像生成装置として動作させるプログラムが格納されている。

プロセッサ１０００１は、記憶媒体１０００５に格納されている、コンピュータ１００００を、上述の画像生成装置として動作させるプログラムを、メモリ１０００２にロードする。そして、プロセッサ１０００１が、メモリ１０００２にロードされたプログラムを実行することにより、コンピュータ１００００は、上述の画像生成装置として動作する。

第１フィルタ処理部１０１、減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５、出力部１０６は、メモリ１０００２にロードされた専用のプログラムを実行するプロセッサ１０００１により実現できる。テクスチャ抽出部２０１、第２加算部２０２、第２フィルタ処理部３０１、第３加算部３０２、第２フィルタ処理部４０１、構造／テクスチャ分解部４０２は、メモリ１０００２にロードされた専用のプログラムを実行するプロセッサ１０００１により実現できる。第２フィルタ処理部６０１、第２フィルタ処理部８０１、構造／テクスチャ分解部８０２、第２フィルタ処理部１００１、第２フィルタ処理部１２０１は、メモリ１０００２にロードされた専用のプログラムを実行するプロセッサ１０００１により実現できる。

第１フィルタ処理部１０１、減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５、出力部１０６の一部又は全部は、回路等の専用のハードウェアによって実現することもできる。テクスチャ抽出部２０１、第２加算部２０２、第２フィルタ処理部３０１、第３加算部３０２、第２フィルタ処理部４０１、構造／テクスチャ分解部４０２の一部又は全部は、回路等の専用のハードウェアによって実現することもできる。第２フィルタ処理部６０１、第２フィルタ処理部８０１、構造／テクスチャ分解部８０２、第２フィルタ処理部１００１、第２フィルタ処理部１２０１の一部又は全部は、回路等の専用のハードウェアによって実現することもできる。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成する処理手段と、
前記合成画像を出力する出力手段と、
を備える画像生成装置。

（付記２）
前記第１の画像と前記合成画像との差分画像に対してノイズを抑制する処理を行うノイズ抑制手段と、
ノイズを抑制する処理が行われた前記差分画像であるノイズ抑制差分画像を、前記合成画像に加算する第１加算手段と、
を備える付記１に記載の画像生成装置。

（付記３）
前記第２の画像のテクスチャを抽出する分離手段と、
抽出された前記テクスチャを表す第１テクスチャ画像を、前記ノイズ抑制差分画像が加算された前記合成画像に加算する第２加算手段と、
を備える付記２に記載の画像生成装置。

（付記４）
前記処理手段は、前記第２の画像から構造成分を分離し、前記第１周波数成分と、前記第２の画像の前記構造成分に基づく第２周波数成分とを含む前記合成画像を生成する、
付記１から３のいずれか１項に記載の画像生成装置。

（付記５）
前記処理手段は、前記第２の画像からテクスチャ成分を分離し、分離された前記テクスチャ成分を表す第２テクスチャ画像が加算された前記合成画像を生成する
付記４に記載の画像生成装置。

（付記６）
前記処理手段は、前記第１の画像から構造成分を分離し、前記第１の画像の前記構造成分に基づく前記第１周波数成分と、前記第２周波数成分とを含む前記合成画像を生成する、
付記１から５のいずれか１項に記載の画像生成装置。

（付記７）
前記第１波長帯の光は可視光を含み、
前記第２波長帯の光は、遠赤外光を含む
付記１から６のいずれか１項に記載の画像生成装置。

（付記８）
前記第１周波数成分は、一部の空間周波数帯の前記合成画像の成分であり、前記第２周波数成分は、前記第１周波数成分の空間周波数帯よりも高い空間周波数を含む空間周波数帯の前記合成画像の成分である
付記１から７のいずれか１項に記載の画像生成装置。

（付記９）
付記１から８のいずれか１項に記載の画像生成装置と、
前記第１の画像を撮像する第１の画像取得装置と、
前記第２の画像を撮像する第２の画像取得装置と、
表示装置と、
を含み、前記出力手段は前記表示装置に前記合成画像を表示する
画像生成システム。

（付記１０）
第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成し、
前記合成画像を出力する
画像生成方法。

（付記１１）
前記第１の画像と前記合成画像との差分画像に対してノイズを抑制する処理を行い、
ノイズを抑制する処理が行われた前記差分画像であるノイズ抑制差分画像を、前記合成画像に加算する、
付記１０に記載の画像生成方法。

（付記１２）
前記第２の画像のテクスチャを抽出し、
抽出された前記テクスチャを表す第１テクスチャ画像を、前記ノイズ抑制差分画像が加算された前記合成画像に加算する、
付記１１に記載の画像生成方法。

（付記１３）
前記第２の画像から構造成分を分離し、前記第１周波数成分と、前記第２の画像の前記構造成分に基づく第２周波数成分とを含む前記合成画像を生成する、
付記１０から１２のいずれか１項に記載の画像生成方法。

（付記１４）
前記第２の画像からテクスチャ成分を分離し、分離された前記テクスチャ成分を表す第２テクスチャ画像が加算された前記合成画像を生成する
付記１３に記載の画像生成方法。

（付記１５）
前記第１の画像から構造成分を分離し、前記第１の画像の前記構造成分に基づく前記第１周波数成分と、前記第２周波数成分とを含む前記合成画像を生成する、
付記１０から１４のいずれか１項に記載の画像生成方法。

（付記１６）
前記第１波長帯の光は可視光を含み、
前記第２波長帯の光は、遠赤外光を含む
付記１０から１５のいずれか１項に記載の画像生成方法。

（付記１７）
前記第１周波数成分は、一部の空間周波数帯の前記合成画像の成分であり、前記第２周波数成分は、前記第１周波数成分の空間周波数帯よりも高い空間周波数を含む空間周波数帯の前記合成画像の成分である
付記１０から１６のいずれか１項に記載の画像生成方法。

（付記１８）
コンピュータに、
第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成する生成処理と、
前記合成画像を出力する出力処理と、
を実行させるプログラムを記憶する記憶媒体。

（付記１９）
コンピュータに、
前記第１の画像と前記合成画像との差分画像に対してノイズを抑制する処理を行うノイズ抑制処理と、
ノイズを抑制する処理が行われた前記差分画像であるノイズ抑制差分画像を、前記合成画像に加算する第１加算処理と、
を実行させるプログラムを記憶する付記１８に記載の記憶媒体。

（付記２０）
コンピュータに、
前記第２の画像のテクスチャを抽出する分離処理と、
抽出された前記テクスチャを表す第１テクスチャ画像を、前記ノイズ抑制差分画像が加算された前記合成画像に加算する第２加算処理と、
を実行させるプログラムを記憶する付記１９に記載の記憶媒体。

（付記２１）
前記生成処理は、前記第２の画像から構造成分を分離し、前記第１周波数成分と、前記第２の画像の前記構造成分に基づく第２周波数成分とを含む前記合成画像を生成する、
付記１８から２０のいずれか１項に記載の記憶媒体。

（付記２２）
前記生成処理は、前記第２の画像からテクスチャ成分を分離し、分離された前記テクスチャ成分を表す第２テクスチャ画像が加算された前記合成画像を生成する
付記２１に記載の記憶媒体。

（付記２３）
前記生成処理は、前記第１の画像から構造成分を分離し、前記第１の画像の前記構造成分に基づく前記第１周波数成分と、前記第２周波数成分とを含む前記合成画像を生成する、
付記１８から２２のいずれか１項に記載の記憶媒体。

（付記２４）
前記第１波長帯の光は可視光を含み、
前記第２波長帯の光は、遠赤外光を含む
付記１８から２３のいずれか１項に記載の記憶媒体。

（付記２５）
前記第１周波数成分は、一部の空間周波数帯の前記合成画像の成分であり、前記第２周波数成分は、前記第１周波数成分の空間周波数帯よりも高い空間周波数を含む空間周波数帯の前記合成画像の成分である
付記１８から２４のいずれか１項に記載の記憶媒体。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１画像生成システム
２画像生成システム
３画像生成システム
４画像生成システム
５画像生成システム
６画像生成システム
７画像生成システム
８画像生成システム
９画像生成システム
１０画像生成システム
１１画像生成システム
１２画像生成システム
１３画像生成システム
１００画像生成装置
１０１第１フィルタ処理部
１０２減算部
１０３ノイズ抑制部
１０４第１加算部
１０５取得部
１０６出力部
２００画像生成装置
２０１テクスチャ抽出部
２０２第２加算部
３００画像生成装置
３０１第２フィルタ処理部
３０２第３加算部
４００画像生成装置
４０１第２フィルタ処理部
４０２構造／テクスチャ分解部
５００画像生成装置
６００画像生成装置
６０１第２フィルタ処理部
７００画像生成装置
８００画像生成装置
８０１第２フィルタ処理部
８０２構造／テクスチャ分解部
９００画像生成装置
１０００画像生成装置
１００１第２フィルタ処理部
１１００画像生成装置
１２００画像生成装置
１２０１第２フィルタ処理部
１３００画像生成装置
１４００画像生成装置
２０００第１の画像取得装置
３０００第２の画像取得装置
４０００表示装置
１００００コンピュータ
１０００１プロセッサ
１０００２メモリ
１０００３記憶装置
１０００４Ｉ／Ｏインタフェース
１０００５記憶媒体

Claims

第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、前記第１の画像に基づく第１周波数成分と前記第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成する処理手段と、
前記第１の画像と前記合成画像との差分画像に対してノイズを抑制する処理を行うノイズ抑制手段と、
ノイズを抑制する処理が行われた前記差分画像であるノイズ抑制差分画像を、前記合成画像に加算する第１加算手段と、
前記合成画像を出力する出力手段と、
を備える画像生成装置。
前記第２の画像のテクスチャを抽出する分離手段と、
抽出された前記テクスチャを表す第１テクスチャ画像を、前記ノイズ抑制差分画像が加算された前記合成画像に加算する第２加算手段と、
を備える請求項１に記載の画像生成装置。
前記処理手段は、前記第２の画像から構造成分を分離し、前記第１周波数成分と、前記第２の画像の前記構造成分に基づく第２周波数成分とを含む前記合成画像を生成する、
請求項１又は２に記載の画像生成装置。
前記処理手段は、前記第２の画像からテクスチャ成分を分離し、分離された前記テクスチャ成分を表す第２テクスチャ画像が加算された前記合成画像を生成する
請求項３に記載の画像生成装置。
前記処理手段は、前記第１の画像から構造成分を分離し、前記第１の画像の前記構造成分に基づく前記第１周波数成分と、前記第２周波数成分とを含む前記合成画像を生成する、
請求項１から４のいずれか１項に記載の画像生成装置。
前記第１波長帯の光は可視光を含み、
前記第２波長帯の光は、遠赤外光を含む
請求項１から５のいずれか１項に記載の画像生成装置。
前記第１周波数成分は、一部の空間周波数帯の前記合成画像の成分であり、前記第２周波数成分は、前記第１周波数成分の空間周波数帯よりも高い空間周波数を含む空間周波数帯の前記合成画像の成分である
請求項１から６のいずれか１項に記載の画像生成装置。
第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、前記第１の画像に基づく第１周波数成分と前記第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成し、
前記第１の画像と前記合成画像との差分画像に対してノイズを抑制する処理を行い、
ノイズを抑制する処理が行われた前記差分画像であるノイズ抑制差分画像を、前記合成画像に加算し、
前記合成画像を出力する
画像生成方法。
コンピュータに、
第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、前記第１の画像に基づく第１周波数成分と前記第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成する生成処理と、
前記第１の画像と前記合成画像との差分画像に対してノイズを抑制する処理を行うノイズ抑制処理と、
ノイズを抑制する処理が行われた前記差分画像であるノイズ抑制差分画像を、前記合成画像に加算する第１加算処理と、
前記合成画像を出力する出力処理と、
を実行させるプログラム。