JP6945953B2

JP6945953B2 - 撮像システム及び画像処理の方法

Info

Publication number: JP6945953B2
Application number: JP2020532842A
Authority: JP
Inventors: リウ、デホン; ウェン、ビハン; カミロフ、ウルグベック; マンソール、ハッサン; ボウフォウノス、ペトロス
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2018-03-19
Filing date: 2018-08-22
Publication date: 2021-10-06
Anticipated expiration: 2038-08-22
Also published as: WO2019180991A1; US10482576B2; US20190287216A1; JP2021506035A

Description

本開示は、包括的には、マルチスペクトル撮像に関し、より詳細には、畳み込み辞書を用いたマルチスペクトル画像の解像度を増大させることに関する。

マルチスペクトル（ＭＳ）撮像システムは、ハードウェア実施態様において空間解像度とスペクトル解像度との間のトレードオフに直面する。ＭＳ画像の空間高解像度は、多くの応用にとって望ましいが、センサ、例えば飛行機又は宇宙船の機体に搭載されるセンサのサイズ、重さ及びパワーの制限によって、ＭＳ画像の解像度は、通常、劣化する。

超解像画像を達成するために、いくつかの従来の画像処理技術は、画像解像度を増大させること、及び、同じシーンからの結合される複数の連続したフレームを用いることによってこのハードウェア制限を軽減して、空間解像度を増大させることを目指す。いくつかの従来の方法では、ハードウェア問題のうちのいくつかに対処する様々な技術を用いられる。例えば、特許文献１に記載されている方法は、シーンの複数の連続した画像を得るように複数のカメラを用いており、ワーピング技術及びフェージング技術を介して画像を結合し、単一でシームレスなシーンの画像を生成する。

画像超解像（ＳＲ）は、通常、不良設定逆問題（ill-posed inverse problem）である。マルチスペクトル（ＭＳ）撮像に関して、目標は、低解像度（ＬＲ）測定値から高解像度（ＨＲ）マルチチャネル画像を再構成することである。ＬＲＭＳ画像を、基準としてのＨＲパンクロマティック（ＰＡＮ：panchromatic）画像に融合するために、パンシャープン（Pan-sharpening）法が提案されてきた。パンシャープン法は、空間領域における高周波数成分を強調することによって、限度はあるが、空間解像度を、向上させることができる。

米国特許第７，０１５，９５４号

本開示は、他の態様とともに、結合分析合成辞書（ＣＡＳＤ：Coupled Analysis and Synthesis Dictionary）モデルを用いてマルチスペクトル画像の解像度を増大させることによって、現行の画像処理産業及び他の関連した技術産業の技術的需要に対処する。

本開示は、畳み込み辞書を用いて、マルチスペクトル（ＭＳ）画像の解像度を増大させることに関する。特に、マルチスペクトル（ＭＳ）画像超解像は、再構成される画像を正則化することによって、超解像（ＳＲ）マルチチャネル画像をそれらの低解像度画像から再構成することを目指す。本開示のいくつかの実施形態は、複数のスペクトルチャネルにわたって空間及びスペクトルの関係を利用するために、深層辞書学習フレームワークを用いる結合分析合成辞書（ＣＡＳＤ）モデルを用いてＭＳ画像の解像度を増大させる。本開示を通して、分析辞書という用語は、フィルタ辞書と称することもできる。

本開示は、実験を通して、畳み込み辞書を用いて複数のスペクトルチャネル内で及び複数のスペクトルチャネルにわたって機能する正則化項を利用することによって、ＭＳ画像ＳＲのために新規な結合分析合成辞書（ＣＡＳＤ）モデルを開発した。例えば、ＣＡＳＤモデルはパラメータを含み、ＤｅｅｐＣＡＳＤと称される深層辞書学習フレームワークは、画像データセットに対してエンドツーエンドのＣＡＳＤベース再構成ネットワークを展開及びトレーニングすることによって用いることができる。

本開示及び実験を通してわかったことのうちのいくつかをより良く理解するために、克服すべきいくつかの課題を理解することが重要である。例えば、ＭＳ画像の空間高解像度は多くの応用にとって望ましいが、通常、飛行機、宇宙機、又はその他のセンサ搭載アプリケーションの機体に搭載されるセンサのサイズ、重さ及びパワーの制限によって、ＭＳ画像解像度は低くなる。ＭＳ画像超解像（ＳＲ）は、再構成される画像を正則化することによって、超解像マルチチャネル画像をそれらの低解像度画像から再構成することを目指す。

いくつかの実施形態は、辞書学習の導入によって、データ駆動型方法が画像超解像について有利になるという認識に基づいている。ＭＳ画像を各スペクトルチャネルに関して独立して処理することができるということが実験を通してわかった。これらの畳み込み辞書学習方法をＭＳ画像ＳＲ応用に拡張する単純な方法は、チャネルごとに独立して畳み込み辞書を学習することによって行うことができる。しかしながら、いくつかの実施形態は、この拡張がスペクトルチャネルにわたってマルチスペクトル画像の関係を利用しないという認識に基づく。

実験を通してわかった態様は、ＭＳ撮像システムが、可視光学ＲＧＢ帯域、赤外線帯域及び短波赤外線帯域を含む幅広い周波数帯域の範囲にわたって関心領域（area of interest）からの応答を測定することができるということを含む。これらのマルチバンドスペクトルは、物質、特に視覚的に類似した色の物質を検出及び区別するように、豊富な情報を提供することができる。さらに、光学帯域と比較して赤外線帯域がより高い大気透過性質を有しているので、光学撮像システムが十分に機能しない、霞んだ、又は曇った天候条件において、ＭＳ撮像はより有益である。実験中試験された、いくつかの手法は、マルチスペクトル及びハイパースペクトル撮像技術、すなわち、画像超解像（ＳＲ）を含み、画像超解像は、通常、不良設定逆問題である。この問題を解くように試験された少なくとも１つの手法は、元になる高解像度画像に対して正則化項を用いることを含んだ。他の試験された手法は、パンシャープン技術を含み、このパンシャープン技術では、例えば、既知のパンクロマティック画像の空間情報が、色画像又はＭＳ画像のスペクトル情報と融合されて、空間高解像度及びスペクトル高解像度画像が生成される。しかしながら、パンクロマティック画像のスペクトルバンドは赤外線帯域と重なっていないので、パンシャープン法は、ＭＳ画像ＳＲ、特に赤外線帯域のスペクトル歪を導入する可能性があり、ＭＳ画像超解像プロセスにおいて性能を低下させることがこの実験からわかった。

異なる画像チャネル内だけでなく、ＭＳ画像の関係を十分に利用するために、いくつかの実施形態では、共有される特徴マップ及び結合畳み込み辞書を通してマルチチャネル低解像度（ＬＲ）測定値と高解像度（ＨＲ）画像とを関係付けるデータ駆動型結合分析合成辞書（ＣＡＳＤ）モデルを導入する。ＣＡＳＤモデルを学習するために、本開示では、ＤｅｅｐＣＡＳＤと称される深層学習フレームワークを使用し、その深層学習フレームワークは、エンドツーエンドトレーニングを用いてトレーニングデータをより効率的に利用し、ＭＳ画像ＳＲプロセスは、ＤｅｅｐＣＡＳＤを用いる。実験を通して、とりわけ、多くの非限定的な例によるいくつかの利点には、画像ＳＲのエンドツーエンド学習フレームワークである共有される特徴マップを用いた複数のチャネル内での及び複数のチャネルにわたる結合を可能にすることと、従来のパンシャープン及び単一チャネル画像ＳＲプロセスと比較して、スペクトルチャネルの総数及び画像解像度に関してより優れた柔軟性を提供することとがある。

また、ＣＡＳＤモデルによって、低解像度ＭＳ画像及び再構成される高解像度ＭＳ画像の間の相関を利用することが可能になるということが実験を通してわかった。特に、分析畳み込み辞書Ｂ_ｌ（ｌ＝１，...，Ｌ）は、Ｍ×Ｌ個の畳み込み辞書（フィルタ）｛Ｗ_ｍｉ｝から構成され、第ｉ（ｉ＝１，...，Ｌ）列は、第ｉチャネルの低解像度画像で畳み込まれる一組のＭ個のフィルタを含む。フィルタリングされた低解像度画像の和は、第ｌのチャネル特徴マップ又は構造を表している。全てのチャネルｌ＝１，...，Ｌについての第ｌ列におけるエントリを除く、Ｂ_ｌの全てのエントリがゼロに等しい場合、この特定の畳み込み辞書は、各スペクトルチャネルについて独立して畳み込み辞書を学習することに等しい。しかしながら、畳み込み辞書Ｂ_ｌの他の非ゼロの値は、ＭＳ画像のチャネル内依存性を捕捉することができる。

特に、いくつかの実施形態は、各チャネルの高解像度画像は、チャネルの高解像度画像のために学習された辞書及びチャネルの低解像度画像の構造の畳み込みとして表すことができるという認識に基づいている。この構造は、各チャネルについて独立して各低解像度画像から抽出することができる。しかしながら、この手法は、複数のスペクトルチャネルにわたるマルチスペクトル画像の関係を利用しない。そのため、いくつかの実施形態は、チャネルの或る周波数帯域で取得されるシーンの低解像度画像の構造を、チャネルの当該周波数帯域を含む、異なるチャネルの異なる周波数帯域で取得されるシーンの異なる低解像度画像から学習することができるという理解に基づいている。

特に、低解像度画像の構造は、異なるチャネルのフィルタリングされた低解像度画像の組合せである。さらに、構造マップは、閾値θより下の画像領域でスパースであり、すなわち、構造マップ係数のほとんどはゼロである。フィルタＢ_ｌの係数、高解像度画像の辞書Ｄ及び閾値θは、各チャネルについてオフラインで学習することができる。フィルタの異なる係数は、異なるチャネルに対応する。さらに、異なるチャネルを表すフィルタの少なくともいくつかの係数は、ＭＳ画像のチャネル内依存性を可能にするために非ゼロである。そのようにして、画像間関係は、辞書内で符号化され、チャネル内関係は、フィルタ内で符号化される。

ＭＳ画像超解像のＣＡＳＤモデルを学習及び適用するために、いくつかの実施形態は、深層融合ネットワーク等のニューラルネットワーク及び深層融合ネットワークのエンドツーエンドトレーニング方法を用いる。モデルパラメータを繰り返し更新し、各パラメータが他のパラメータの最新の更新を所与として更新される代わりに、いくつかの実施形態は、多層ニューラルネットワークを構成するように、画像融合についてＣＡＳＤ学習プロセスを展開する。ネットワーク全体が、誤差逆伝播（error back-propagation）を用いてエンドツーエンドでトレーニングされ、各パラメータは、他のパラメータの最新の更新に関係付けられるだけではなく、パラメータの履歴の更新にも関係付けられる。

例えば、信号ｓ及び辞書行列Ｄを所与として、スパース符号化は、Ｄｘ≒ｓであるような、わずかな非ゼロエントリを有するスパース表現ｘを見つける逆問題である。これらの同定に辿り着くプロセスは、行列Ｄが画像全体について学習される場合、本明細書において辞書学習又は畳み込み辞書学習と称される辞書行列Ｄを学習することに関する技術を必要とする。さらに、スパース表現を用いて辞書行列を学習することは、いくつかの応用にとって有益である場合がある。しかしながら、辞書行列Ｄが高解像度画像について学習される場合、当該辞書行列は、低解像度画像のスパース表現ｘを用いて画像の解像度を増大させることができる。

いくつかの実施形態は、この概念をＭＳ画像超解像に拡張するために、マルチスペクトル画像の異なる画像の構造から１つのチャネルの或る画像の構造を学習する。例えば、いくつかの実施形態は、異なる重みを用いて各チャネルについて異なる画像の構造を融合して、一組の融合された構造を生成した。そのようにして、チャネルの融合された構造は、チャネルに対応する重みを用いて、構造の組の重み付けされた組合せとして融合される。特に、異なるチャネルの融合された構造は、異なる重みで結合される。

いくつかの実施態様では、辞書の組、フィルタの組、及び各チャネルの構造を融合するための一組の重みは、異なるチャネルの異なる画像を用いて同時にトレーニングされる。例えば、いくつかの実施形態は、フィルタＢ_ｌ＝｛Ｗ_ｍｉ｝を導入して、ＭＳ画像間の構造的関係を捕捉する。さらに、いくつかの実施形態は、辞書行列Ｄ、フィルタＢ_ｌ＝｛Ｗ_ｍｉ｝の係数及び閾値θを、全てのトレーニング画像及びチャネルにわたる負の平均ピーク信号対雑音比を最小化することによって求める。そのようにして、フィルタの係数をトレーニングして、トレーニング済みの閾値θより下のＭＳ画像のスパース表現を生成する。スパース表現は、トレーニング済みの辞書行列で畳み込まれると、高解像度ＭＳ画像を生成する。

本開示の別の実施形態によって、マルチスペクトル画像の解像度を増大させる撮像システムを開示する。システムは、センサによって生成される或るシーンの一組の画像を含む、マルチスペクトル画像を受信する入力インタフェースを備える。各画像は、周波数帯域を規定するチャネルを表しており、或るチャネルの或る画像は、そのチャネルの或る周波数帯域内に自身の周波数を有するようになっている。メモリは、異なるチャネルのためにトレーニングされる一組の合成辞書を記憶する。画像の構造で畳み込まれる、チャネルのためにトレーニングされる合成辞書は、チャネルの画像の解像度よりも高い解像度を有するチャネルの高解像度画像を生成する。メモリは、異なるチャネルのためにトレーニングされる一組のフィルタ（分析辞書）を記憶する。画像の組内の各画像で畳み込まれる、チャネルのためにトレーニングされるフィルタ（分析辞書）は、チャネルの画像の構造を生成する。ハードウェアプロセッサは、フィルタ（分析辞書）の組を用いて異なるチャネルの画像の組を処理して、一組の構造を生成する。プロセッサは、各チャネルについて構造の組を融合し、一組の融合された構造を生成する。チャネルの融合された構造は、チャネルに対応する重みを用いて構造の組の重み付けされた組合せとして融合され、異なるチャネルの融合された構造は、異なる重みで結合されるようになっている。プロセッサは、合成辞書の組からの対応する辞書を用いて融合された構造の組を処理して、超解像マルチスペクトル画像を生成する。出力インタフェースは、超解像マルチスペクトル画像をレンダリングする。

本開示の一実施形態によって、マルチスペクトル画像の解像度を増大させる画像処理の方法を開示する。方法は、センサによって生成され、かつ入力インタフェースによって又はコンピュータ可読メモリから取得されるシーンの一組の画像を含む、マルチスペクトル画像を取得することを含む。各画像は、周波数帯域を規定するチャネルを表しており、チャネルの画像は、チャネルの周波数帯域内に自身の周波数を有するようになっている。方法は、コンピュータ可読メモリのデータベースに、異なるチャネルのためにトレーニングされる一組の辞書を記憶することを含む。方法は、画像の構造で畳み込まれる、チャネルのためにトレーニングされる辞書は、チャネルの画像の解像度よりも高い解像度を有するチャネルの高解像度画像を生成する。コンピュータ可読メモリの別のデータベースに、異なるチャネルのためにトレーニングされる一組のフィルタを記憶することを含む。方法は、画像の組内の各画像で畳み込まれる、チャネルのためにトレーニングされるフィルタは、チャネルの画像の構造を生成する。方法は、コンピュータ可読メモリ及び入力インタフェースと通信するハードウェアプロセッサを用いて、フィルタの記憶された組を用いて異なるチャネルの画像の組を処理して、一組の構造を生成することを含む。方法は、ハードウェアプロセッサを用いて、各チャネルについて、構造の組を融合して、一組の融合された構造を生成することを含む。方法は、チャネルの融合された構造は、チャネルに対応する重みを用いて、構造の組の重み付けされた組合せとして融合され、異なるチャネルの融合された構造は、異なる重みで結合されるようになっている。辞書の組からの対応する辞書を用いて融合された構造の組を処理して、シーンの超解像マルチスペクトル画像を生成することを含む。方法は、出力インタフェースによって超解像マルチスペクトル画像を通信ネットワークに出力すること、又はコンピュータ可読メモリに超解像マルチスペクトル画像を記憶することを含む。

本開示の別の実施形態によって、方法を実行するコンピュータによる実行可能なプログラムが具現化される非一時的コンピュータ可読記憶媒体を開示する。方法は、或るシーンの画像の画像処理に関する。方法は、センサによって生成され、かつ入力インタフェースによって又は記憶媒体から取得されるシーンの一組の画像を含む、マルチスペクトル画像を取得することを含む、或るシーンの画像の画像処理のためのものである。各画像は、周波数帯域を規定するチャネルを表しており、或るチャネルの或る画像は、チャネルの或る周波数帯域内に自身の周波数を有するようになっている。方法は、記憶媒体のデータベースに、異なるチャネルのためにトレーニングされる一組の辞書を記憶することを含む。方法は、画像の構造で畳み込まれる、チャネルのためにトレーニングされる辞書は、チャネルの画像の解像度よりも高い解像度を有するチャネルの高解像度画像を生成する。記憶媒体の別のデータベースに、異なるチャネルのためにトレーニングされる一組のフィルタを記憶することを含む。方法は、画像の組内の各画像で畳み込まれる、チャネルのためにトレーニングされるフィルタは、チャネルの画像の構造を生成する。記憶媒体及び入力インタフェースと通信するコンピュータを用いて、フィルタの記憶された組を用いて異なるチャネルの画像の組を処理して、一組の構造を生成することを含む。方法は、コンピュータを用いて、各チャネルについて、構造の組を融合して、一組の融合された構造を生成することを含む。方法は、チャネルの融合された構造は、チャネルに対応する重みを用いて、構造の組の重み付けされた組合せとして融合され、異なるチャネルの融合された構造は、異なる重みで結合されるようになっている。辞書の組からの対応する辞書を用いて融合された構造の組を処理して、シーンの超解像マルチスペクトル画像を生成することを含む。方法は、出力インタフェースによって超解像マルチスペクトル画像を通信ネットワークに出力すること、又は記憶媒体に超解像マルチスペクトル画像を記憶することを含む。

ここに開示されている実施形態は、添付図面を参照して更に説明される。示されている図面は、必ずしも一律の縮尺というわけではなく、ここに開示されている実施形態の原理を示すことに強調が置かれている。

本開示の実施形態による、マルチスペクトル画像の解像度を増大させる画像処理の方法のフローチャートを示すブロック図である。本開示の実施形態による、方法を実施するのに用いることができるいくつかの構成要素を含む方法を示す概略図である。本開示の実施形態による、方法がどのようにこの方法のためのデータを収集するかを示す概略図である。本開示の実施形態による、超解像（ＳＲ）マルチチャネル画像を再構成するために、マルチスペクトル（ＭＳ）画像について、ＤｅｅｐＣＡＳＤと称される深層学習フレームワークを用いるデータ駆動型結合分析合成辞書（ＣＡＳＤ）モデルの概要を含むトレーニングプロセスを示す概略図である。本開示の実施形態による、トレーニングステージからの例示の画像を示す写真であり、低解像度画像を示している。本開示の実施形態による、トレーニングステージからの例示の画像を示す写真であり、縮小領域ネットワーク（shrinkage field network）の出力及びＣＡＳＤモデルの入力としてマルチスペクトル画像２１１を示している。本開示の実施形態による、トレーニングステージからの例示の画像を示す写真であり、ＣＡＳＤモデルからの出力画像を示している。本開示の実施形態による、トレーニングステージからの例示の画像を示す写真であり、トレーニング／学習期間中に図２Ｄの出力画像と比較される、記憶された対応する高解像度画像を示している。本開示の実施形態による、第ｌチャネル

を超解像する第ｋステージのＣＡＳＤの層レベルの構造、及び入力／出力データ次元を示す概略図である。
本開示の実施形態による、ＳＲマルチチャネル画像を再構成するために、ＭＳ画像について、十分トレーニングされたＤｅｅｐＣＡＳＤモデルを用いた概要を含む、トレーニング済みモデルを用いた画像融合を示す概略図である。本開示の実施形態による高精細（ＨＤ）画像合成のいくつかの原理を示すブロック図である。本開示の実施形態による、ＭＳ画像のトゥルーカラー（ＲＧＢ）及び３つの赤外線チャネルの擬色（false color）のいくつかの例示のＳＲ結果を示す写真である。本開示の実施形態による、代替のコンピュータ又はプロセッサを用いて実施することができる図１Ａの方法を示すブロック図である。

上記で明らかにされた図面は、ここに開示されている実施形態を記載しているが、この論述において言及されるように、他の実施形態も意図されている。この開示は、限定ではなく代表例として例示の実施形態を提示している。ここに開示されている実施形態の原理の範囲及び趣旨に含まれる非常に多くの他の変更及び実施形態を当業者は考案することができる。

概説
本開示の実施形態は、畳み込み辞書を用いて、マルチスペクトル（ＭＳ）画像の解像度を増大させることに基づいている。特に、ＭＳ画像超解像は、再構成される画像を正則化することによって、超解像（ＳＲ）マルチチャネル画像をそれらの低解像度画像から再構成することを目指す。本開示は、実験を通して、畳み込み辞書を用いて複数のスペクトルチャネル内で及び複数のスペクトルチャネルにわたって機能する正則化項を利用することによって、ＭＳ画像ＳＲのために新規な結合分析合成辞書（ＣＡＳＤ）モデルを開発した。例えば、ＣＡＳＤモデルはパラメータを含み、ＤｅｅｐＣＡＳＤと称される深層辞書学習フレームワークは、画像データセットに対して、エンドツーエンドのＣＡＳＤベース再構成ネットワークを展開及びトレーニングすることによって用いることができる。

いくつかの実施形態は、辞書学習の導入によって、データ駆動型方法が画像超解像について有利になるという認識に基づいている。ＭＳ画像を各スペクトルチャネルに関して独立して処理することができるということが実験を通してわかった。チャネルごとに独立して畳み込み辞書を学習することによって、これらの従来の辞書学習方法をＭＳ画像ＳＲ応用に拡張することができるということが更に実現されるが、この拡張がスペクトルチャネルにわたってマルチスペクトル画像の関係を利用しないということが実験からわかった。

実験を通してわかった他の態様は、ＭＳ撮像システムが、可視光学ＲＧＢ帯域、赤外線帯域及び短波赤外線帯域を含む幅広い周波数帯域の範囲にわたって関心領域からの応答を測定することができるということを含む。これらのマルチバンドスペクトルは、物質、特に視覚的に類似した色の物質を検出及び区別するように、豊富な情報を提供することができる。さらに、光学帯域に対する赤外線帯域のより高い大気透過性質によって、光学撮像システムが十分働かない霞んだ又は曇った天候条件において、ＭＳ撮像がより有益になる。

異なる画像チャネル内で及び異なる画像チャネルにわたってＭＳ画像の関係を十分に利用するために、いくつかの実施形態は、ＭＳ画像ＳＲに関する結合分析合成辞書（ＣＡＳＤ）モデルを導入する。ＣＡＳＤモデルによって、低解像度ＭＳ画像と再構成される高解像度ＭＳ画像との間の相関を利用することができる。

特に、いくつかの実施形態は、各チャネルの高解像度画像は、チャネルの高解像度画像のために学習された辞書及びチャネルの低解像度画像の構造の畳み込みとして表すことができるという認識に基づいている。この構造は、各チャネルについて独立して各低解像度画像から抽出することができる。しかしながら、この手法は、スペクトルチャネルにわたってマルチスペクトル画像の関係を利用しない。判明したのは、シーンの低解像度画像の構造は、チャネルの或る周波数帯域で取得することができ、チャネルの当該周波数帯域を含む、異なるチャネルの異なる周波数帯域で取得されるシーンの異なる低解像度画像から学習することができるということである。特に、低解像度画像の構造は、異なるチャネルのフィルタリングされた低解像度画像の組合せとすることができる。さらに、構造マップは、閾値θより下の画像領域でスパースとすることができ、すなわち、構造マップ係数のほとんどはゼロである。フィルタＢ_ｌの係数、高解像度画像の辞書Ｄ及び閾値θは、各チャネルについてオフラインで学習することができる。フィルタの異なる係数は、異なるチャネルに対応する。さらに、異なるチャネルを表すフィルタの少なくともいくつかの係数は、ＭＳ画像のチャネル内依存性を可能にするために非ゼロである。そのようにして、画像間関係は、辞書内で符号化され、チャネル内関係は、フィルタ内で符号化される。

ＭＳ画像超解像のＣＡＳＤモデルを学習及び適用するために、いくつかの実施形態は、深層融合ネットワーク等のニューラルネットワーク及び深層融合ネットワークのエンドツーエンドトレーニング方法を用いる。モデルパラメータを繰り返し更新し、各パラメータが他のパラメータの最新の更新を所与として更新される代わりに、いくつかの実施形態は、多層ニューラルネットワークを構成するように、画像融合についてＣＡＳＤ学習プロセスを展開する。ネットワーク全体が、誤差逆伝播を用いてエンドツーエンドでトレーニングされ、各パラメータは、他のパラメータの最新の更新に関係付けられるだけではなく、パラメータの履歴の更新にも関係付けられる。

図１Ａは、本開示の実施形態による、マルチスペクトル画像の解像度を増大させる画像処理の方法のフローチャートを示すブロック図である。方法１００Ａは、或るシーンの一組の画像を有するマルチスペクトル画像（複数の場合もある）を取得するステップ１１０を含む。各マルチスペクトル画像は、周波数帯域を規定するチャネルを表しており、或るチャネルの或る画像がそのチャネルの或る周波数帯域内に自身の周波数を有するようになっている。

図１Ａのステップ１１５は、コンピュータ可読メモリのデータベースに、異なるチャネルについてトレーニングされた一組の辞書を記憶することを含むことができ、画像の構造で畳み込まれる、チャネルのためにトレーニングされた辞書は、チャネルの画像の解像度より高い解像度を有するチャネルの高解像度画像を生成するようになっている。さらに、コンピュータ可読メモリの別のデータベースに、異なるチャネルのためにトレーニングされた一組のフィルタを記憶し、画像の組内の各画像で畳み込まれる、チャネルのためにトレーニングされたフィルタは、チャネルの画像の構造を生成するようになっている。

図１Ａのステップ１２０は、コンピュータ可読メモリ及び入力インタフェースと通信するプロセッサを用いて、記憶されたフィルタの組を用いて異なるチャネルの画像の組を処理して、一組の構造を生成することを含むことができる。

図１Ａのステップ１２５は、プロセッサを用いて、各チャネルについて、構造の組を融合して、一組の融合された構造を生成することを含むことができ、チャネルの融合された構造は、チャネルに対応する重みを用いて構造の組の重み付けされた組合せとして融合され、異なるチャネルの融合された構造は、異なる重みで結合されるようになっている。

図１Ａのステップ１３０は、辞書の組からの対応する辞書を用いて融合された構造の組を処理して、シーンの超解像マルチスペクトル画像を生成することを含むことができる。

図１Ａのステップ１３５は、出力インタフェースによって超解像マルチスペクトル画像を通信ネットワークに出力すること、又は、コンピュータ可読メモリに超解像マルチスペクトル画像を記憶することを含むことができる。

図１Ｂは、本開示の実施形態による、方法１００Ｂを実施するのに用いることができるいくつかの構成要素を含む方法を示す概略図である。例えば、いくつかの構成要素は、入力インタフェース１３、外部メモリデバイス１５、メモリ１０、方法のステップを実施することができるプロセッサ１２を含むことができる。

マルチスペクトル画像データ１を含む信号データは、センサ３によって集めるとともに、入力インタフェース１３によって、又は外部メモリデバイス１５若しくは有線若しくは無線のいずれかで通信する何らかの他の手段から取得することができる。例えば、マルチスペクトル画像（複数の場合もある）データ１は、プロセッサ１２によって直接、又は、例えば、メモリ転送デバイス又は無線通信様式のデバイスによって間接的に取得することができる。キーボード（図示せず）を有するユーザインタフェース１７は、プロセッサ１２及びコンピュータ可読メモリ又はメモリと通信することができ、ユーザによるユーザインタフェース１７のキーボードの表面からの入力を受信すると、多視点画像の組及び他のデータを取得し、コンピュータ可読メモリ１０内に記憶することができるということが可能である。

図１Ｂを更に参照すると、プロセッサ１２は、クライアントデバイス１８に接続することができるネットワーク対応サーバ１４と通信することができる。さらに、プロセッサ１２は、送信機１６及び外部記憶デバイス１９に接続することができる。

図１Ｃは、本開示の実施形態による、方法がどのようにデータ、すなわち或るシーンのマルチスペクトル画像を収集することができるかを示す概略図である。方法１００Ｃは、太陽７が太陽光８をシーンに照射するシーン９を含むことができ、このシーンにおいて、雲５が、センサ３、すなわち、ビデオ、カメラ等からのビューを妨げる。センサ３は、光学帯域を超えた広域の周波数範囲にわたってデータを捕捉又は収集することを含む複数の検知機構とすることができ、このデータはシーン９のマルチスペクトル画像１を含む。赤外線帯域及び短波赤外線帯域が雲を貫通することができるので、センサ３は、シーン９を赤外線帯域及び短波赤外線帯域内で捕捉することができる。シーン９の死角（blind areas）１１は、光学ＲＧＢ帯域内にある間、雲５が原因でセンサ３から不可視である。

図２Ａは、畳み込み分析辞書（フィルタ）Ｂ、合成辞書Ｄ、及び閾値パラメータθを学習するように、マルチスペクトル（ＭＳ）画像について、ＤｅｅｐＣＡＳＤと称される深層学習フレームワークを用いるデータ駆動型結合分析合成辞書（ＣＡＳＤ）モデルの概要を示す概略図である。まず、低解像度マルチスペクトル画像２０２の各チャネルの低解像度画像は、独立して超解像プロセスについて縮小領域ネットワーク２１０に入力される。縮小領域ネットワーク２１０の出力２１１及びパンクロマティック画像２０１は、畳み込み辞書及びパラメータを学習するＣＡＳＤモデルの入力である。Ｋステージ深層ネットワーク２２１及び２２２を用いて、Ｌ枚のマルチスペクトル画像２３１を含む出力超解像画像２３０は、Ｌ枚のマルチスペクトル画像２５１を含む、対応する高解像度画像２５０と比較される。２３１と２５１との間の損失関数は、畳み込み辞書Ｂ及びＤ、並びにパラメータθを更新するのに用いられる。損失関数が前もって設定された値未満であると、ＣＡＳＤモデルは十分トレーニングされており、画像超解像プロセスに向けた準備ができている。

図２Ｂ、図２Ｃ、図２Ｄ及び図２Ｅは、トレーニングステージからの例示の画像を示す写真であり、図２Ｂは、最初の超解像プロセスとして縮小領域ネットワークに入力される低解像度画像２０２を示しており、図２Ｃは、チャネル独立プロセスを用いた縮小領域ネットワークの出力としての、また、ＣＡＳＤモデルの入力としてのマルチスペクトル画像２１１を示している。クロスチャネル構造融合がなければ、画像２１１のうちのいくつかは、雲に覆われることに起因して十分解像しない。図２Ｄは、ＣＡＳＤモデルからの出力画像２３１を示しており、図２Ｅは、トレーニング期間中、本開示の実施形態による、図２Ｄの出力画像と比較される、記憶された対応する高解像度画像２５１を示している。

図３は、本開示の実施形態による、第ｌチャネル

を超解像する第ｋステージのＣＡＳＤ２２１の層レベルの構造、及び入力／出力データ次元を示す概略図である。Ｌ枚のマルチスペクトル画像３００の各チャネルは、Ｍ個の分析辞書３１１

、３１２

、．．．、及び３１３

で畳み込まれ、結果として各チャネル画像に関するＭ個の構造マップ

をもたらす。縮小プロセス３２１

、３２２

、．．．、及び３２３

（ただし、閾値パラメータθ_１、θ_２、...、θ_Ｍ）の後、スパース構造マップ

が達成され、合成辞書３３１

、３３２

、．．．、及び３３３

で畳み込まれるのに用いられ、利用可能な場合高解像度パンクロマティック画像２０１に組み込まれ、ｌチャネル超解像画像３４０

が生成される。

図４は、本開示の実施形態による、ＳＲマルチチャネル画像を再構成する、ＭＳ画像についてのＤｅｅｐＣＡＳＤモデルの概要を示す概略図である。

図５は、本開示の実施形態による高精細（ＨＤ）画像合成のいくつかの原理を示すブロック図である。例えば、融合されたスパース係数マップｕ５３０にトレーニング済みの畳み込み辞書Ｄ（ＨＲ）５２０を乗算したものは、図５のマルチチャネル画像Ｘ（ＨＲ）５１０と等しい。

ＣＡＳＤモデル
ＭＳ画像ＳＲについて、ＤｅｅｐＣＡＳＤと称されるエンドツーエンド融合ネットワークが提示される。図４において示されるような、各ＤｅｅｐＣＡＳＤブロックの構造は、異なる画像チャネル内で及び異なる画像チャネルにわたって十分機能するように、単一チャネルＳＲモジュール及びマルチチャネルＳＲモジュールの両方から構成される。縮小領域（ＳＦ）ネットワークが、実証された性能及び効率に起因して単一チャネルモジュールとして用いられる。Ｌ個のスペクトルチャネルを所与とすると、マルチチャネルＣＡＳＤモデルは、ｌ∈｛１，...，Ｌ｝についての各ＨＲ画像ｘ_ｌ及びマルチチャネルＬＲ測定値

の全てが、それぞれ畳み込み合成及び分析辞書の下でほぼスパースである（ただし、共有される係数マップはｕ∈Ｒ^Ｍｐである）と想定する。

各チャネルにおけるＨＲ画像ｘ_ｌは、以下のＣＡＳＤ撮像問題を解くことによって超解像され、

ここで、Ｄ_ｌ＝［Ｄ_ｌ，１|．．．|Ｄ_ｌ，Ｍ］∈Ｒ^ｐ×Ｍｐは、ｘ_ｌについての畳み込み合成辞書である一方で、（Ｐ２）におけるｙについての畳み込み分析辞書は、以下のように規定される。

（Ｐ２）では、項

及び

は、それぞれ分析辞書及び合成辞書の下で、ｘ_ｌについてモデル化誤差を示す。（Ｐ１）で用いられた単一分析モデルと比較して、（Ｐ２）におけるＣＡＳＤモデルは、ＨＲ画像構造だけではなく、ＬＲ測定値とＨＲ画像との間の相関を更に利用する。

ＣＡＳＤを学習するために、結合辞書学習に対する従来の研究で幅広く用いられていた交互最小化を用いて（Ｐ２）を直接解くことができる。実験中、多くの撮像応用においてより優れた性能を実証した合成スパース符号化問題を展開することによって、深層学習を審査することができる。したがって、（Ｐ２）における損失関数を直接最適化する代わりに、本開示は、画像融合のためにＣＡＳＤ学習を展開することによって、ＤｅｅｐＣＡＳＤと称されるエンドツーエンドの学習フレームワークを用いる。ＭＳ画像ＳＲのＤｅｅｐＣＡＳＤの概要は、図２Ａにおいて示される。

エンドツーエンドＤｅｅｐＣＡＳＤ学習
提案されるＤｅｅｐＣＡＳＤにおけるマルチチャネルＳＲモジュールは、Ｋ個のＣＡＳＤステージを含む。各ステージにおいて、トレーニング可能なパラメータの組は、Ｂ_ｌ、θ_ｌ、Ｄ_ｌであり、このセットを用いて特徴マップｕ_ｌを生成し、したがって各ｙ_ｌを超解像する。ｕ_ｌ及び辞書Ｄ_ｌを所与として、（Ｐ２）に対する解

は、

によって与えられ、ここで、λ’＝１／（１＋λ_１）であり、λ_１／（１＋λ_１）は、学習中、

に吸収される。特徴マップｕ_ｌを得るために、直接（Ｐ２）を解くことは、エンドツーエンドトレーニングにおいてトレーニング可能Ｄ_ｌ及び出力

を用いる勾配計算を含み、これにより、再帰ニューラルネットワーク構造がもたらされる。本開示は、各ｕ_ｌが以下の分析（すなわち、変換）モデルスパース符号化問題

を解くことによって推定されるように、効率的な実施のためにフィードフォワードＤｅｅｐＣＡＳＤネットワークを構成する。ここで

は、特徴正則化項

の対応する縮小関数を示している。例えば、ｕの非ゼロ要素の数を数えるｌ_０「ノルム」を用いる

である場合、対応するη_θ（・）は、閾値θを有するｕのハード閾値処理関数（hard-thresholding function）になる。ここで、縮小関数

となるようにトレーニング可能ガウスＲＢＦを使用し、これは、ＳＦネットワークにおける非線形縮小関数の良好な一般化を示す。

提案されるＤｅｅｐＣＡＳＤにおけるカスケード型構造を分析するために、ｌチャネル超解像画像を第ｋステージ（ｋ＝１，．．．，Ｋ）における

として示す。

の再構成のための第ｋステージにおけるトレーニング可能な組は、

として示される。図４は、Ｋ個のカスケード型ＣＡＳＤステージがマルチチャネルＳＲモジュールを構成する方法を示している。すなわち、第ｋステージのマルチチャネル出力

は、そのＬＲ入力として次のステージに渡される。第ｋステージのマルチチャネル出力は、辞書

及び

、縮小関数パラメータの組

、以前のステージ出力

並びに第ｌチャネルＬＲ画像ｙ_ｌの関数として、以下のように再帰的に表すことができ、

ここで、

は、第１ステージにおける入力を示している。図３は、

の再構成に関する第ｋステージのＣＡＳＤネットワークの層レベルの構造を示している。

は、

の第ｍ行を示しており、これは、縮小を適用する前に、マルチチャネル入力

に融合し、すなわち、

であることに留意されたい。

ＤｅｅｐＣＡＳＤは、マルチチャネルＨＲ画像Ｘ＝［ｘ_（１）|．．．|ｘ_（Ｎ）］及びそれらのＬＲ測定値Ｙ＝［ｙ_（１）|．．．|ｙ_（Ｎ）］のＮ個の対を含むトレーニングの組に対してトレーニングされる。全ての画像及びチャネルにわたる負の平均再構成ＰＳＮＲが、最終の出力におけるコスト関数Ｌとして利用される。

ここで、Ｂは最大画像ピクセル値（例えば、８ビット画像の場合Ｂ＝２５５）であり、

は、ＤｅｅｐＣＡＳＤを用いた超解像マルチチャネル画像を示している。第ＫステージのＤｅｅｐＣＡＳＤにおける全てのトレーニング可能なパラメータの組を

とする。ジョイントＤｅｅｐＣＡＳＤトレーニング問題は、以下のように定式化される。

問題（Ｐ３）は、誤差逆伝播を用いて解くことができる。代替的には、各ＤｅｅｐＣＡＳＤステージ自体がスタンドアローン式の画像融合ネットワークであるので、各Θ_ｋは、以下のステージ単位のＤｅｅｐＣＡＳＤトレーニング問題を解くことによって、別個にトレーニングすることができる。

実際に、（Ｐ３）が非常に非凸であるので、（Ｐ３）のジョイントトレーニングにおける初期化として（Ｐ４）を用いて学習されるステージ単位

を用いることがより効率的である。ＤｅｅｐＣＡＳＤネットワークトレーニングが完了すると、トレーニング済み

を用いて再帰的に（４）を適用することによって、マルチチャネルＳＲが行われる。

図３は、第ｌチャネル

超解像する第ｋステージのＣＡＳＤの層レベルの構造、及び入力／出力データ次元をを示している。

表１：バイキュービック補間、辞書学習（ＤＬ）、縮小領域（ＳＦ）及び提案されるＤｅｅｐＣＡＳＤ法を用いた、１６個のチャネルにわたって平均されたＭＳ画像×２ＳＲのＰＳＮＲ値（ｄＢ単位）。各行のＰＳＮＲ最高値は、太字で示される。

実験
リモートセンシングＭＳ画像に関するＳＲ問題に対する提案されるＤｅｅｐＣＡＳＤの性能を評価及び比較するために、パンクロマティック、ＲＧＢ、赤外線及び短波赤外線チャネルを含む、１７個の別個のチャネルのＭＳ画像が、ＡＶＩＲＩＳハイパースペクトル画像データセットを用いて合成される。各高解像度ＭＳチャネルは、隣接する周波数帯域を包含する複数のハイパースペクトルチャネルの重み付けされた和として生成される。その後、対応する低解像度ＭＳチャネルは、ローパスフィルタを通して高解像度ＭＳ画像をダウンサンプリングすることによって生成される。深層ＣＡＳＤネットワークのパラメータが、まず一組のＭＳ画像を用いてトレーニングされる。トレーニングの組は、高解像度ＭＳ画像及び１６個のチャネルにわたるそれらの対応する低解像度測定値の１３８個の対を含む。単一チャネルにおける各ＨＲ画像のサイズは、２５６×２５６である。ＬＲ画像は、まずバイキュービック補間によってＨＲ画像サイズにアップスケーリングされる。ＨＲパンクロマティック画像は、通常リモートセンシング応用に利用可能であるので、トレーニング及び試験においてスキップリンク（skip link）を通して各マルチチャネルＳＲステージ（すなわち、各ＣＡＳＤステージにおいてＬ＝１６の入力マルチスペクトルチャネル及び１つのパンクロマティック入力、並びにＬ＝１６の出力マルチスペクトルチャネルがある）に直接渡される（図２Ａを参照されたい）。

単一チャネルＳＲモジュール（図２Ａ）における３つの単一チャネルＳＲステージと、これに後続して、ＤｅｅｐＣＡＳＤネットワークにおける１つのマルチチャネルＳＲステージとが用いられて、２×−ＳＲ実験が実行される。ＳＲステージが多くなるほどＤｅｅｐＣＡＳＤを用いたＳＲ性能が改善されることに留意されたい。しかしながら、より深いネットワークをトレーニングするためにはより多くのトレーニングデータが必要であり、より多くのトレーニングデータがなければ、ＤｅｅｐＣＡＳＤは、ＳＲ品質の劣化をもたらす過剰適合（overfitting）になる場合がある。トレーニングプロセスについて、ジョイントトレーニングは、ステージ単位のトレーニングと比較してわずかに良好なＳＲの性能を達成することができるが、より多くの時間を消費することに更に留意されたい。ステージ単位のトレーニングは、ジョイントトレーニングと比較して、その効率及びＳＲ性能の劣化に対する耐性のために用いられる。トレーニングが完了すると、ＡＶＩＲＩＳデータセットにおける他の領域のＭＳ画像は超解像され、この画像は、多様な幾何学的特性を含む。再構成された画像のＰＳＮＲは、品質基準として用いられる。

図６は、本開示の実施形態による、ＭＳ画像のトゥルーカラー（ＲＧＢ）及び３つの赤外線チャネルの擬色のいくつかの例示のＳＲ結果を示している。例えば、従来の辞書学習（ＤＬ）及び縮小領域（ＳＦ）法によって得られる結果と比較して、ＤｅｅｐＣＡＳＤは、特に道路及び建築物等の重要な局所的領域をより良好に解像することによって、より多くの詳細を発見することができる。

カリフォルニア州における４つの異なる試験領域についての表１の再構成されたＭＳ画像ＰＳＮＲを用いて、ＭＳ画像ＳＲ結果の性能を定量的に分析するために、各ＰＳＮＲ値は、前述の方法を用いて得られた１６個のＭＳチャネルにわたって平均される。提案されるＤｅｅｐＣＡＳＤ方式は、全ての試験ＭＳ画像について、全ての競合する方法に性能が勝ることが明らかである。バイキュービック補間、辞書学習（ＤＬ）ベースＳＲ及びＳＦネットワークに対するＤｅｅｐＣＡＳＤ結果の平均ＰＳＮＲの改善は、それぞれ２．２ｄＢ、０．８ｄＢ及び０．２ｄＢである。

本開示のデータ駆動型方法は、マルチスペクトル画像超解像に関する深層結合分析合成辞書（ＤｅｅｐＣＡＳＤ）フレームワークを用いる。開示の方法によって、複数の画像チャネル内での及び複数の画像チャネルにわたる畳み込み辞書の結合が可能になるとともに、エンドツーエンドトレーニングプロセス内で有効に高次元のデータを利用することが可能になる。

図７は、本開示の実施形態による、代替のコンピュータ又はプロセッサを用いて実施することができる図１Ａの方法を示すブロック図である。コンピュータ７１１は、プロセッサ７４０と、コンピュータ可読メモリ７１２と、記憶装置７５８と、ディスプレイ７５２及びキーボード７５１とのユーザインタフェース７４９とを備え、これらは、バス７５６を通じて接続されている。例えば、プロセッサ７４０及びコンピュータ可読メモリ７１２と通信するユーザインタフェース７４９は、ユーザによるユーザ入力インタフェース７５７の表面、すなわちキーボード７５３からの入力を受信すると、画像データを取得し、コンピュータ可読メモリ７１２内に記憶する。

コンピュータ７１１は、電源７５４を備えることができ、用途に応じて、電源７５４は、任意選択でコンピュータ７１１の外部に配置されてもよい。バス７５６を通じて、ディスプレイデバイス７４８に接続するように構成されたユーザ入力インタフェース７５７をリンクすることができ、ディスプレイデバイス７４８は、とりわけ、コンピュータモニター、カメラ、テレビ、プロジェクター、又はモバイルデバイスを含むことができる。プリンタインタフェース７５９も、バス７５６を通じて接続することができ、印刷デバイス７３２に接続するように構成することができる。印刷デバイス７３２は、とりわけ、液体インクジェットプリンタ、固体インクプリンタ、大規模商用プリンタ、感熱式プリンタ、ＵＶプリンタ、又は昇華型プリンタを含むことができる。ネットワークインタフェースコントローラ（ＮＩＣ）７３４は、バス７５６を通じてネットワーク７３６に接続するように構成され、とりわけ、画像データ又は他のデータは、コンピュータ７１１の外部の第三者ディスプレイデバイス、第三者撮像デバイス、及び／又は第三者印刷デバイス上にレンダリングすることができる。コンピュータ／プロセッサ７１１は、バス７５６に接続されているＧＰＳ７０１を備えることができる。

図７を更に参照すると、とりわけ、画像データ又は他のデータは、ネットワーク７３６の通信チャネルを介して送信することができ、及び／又は、記憶及び／又は更なる処理のために記憶システム７５８内に記憶することができる。さらに、時系列データ又は他のデータは、受信機７４６（又は外部受信機７３８）から無線又は配線接続で受信することもできるし、送信機７４７（又は外部送信機７３９）を介して無線又は配線接続で送信することもでき、受信機７４６及び送信機７４７は、ともにバス７５６を通じて接続されている。コンピュータ７１１は、入力インタフェース７０８を介して外部検知デバイス７４４及び外部入力／出力デバイス７４１に接続することができる。入力インタフェース７０８は、１つ以上の入力／出力デバイス７４１、外部メモリ７０６、機械型のデバイス７０２に接続することができる外部センサ７０４に接続することができる。例えば、外部検知デバイス７４４は、機械の時系列データを収集する前、収集中、収集後に、データを集めるセンサを含むことができる。コンピュータ７１１は、他の外部コンピュータ７４２に接続することができる。出力インタフェース７０９は、プロセッサ７４０からの処理データを出力するのに用いることができる。プロセッサ７４０及び非一時的コンピュータ可読記憶媒体７１２と通信するユーザインタフェース７４９は、ユーザインタフェース７４９の表面７５２からユーザによる入力を受信すると、領域データを取得し非一時的コンピュータ可読記憶媒体７１２内に記憶することに留意されたい。

以下の説明は、例示的な実施形態のみを提供し、本開示の範囲も、適用範囲も、構成も限定することを意図していない。そうではなく、例示的な実施形態の以下の説明は１つ以上の例示的な実施形態を実施することを可能にする説明を当業者に提供する。添付の特許請求の範囲に明記されているような開示された主題の趣旨及び範囲から逸脱することなく要素の機能及び配置に行うことができる様々な変更が意図されている。

以下の説明では、実施形態の十分な理解を提供するために、具体的な詳細が与えられる。しかしながら、当業者は、これらの具体的な詳細がなくても実施形態を実施することができることを理解することができる。例えば、開示された主題におけるシステム、プロセス、及び他の要素は、実施形態を不必要な詳細で不明瞭にしないように、ブロック図形式の構成要素として示される場合がある。それ以外の場合において、よく知られたプロセス、構造、及び技法は、実施形態を不明瞭にしないように不必要な詳細なしで示される場合がある。さらに、様々な図面における同様の参照符号及び名称は、同様の要素を示す。

また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、又はブロック図として描かれるプロセスとして説明される場合がある。フローチャートは、動作を逐次的なプロセスとして説明することができるが、これらの動作の多くは、並列又は同時に実行することができる。加えて、これらの動作の順序は、再配列することができる。プロセスは、その動作が完了したときに終了することができるが、論述されない又は図に含まれない追加のステップを有する場合がある。さらに、特に説明される任意のプロセスにおける全ての動作が全ての実施形態において行われ得るとは限らない。プロセスは、方法、関数、手順、サブルーチン、サブプログラム等に対応することができる。プロセスが関数に対応するとき、その関数の終了は、呼び出し側関数又はメイン関数へのその機能の復帰に対応することができる。

さらに、開示された主題の実施形態は、少なくとも一部は手動又は自動のいずれかで実施することができる。手動実施又は自動実施は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組合せを用いて実行することもできるし、少なくとも援助することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実施されるとき、必要なタスクを実行するプログラムコード又はプログラムコードセグメントは、マシン可読媒体に記憶することができる。プロセッサ（複数の場合もある）が、それらの必要なタスクを実行することができる。

本開示の上記で説明した実施形態は、多数の方法のうちの任意のもので実施することができる。例えば、実施形態は、ハードウェア、ソフトウェア又はそれらの組合せを用いて実施することができる。ソフトウェアで実施される場合、ソフトウェアコードは、単一のコンピュータに設けられるのか又は複数のコンピュータ間に分散されるのかにかかわらず、任意の適したプロセッサ又はプロセッサの集合体において実行することができる。そのようなプロセッサは、１つ以上のプロセッサを集積回路部品に有する集積回路として実装することができる。ただし、プロセッサは、任意の適したフォーマットの回路類を用いて実装することができる。

また、本明細書において略述された様々な方法又はプロセスは、様々なオペレーティングシステム又はプラットフォームのうちの任意の１つを用いる１つ以上のプロセッサ上で実行可能なソフトウェアとしてコード化することができる。加えて、そのようなソフトウェアは、複数の適したプログラミング言語及び／又はプログラミングツール若しくはスクリプティングツールのうちの任意のものを用いて記述することができ、実行可能機械語コード、又はフレームワーク若しくは仮想機械上で実行される中間コードとしてコンパイルすることもできる。通常、プログラムモジュールの機能は、様々な実施形態において所望に応じて組み合わせることもできるし、分散させることもできる。

また、本開示の実施形態は、方法として具現化することができ、この方法の一例が提供されている。この方法の一部として実行される動作は、任意の適した方法で順序付けることができる。したがって、例示したものと異なる順序で動作が実行される実施形態を構築することができ、この順序は、いくつかの動作が例示の実施形態では順次的な動作として示されていても、それらの動作を同時に実行することを含むことができる。さらに、請求項の要素を修飾する、特許請求の範囲における第１、第２等の序数の使用は、それ自体で、１つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する１つの請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。

Claims

マルチスペクトル画像の解像度を増大させる撮像システムであって、
センサによって生成される或るシーンの一組の画像を含むマルチスペクトル画像を受信する入力インタフェースであって、各画像は、周波数帯域を規定するチャネルを表しており、或るチャネルの或る画像は、前記チャネルの或る周波数帯域内に自身の周波数を有するようになっている、入力インタフェースと、
メモリであって、
異なるチャネルのためにトレーニングされる一組の合成辞書であって、前記画像の構造で畳み込まれる、チャネルのためにトレーニングされる合成辞書は、前記チャネルの前記画像の解像度よりも高い解像度を有する前記チャネルの高解像度画像を生成するようになっている、一組の合成辞書と、
前記異なるチャネルのためにトレーニングされる一組のフィルタ（分析辞書）であって、前記画像の組内の各画像で畳み込まれる、チャネルのためにトレーニングされるフィルタ（分析辞書）は、前記チャネルの前記画像の前記構造を生成するようになっている、一組のフィルタと、
を記憶する、メモリと、
ハードウェアプロセッサであって、
前記フィルタ（分析辞書）の組を用いて前記異なるチャネルの前記画像の組を処理して、一組の構造を生成し、
各チャネルについて、前記構造の組を融合して、一組の融合された構造を生成し、前記チャネルの融合された構造は、前記チャネルに対応する重みを用いて、前記構造の組の重み付けされた組合せとして融合され、異なるチャネルの前記融合された構造は、異なる重みで結合されるようになっており、
前記合成辞書の組からの対応する辞書を用いて前記融合された構造の組を処理して、超解像マルチスペクトル画像を生成する、
ハードウェアプロセッサと、
前記超解像マルチスペクトル画像をレンダリングする出力インタフェースと、
を備える、撮像システム。
前記フィルタの組内の各フィルタ（分析辞書）及び前記辞書の組内の各辞書は、前記異なるチャネルの異なる画像を用いてトレーニングされる、請求項１に記載の撮像システム。
前記合成辞書の組及び前記フィルタ（分析辞書）の組は、同時にトレーニングされて、前記異なるチャネル内の全てのトレーニング画像にわたる平均ピーク信号対雑音比が増大する、請求項２に記載の撮像システム。
前記辞書の組及び前記フィルタの組は、以前の反復中に学習された前記辞書の組及び前記フィルタの組の以前の値を用いて、現在の反復において前記辞書の組及び前記フィルタの組の現在の値を更新することによって、同時にレーニングされる、請求項３に記載の撮像システム。
前記メモリは、前記チャネルのためにトレーニングされる一組の閾値を記憶し、前記ハードウェアプロセッサは、対応する閾値を用いて前記チャネルの前記画像の前記構造の値を閾値処理することによって、前記チャネル内の前記画像の前記構造にスパース性を課すようになっている、請求項１に記載の撮像システム。
前記辞書の組は、畳み込み辞書である、請求項１に記載の撮像システム。
前記辞書の組、前記フィルタ（分析辞書）の組、及び各チャネルの構造を融合するための一組の重みは、前記異なるチャネルの異なる画像を用いて同時にトレーニングされる、請求項１に記載の撮像システム。
前記重みの組は、前記フィルタ（分析辞書）の組及び前記合成辞書の組のうちの一方又は組合せに組み込まれ、前記合成辞書の組と前記対応する構造との前記畳み込みの組合せは、前記異なる画像の前記構造と対応する重みとの前記融合を含むようになっている、請求項１に記載の撮像システム。
前記チャネルに対応する前記重みは、全てのトレーニング画像及びチャネルにわたる平均ピーク信号対雑音比を最大化することによって求められる、請求項１に記載の撮像システム。
マルチスペクトル画像の解像度を増大させる画像処理の方法であって、
センサによって生成され、かつ入力インタフェースによって又はコンピュータ可読メモリから取得される或るシーンの一組の画像を含むマルチスペクトル画像を取得することであって、各画像は、周波数帯域を規定するチャネルを表しており、或るチャネルの或る画像は、前記チャネルの或る周波数帯域内に自身の周波数を有するようになっている、取得することと、
前記コンピュータ可読メモリのデータベースに、異なるチャネルのためにトレーニングされる一組の辞書を記憶することであって、前記画像の構造で畳み込まれる、チャネルのためにトレーニングされる辞書は、前記チャネルの前記画像の解像度よりも高い解像度を有する前記チャネルの高解像度画像を生成するようになっている、記憶することと、
前記コンピュータ可読メモリの別のデータベースに、前記異なるチャネルのためにトレーニングされる一組のフィルタを記憶することであって、前記画像の組内の各画像で畳み込まれる、チャネルのためにトレーニングされるフィルタは、前記チャネルの前記画像の前記構造を生成するようになっている、記憶することと、
前記コンピュータ可読メモリ及び前記入力インタフェースと通信するハードウェアプロセッサを用いて、前記フィルタの記憶された組を用いて前記異なるチャネルの前記画像の組を処理して、一組の構造を生成することと、
前記ハードウェアプロセッサを用いて、各チャネルについて、前記構造の組を融合して、一組の融合された構造を生成することであって、前記チャネルの融合された構造は、前記チャネルに対応する重みを用いて、前記構造の組の重み付けされた組合せとして融合され、前記異なるチャネルの前記融合された構造は、異なる重みで結合されるようになっている、用いることと、
前記辞書の組からの対応する辞書を用いて前記融合された構造の組を処理して、前記シーンの超解像マルチスペクトル画像を生成することと、
出力インタフェースによって前記超解像マルチスペクトル画像を通信ネットワークに出力すること、又は、前記コンピュータ可読メモリに前記超解像マルチスペクトル画像を記憶することと、
を含む、方法。
前記フィルタの組内の各フィルタ及び前記辞書の組内の各辞書は、前記異なるチャネルの異なる画像を用いてトレーニングされる、請求項１０に記載の方法。
前記辞書の組及び前記フィルタの組は、同時にトレーニングされて、前記異なるチャネルにおける全てのトレーニング画像にわたる平均ピーク信号対雑音比が増大する、請求項１１に記載の方法。
前記辞書の組及び前記フィルタ（分析辞書）の組は、以前の反復中に学習された前記辞書の組及び前記フィルタの組の以前の値を用いて、現在の反復において前記辞書の組及び前記フィルタの組の現在の値を更新することによって、同時にトレーニングされる、請求項１２に記載の方法。
前記コンピュータ可読メモリは、前記チャネルのためにトレーニングされる一組の閾値を記憶し、前記ハードウェアプロセッサは、対応する閾値を用いて前記チャネルの前記画像の前記構造の値を閾値処理することによって、前記チャネル内の前記画像の前記構造にスパース性を課すようになっている、請求項１２に記載の方法。
前記辞書の組は、畳み込み辞書である、請求項１０に記載の方法。
前記辞書の組、前記フィルタの組、及び各チャネルの構造を融合するための一組の重みは、異なるチャネルの異なる画像を用いて同時にトレーニングされる、請求項１０に記載の方法。
前記重みの組は、前記フィルタの組及び前記辞書の組のうちの一方又は組合せに組み込まれ、前記辞書の組と前記対応する構造との前記畳み込みの組合せは、異なる画像の前記構造と対応する重みとの前記融合を含むようになっている、請求項１０に記載の方法。
方法を実行するコンピュータによって実行可能なプログラムが具現化される非一時的コンピュータ可読記憶媒体であって、前記方法は、或るシーンの画像の画像処理を行うものであり、
センサによって生成され、かつ入力インタフェースよって又は前記非一時的コンピュータ可読記憶媒体から取得される或るシーンの一組の画像を含むマルチスペクトル画像を取得することであって、各画像は、周波数帯域を規定するチャネルを表しており、或るチャネルの或る画像は、前記チャネルの或る周波数帯域内に自身の周波数を有するようになっている、取得することと、
前記非一時的コンピュータ可読記憶媒体のデータベースに、異なるチャネルのためにトレーニングされる一組の辞書を記憶することであって、前記画像の構造で畳み込まれる、チャネルのためにトレーニングされる辞書は、前記チャネルの前記画像の解像度よりも高い解像度を有する前記チャネルの高解像度画像を生成するようになっている、記憶することと、
前記非一時的コンピュータ可読記憶媒体の別のデータベースに、前記異なるチャネルのためにトレーニングされる一組のフィルタを記憶することであって、前記画像の組内の各画像で畳み込まれる、チャネルのためにトレーニングされるフィルタは、前記チャネルの前記画像の前記構造を生成するようになっている、記憶することと、
前記非一時的コンピュータ可読記憶媒体及び前記入力インタフェースと通信する前記コンピュータを用いて、前記フィルタの記憶された組を用いて前記異なるチャネルの前記画像の組を処理して、一組の構造を生成することと、
前記コンピュータを用いて、各チャネルについて、前記構造の組を融合して、一組の融合された構造を生成することであって、前記チャネルの融合された構造は、前記チャネルに対応する重みを用いて前記構造の組の重み付けされた組合せとして融合され、前記異なるチャネルの前記融合された構造は、異なる重みで結合されるようになっている、用いることと、
前記辞書の組からの対応する辞書を用いて前記融合された構造の組を処理して、前記シーンの超解像マルチスペクトル画像を生成することと、
出力インタフェースによって前記超解像マルチスペクトル画像を通信ネットワークに出力すること、又は前記非一時的コンピュータ可読記憶媒体に前記超解像マルチスペクトル画像を記憶することと、
を含む、非一時的コンピュータ可読記憶媒体。