JP7395018B2 - ブラインドマルチスペクトル画像融合のためのシステムおよび方法 - Google Patents

ブラインドマルチスペクトル画像融合のためのシステムおよび方法 Download PDF

Info

Publication number
JP7395018B2
JP7395018B2 JP2022565029A JP2022565029A JP7395018B2 JP 7395018 B2 JP7395018 B2 JP 7395018B2 JP 2022565029 A JP2022565029 A JP 2022565029A JP 2022565029 A JP2022565029 A JP 2022565029A JP 7395018 B2 JP7395018 B2 JP 7395018B2
Authority
JP
Japan
Prior art keywords
image
pan
blur kernel
function
fused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022565029A
Other languages
English (en)
Other versions
JP2023508780A (ja
Inventor
リウ，デホン
ユィ，ランタオ
マー，ヤンティン
マンスール，ハッサン
ボウフォウノス，ペトロス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2023508780A publication Critical patent/JP2023508780A/ja
Application granted granted Critical
Publication of JP7395018B2 publication Critical patent/JP7395018B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10041—Panchromatic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)

Description

本開示は、概してマルチスペクトルイメージングに関し、より特定的には、低空間分解能マルチスペクトル画像を、関連しているが十分に位置合わせされていない高空間分解能パンクロマティック画像と融合することに関する。
従来のマルチスペクトル（multi-spectral：ＭＳ）イメージングは、遠隔検知およびその関連分野において広く用いられている。ＭＳイメージングで対象となる帯域は、ＲＧＢ、近赤外線（near infra-red：ＮＩＲ）、および短波ＩＲ（shortwave IR：ＳＷＩＲ）などをカバーする。ＭＳイメージングは、ＲＧＢ帯において非常に類似し得る場合もあるさまざまな材料特性をもつ物体を識別するものであり、曇りおよび霧などの過酷な大気条件の存在下で情報を収集することができる。というのも、赤外線波は、可視光と比べてより容易にこれらの媒体内を通過することができるからである。
従来のＭＳ検知では多くの興味深い課題が提起されている。たとえば、多くの用途では、高空間分解能および高スペクトル分解能の両方が必要とされる。しかしながら、センサの帯域幅と画像の空間分解能との間には根本的なトレードオフがある。従来の高空間分解能は、可視ＲＧＢ帯をカバーするがスペクトル情報を持たないパンクロマティック（panchromatic：ＰＡＮ）画像によって達成される一方で、ＭＳ画像は、豊富なスペクトル情報を有するものの空間分解能が低いため、ＭＳ画像融合の問題を引起こす。
従来の方法はさまざまな技術を用いて、このハードウェア制限を緩和し、高空間分解能画像および高スペクトル分解能画像の両方を実現する。さらに、従来のＭＳ画像融合方法には多くの問題がある。たとえば、さまざまな波長で得られた低分解能ＭＳ画像とスペクトル情報を持たない高分解能パンクロマティック画像とのセットの場合、従来のモデルベースのＭＳ画像融合方法は、高スペクトル分解能および高空間分解能の両方を達成する際に十分に機能しない可能性がある一方で、近年のデータ駆動方法、特に深層学習ベースの方法は良好な性能を実現する可能性があるが、多くのトレーニング用ＭＳ画像およびＰＡＮ画像を必要とし、解釈が難しく、理論的収束保証が欠如している。
たとえば、いくつかの従来の方法は、別々のセンサによって、別々の視野角から、または別々の時間に取込まれた元のＭＳ画像およびＰＡＮ画像を用いるものであり、結果として、同じブラーカーネルを共有しているにも関わらず、画像同士が互いに十分に位置合わせされない。さらに、ＭＳ画像とＰＡＮ画像との間のパラメータ関係が不明瞭であることが多い。なぜなら、ＰＡＮ画像のスペクトルがＭＳ画像の全スペクトルのうち一部しかカバーしていないからである。これらの従来の方法に伴う多くの問題のいくつかは、ＭＳ画像の空間分解能が欠如していることである。これらの従来の方法は、ＭＳ画像の空間分解能を高めることができない。これらの従来の方法が機能しないいくつかの理由は、ＭＳ画像とＰＡＮ画像との間の位置ずれに起因してＭＳ画像が劣化することによるものである。
本開示は、高スペクトル分解能および高空間分解能の両方を有する画像のセットを生成することにより、ＭＳ画像融合についての従来の問題を解決することによって、現在の画像処理産業および他の関連技術産業の技術的ニーズに対処する。
本開示は、低空間分解能マルチスペクトル（ＭＳ）画像を、関連する高空間分解能の、但し十分に位置合わせされていないパンクロマティック（ＰＡＮ）画像と融合することに関する。
本開示のいくつかの実施形態は、低分解能ＭＳが、融合された高分解能ＭＳ画像をぼかしてダウンサンプリングすることによって達成され得ることを想定している。ぼかす動作は、未知の滑らかなブラーカーネルによって実現される。カーネルは最小の二次全一般化変動を有し、融合されたＭＳ画像の高分解能情報は、局所ラプラシアン事前確率関数によってＰＡＮ画像から取得され得る。本開示のいくつかの実施形態は、ＰＡＮ画像を用いて推定融合画像を初期化して、初期化関数によって推定ブラーカーネルを得る。次いで、反復的に融合アルゴリズムを用いて、各反復ごとに、二次全一般化変動（Second-Order Total Generalized Variation：ＴＧＶ２）関数を用いて推定ブラーカーネルを更新するステップと、次に、局所ラプラシアン事前確率（local Laplacian prior：ＬＬＰ）関数に基づいてＰＡＮ画像およびＭＳ画像を当該更新されたブラーカーネルと融合して、推定融合画像を得るステップと、次いで、現在の反復の推定融合画像と前の反復からの前の推定融合画像との間の相対誤差を計算するステップとを含むようにする。ここで、当該相対誤差が予め定められた閾値未満である場合、当該反復が停止し、結果としてＰＡＮシャープン画像が得られる。
しかしながら、本開示の実施形態を構築するために、実験は、ブラインドＭＳ画像のパンシャープニングに対するアプローチを含む多くの実験的アプローチを含んでいた。たとえば、ブラインドＭＳ画像のパンシャープニングは、広いスペクトル範囲をカバーするとともに位置ずれした空間的に高分解能の対応するＰＡＮ画像をそれぞれ用いる、空間的に低分解能のＭＳチャネルのセットの空間分解能を向上させることを目的としている。この場合、元のＭＳ画像および元のＰＡＮ画像は、別々のセンサを用いて、別々の視野角から、または別々の時間に取込まれたものであったため、結果として画像同士が互いに十分に位置合わせされていなかった。また、ＭＳ画像とＰＡＮ画像との間のパラメータ関係は不明瞭であった。なぜなら、ＰＡＮ画像のスペクトルがＭＳ画像の全スペクトルのうち一部しかカバーしていなかったからである。これらの問題に対処するために、本開示のいくつかの実施形態では、いくつかの方法が、位置ずれ、ブラーカーネル、またはチャネル間関係の任意のパラメトリックモデルについての情報なしにＭＳ画像とＰＡＮ画像とを融合させることを必要とすることが認識された。この認識に基づいて、最適化ベースのアルゴリズムおよび深層学習ベースのアルゴリズムを用いる上述の従来の方法と比較して、ＰＡＮ画像の空間分解能およびＭＳ画像のスペクトル分解能で有意により優れた画像が得られるという結果が判明した。しかしながら、これらの方法では、ＭＳ画像のパンシャープニングタスクで得られる成果は依然として限られていた。
したがって、さらに別の実験方法がもたらすいくつかの実験では、局所勾配制約（local gradient constraint：ＬＧＣ）を用いてパンシャープニングしてチャネル間関係を正則化したが、ブラーカーネルが認識されていた場合にのみ改善が見出された。さらに、これに続いて、ブラインド画像のパンシャープニングのためにチャネル間事前確率に関する実験について調査された。他の実験は、ブラーカーネルに適用された全変動（total variation：ＴＶ）ベースの正則化器の使用を含んでいたが、これは、小さい勾配を強制的に０にすることで、結果として、グラウンドトゥルースのブラーカーネルが滑らかである場合に重大な誤差をもたらすように思われた。さらにいくつかの他の実験は二次全一般化変動（ＴＧＶ２）の使用を含んでいた。二次全一般化変動（ＴＧＶ２）は、全変動よりも柔軟な特徴を備えるために後で提供されるものである。しかしながら、本開示に従って解決されるべき問題の非凸性に起因して、いくつかの実験方法は、位置合わせのずれが大きい場合に結果的に不良な局所最小値をもたらし、これにより、融合性能が不良となった。したがって、実験のさまざまな手法に基づいて、いくつかの新規の局面が実現され、後に、本開示の実施形態のいくつかを構築する際に用いられた。
たとえば、実験から得られた少なくとも１つの実現例は、新規な局所ラプラシアン事前確率（ＬＬＰ）を用いてＭＳ画像とＰＡＮ画像との間の関係を正則化することを含んでいたが、これは、局所勾配制約（ＬＧＣ）を用いる場合よりも優れた性能をもたらすことが判明した。実験から得られた別の実現例は、二次全一般化変動（ＴＧＶ２）を用いてブラーカーネルを正則化することであり、これは、結果として、既存のＴＶベースの事前確率と比べてよりロバストかつ正確なブラーカーネルの推定をもたらし、さらに、結果として、全変動の場合よりも柔軟な特徴をもたらした。実験から得られたさらに別の実現例は、ブラーカーネルについての初期化戦略を採用することであって、これは、他の新規な局面の中でも特に、最適化の際に望ましくない局所極小値を回避するのに役立つことが後に判明した。
本開示の実施形態のうちのいくつかは、チャネル間関係および空間ブラーカーネルについての事前確率を用いることに基づいて、関連する位置ずれしたＰＡＮ画像でＭＳ画像をシャープにする際の従来の問題に対処する。言い換えれば、ブラーカーネルについての全一般化変動とチャネル間関係についての局所ラプラシアン事前確率とを用いて、多凸最適化フレームワーク内のブラインド・パンシャープニング問題を明確に示すことによるものである。この問題は、ブラーカーネルを更新することと中間ＭＳ画像をシャープにすることとを交互に行なう交互方向乗数法（alternating direction method of multipliers：ＡＤＭＭ）によって解決することができる。本開示のこれらの方法の実験後、これらの数値実験は、このアプローチが、最適化ベースのアルゴリズムおよび深層学習ベースのアルゴリズムを用いる従来の方法と比較して、大きな位置ずれ誤差に対してよりロバストであることと、有意により優れた超分解能ＭＳ画像をもたらすこととを実証した。しかしながら、これらの実施形態はまた、既存の実現例と、より多くの実験から得られた他の実現例とに基づいて構築されたものである。
たとえば、実験から学習されたこれらの他の実現例のいくつかは、モデルベースの方法およびデータ駆動型方法を用いるさまざまなアプローチを含む。ＭＳ画像融合は本質的に不確定で不適切な問題であるので、学習されたいくつかの局面としては、モデルベースの方法は一般に理論的収束保証を有するものの、データ駆動型方法と比較した場合に性能が比較的低いものであった。これは、深層学習ベースの方法を用いるいくつかの実験において確認された。他方で、ブラックボックスとして機能する純粋にデータ駆動型の方法は、それほど解釈可能ではなかった。モデルベースの深層学習アプローチは、最終的に、マルチスペクトル画像融合問題を解決するために深層学習に基づいてモデルベースの解法とデータ駆動型の解法との組合わせを用いる実験に至った。たとえば、投影勾配降下（projected gradient descent：ＰＧＤ）アルゴリズムの反復を展開し、次いで、ＰＧＤの投影ステップを畳み込みニューラルネットワーク（convolutional neural network：ＣＮＮ）と置換えて、マルチスペクトル画像融合問題を解決する。しかしながら、これらの実験的アプローチは、多くの制約および問題を伴うことが判明したため、本開示の提案された実施形態および方法には適していない。たとえば、これらの多くの制約および問題のいくつかは以下を含む。
（１）ＰＡＮセンサおよびＭＳセンサが同じ角度で、同じ高さにあることを必要とすること（許容できない問題）。これについては、これらの物理的センサ位置特定の制限が許容不可能であり、他の厄介な問題の中でも特に、ユーザによる使用および適用を有意に制限することが後に認識された。
（２）位置ずれの事前認識、ブラーカーネルの認識、または、チャネル間関係のパラメトリックモデルを必要とすること（許容できない問題）。これは、考慮の上、他の難題の中でも特に、計算リソース、セットアップ要件、ハードウェア要件の点で許容不可能かつ非常に限定的であることが判明した。
（３）融合アルゴリズムの事前トレーニングを必要とすること（許容できない問題）。これは、他の欠点の中でも特に、多大な計算コスト、計算時間をもたらした実験から学習された。
（４）上記方法を機能させるのに大量のデータを必要とすること（許容できない問題）。これは、他の難題の中でも特に、不便で、時間がかかり、多大な労力を必要とすることを証明した実験から学習された。
（５）大量の計算時間を必要とすること（許容できない問題）。実験によれば、これらのアルゴリズムの時間計算量により、入力の長さの関数として実行するのに費やされる大量の時間（すなわち、計算プロセスを実行するための計算時間または実行時間が過度な時間量であった）が定量化されたこと、ならびに、入力の長さの関数として実行するためにこれらのアルゴリズムによって費やされた大量の空間またはメモリを必要とした空間計算量を伴うことが判明した。また、本開示の方法のいくつかに課される時間制限に関して、上記制約および問題を、本開示の方法のいくつかに関して考えられる提案された性能および動作閾値と比較した。
実際の適用例
本開示の実施形態のいくつかの実際の適用例は、土地測量、森林カバー範囲分析、作物成長監視、および鉱物探査などのために、別のプラットフォームによって、または別の時間に取込まれた高分解能ＰＡＮ画像を用いて、低分解能遠隔検知ＭＳ画像同士を融合させることを含み得る。
本開示の実施形態に従うと、マルチスペクトル（ＭＳ）画像から超分解能画像を再構築するためのシステムが提供される。システムは、データを受付けるためのトランシーバを有し、データを格納するためのメモリを有する。当該データは、シーンのＭＳ画像とパンクロマティック（ＰＡＮ）画像とを含み、各ＭＳ画像はＰＡＮ画像に関連付けられている。処理デバイスは、トランシーバおよびメモリに動作可能に接続される。当該システムは、当該処理デバイスが、ＰＡＮ画像を用いて融合画像を初期化し、ＰＡＮ画像とＭＳ画像との間のブラーカーネルを初期化関数として推定し、反復的に、プロセッサにより融合アルゴリズムを用いて、ＭＳ画像をシーンの関連付けられたＰＡＮ画像と融合するように構成されていることを含む。各反復は、二次全一般化変動（ＴＧＶ２）関数に基づいて当該ブラーカーネルを更新して、カーネル形状を正則化することと、局所ラプラシアン事前確率（ＬＬＰ）関数に基づいて当該ＰＡＮ画像および当該ＭＳ画像を当該更新されたブラーカーネルと融合して、当該ＰＡＮ画像と当該融合されたＭＳ画像との間の高分解能類似度を正則化して推定融合画像を得ることと、現在の反復の当該推定融合画像と前の反復からの前の推定融合画像との間の相対誤差を計算することとを含み、当該相対誤差が予め定められた閾値未満である場合、当該反復が停止し、結果としてパンシャープン画像が得られる。さらに、当該プロセッサと通信する出力インターフェイスを介して、当該パンシャープン画像を通信ネットワークまたはディスプレイデバイスに出力する。
本開示の別の実施形態に従うと、コンピュータ可読記憶媒体を含むコンピュータストレージと、コンピュータストレージに動作可能に結合されるとともにマルチスペクトル（ＭＳ）画像およびパンクロマティック（ＰＡＮ）画像内に取込まれたシーンの画像の空間分解能を再構築するためのハードウェアプロセッサデバイスとを有する装置が提供される。ＭＳ画像は、カラーフィルタアレイを有するとともに第１の光軸に位置決めされたＭＳ画像センサから得られる。ＰＡＮ画像は、第１の光軸に対して実質的に平行な第２の光軸に位置決めされたＰＡＮ画像センサから得られる。ここで、画像の空間分解能を再構築するために、当該装置は、当該ハードウェアプロセッサデバイスが、ＰＡＮ画像を用いて融合画像を初期化し、初期化関数を用いてＰＡＮ画像とＭＳ画像との間のブラーカーネルを推定し、反復的に、プロセッサにより融合アルゴリズムを用いてＭＳ画像をシーンの関連付けられたＰＡＮ画像と融合することを含む。各反復は、（ａ）二次全一般化変動（ＴＧＶ２）関数に基づいてブラーカーネルを更新して、カーネル形状を正則化することと、（ｂ）局所ラプラシアン事前確率（ＬＬＰ）関数に基づいて当該ＰＡＮ画像および当該ＭＳ画像を当該更新されたブラーカーネルと融合して、当該ＰＡＮ画像と当該融合されたＭＳ画像との間の高分解能類似度を正則化して推定融合画像を得ることと、（ｃ）現在の反復の当該推定融合画像と前の反復からの前の推定融合画像との間の相対誤差を計算することとを含み、当該相対誤差が予め定められた閾値未満である場合、当該反復が停止し、結果としてＰＡＮシャープン画像が得られる。さらに、当該プロセッサと通信する出力インターフェイスが、当該ＰＡＮシャープン画像を通信ネットワークまたはディスプレイデバイスに出力する。
本開示の別の実施形態に従うと、マルチスペクトル（ＭＳ）画像から超分解能画像を再構築するためのシステムが提供される。当該システムは、データを受付けるための入力インターフェイスを有する。当該システムは、データを格納するためのメモリを有し、当該データは、シーンのＭＳ画像およびパンクロマティック（ＰＡＮ）画像を含み、各ＭＳ画像はＰＡＮ画像に関連付けられ、ハードウェア処理デバイスは、入力インターフェイスおよびメモリに動作可能に接続されている。当該システムは、ハードウェア処理デバイスが、剛体ＰＡＮ画像を用いて融合画像を初期化し、ＰＡＮ画像とＭＳ画像との間の剛体変換ブラーカーネルを初期ブラーカーネル関数として推定し、反復的に、プロセッサにより融合アルゴリズムを用いて、ＭＳ画像をシーンの関連付けられたＰＡＮ画像と融合するように構成されることを含む。各反復は、（ａ）二次全一般化変動（ＴＧＶ２）関数に基づいてブラーカーネルを更新して、カーネル形状を正則化することと、（ｂ）局所ラプラシアン事前確率（ＬＬＰ）関数に基づいて当該ＰＡＮ画像および当該ＭＳ画像を当該更新されたブラーカーネルと融合して、当該ＰＡＮ画像と当該融合されたＭＳ画像との間の高分解能類似度を正則化して推定融合画像を得ることと、（ｃ）現在の反復の当該推定融合画像と前の反復からの前の推定融合画像との間の相対誤差を計算することとを含み、当該相対誤差が予め定められた閾値未満である場合、当該反復が停止し、結果としてＰＡＮシャープン画像が得られ、さらに、（ｄ）当該プロセッサと通信する出力インターフェイスを介して、当該ＰＡＮシャープン画像を通信ネットワークまたはディスプレイデバイスに出力する。
本開示の別の実施形態に従うと、命令が格納された非一時的な機械可読媒体が提供される。当該命令は、処理回路によって実行されると、パンクロマティック（ＰＡＮ）画像からのデータを用いてマルチスペクトル（ＭＳ）画像をシャープにするための動作を実行するように当該処理回路を構成し、当該動作は、シーンのＭＳ画像およびパンクロマティック（ＰＡＮ）画像を含むデータを受取るための動作を含み、各ＭＳ画像はＰＡＮ画像に関連付けられており、当該動作はさらに、当該ＰＡＮ画像を用いて融合画像を初期化し、当該ＰＡＮ画像と当該ＭＳ画像との間のブラーカーネルを推定して、初期化関数を用いてブラーカーネルを得る動作と、反復的に、プロセッサにより融合アルゴリズムを用いて、ＭＳ画像をシーンの関連付けられたＰＡＮ画像と融合する動作とを含む。各反復は、（ａ）二次全一般化変動（ＴＧＶ２）関数に基づいてブラーカーネルを更新して、カーネル形状を正則化することと、（ｂ）局所ラプラシアン事前確率（ＬＬＰ）関数に基づいて当該ＰＡＮ画像および当該ＭＳ画像を当該更新されたブラーカーネルと融合して、当該ＰＡＮ画像と当該融合されたＭＳ画像との間の高分解能類似度を正則化して推定融合画像を得ることと、（ｃ）現在の反復の当該推定融合画像と前の反復からの前の推定融合画像との間の相対誤差を計算することとを含み、当該相対誤差が予め定められた閾値未満である場合、当該反復が停止し、結果としてＰＡＮシャープン画像が得られ、当該動作はさらに、（ｄ）当該プロセッサと通信する出力インターフェイスを介して、当該ＰＡＮシャープン画像を通信ネットワークまたはディスプレイデバイスに出力する動作を含む。
以下、添付の図面を参照してここに開示される実施形態についてさらに説明する。示される図面は必ずしも一定の縮尺ではなく、概して、ここに開示される実施形態の原理を例示することに重きを置いて強調がなされている。
本開示のいくつかの実施形態に従った、マルチスペクトル画像の分解能を高めるための画像処理のための方法を示すブロック図である。 本開示のいくつかの実施形態に従った、方法を実現するために用いられ得るいくつかの構成要素を含む方法を示す概略図である。 本開示のいくつかの実施形態に従った、方法が当該方法のためのデータをどのように収集することができるかを示す概略図である。 本開示のいくつかの実施形態に従った、融合システムを用いるＭＳ画像融合を示す概略図である。 本開示のいくつかの実施形態に従った、融合アルゴリズムを実現するためのいくつかのステップを示す概略図である。 本開示のいくつかの実施形態に従った、先行技術の方法を用いた結果を示すように実験ＩＩにおける推定カーネルの比較を示す写真である。 本開示のいくつかの実施形態に従った、本開示の方法を用いた結果を示すように実験ＩＩにおける推定カーネルの比較を示す写真である。 本開示のいくつかの実施形態に従った、グラウンドトゥルース画像を示すように実験ＩＩにおける推定カーネルの比較を示す写真である。 本開示のいくつかの実施形態に従った、ブラインド・パンシャープニング結果の定量分析についてのいくつかの実験結果を示す表を概略的に示す図である。 さまざまな方法を用いる実験Ｉからのパンシャープニング結果の画像の例を示す写真であるとともに、本開示のいくつかの実施形態に従った（ＲＧＢチャネルのみを示す）入力低分解能ＭＳ画像である。 さまざまな方法を用いる実験Ｉからのパンシャープニング結果の画像の例を示す写真であるとともに、本開示のいくつかの実施形態に従った高分解能ＰＡＮ画像である。 さまざまな方法を用いる実験Ｉからのパンシャープニング結果の画像の例を示す写真であるとともに、本開示のいくつかの実施形態に従った融合画像である。 さまざまな方法を用いる実験Ｉからのパンシャープニング結果の画像の例を示す写真であるとともに、本開示のいくつかの実施形態に従ったシミュレートされた真の高分解能ＭＳ画像である。 さまざまな方法を用いる実験Ｉからのパンシャープニング結果の画像の例を示す写真であるとともに、本開示のいくつかの実施形態に従ったBHMIFGLRを用いた従来の先行技術の方法を示す図である。 さまざまな方法を用いる実験Ｉからのパンシャープニング結果の画像の例を示す写真であるとともに、本開示のいくつかの実施形態に従ったHySureを用いた従来の先行技術の方法を示す図である。 さまざまな方法を用いる実験Ｉからのパンシャープニング結果の画像の例を示す写真であり、本開示のいくつかの実施形態に従った本開示の方法を示す図である。 さまざまな方法を用いる実験Ｉからのパンシャープニング結果の画像の例を示す写真であるとともに、本開示のいくつかの実施形態に従ったグラウンドトゥルース画像を示す図である。 本開示のいくつかの実施形態に従った、代替的なコンピュータまたはプロセッサを用いて実現され得る、図１Ａの方法を示すブロック図である。
上記で特定された図面は、ここに開示されている実施形態を説明するものであるが、以下の説明で述べられているように他の実施形態も企図されている。本開示は、限定ではなく表現することを目的として例示的な実施形態を提示する。当業者であれば、本開示の実施形態の原理の範囲および精神内に収まる他の多数の変更例および実施形態を考案可能であるだろう。
図１Ａは、本開示のいくつかの実施形態に従った、マルチスペクトル画像の分解能を高めるための画像処理のための方法を示すブロック図である。
方法１００Ａのステップ１１０は、データを受信するステップを含み得る。データは、シーンのＭＳ画像およびパンクロマティック（ＰＡＮ）画像を含み、各ＭＳ画像はＰＡＮ画像に関連付けられている。
さらに、各ＭＳ画像は複数のチャネルを含み、各チャネルは周波数帯に関連付けられており、このため、チャネルの画像は、関連付けられた周波数帯内の周波数応答を表わすこととなる。データはメモリに格納することができる。たとえば、データは、プロセッサまたはハードウェアプロセッサがコンピュータ可読メモリおよび入力インターフェイスまたはトランシーバと通信するように、コンピュータ可読メモリの１つ以上のデータベースに格納することができる。
図１Ａのステップ１１５は、ＰＡＮ画像を用いて融合画像を初期化し、初期化関数を用いてＰＡＮ画像とＭＳ画像との間のブラーカーネルを推定するステップを含み得る。
図１Ａのステップ１２０は、プロセッサにより融合アルゴリズムを用いてＭＳ画像をシーンの関連付けられたＰＡＮ画像と反復的に融合するステップを含み得る。各反復は以下を含む。
図１Ａのステップ１２５は、二次全一般化変動（ＴＧＶ２）関数に基づいてブラーカーネルを更新して、カーネル形状を正則化するステップを含み得る。
図１Ａのステップ１３０は、局所ラプラシアン事前確率（ＬＬＰ）関数に基づいて、ＰＡＮ画像およびＭＳ画像を当該更新されたブラーカーネルと融合して、ＰＡＮ画像と融合されたＭＳ画像との間の高分解能類似度を正則化することで、推定融合画像を得るステップを含み得る。
図１Ａのステップ１３５は、現在の反復の推定融合画像と前の反復からの前の推定融合画像との間の相対誤差を計算するステップを含み得る。ここで、相対誤差が予め定められた閾値未満である場合、反復が停止し、結果としてＰＡＮシャープン画像が得られる。
図１Ａのステップ１４０は、プロセッサと通信する出力インターフェイスを介して、ＰＡＮシャープン画像を通信ネットワークまたはディスプレイデバイスに出力するステップを含み得る。
本開示のいくつかの方法は、局所ラプラシアン事前確率（ＬＬＰ）および二次全一般化変動（ＴＧＶ２）を用いるブラインドマルチスペクトル（ＭＳ）画像融合方法を用いる。ＬＬＰは、ＭＳ画像の高周波成分とＰＡＮ画像の高周波成分との間の関係を正則化して、局所勾配制約よりも優れた融合性能をもたらす。ここで、ＴＧＶ２は、他の既存のスパース性主導型の先行技術と比べて、より高い耐ノイズロバスト性と、より正確なブラーカーネル推定とを用いて、ブラーカーネルを正則化する。実験によれば、結果は、視覚的品質および複数の定量的メトリックの点で、従来の最新の方法と比べて、位置がずれたＭＳ画像とパンクロマティック画像とを融合する際に一貫して優れた性能を呈した。さらに、実験から示されるように、本開示の方法は、従来の最新の方法と比べて、ウォームスタートで短い計算時間内で高速収束を達成した。この場合、ブラインド融合アルゴリズムは、Cuprite、Moffett、およびLos Angelesの画像等の豊富なエッジおよびテクスチャを伴う領域において、従来の深層学習ベースの方法よりも性能が優れていたが、Cambria Fire画像等の過剰なエッジを伴わない領域においては同等である。
また、本開示の実施形態のいくつかの局面は、局所ラプラシアン事前確率（ＬＬＰ）および二次全一般化変動（ＴＧＶ２）に基づいて、位置ずれしたＭＳ画像のパンシャープニングのための新規の方法を含む。数値実験は、いくつかの方法アプローチが従来の最適化ベースの基本的アプローチおよび深層学習ベースの基本的アプローチを性能の点で著しく上回っていることを示す。さらに、本開示のいくつかの実施形態は、部分的には外部トレーニングデータを持たないため、または外部トレーニングデータなしで、従来の深層学習ベースの方法よりも優れた一般化能力を有しており、このため、多種多様なイメージングプラットフォームからのマルチスペクトル画像を処理するために相当な柔軟性および適応性を提供する。
図１Ｂは、本開示のいくつかの実施形態に従った、方法１００Ｂを実現するために用いられ得るいくつかの構成要素を含む方法を示す概略図である。たとえば、いくつかの構成要素は、入力インターフェイス１３と、ユーザインターフェイス１７と、メモリ１０（ストレージデバイス）と、外部メモリデバイス１５と、本方法のステップを実現することができるプロセッサ１２（ハードウェアプロセッサ）とを含み得る。
信号データはマルチスペクトル（ＭＳ）画像データを含み得る。当該マルチスペクトル（ＭＳ）画像データは、少なくとも１つの外部センサ１４によって収集されるとともに、入力インターフェイス１３によって取得されるか、または外部メモリデバイス１５もしくは有線もしくは無線のいずれかの通信のいくつかの他の手段によって取得される。たとえば、信号データは、プロセッサ１２によって直接的または間接的に、たとえば、メモリ転送デバイスまたは無線通信のようなデバイスによって、取得することができる。キーボード（図示せず）を有するユーザインターフェイス１７は、プロセッサ１２およびコンピュータ可読メモリと通信することができるとともに、ユーザによってユーザインターフェイス１７のキーボードの表面から入力を受取ると、ＭＳ画像およびＰＡＮ画像ならびに他のデータを取得してコンピュータ可読メモリ１０に格納することができる。
さらに図１Ｂを参照すると、プロセッサ１２は、クライアントデバイス１８に接続され得るネットワーク対応サーバ３９と通信することができる。さらに、プロセッサ１２は、送信機１６および外部ストレージデバイス１９に接続することができる。
図２は、本開示のいくつかの実施形態に従って、方法２００がどのようにデータ、すなわち、シーン２０９のマルチスペクトル（ＭＳ）画像２０１およびシーン２０９のパンクロマティック（ＰＡＮ）画像２０２を収集することができるかを示す概略図である。センサ２０３は、シーン２０９のＭＳ画像２０１およびＰＡＮ画像２０２を含むデータを、光学帯を超える広い周波数範囲にわたって取込むかまたは収集することを含む複数の検知特徴が可能である。赤外線帯および短波赤外線帯は雲を貫通することができるので、センサ２０３は、赤外線帯および短波赤外線帯においてシーン２０９を取込むことができる。センサ２０３内のＭＳカメラのサイズおよび重量に起因して、ＭＳ画像２０１の分解能はＰＡＮ画像２０２よりも低くなる。
図３Ａは、本開示のいくつかの実施形態に従った、融合アルゴリズム３０４を用いて、融合された高空間分解能および高スペクトル分解能のＭＳ画像３０１、すなわち、超分解能（spectral resolved：ＳＲ）マルチチャネル画像を再構築するために、低分解能マルチスペクトル（low-resolution Multi-spectral：ＬＲＭＳ）画像２０１および高分解能パンクロマティック（high-resolution panchromatic：ＨＲＰＡＮ）画像２０２を用いるステップを含むプロセス３００Ａを有する融合アルゴリズムを用いることを示す概略図である。
図３Ｂは、本開示のいくつかの実施形態に従った、融合アルゴリズムを実現するためのいくつかのステップを示す概略図である。
図３Ｂのステップ１の３０１は、元のＰＡＮ画像２０２および元のＭＳ画像２０１を融合アルゴリズム３０４に入力するステップを含む。
Figure 0007395018000001
Figure 0007395018000002
図３Ｂのステップ３の３０５および図３Ｂのステップ４の３０９では、我々の問題の非凸性に起因して、ｕの初期化は、特に位置ずれが大きい場合に不良な局所最小値を回避する上で重要な役割を果たす。この問題を克服するために、スペクトルがＰＡＮと重複しているＮ０低分解能ＭＳ帯によって制約されるデータ忠実度項において、積層されたＰＡＮをグラウンドトゥルースＭＳとして扱い、最適化問題を解くことによってｕを初期化することを提案する。
Figure 0007395018000003
Figure 0007395018000004
Figure 0007395018000005
ｘおよびｙの最小化の下位問題は互いに類似しており、解は成分ごとのソフト閾値化によって与えられる。
Figure 0007395018000006
Figure 0007395018000007
Figure 0007395018000008
この問題は、高速フーリエ変換を利用することによって効率的に解決することができる。
Figure 0007395018000009
Figure 0007395018000010
Figure 0007395018000011
Figure 0007395018000012
同様に、Ｂはテプリッツ行列であるので、計算を加速するために高速フーリエ変換を用いる。
Figure 0007395018000013
Figure 0007395018000014
図４Ａ、図４Ｂおよび図４Ｃは、それぞれ、本開示のいくつかの実施形態に従って、図４Ａが先行技術の方法を用いた結果を示し、図４Ｂが本開示の方法を用いた結果を示し、図４Ｃがグランドトゥルース画像を示すように、先行技術の方法および本開示の方法を用いた画像の比較を、グランドトゥルース画像と比較して示す写真である。
比較時に、BHMIFGLRは、一貫した性能を有する融合ＭＳ画像を生成することができなかった。位置ずれが大きく、かつブラーカーネルの初期推定が不良であるため、図４Ａに示す推定されたブラー推定カーネルは、図４Ｃに示すグラウンドトゥルースから遠く離れた局所最小値または鞍点において取込まれた。ターゲットのＭＳ画像がＰＡＮに位置合わせされているので、我々のアプローチは、積層されたＰＡＮをターゲットＭＳとして扱うものであり、これにより、図４Ｂに示すように、ブラーカーネルを適正に初期化してグラウンドトゥルースに十分に位置合わせすることで、結果としてブラーカーネルの推定が優れたものとなる。
図４Ｄは、本開示のいくつかの実施形態に従った、ブラインド・パンシャープニング結果の定量分析のいくつかの実験結果を示す表の概略図である。我々の結果は、位置ずれの小ささ／大きさに関して一貫しており、基本的なアルゴリズムよりもほぼ６ｄＢだけ性能が優れている。
図５Ａ、図５Ｂ、図５Ｃ、図５Ｄは、さまざまな方法を用いた実験Ｉから得られたパンシャープニング結果の画像の例を示す写真であり、それぞれ、本開示のいくつかの実施形態に従って、図５Ａは、（ＲＧＢチャネルのみを示す）入力低分解能ＭＳ画像であり、図５Ｂは、低分解能ＭＳ画像とは位置合わせされていない高分解能ＰＡＮ画像であり、図５Ｃは融合画像であり、図５Ｄは、シミュレートされた真の高分解能ＭＳ画像である。図５Ｃに示される我々の融合画像結果は、図５Ａに示される色情報を維持しつつ、図５ＢのＰＡＮ画像と同程度に視覚的にシャープであり、図５Ａの低分解能ＭＳ画像よりもはるかにシャープである。
図６Ａ、図６Ｂ、図６Ｃ、図６Ｄは、さまざまな方法を用いる実験Ｉから得られたパンシャープニング結果の画像の例を示す写真であり、それぞれ、本開示のいくつかの実施形態に従って、図６Ａは、BHMIFGLRを用いる従来の先行技術の方法であり、図６Ｂは、HySureを用いる従来の先行技術の方法であり、図６Ｃは本開示の方法であり、図６Ｄは、グラウンドトゥルース画像を示す。我々は、BHMIFGLRが擬似テクスチャを生成し、詳細を無視する傾向があることを観察する。たとえば、図６Ａにおいて、対角線方向に沿った平行な白線の右側の再構築されたテクスチャはグラウンドトゥルース画像には存在しない。また、対角線方向に沿った３本の平行な白線の左側は再構築されなかった。比較すると、HySureは大きく位置ずれした状態で画像を融合するように管理されたが、エッジおよびテクスチャの詳細を保存することはできなかった。図６Ｂにおいて、グラウンドトゥルース画像中の３本の平行な白線がぼやけており、黄色の屋根の詳細が識別不可能であることが観察された。代わりに、図６Ｃに示される我々のアプローチは、基本的な方法と比較して、視覚的によりシャープであり、より多くの詳細を保持している。
特徴
マルチスペクトル（ＭＳ）画像から超分解能画像を再構築するためのシステムを提供する。当該システムはデータを受付けるためのトランシーバを有する。メモリはデータを格納し、当該データは、シーンのＭＳ画像およびパンクロマティック（ＰＡＮ）を含み、各ＭＳ画像はＰＡＮ画像に関連付けられている。処理デバイスは、トランシーバおよびメモリに動作可能に接続される。当該システムは、当該処理デバイスが、ＰＡＮ画像を用いて融合画像を初期化し、ＰＡＮ画像とＭＳ画像との間のブラーカーネルを初期化関数として推定するように構成されることを含む。反復的に、プロセッサにより融合アルゴリズムを用いて、ＭＳ画像をシーンの関連付けられたＰＡＮ画像と融合する。各反復は、二次全一般化変動（ＴＧＶ２）関数に基づいてブラーカーネルを更新して、カーネル形状を正則化することと、局所ラプラシアン事前確率（ＬＬＰ）関数に基づいて当該ＰＡＮ画像および当該ＭＳ画像を当該更新されたブラーカーネルと融合して、当該ＰＡＮ画像と当該融合されたＭＳ画像との間の高分解能類似度を正則化して推定融合画像を得ることと、現在の反復の当該推定融合画像と前の反復からの前の推定融合画像との間の相対誤差を計算することとを含み、当該相対誤差が予め定められた閾値未満である場合、当該反復が停止し、結果としてＰＡＮシャープン画像が得られる。さらに、当該プロセッサと通信する出力インターフェイスを介して、当該ＰＡＮシャープン画像を通信ネットワークまたはディスプレイデバイスに出力する。ここで、システムが、上記のシステムに関して以下に列挙されるさまざまな局面の任意の組合わせを含み得ることが企図されている。特に、以下の局面は、個々にまたは組合わせて、上述のシステムについて、以下に列挙される局面の１つ以上の組合わせに基づいて１つ以上の実施形態を作成するよう意図されたものである。
一局面として、融合画像を初期化するために用いられるＰＡＮ画はリッジＰＡＮ画像である。別の局面として、ブラーカーネルは剛体変換ブラーカーネルであり、初期化関数は初期ブラーカーネル関数である。
或る局面は、ＬＬＰが、ＭＳ画像の高周波成分とＰＡＮ画像の高周波成分との間の関係を正則化して、局所勾配制約を用いて融合性能のレベルよりも高いレベルの融合性能をもたらすことを含み得る。ここで、或る局面として、ＬＬＰは、当該ＬＬＰが第２の勾配またはより高次の勾配に一般化されるように、２次勾配である。
別の局面は、画像再構築中に、区分的に一定の画像がＴＧＶ２関数を用いて取込まれるように、或る画像が区分的に一定であるという仮定が画像構築の際に有効ではない場合にＴＧＶ２関数が演算可能であるという局面を含む。この場合、或る局面は、ＴＧＶ２が、ＴＧＶ２に従って滑らかで集中化されていると想定されるブラーカーネル上の正則化器であるという局面を含む。
別の局面として、ＭＳ画像は、カラーフィルタアレイを有するとともに第１の光軸に位置決めされたＭＳ画像センサから得られるとともに、ＰＡＮ画像は、第１の光軸に対して角度をなして収束する第２の光軸に位置決めされたＰＡＮ画像センサから得られる。
或る局面として、ＭＳ画像は、低分解能画像であるとともに第１のイメージングレンズに光学的に結合されたＭＳ画像センサから得られるものであり、ＰＡＮ画像は、高分解能画像であるとともにＰＡＮ画像センサから得られるものであり、ＭＳ画像センサおよびＰＡＮ画像センサは、実質的に同一の感光要素の実質的に同一の焦点面アレイを有する。ここで、ＭＳ画像センサおよびＰＡＮ画像センサは、焦点面アレイがシーンの実質的に同一のバージョンの光学投影を受取るように、実質的に単一の幾何学的平面に設定されている。
別の局面として、ＭＳ画像は第１のフレームレートで取込まれ、ＰＡＮ画像は第１のフレームレートとは異なるかまたは同じである第２のフレームレートで取込まれる。或る局面は、ブラーカーネルが、点広がり関数（Point Spread Function：ＰＳＦ）関数と剛体変換などのシフトとを組合わせることを含み得る。別の局面は、ＭＳ画像が、カラーフィルタアレイを有するとともに第１の光軸に位置決めされたＭＳ画像センサから得られ、ＰＡＮ画像が、第１の光軸に対して角度をなして収束する第２の光軸に位置決めされたＰＡＮ画像センサから得られることを可能にする。
或る局面として、ＭＳ画像は、カラーフィルタアレイを有するとともに第１の光軸に位置決めされたＭＳ画像センサから得られ、ＰＡＮ画像は、第１の光軸に対して角度をなして収束する第２の光軸に位置決めされたＰＡＮ画像センサから得られる。さらに、入力インターフェイスによって受付けられるデータが、少なくとも１つのＭＳ画像センサデバイスおよび少なくとも１つのＰＡＮ画像センサデバイスを含むセンサから得られるいくつかのデータを含むという局面が企図される。別の局面として、融合画像を初期化するために用いられるＰＡＮ画像はリッジＰＡＮ画像である。或る局面は、ブラーカーネルが剛体変換ブラーカーネルであり、初期化関数が初期ブラーカーネル関数であることを可能にする。
或る局面はさらに、格納された命令を含み得る。当該命令は、機械によって実行されると、非一時的な機械可読媒体および処理回路と通信するトランシーバデバイスを介して受信される受信データが、少なくとも１つのＭＳ画像センサデバイスおよび少なくとも１つのＰＡＮ画像センサデバイスを含むセンサから得られるいくつかのデータを含むように、メモリに格納されたＰＡＮ画像データをダウンサンプリングすることにより、または、ＭＳ画像データからＰＡＮ画像データを判定することにより、当該機械がＭＳ画像の分解能とほぼ同じ分解能でＰＡＮ画像を作成する動作を実行するように構成される。或る局面は、ブラーカーネルが点広がり関数と剛体変換ブラーカーネルとをともに組合わせることであり得る。
定義
本開示の局面に従って、および実験に基づいて、以下の定義が確立されているが、当然ながら、各語句または用語の完全な定義ではない。ここで、与えられた定義は、実験からの学習に基づいて単なる例として与えられるものであって、他の解釈、定義、および他の局面が関係する可能性もある。しかしながら、提示される語句または用語を少なくとも単に基本的に事前に検分しておくために、そのような定義が与えられている。また、以下の定義は、得られた知識が実験のみによるものであるため、先行技術と見なすことはできない。
ブラインドデコンボリューション：ブラインドデコンボリューションとは、判定不良または未知の点広がり関数（ＰＳＦ）の存在下で単一または１セットの「ぼやけた」画像からのターゲットシーンの回復を可能にするデコンボリューション技術である。（注：本特許出願では、未知のブラーカーネルは基本的に剛体変換ＰＳＦである。）通常の線形および非線形のデコンボリューション技術は既知のＰＳＦを利用する。ブラインドデコンボリューションの場合、画像または画像セットからＰＳＦが推定されて、デコンボリューションが実行されることを可能にする。ブラインドデコンボリューションは反復的に実行することができ、これにより、各々の反復によってＰＳＦおよびシーンの推定が改善されるか、または、非反復的に、外部情報に基づいてアルゴリズムの１つのアプリケーションによってＰＳＦが抽出される。反復法は、最大事後推定および期待値最大化アルゴリズムを含む。ＰＳＦを正確に推定することは、より迅速な収束に役立つが必須ではない。
ブラインドデコンボリューションのいくつかの課題は、入力画像およびブラーカーネルの両方が固定された部分空間に存在しなければならないことであり得る。すなわち、ｗによって表わされる入力画像はｗ＝Ｂｈとして書き込まれなければならない。ここで、ＢはサイズＬ×Ｋ（Ｋ＜Ｌ）のランダム行列であり、ｈはサイズＫ×１である一方で、ブラーカーネルは、ｘによって表わされる場合、ｘ＝Ｃｍとして書き込まれなければならない。ここで、ＣはサイズＬ×Ｎ（Ｎ＜Ｌ）のランダム行列であり、ｍはサイズＮ×１である。ｙ＝ｗ＊ｘで与えられるｙによって表わされる場合、観察画像は、Ｌ≧Ｋ×Ｎの場合にのみ再構築することができる。
点広がり関数（ＰＳＦ）：ＰＳＦは、点ソースまたは点オブジェクトに対するイメージングシステムの応答を記述するものである。ＰＳＦについてのより一般的な用語として、システムのインパルス応答があり、ＰＳＦは収束光学系のインパルス応答である。多くの文脈におけるＰＳＦは、単一の点オブジェクトを表わす画像における拡張されたブロブとみなすことができる。関数項では、これは、イメージングシステムの光学伝達関数の空間領域バージョンである。これは、フーリエ光学、天文画像、医療用画像、電子顕微鏡法、ならびに、（共焦点レーザー走査顕微鏡技術などにおける）３Ｄ顕微鏡技術および蛍光顕微鏡技術などの他のイメージング技術において有用な概念である。点オブジェクトの広がり（ぼやけ）の程度は、イメージングシステムの品質の尺度となる。蛍光顕微鏡、望遠鏡または光学顕微鏡などの非コヒーレントイメージングシステムでは、画像形成プロセスは画像強度では線形であり、線形システム理論によって説明される。これは、２つのオブジェクトＡおよびＢが同時にイメージングされる場合、結果として生じる画像が独立してイメージングされたオブジェクトの合計に等しいことを意味する。言い換えると、光子の非相互作用特性に起因して、ＡのイメージングはＢのイメージングによって影響を受けず、逆の場合も同様に、ＢのイメージングはＡのイメージングによって影響を受けない。空間不変システムでは、すなわち、ＰＳＦがイメージング空間内のどこであっても同じである場合、複雑なオブジェクトの画像は真のオブジェクトとＰＳＦとの畳み込みとなる。しかしながら、検出された光がコヒーレントである場合、画像形成は複素場では線形である。次いで、記録された強度画像は、相殺効果または他の非線形効果を呈し得る。
深層画像事前確率（Deep Image Prior）：深層画像事前確率は、画像自体以外の事前のトレーニングデータなしで所与の画像を強調するために用いられる一種の畳み込みニューラルネットワークである。ニューラルネットワークは、ランダムに初期化され、ノイズ低減、超分解能、およびインペインティングなどの逆問題を解決するために事前確率として用いられる。画像統計は、以前に学習されたいずれかの能力によってではなく、畳み込み画像生成器の構造によって取込まれる。
いくつかのセンサを用いる分解能トレードオフ：実験から学習されたいくつかの局面は、全てのセンサが、ハードウェア設計の関数であり得る固定信号対雑音比を有し得ることを含む。ターゲットによって反射されるエネルギは、ターゲットがセンサによって検出されるのに充分な大きさの信号レベルを有する必要がある。反射エネルギの信号レベルは、信号がより広い瞬間視野（instantaneous field of view：ＩＦＯＶ）にわたって収集される場合、または、信号がより広いスペクトル帯域幅にわたって収集される場合、高くなる。より広いＩＦＯＶにわたってエネルギを収集することにより、空間分解能を低下させる一方で、より広い帯域幅にわたってエネルギを収集することによりそのスペクトル分解能を低下させる。したがって、センサの空間分解能とスペクトル分解能との間にはトレードオフがある。上述のように、高空間分解能では、道路、自動車などの小さい特徴または狭い特徴を正確に識別することができる。高スペクトル分解能は、植生ストレスまたは分子吸収による変化のような小さなスペクトル変化の検出を可能にする。ほとんどの光学的遠隔検知衛星は、２つのタイプのセンサ、すなわちパンクロマティックセンサおよびマルチスペクトルセンサを担持するようであった。マルチスペクトルセンサは広いＩＦＯＶにわたって狭帯域の信号を記録し、パンクロマティックセンサはより狭いＩＦＯＶおよび広範囲のスペクトルにわたって信号を記録する。したがって、マルチスペクトル（ＭＳ）帯は、より高いスペクトル分解能を有するが、より高い空間分解能およびより低いスペクトル分解能を有する関連するパンクロマティック（ＰＡＮ）帯と比較して、より低い空間分解能を有する。
Figure 0007395018000015
この変化は些末であるように思われる可能性があるが、ここでは、制約付き最適化の方法（特に、拡張ラグランジュ法）を用いて問題を攻撃することができ、目的関数はｘおよびｙにおいて分離可能である。二重更新するには、ｘおよびｙにおける近接関数を同時に解くことが必要となる。ＡＤＭＭ技術は、最初に、ｙが固定された状態でｘについて解き、次いでｘが固定された状態でｙについて解くことによって、この問題がほぼ解決されることを可能にする。当該アルゴリズムは、（ヤコビ法のように）収束するまで反復されるのではなく、直接次に進められて、双対変数を更新し、プロセスを繰り返す。これは、厳密な最小化と同等ではないが、驚くべきことに、この方法が（いくつかの仮定の下で）正解に収束することを示すこともできる。この近似性のため、アルゴリズムは純粋な拡張ラグランジュ法とは異なっている。
全変動（ＴＶ）および全一般化変動（ＴＧＶ）：ＴＶベースの戦略は、アンダーサンプリングされた画像データセットの反復再構築などにおける並列イメージングのための正則化を含み得る。ＴＶモデルは、画像内のエッジを維持しながらランダムノイズを除去するのに十分に適しているという利点を有し得る。しかしながら、ＴＶは、画像が区分的に一定である領域からなることを想定している。ＴＶの使用がしばしば階段状アーチファクトにつながり、不自然に見えるパッチ状のスケッチタイプの画像をもたらす可能性があるということが学習された。しかしながら、エッジ保存およびノイズ除去の点でＴＶと同等であり得るＴＧＶを用いることで、画像が区分的に一定であるという仮定が無効となるようなイメージング状況においても、ＴＧＶを適用することができる。結果として、イメージングにおけるＴＧＶの適用は、さほど制限的でなくなり得る。たとえば、ＴＧＶは、画像ノイズ除去のために適用することができ、アンダーサンプリングされた画像データセットを反復的に画像再構築している間、従来のＴＶよりも優れた結果をもたらす可能性があることが判明した。ここで、ＴＧＶは、ある意味では、一定の微分次数までの画像特性を測定することが可能であり得る。留意される少なくとも１つの局面は、ＴＶが一次導関数のみを考慮に入れていることである。ＴＧＶはバナッハ（Banach）空間のセミノルムであり、特に分析および計算の実現に関して、凸最適化問題についての十分に開発された数学的理論に十分に適合した関連する変分問題である。さらに、有界変動の各関数は、有限のＴＧＶ値を許容し、その概念を画像に適したものにする。これは、ＴＶモデルをさらに拡張させるＴＧＶモデルでは、区分的に一定の画像が取込み可能であることを意味する。最後に、ＴＧＶは、並進不変および回転不変であり、これは、画像が実際の視点から独立して測定されるという要件に適合することを意味する。しかしながら、ＴＧＶ２を正則化器として用いることが、ＴＶ正則化においてしばしば観察される階段効果の欠如につながり得ることが分かった。
区分的一定関数：関数は、場合によっては無限数の低次元境界によって分離された接続領域において局所的に一定である場合、区分的に一定であると言われる。Heavisideステップ関数、矩形関数、方形波は、１次元の区分一定関数の例である。数学的には、区分的に定義された関数（区分関数、ハイブリッド関数、またはケースごとの定義とも称される）は、複数のサブ関数によって定義される関数であり、各サブ関数は、メイン関数のドメインの特定の間隔であるサブドメインに適用される。区分的とは、実際には、関数自体の特徴ではなく、関数を表現する方法であるが、付加的な資質を用いて関数の性質を記述し得るものである。たとえば、区分的多項式関数は、そのサブドメインの各々に関する多項式の関数であるが、場合によっては、各々のサブドメインごとに異なるものである。区分的という語はまた、各区分ごとに成り立つが必ずしも関数のドメイン全体について成り立つわけではない、区分単位で定義される関数の任意の特性を記述するために用いられる。関数は、たとえ関数全体が区分間の点において区別できない可能性があるとしても、各区分がそのサブドメイン全体にわたって区別可能である場合、区分的に区別可能であるか、または区分的に連続的に区別可能である。凸解析では、導関数の概念は、区分関数についての劣微分の概念と置き換えられてもよい。区分的という定義での「区分」は間隔である必要はないが、関数は、これら区分が間隔でない限り、「区分的に線形」または「区分的に連続」または「区分的に区別可能」とは称されない。
実際の視点：視点は、我々が写真を撮る時の位置を指す。これは、完成した撮影写真を見ているときに閲覧者が置かれる位置でもある。この視点は、写真の雰囲気を劇的に変化させることができる。特に興味深い変換は視点（すなわち、カメラの水平移動、ズーム、および並進である）である。画像変換として投影されると、カメラ視点の変化は、１つ以上の基本表示内の画素と新しい画像内の画素との間のマッピングまたはワープとしてモデル化することができ、同じシーンの合成表示を表わし得る。実験から、実際の視点に対処する際に、測定可能性などの考慮すべきいくつかの要因が存在することが判明している。変換を計算するのに充分な情報は、基本画像から自動的または半自動的に抽出されなければならない。正確性：各々の合成画像は、物理的に正確でなければならず、すなわち、指定されたシーンを変換した結果として実際のシーンの見え方に対応していなければならない。合成：画像ベースのシーン変換のために新しいアルゴリズムが開発されなければならない。これらの技術は、複雑な現実世界のオブジェクトおよびシーンを処理するのに充分にロバストで、使いやすく、汎用的であるべきである。
画像モーメントは、画像画素の強度についての或る特定の加重平均（モーメント）であるかまたはそのようなモーメントの関数であり、通常、いくつかの魅力的な特性または解釈を有するように選択される。
モーメント不変量：モーメントは、特定の変換クラスに対する不変量を導出するために用いることができるので、画像分析に適用されることで周知である。不変モーメントという語は、この文脈では誤用されることが多い。しかしながら、モーメント不変量は、モーメントから形成される不変量である一方で、不変量自体であるモーメントのみが中心モーメントとなる。なお、詳述される不変量は、連続領域においてのみ厳密に不変であることに留意されたい。離散領域では、スケーリングも回転も十分に定義されない。このように変換された離散画像は概ね近似しており、変換は可逆的ではない。したがって、これらの不変量は、離散画像における形状を記述するときにほぼ不変になるだけである。並進不変量：任意の次数の中心モーメントμｉｊは、構造上、並進に対して、すなわちユークリッド幾何学において、不変であり、並進は、図または空間の全ての点を所与の方向に同じ距離だけ移動させる幾何学的変換である。
図７は、本開示の実施形態に従った、代替的なコンピュータまたはプロセッサを用いて実現され得る、図１Ａの方法を示すブロック図である。コンピュータ７１１は、バス７５６を介して接続されるプロセッサ７４０と、コンピュータ可読メモリ７１２と、ストレージ７５８と、ディスプレイ７５２およびキーボード７５１を有するユーザインターフェイス７４９とを含む。たとえば、プロセッサ７４０およびコンピュータ可読メモリ７１２と通信するユーザインターフェイス７４９は、ユーザによるユーザインターフェイス７５７の表面（キーボード７５３）からの入力を受信すると、画像データを取得してコンピュータ可読メモリ７１２に格納する。
コンピュータ７１１は、用途に応じて電源７５４を含み得る。電源７５４は、任意には、コンピュータ７１１の外部に位置していてもよい。ディスプレイデバイス７４８に接続するように適合されたユーザ入力インターフェイス７５７は、バス７５６を介してリンクさせることができる。ディスプレイデバイス７４８は、中でも、コンピュータモニタ、カメラ、テレビ、プロジェクタ、またはモバイルデバイスを含み得る。プリンタインターフェイス７５９はまた、バス７５６を介して接続され得るとともにプリンタデバイス７３２に接続するように適合され得る。プリンタデバイス７３２は、中でも、液体インクジェットプリンタ、固体インクプリンタ、大規模商用プリンタ、サーマルプリンタ、ＵＶプリンタ、または昇華型プリンタを含み得る。ネットワークインターフェイスコントローラ（network interface controller：ＮＩＣ）７３４は、バス７５６を介してネットワーク７３６に接続するように適合される。画像データまたは他のデータは、中でも、コンピュータ７１１の外側にあるサードパーティのディスプレイデバイス、サードパーティのイメージングデバイス、および／またはサードパーティのプリンタデバイス上でレンダリングすることができる。コンピュータ／プロセッサ７１１は、バス７５６に接続されたＧＰＳ７０１を含み得る。
さらに図７を参照すると、画像データまたは他のデータは、中でも、ネットワーク７３６の通信チャネルを介して送信することができ、ならびに／または、格納および／もしくはさらなる処理のためにストレージシステム７５８内に格納することができる。さらに、時系列データまたは他のデータは、受信機７４６（もしくは外部受信機７３８）から無線もしくは有線で受信されてもよく、または、送信機７４７（もしくは外部送信機７３９）を介して無線もしくは有線で送信されてもよく、受信機７４６および送信機７４７はともにバス７５６を介して接続されている。コンピュータ７１１は、入力インターフェイス７０８を介して外部検知デバイス７４４および外部入出力デバイス７４１に接続されてもよい。入力インターフェイス７０８は、機械のようなデバイス７０２に接続され得る１つ以上の入出力デバイス７４１、外部メモリ７０６、外部センサ７０４に接続され得る。たとえば、外部検知デバイス７４４は、機械の収集された時系列データの前、最中、および後のデータを収集するセンサを含んでもよい。コンピュータ７１１は他の外部コンピュータ７４２に接続されてもよい。出力インターフェイス７０９は、プロセッサ７４０から処理されたデータを出力するために用いられてもよい。なお、プロセッサ７４０および非一時的なコンピュータ可読記憶媒体７１２と通信するユーザインターフェイス７４９が、ユーザによりユーザインターフェイス７４９の表面７５２から入力を受信すると、領域データを取得して、非一時的なコンピュータ可読記憶媒体７１２に格納することに留意されたい。
本明細書は、例示的な実施形態のみを提供し、開示の範囲、適用可能性、または構成を限定することを意図していない。むしろ、例示的な実施形態の以下の説明は、１つ以上の例示的な実施形態を実現すること可能にする説明を、当業者に提供するであろう。添付の請求項に記載されている開示された主題の精神および範囲から逸脱することなく、要素の機能および構成に対してなされ得る各種変更が意図されている。
具体的な詳細事項は、以下の記載において、実施形態の十分な理解のために与えられる。しかしながら、これらの具体的な詳細事項がなくても実施形態を実行できることを当業者は理解できる。たとえば、開示された主題におけるシステム、プロセス、および他の要素は、実施形態を不必要な詳細で不明瞭にしないために、ブロック図の形態で構成要素として示される場合もある。他の例では、実施形態を不明瞭にしないように、周知のプロセス、構造、および技術は不必要な詳細事項なしに示されることがある。さらに、各種図面における同様の参照番号および名称は同様の要素を示す。
また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として示されるプロセスとして説明される場合がある。フローチャートは動作を逐次プロセスとして説明し得るが、動作の多くは並列にまたは同時に実行することができる。加えて、動作の順序は入れ替え可能である。プロセスは、その動作が完了したときに終了してもよいが、説明されていないかまたは図に含まれていない追加のステップを含む場合もある。さらに、詳細に記載されているいずれかのプロセスにおけるすべての動作がすべての実施形態に起こり得る訳ではない。プロセスは、方法、関数、手順、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応する場合、関数の終了は、呼び出し関数または主関数に関数を戻すことに対応し得る。
さらに、開示された主題の実施形態は、少なくとも部分的に手動または自動のいずれかで実現され得る。手動または自動による実現は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合わせを用いることによって行なわれてもよく、または少なくとも支援されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実現される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、マシン可読媒体に格納されてもよい。プロセッサは必要なタスクを実行し得る。
本開示の上記の実施形態は、多くの態様のいずれかで実現され得る。たとえば、実施形態は、ハードウェア、ソフトウェアまたはそれらの組み合わせを用いて実現され得る。ソフトウェアで実現される場合、ソフトウェアコードは、単一のコンピュータに提供されるかまたは複数のコンピュータに分散されるかに関わらず、任意の好適なプロセッサまたはプロセッサの集合上で実行され得る。
また、本明細書で概説されるさまざまな方法またはプロセスは、多様なオペレーティングシステムまたはプラットフォームのいずれか１つを用いる１つ以上のプロセッサ上で実行可能なソフトウェアとして符号化されてもよい。加えて、このようなソフトウェアは、いくつかの好適なプログラミング言語および／またはプログラミングもしくはスクリプトツールのいずれかを用いて書かれてもよく、フレームワークまたは仮想マシン上で実行される実行可能なマシン言語コードまたは中間コードとしてコンパイルされてもよい。典型的には、プログラムモジュールの機能は、さまざまな実施形態において所望されるとおりに組合わされるかまたは分散されてもよい。
また、本開示の実施形態は、例として提供された方法として具体化されてもよい。当該方法の一部として実行される動作は任意の好適な方法で順序付けられてもよい。したがって、例示的な実施形態では連続的な動作として示されているが、図示とは異なる順序で動作が実行される実施形態が構築され得る。この場合、いくつかの動作を同時に実行することも含み得る。さらに、請求項の要素を修飾するために請求項において第１、第２などの序数語を用いる場合、それ自体、ある請求項の要素が別の請求項の要素よりも優先度、優先順位もしくは順序の点で勝っていることを暗示するか、または、方法の動作が実行される時間的順序を暗示するものではないが、単に、請求項の要素を区別するために、特定の名前を有する或る請求項の要素を、同じ名前を有する（が、序数語を用いている）別の要素から区別するためのラベルとして用いられるに過ぎない。
本開示をいくつかの好ましい実施形態を用いて説明してきたが、他のさまざまな適合および修正が本開示の精神および範囲の中で実施可能であることが理解されねばならない。したがって、そのようなすべての変形および変更を本開示の真の精神および範囲内に収めるように網羅することは、添付の特許請求の範囲の局面である。

Claims (20)

  1. マルチスペクトル（multispectral：ＭＳ）画像から超分解能画像を再構築するための
    システムであって、データを受付けるためのトランシーバと、前記データを格納するためのメモリとを有し、前記データは、シーンのＭＳ画像およびパンクロマティック（panchromatic：ＰＡＮ）画像を含み、各ＭＳ画像は前記ＰＡＮ画像に関連付けられており、前記システムはさらに、前記トランシーバおよび前記メモリに動作可能に接続された処理デバイスを有し、前記システムは、前記処理デバイスが、
    前記ＰＡＮ画像を用いて融合画像を初期化し、前記ＰＡＮ画像と前記ＭＳ画像との間のブラーカーネルを初期化関数として推定し、
    反復的に、プロセッサにより融合アルゴリズムを用いて、ＭＳ画像を前記シーンの関連付けられたＰＡＮ画像と融合するように構成されることを含み、各反復は、
    二次全一般化変動（Second-Order Total Generalized Variation：ＴＧＶ２）関数に基づいて前記ブラーカーネルを更新して、カーネル形状を正則化することと、
    局所ラプラシアン事前確率（Local Laplacian prior：ＬＬＰ）関数に基づいて前記
    ＰＡＮ画像および前記ＭＳ画像を前記更新されたブラーカーネルと融合して、前記ＰＡＮ画像と前記融合されたＭＳ画像との間の高分解能類似度を正則化して推定融合画像を得ることと、
    現在の反復の前記推定融合画像と前の反復からの前の推定融合画像との間の相対誤差を計算することとを含み、前記相対誤差が予め定められた閾値未満である場合、前記反復が停止し、結果としてＰＡＮシャープン画像が得られ、前記システムは、前記処理デバイスがさらに、
    前記プロセッサと通信する出力インターフェイスを介して、前記ＰＡＮシャープン画像を通信ネットワークまたはディスプレイデバイスに出力するように構成されることを含む、システム。
  2. 前記融合画像を初期化するために用いられる前記ＰＡＮ画像はリッジＰＡＮ画像である、請求項１に記載のシステム。
  3. 前記ブラーカーネルは剛体変換ブラーカーネルであり、前記初期化関数は初期ブラーカーネル関数である、請求項１に記載のシステム。
  4. 前記ＬＬＰは、前記ＭＳ画像の高周波成分と前記ＰＡＮ画像の高周波成分との間の関係を正則化して、局所勾配制約を用いる融合性能のレベルよりも高いレベルの融合性能をもたらす、請求項１に記載のシステム。
  5. 前記ＬＬＰは、前記ＬＬＰが第２の勾配またはより高次の勾配に一般化されるように、二次勾配である、請求項４に記載のシステム。
  6. 前記ＴＧＶ２関数は、画像が区分的に一定であるという仮定が画像を再構築するのに有効でない場合、演算可能であり、このため、区分的に一定である画像が、画像再構築中にＴＧＶ２関数を用いて取込まれることとなる、請求項１に記載のシステム。
  7. ＴＧＶ２は、前記ブラーカーネル上の正則化器であって、平滑であるとともに前記ＴＧＶ２に従って集中化されるものと想定される、請求項６に記載のシステム。
  8. 前記ＭＳ画像は、カラーフィルタアレイを有するとともに第１の光軸に位置決めされたＭＳ画像センサから得られ、前記ＰＡＮ画像は、前記第１の光軸に対して角度をなして収束する第２の光軸に位置決めされたＰＡＮ画像センサから得られる、請求項１に記載のシステム。
  9. コンピュータ可読記憶媒体を含むコンピュータストレージと、ハードウェアプロセッサデバイスとを有する装置であって、前記ハードウェアプロセッサデバイスは、前記コンピュータストレージに動作可能に結合されるとともに、マルチスペクトル（ＭＳ）画像およびパンクロマティック（ＰＡＮ）画像内に取込まれたシーンの画像の空間分解能を再構築するためのものであり、前記ＭＳ画像は、カラーフィルタアレイを有するとともに第１の光軸に位置決めされたＭＳ画像センサから得られ、前記ＰＡＮ画像は、前記第１の光軸に対して実質的に平行な第２の光軸に位置決めされたＰＡＮ画像センサから得られ、前記画像の前記空間分解能を再構築するために、前記装置は、前記ハードウェアプロセッサデバイスが、
    ＰＡＮ画像を用いて融合画像を初期化し、初期化関数を用いて前記ＰＡＮ画像と前記ＭＳ画像との間のブラーカーネルを推定し、
    反復的に、プロセッサにより融合アルゴリズムを用いて、ＭＳ画像を前記シーンの関連付けられたＰＡＮ画像と融合するためのものであることを含み、各反復は、
    二次全一般化変動（ＴＧＶ２）関数に基づいて前記ブラーカーネルを更新して、カーネル形状を正則化することと、
    局所ラプラシアン事前確率（ＬＬＰ）関数に基づいて前記ＰＡＮ画像および前記ＭＳ画像を前記更新されたブラーカーネルと融合して、前記ＰＡＮ画像と前記融合されたＭＳ画像との間の高分解能類似度を正則化して推定融合画像を得ることと、
    現在の反復の前記推定融合画像と前の反復からの前の推定融合画像との間の相対誤差を計算することとを含み、前記相対誤差が予め定められた閾値未満である場合、前記反復が停止し、結果としてパンシャープン画像が得られ、前記装置は、前記ハードウェアプロセッサデバイスがさらに、
    前記プロセッサと通信する出力インターフェイスを介して、前記パンシャープン画像を通信ネットワークまたはディスプレイデバイスに出力するためのものであることを含む、装置。
  10. 前記ＭＳ画像は、低分解能画像であり、第１のイメージングレンズに光学的に結合された前記ＭＳ画像センサから得られ、前記ＰＡＮ画像は、高分解能画像であり、前記ＰＡＮ画像センサから得られ、前記ＭＳ画像センサおよび前記ＰＡＮ画像センサは、実質的に同一の感光要素の実質的に同一の焦点面アレイを有し、前記ＭＳ画像センサおよび前記ＰＡ
    Ｎ画像センサは、前記焦点面アレイが前記シーンの実質的に同一のバージョンの光学投影を受取るように、実質的に単一の幾何学的平面に設定される。請求項９に記載の装置。
  11. 前記ＭＳ画像は第１のフレームレートで取込まれ、前記ＰＡＮ画像は前記第１のフレームレートとは異なるかまたは前記第１のフレームレートと同じである第２のフレームレートで取込まれる、請求項９に記載の装置。
  12. 前記ブラーカーネルは、点広がり関数（Point Spread Function：ＰＳＦ）と剛体変換
    などのシフトとを組合わせたものである、請求項９に記載の装置。
  13. 前記ＭＳ画像は、カラーフィルタアレイを有するとともに第１の光軸に位置決めされたＭＳ画像センサから得られ、前記ＰＡＮ画像は、前記第１の光軸に対して角度をなして収束する第２の光軸に位置決めされたＰＡＮ画像センサから得られる、請求項９に記載の装置。
  14. マルチスペクトル（ＭＳ）画像から超分解能画像を再構築するためのシステムであって、データを格納するためのメモリとともに、前記データを受付けるための入力インターフェイスを備え、前記データは、シーンのＭＳ画像およびパンクロマティック（ＰＡＮ）画像を含み、各ＭＳ画像は、ハードウェア処理デバイスが前記入力インターフェイスおよび前記メモリに動作可能に接続されるようにＰＡＮ画像に関連付けられており、前記システムは、前記ハードウェア処理デバイスが、
    剛体ＰＡＮ画像を用いて融合画像を初期化し、
    前記ＰＡＮ画像と前記ＭＳ画像との間の剛体変換ブラーカーネルを初期化関数として推定し、
    反復的に、プロセッサにより融合アルゴリズムを用いて、ＭＳ画像を前記シーンの関連付けられたＰＡＮ画像と融合するように構成されることを含み、各反復は、
    二次全一般化変動（ＴＧＶ２）関数に基づいて前記ブラーカーネルを更新して、カーネル形状を正則化することと、
    局所ラプラシアン事前確率（Local Laplacian prior：ＬＬＰ）関数に基づいて前記
    ＰＡＮ画像および前記ＭＳ画像を前記更新されたブラーカーネルと融合して、前記ＰＡＮ画像と前記融合されたＭＳ画像との間の高分解能類似度を正則化して推定融合画像を得ることと、
    現在の反復の前記推定融合画像と前の反復からの前の推定融合画像との間の相対誤差を計算することとを含み、前記相対誤差が予め定められた閾値未満である場合、前記反復が停止し、結果としてパンシャープン画像が得られ、前記システムは、前記ハードウェア処理デバイスがさらに、
    前記プロセッサと通信する出力インターフェイスを介して、前記パンシャープン画像を通信ネットワークまたはディスプレイデバイスに出力するように構成されることを含む、システム。
  15. 前記ＭＳ画像は、カラーフィルタアレイを有するとともに第１の光軸に位置決めされたＭＳ画像センサから得られ、前記ＰＡＮ画像は、前記第１の光軸に対して角度をなして収束する第２の光軸に位置決めされたＰＡＮ画像センサから得られる、請求項１４に記載のシステム。
  16. 前記入力インターフェイスによって受付けられたデータは、少なくとも１つのＭＳ画像センサデバイスおよび少なくとも１つのＰＡＮ画像センサデバイスを含むセンサから得られるいくつかのデータを含む、請求項１４に記載のシステム。
  17. 前記融合画像を初期化するのに用いられる前記ＰＡＮ画像はリッジＰＡＮ画像である、
    請求項１４に記載のシステム。
  18. 前記ブラーカーネルは剛体変換ブラーカーネルであり、前記初期化関数は初期ブラーカーネル関数である、請求項１４に記載のシステム。
  19. 命令が格納された非一時的な機械可読媒体であって、前記命令は、処理回路によって実行されると、パンクロマティック（ＰＡＮ）画像からのデータを用いてマルチスペクトル（ＭＳ）画像をシャープにするための動作を実行するように前記処理回路を構成し、前記動作は、
    シーンのＭＳ画像およびパンクロマティック（ＰＡＮ）画像を含むデータを受取るための動作を含み、各ＭＳ画像は前記ＰＡＮ画像に関連付けられており、前記動作はさらに、
    前記ＰＡＮ画像を用いて融合画像を初期化し、前記ＰＡＮ画像と前記ＭＳ画像との間のブラーカーネルを推定して、初期化関数を用いてブラーカーネルを得る動作と、
    反復的に、プロセッサにより融合アルゴリズムを用いて、ＭＳ画像を前記シーンの関連付けられたＰＡＮ画像と融合する動作とを含み、各反復は、
    二次全一般化変動（ＴＧＶ２）関数に基づいて前記ブラーカーネルを更新して、カーネル形状を正則化することと、
    局所ラプラシアン事前確率（ＬＬＰ）関数に基づいて前記ＰＡＮ画像および前記ＭＳ画像を前記更新されたブラーカーネルと融合して、前記ＰＡＮ画像と前記融合されたＭＳ画像との間の高分解能類似度を正則化して推定融合画像を得ることと、
    現在の反復の前記推定融合画像と前の反復からの前の推定融合画像との間の相対誤差を計算することとを含み、前記相対誤差が予め定められた閾値未満である場合、前記反復が停止し、結果としてパンシャープン画像が得られ、前記動作はさらに、
    前記プロセッサと通信する出力インターフェイスを介して、前記パンシャープン画像を通信ネットワークまたはディスプレイデバイスに出力する動作を含む、非一時的な機械可読媒体。
  20. 格納された命令をさらに含み、前記命令は、機械によって実行されると、前記処理回路に接続されているメモリに格納されたＰＡＮ画像データをダウンサンプリングすることにより、または、前記ＭＳ画像データからＰＡＮ画像データを判定することにより、前記機械がＭＳ画像の分解能とほぼ同じ分解能でＰＡＮ画像を作成する動作を実行するように構成され、これにより、前記非一時的な機械可読媒体および処理回路と通信するトランシーバデバイスを介して受信される受信データが、少なくとも１つのＭＳ画像センサデバイスおよび少なくとも１つのＰＡＮ画像センサデバイスを含むセンサから得られたいくつかのデータを含むこととなる、請求項１９に記載の非一時的な機械可読媒体。
JP2022565029A 2020-04-08 2021-01-22 ブラインドマルチスペクトル画像融合のためのシステムおよび方法 Active JP7395018B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/843,266 US11481876B2 (en) 2020-04-08 2020-04-08 Systems and methods for blind multi-spectral image fusion
US16/843,266 2020-04-08
PCT/JP2021/004190 WO2021205735A1 (en) 2020-04-08 2021-01-22 Systems and methods for blind multi- spectral image fusion

Publications (2)

Publication Number Publication Date
JP2023508780A JP2023508780A (ja) 2023-03-03
JP7395018B2 true JP7395018B2 (ja) 2023-12-08

Family

ID=74860373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022565029A Active JP7395018B2 (ja) 2020-04-08 2021-01-22 ブラインドマルチスペクトル画像融合のためのシステムおよび方法

Country Status (4)

Country Link
US (1) US11481876B2 (ja)
EP (1) EP4133446A1 (ja)
JP (1) JP7395018B2 (ja)
WO (1) WO2021205735A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11748853B2 (en) * 2020-04-28 2023-09-05 Carnegie Mellon University Method and architecture for blind image deconvolution
CN112083482B (zh) * 2020-08-06 2021-11-19 西安交通大学 基于模型驱动深度学习的地震超分辨反演方法
CN114581347B (zh) * 2022-01-24 2024-03-12 中国科学院空天信息创新研究院 无参考影像的光学遥感空谱融合方法、装置、设备及介质
CN114862731B (zh) * 2022-03-29 2024-04-16 武汉大学 低秩先验与空谱信息引导的多-高光谱影像融合方法
CN114612688B (zh) * 2022-05-16 2022-09-09 中国科学技术大学 对抗样本生成方法、模型训练方法、处理方法及电子设备
CN114897882B (zh) * 2022-06-10 2024-04-19 大连民族大学 一种基于加权平均曲率滤波分解的遥感图像融合方法
CN115880199B (zh) * 2023-03-03 2023-05-16 湖南大学 一种长波红外高光谱与多光谱图像融合方法、系统及介质
CN116485694B (zh) * 2023-04-25 2023-11-07 中国矿业大学 一种基于变分原理的红外与可见光图像融合方法、系统
CN116245779B (zh) * 2023-05-11 2023-08-22 四川工程职业技术学院 一种图像融合方法、装置、存储介质及电子设备
CN117078563B (zh) * 2023-10-16 2024-02-02 武汉大学 启明星一号卫星高光谱图像全色锐化方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014045275A (ja) 2012-08-24 2014-03-13 Olympus Corp 画像処理装置、撮像装置及び画像処理方法
WO2019026408A1 (ja) 2017-08-02 2019-02-07 日本電気航空宇宙システム株式会社 画像変換装置、画像処理装置、画像処理方法、及び、画像処理プログラムを格納した非一時的なコンピュータ可読媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3500945B2 (ja) * 1998-01-19 2004-02-23 株式会社日立製作所 マルチスペクトル衛星画像の処理方法と処理システム並びに水圏評価方法
US20060291751A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Robust reconstruction of high resolution grayscale images from a sequence of low-resolution frames (robust gray super-resolution)
US8203615B2 (en) * 2009-10-16 2012-06-19 Eastman Kodak Company Image deblurring using panchromatic pixels
US10049771B2 (en) * 2013-03-15 2018-08-14 St. Jude Medical, Atrial Fibrillation Division, Inc. Laplacian and Tikhonov regularization for voltage mapping with a medical device
US9265441B2 (en) * 2013-07-12 2016-02-23 Siemens Aktiengesellschaft Assessment of traumatic brain injury
US9225889B1 (en) * 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014045275A (ja) 2012-08-24 2014-03-13 Olympus Corp 画像処理装置、撮像装置及び画像処理方法
WO2019026408A1 (ja) 2017-08-02 2019-02-07 日本電気航空宇宙システム株式会社 画像変換装置、画像処理装置、画像処理方法、及び、画像処理プログラムを格納した非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
WO2021205735A1 (en) 2021-10-14
EP4133446A1 (en) 2023-02-15
US11481876B2 (en) 2022-10-25
US20210319534A1 (en) 2021-10-14
JP2023508780A (ja) 2023-03-03

Similar Documents

Publication Publication Date Title
JP7395018B2 (ja) ブラインドマルチスペクトル画像融合のためのシステムおよび方法
US10891527B2 (en) Systems and methods for multi-spectral image fusion using unrolled projected gradient descent and convolutinoal neural network
Baek et al. Single-shot hyperspectral-depth imaging with learned diffractive optics
Khan et al. Flatnet: Towards photorealistic scene reconstruction from lensless measurements
Wang et al. Recent progress in image deblurring
Krig Computer vision metrics
Joshi et al. PSF estimation using sharp edge prediction
US9251565B2 (en) Hyper-resolution imaging
US8750647B2 (en) Kinetic super-resolution imaging
Chan et al. Simultaneous total variation image inpainting and blind deconvolution
Ulfarsson et al. Sentinel-2 sharpening using a reduced-rank method
Zeng et al. Robust reconstruction with deep learning to handle model mismatch in lensless imaging
Shibata et al. Misalignment-robust joint filter for cross-modal image pairs
Shi et al. Seeing through obstructions with diffractive cloaking
Lee et al. Improving focus measurement via variable window shape on surface radiance distribution for 3D shape reconstruction
Ma et al. Robust locally weighted regression for superresolution enhancement of multi-angle remote sensing imagery
CN112132971B (zh) 三维人体建模方法、装置、电子设备和存储介质
Mahmood Shape from focus by total variation
Jung et al. Multispectral fusion of rgb and nir images using weighted least squares and convolution neural networks
Alam et al. Light field extraction from a conventional camera
Kim et al. Blind motion deblurring for satellite image using convolutional neural network
Fernandez-Beltran et al. W-NetPan: Double-U network for inter-sensor self-supervised pan-sharpening
Zhou et al. Thermal infrared spectrometer on-orbit defocus assessment based on blind image blur kernel estimation
Eboli et al. Learning to jointly deblur, demosaick and denoise raw images
Guimarães Machine vision processing of deep space images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220628

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220628

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231128

R150 Certificate of patent or registration of utility model

Ref document number: 7395018

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150