JP4305148B2 - Sar画像超解像装置 - Google Patents
Sar画像超解像装置 Download PDFInfo
- Publication number
- JP4305148B2 JP4305148B2 JP2003402494A JP2003402494A JP4305148B2 JP 4305148 B2 JP4305148 B2 JP 4305148B2 JP 2003402494 A JP2003402494 A JP 2003402494A JP 2003402494 A JP2003402494 A JP 2003402494A JP 4305148 B2 JP4305148 B2 JP 4305148B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- super
- resolution
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
Description
以下では、説明を容易にするため、超解像法の1つであるMUSIC(Multiple Signal Classification)を、SAR画像に適用して、解像度を向上させる例で説明する。
また、電波画像の超解像処理では、同じ部分の超解像処理であっても、処理を実行する範囲を変えた場合に処理結果が変わるため、分割した画像を単純に合成すると、実際の数よりも多い散乱点が現れる、散乱点が消えるといった現象が起きる可能性があるという課題がある。
電波画像の超解像処理に対して、処理の特性を考慮して画像を分割して処理を高速化するような従来例はない。
また、本発明は、要求仕様としての処理時間を基準に画像の分割方法を決定することで、要求仕様に対して適切な処理時間で超解像処理を実行できるSAR画像超解像装置を得ることを目的とする。
さらにまた、本発明では、画像を分割して超解像処理を実行した画像を合成する時に、合成による散乱点の消失や多重検出を改善できるSAR画像超解像装置を得ることを目的とする。
このため、高速化と品質の両方を満たすことができるSAR超解像画像処理装置を得られる効果がある。
以下、この発明の実施の一形態を説明する。
図1は、この発明の実施の形態1によるSAR画像超解像装置1を示す構成図である。
図2は、この実施の形態1によるSAR画像超解像装置1のフローチャート図である。
図3は、分割実行領域決定部2のフローチャート図である。
ここでは、処理範囲の画像サイズと処理パラメータ(解像度を向上させる割合や入力画像の観測条件など)から、画像が劣化する範囲を特定できる。超解像処理部5は、分割実行領域決定部2で分割した処理領域ごとに超解像処理を実行する。分割領域合成部6は、超解像処理部5から得られた各処理領域での超解像結果を、画質が劣化する可能性がある範囲を用いずに合成し、超解像画像を出力する。
STEP1で、超解像処理対象の入力画像データ(ここでは、SAR再生済画像。入力画像サイズの情報も含む。)および要求時間(要求仕様としての超解像処理に対する目標実行時間)および処理パラメータ(解像度を向上させる割合や入力画像の観測条件など)が、分割実行領域決定部2に送られる。
STEP3では、超解像処理部5が、分割実行領域決定部2から得た入力画像データと分割処理領域の情報から、入力画像に対して分割処理領域ごとに超解像処理を行い、分割領域合成部6に各処理領域ごとの超解像処理結果を渡す(STEP4へ進む)。
STEP4では、分割領域合成部6が、超解像処理部5から得た各処理領域での超解像結果を、分割実行領域決定部2で保持する合成位置の情報を参照して合成し、超解像画像として生成する(STEP5)。
STEP2−1で、分割実行領域決定部2は、入力画像サイズの情報と、要求時間(要求仕様としての超解像処理に対する目標実行時間)と、処理パラメータ(解像度を向上させる割合や入力画像の観測条件など)を実行時間予測部3に送る。
超解像処理の実行時間は、処理対象の画像サイズに比例する。ここでは、画像データに含まれる散乱点数による影響も受けるが、画像サイズと解像度を向上させる割合がわかれば、処理時間を一定の精度で予測できる。実行時間予測部3は、いくつかの画像サイズ、解像度を向上させる割合で処理を実行した時の計測結果や、画像サイズによりどのように処理時間が変動するかという情報(例、3乗に比例するなど)を保持しており、これらの情報から画像サイズ別の実行時間を予測する。
分割実行領域決定部2から入力画像サイズと要求時間を送られた実行時間予測部3は、要求時間を満足する範囲で利用可能な画像分割サイズとその実行時間のペアを、予め保持している情報を用いて判断し、候補となる画像分割サイズとその実行時間のペアを分割実行領域決定部2に出力する。
画質の劣化範囲は、解像度を向上させる割合と画像分割サイズと観測条件により決定
される。そこで、劣化範囲計算部4は、処理領域の両端で発生する画質の劣化の範囲を特定するため、処理領域のサイズ(分割画像サイズ)と処理パラメータ(解像度を向上させる割合や入力画像の観測条件など)によって画質の劣化範囲がどのように変化するかという情報を予め保持している。分割実行領域決定部2から分割画像サイズと処理パラメータ(解像度を向上させる割合や入力画像の観測条件など)を送られた劣化範囲計算部4は、処理領域の両端で画質が劣化する範囲を、予め保持している情報を用いて特定し、結果を分割実行領域決定部2に出力する(STEP2−3へ進む)。
まず、超解像処理対象の入力画像データ(ここでは、SAR再生済画像。入力画像サイズの情報も含む)および要求時間(要求仕様としての超解像処理に対する目標実行時間)および処理パラメータ(解像度を向上させる割合や入力画像の観測条件など)が、分割実行領域決定部2に送られる。
実行時間予測部3は、入力画像を分割して超解像処理を適用するときに、入力画像を分割するサイズ(画像分割サイズ)と解像度を向上させる割合によって実行時間がどのように変化するかという情報を予め保持している。図4に、実行時間予測部3が予め保持している情報の一例を表で示す。この例では、図4に示すように、画像分割サイズがA、B、C、Dで、解像度を向上させる割合(倍率)が元画像の2倍、3倍、4倍、5倍(以下、それぞれ、割合2、3、4、5という)である場合の超解像処理の実行時間を保持しているとする。ここで、画像分割サイズは、A<B<C<Dであるとする。解像度を向上させる割合が同じであれば、画像分割サイズが大きいほうが実行時間を要することになる。予め保持している情報のうち、入力画像サイズよりも大きな画像分割サイズに関するものは考慮する必要がない。この例では、入力画像サイズが画像分割サイズA、B、C、Dよりも大きいとする。
劣化範囲計算部4は、処理領域の両端で発生する画質の劣化の範囲を特定するため、処理領域のサイズ(画像分割サイズ)と処理パラメータによって画質の劣化範囲がどのように変化するかという情報を予め保持している。図5に、劣化範囲計算部4が予め保持している情報の一例を表で示す。この例では、図5に示すように、画像分割サイズがA、B、C、Dで、解像度を向上させる割合が2、3、4、5の場合の劣化範囲を保持しているとする。
まず、図6のように、画像サイズがCである分割実行範囲1を設定する。次に、画質が劣化する範囲を考慮して、分割実行範囲1と分割実行範囲2の領域の一部が重なるように、画像を分割する。
すなわち、分割実行範囲1を、合成位置1を挟んで左側に画像が劣化しない部分、右側に劣化範囲計算部4で特定した画像が劣化する部分となるように設定し、さらに、分割実行範囲2の左側の画質が劣化する部分が、合成位置1の左側に位置し、その他の部分が合成位置1の右側に位置するように設定する。このとき、分割実行範囲2の画像分割サイズは、分割実行範囲1と分割実行範囲2の実行時間と残りの処理領域を実行するのに最低限かかる実行時間(最小の領域で劣化範囲を含まずに割り当てた時間)の総和が、要求時間を超えない範囲で決定する。ここでは、分割実行範囲2の画像分割サイズがCを選択しても要求時間を満たすので、画像分割サイズとしてCを選択するとする。
ここでの超解像法は、すでに知られているいくつかの電波画像に対する超解像法をもとに実装することが可能である。この超解像処理部5の具体的な実装方法の1例としては、特開平2001−116838号公報の装置へ、各分割処理領域を順次渡していくことができる装置として実現することが考えられる。
分割領域合成部6は、分割実行領域決定部2で保持する合成位置情報を参照して、超解像処理部5から得られた各処理領域での超解像結果を合成し、超解像画像を出力する。
ここでは、分割実行領域決定部2で、画像を分割実行範囲1と分割実行範囲2と分割実行範囲3と分割実行範囲4の4つの処理領域に分割し、超解像処理部5で、この4つの分割実行範囲に対してそれぞれ超解像処理を行い、分割領域合成部6に各処理領域での超解像処理結果が渡されたとする。
また、与えられた入力画像(処理対象の画像領域)を分割して実行することで、処理を高速化でき、要求仕様としての処理時間を基準に画像の分割方法を決定することで、要求仕様に対して適切な処理時間で超解像処理を実行できる効果を奏する。
例えば、画像分割サイズを、内部で実行するFFTなどの処理を高速化できる2のN乗のサイズの領域を選択することも可能であり、実施の形態1と同様の効果を発することができる。また、一定の大きさを保った上で処理時間を最短とするような選択も可能であり、上記実施の形態1と同様の効果を得ることができる。
また、実施の形態1では、合成する2つの領域の画質が劣化しない部分と劣化する部分の境界から同じ距離にある位置を合成位置3としたが、合成位置は、2つの領域がともに劣化しない任意の場所を選択可能であり、同様の効果を得ることができる。
このため、入力画像の両端を広げて、少し大きなサイズを切り出せるケースが多い。このような場合には、解像度を向上させようとする画像領域の両端に、画質が劣化する範囲の大きさを加えたものを入力画像とすることにより、入力画像の両端に対して劣化範囲を考慮することが可能である。
このように、入力画像の両端の劣化範囲を考慮するようにしても実施の形態1同様の効果を得ることができる。この場合には、入力画像の両端における画質の劣化についても改善できる効果がある。
以下、この発明の実施の一形態を説明する。
図9は、この発明の実施の形態2によるSAR画像超解像装置を示す構成図である。
図10は、この実施の形態2によるSAR画像超解像装置のフローチャート図である。
図11は、重複型分割実行領域決定部9のフローチャート図である。
図12は、重複型分割領域合成部11のフローチャート図である。
ここでは、画像分割サイズと処理パラメータ(解像度を向上させる割合や入力画像の観測条件など)から、合成用の処理領域の大きさを計算できる。重複型分割領域合成部11は、超解像処理部5から得られた各処理領域での超解像結果を、重複領域での散乱点数は同じと仮定して、処理結果を合成し、画像を合成する際に生じ得る散乱点の消失や多重検出の問題を改善し、超解像画像を出力できる。
この実施の形態2のSTEP1は、データの送り先が分割実行領域決定部2から重複型分割実行領域決定部9に変更されたことを除いて、実施の形態1のSTEP1の動作と同じであるので、説明を省略する。
STEP4−Aでは、重複型分割領域合成部11が、超解像処理部5から得た各処理領域での超解像結果を、重複型分割実行領域決定部9で保持する合成位置の情報を参照してSTEP4−A−1〜STEP4−A−7の手順で合成し、超解像画像として出力する。
この実施の形態2のSTEP2−A−1は、実施の形態1のSTEP2−1の動作と同じであるので、説明を省略する。また、この実施の形態2のSTEP2−A−2は、実施の形態1のSTEP2−2の動作と同じであるので、説明を省略する。
画像を領域が重なるように分割する際に、領域を重複させる大きさは、解像度を向上させる割合と画像分割サイズと観測条件により決定
される。そこで、重複範囲計算部10は、処理領域のサイズ(分割画像サイズ)と処理パラメータ(解像度を向上させる割合や入力画像の観測条件など)によって領域を重複させる最適な大きさがどのように変化するかという情報を予め保持している。重複型分割実行領域決定部9から分割画像サイズと処理パラメータ(解像度を向上させる割合や入力画像の観測条件など)を送られた重複範囲計算部10は、画像を複数の処理領域に分割する際に設ける合成用の処理領域の大きさを決定するための基準となる範囲を、予め保持している情報を用いて計算し、結果を重複型分割実行領域決定部9に出力する(STEP2−A−4へ進む)。
ここでは、説明を容易にするために、超解像処理対象の入力画像データ(ここでは、SAR再生済画像。入力画像サイズの情報も含む)および要求時間(要求仕様としての超解像処理に対する目標実行時間)および処理パラメータ(解像度を向上させる割合や入力画像の観測条件など)が、実施の形態1で示した例と同じであるとする。
また、この実施の形態2の実行時間予測部3および劣化範囲計算部4が、実施の形態1で示した例と同様に、それぞれ図4と図5に示した情報を保持しており、重複型分割実行領域決定部9が、実行時間予測部3および劣化範囲計算部4から実施の形態1の分割実行領域決定部2と同じ情報を得たとして説明を進める。
重複範囲計算部10は、画像を複数の処理領域に分割する際に設ける合成用の処理領域の大きさを決定するための基準となる範囲を計算するため、処理領域のサイズ(画像分割サイズ)と処理パラメータによって最適な合成用の処理領域の大きさがどのように変化するかという情報を予め保持している。この情報は、超解像アルゴリズムが過去に実行した結果等から入手しておく。図13は、重複範囲計算部10が予め保持している情報の一例を表で示す。この例では、図13に示すように、画像分割サイズがA、B、C、Dで、解像度を向上させる割合が2、3、4、5の場合の重複する領域の大きさを保持しているとする。
重複型分割実行領域決定部9は、実行時間予測部3で予測した超解像処理の実行時間((A、TA4)、(B、TB4)、(C、TC4))および劣化範囲計算部4で特定した画質の劣化の範囲(RA4、RB4、RC4)および重複範囲計算部10で計算した画像を重複させる大きさ(OA4、OB4、OC4)を考慮し、要求時間内で超解像処理が行われるように、かつ、画質が劣化しないように分割方法を検討する。
まず、実施の形態1と同様に、画像分割サイズがCである分割実行範囲1と分割実行範囲2の画像分割サイズを決定していく。ここでは、実行時間から、実施の形態1と同様に分割実行範囲1と分割実行範囲2で画像分割サイズCが選択されたとする。
もし、分割実行範囲1と分割実行範囲2の画像分割サイズが異なり、重複させる領域のサイズが異なる場合は、決定された重複させる領域のサイズが大きいほうのサイズで重複領域を設け、画像を重複させる。重複領域の左端を合成位置1、右端を合成位置2とする。合成位置1と合成位置2の間の領域で、分割実行範囲1と分割実行範囲2の画質が劣化しない領域が重なる。
次に、分割実行範囲3の右側の劣化範囲に隣接するように、重複領域を設ける。重複領域の左端を合成位置5、右端を合成位置6とし、分割実行範囲4においても、合成位置5と合成位置6に含まれる領域を画質が劣化しない範囲で重複した合成用の処理領域(重複領域)と考える。また、分割実行範囲3と分割実行範囲4は、分割実行範囲4の画質が劣化しない部分と劣化する部分の境界と合成位置5間でも画質が劣化しない部分が重なるが、分割実行範囲4の対応する部分を合成に用いない範囲と考えることとする。
以上のような処理によって、全ての領域で、画質が劣化する範囲を用いることのないように、画像を分割することができる。
まず、STEP4−A−1で、超解像処理部5から、分割した処理領域での超解像結果が重複型分割領域合成部11に送られる。また、重複型分割実行領域決定部9から、分割領域を合成する位置(合成位置)の情報が重複型分割領域合成部11に送られる。
重複型分割領域合成部11では、重複領域(画質が劣化しない範囲で重複した合成用の処理領域)と非重複領域で異なる合成処理を行う。そのため、まず、STEP4−A−2で超解像処理結果の領域を、重複領域と非重複領域に分類する。そして、重複領域の場合はSTEP4−A−3へ、非重複領域の場合はSTEP4−A−6へ進む。
STEP4−A−4では、重複領域でかつ散乱点の数が等しい場合の合成処理を行う。
STEP4−A−5では、重複領域でかつ散乱点の数が異なる場合の合成処理を行う。
STEP4−A−6では、非重複領域に対する合成処理を行う。この領域においては、処理結果をそのまま最終的な処理結果としてそのまま採用する。
STEP4−A−7では、全ての領域に対して合成処理が終了したかを判定し、終了していなければSTEP4−A−2〜STEP4−A−6の処理を繰り返す。
重複型分割領域合成部11では、重複領域(画質が劣化しない範囲で重複した合成用の処理領域)と非重複領域で異なる合成処理を行う。また、重複領域の場合に、重複領域での散乱点の数が等しい場合と異なる場合によって異なる。そのため、それぞれの場合に対する処理に分けて説明する。
まず、重複領域でかつ散乱点の数が等しい場合のSTEP4−A−4での合成方法の1例を示す。
図15のように、処理対象画像を分割実行範囲1と分割実行範囲2に分割して超解像処理を実行し、超解像結果を重複領域で合成する例で説明する。ここでは、各重複領域の散乱点の数が等しく、分割実行範囲1の重複領域では散乱点Aと散乱点Bと散乱点Cが検出され、分割実行領域2の重複領域では散乱点Dと散乱点Eと散乱点Fが算出されたとする。
次に、対応する散乱点の位置および振幅をそれぞれ平均して散乱点を算出し、得られた散乱点を最終的な重複合成領域での散乱点として出力する。すなわち、散乱点Aと散乱点Dの情報から1つの散乱点Gを算出し、散乱点Bと散乱点Eの情報から1つの散乱点Hを算出し、散乱点Cと散乱点Fの情報から1つの散乱点Iを算出する。最終的に、3つの散乱点G、H、Iが算出される。
次に、STEP4−A−6での非重複領域に対する合成処理であるが、この領域においては、処理結果をそのまま採用する。
例えば、図17のように、本来1つの散乱点が検出されるべき画像を分割して超解像処理を行う場合を考える。この例では、与えられた処理対象画像を分割せずに超解像処理を実行すると、要求された時間内で処理を終了することができないため、処理対象画像を分割実行範囲1と分割実行範囲2に分割して超解像処理を実行し、超解像結果を重複領域で合成する例で説明する。超解像処理では、センサの分解能以上の解像度を実現するため、様々な推定法か拡張法を用いる。
このため、画像を分割実行範囲1と分割実行範囲2の2つの領域に分割して超解像処理を実行した場合、同じ散乱点がお互いに同じ位置に検出される保証はない。例えば、図17のように画質が劣化しない範囲で重複した合成用の処理領域(重複領域)を設けるように画像を複数の処理領域に分割したとする。ここで、分割実行範囲1で、本来検出される位置よりも左側に検出され、分割実行範囲2で、本来検出される位置よりも右側に検出されることもある。この場合に、重複領域で分割実行範囲1と分割実行範囲2で検出された散乱点を単純に足し合わせると、2つの散乱点が検出される結果となり、多重検出の問題が生じる。
まず、散乱点Aと散乱点D、散乱点Bと散乱点E、散乱点Cと散乱点Fを対応する候補として選択する。次に、対応する散乱点うち、ピークの大きい散乱点を最終的な重複合成領域での散乱点として出力する。すなわち、散乱点のピークに関して、散乱点A>散乱点D、散乱点B>散乱点E、散乱点C<散乱点Fであるとすると、最終的に、3つの散乱点A、B、Fを散乱点として出力する。
このとき、分割実行範囲1で検出された散乱点の数は3つ、分割実行範囲2で検出された散乱点の数は2つである。よって、検出された散乱点の数が少ない分割実行領域2の結果を、最終的な重複合成領域での散乱点として出力する。すなわち、最終的に、2つの散乱点D、Eが検出される。
このとき、ピーク(散乱点の振幅)に対してある基準値を設ける。この基準値よりも大きい散乱点が、散乱点A、散乱点C、散乱点D、散乱点Fであるとする。
このとき、散乱点A、散乱点C、散乱点D、散乱点Fを候補として考え、合成処理を行い、超解像画像を得る。
以下、この発明の実施の一形態を説明する。
図22は、この発明の実施の形態3によるSAR画像超解像装置を示す構成図である。
図23は、この実施の形態3によるSAR画像超解像装置のフローチャート図である。
図24は、相関型分割領域合成部12のフローチャート図である。
図22において、相関型分割領域合成部12は、超解像処理部5から得られた各処理領域での超解像結果を、重複領域での散乱点同士の相関関係を利用して処理結果を合成し、画像を合成する際に生じ得る散乱点の消失や多重検出の問題を改善し、超解像画像を出力できる。
この実施の形態3のSTEP1は、実施の形態2のSTEP1の動作と同じであるので、説明を省略する。
この実施の形態3のSTEP2−Aは、実施の形態2のSTEP2−Aの動作と同じであるので、説明を省略する。
この実施の形態3のSTEP3は、実施の形態1のSTEP3の動作と同じであるので、説明を省略する。
STEP4−Bでは、相関型分割領域合成部12が、超解像処理部5から得た各処理領域での超解像結果を、重複領域での散乱点数どうしの相関関係を利用して処理結果を合成し、超解像画像として出力する。
まず、STEP4−B−1で、超解像処理部5から、分割した処理領域での超解像結果が相関型分割領域合成部12に送られる。また、重複型分割実行領域決定部9から、分割領域を合成する位置(合成位置)の情報が相関型分割領域合成部12に送られる。
STEP4−B−2で、超解像処理結果の領域を、重複領域と非重複領域に分類する。そして、重複領域の場合はSTEP4−B−3へ、非重複領域の場合はSTEP4−B−7へ進む。
重複領域の場合は、まず、STEP4−B−3で、各重複領域(画質が劣化しない範囲で重複した合成用の処理領域)の散乱点の対応関係の候補を列挙する。
次に、STEP4−B−4で、対応する散乱点どうしの距離や一致度合いから、各候補に信頼度を設定する。
次に、STEP4−B−6で、選択した候補の散乱点から最終的な重複領域での散乱点を算出し、出力する。
非重複領域の場合の処理STEP4−B−7は、実施の形態2のSTEP4−A−6の動作と同じであるので、説明を省略する。
STEP4−B−8では、全ての領域に対して合成処理が終了したかを判定し、終了していなければ処理を繰り返す。
図25に示すように、処理対象画像を分割実行範囲1と分割実行範囲2に分割して超解像処理を実行し、超解像結果を重複領域で合成する例で説明する。ここで、分割実行範囲1および分割実行範囲2ともに3つの散乱点が検出されたとする。図25に示すように、分割実行範囲1の散乱点をA、B、C、そして、分割実行範囲2の散乱点をD、E、Fとする。
まず、各重複領域の散乱点の対応関係の候補を列挙する。この例では、散乱点Aと散乱点D、散乱点Aと散乱点E、散乱点Aと散乱点F、散乱点Bと散乱点D、散乱点Bと散乱点E、散乱点Bと散乱点F、散乱点Cと散乱点D、散乱点Cと散乱点E、散乱点Cと散乱点F、の9とおりの組み合わせが考えられる。
評価値が最も大きい対応関係の組み合わせを選択したのち、対応する散乱点の位置と振幅をそれぞれ平均し、最終的な散乱点を算出する。すなわち、散乱点Aと散乱点Dから散乱点Gを、散乱点Bと散乱点Eから散乱点Hを、散乱点Cと散乱点Fから散乱点Iを算出し、最終的な結果として出力する。
重複領域において本来3つの散乱点が検出されるべき画像を分割して超解像処理を行う場合を考える。ここでは、処理対象画像を分割実行範囲1と分割実行範囲2に分割して超解像処理を実行し、超解像結果を重複領域で合成する例で説明する。画像を分割実行範囲1と分割実行範囲2の2つの領域に分割して超解像処理を実行した場合、同じ散乱点がお互いに同じ位置に検出される保証はなく、例えば図26に示すように、分割実行範囲1および分割実行範囲2で、ともに3つの散乱点が異なる位置で検出されることもある。図26に示すように、分割実行範囲1で算出された散乱点をA、B、C、そして、分割実行範囲2で算出された散乱点をD、E、Fとする。この例では、散乱点Aと散乱点D、散乱点Bと散乱点E、散乱点Cと散乱点Fが対応づけられた場合が正解であるとする。
以下、この発明の実施の一形態を説明する。
図27は、この発明の実施の形態4によるSAR画像超解像装置を示す構成図である。
図28は、この実施の形態4によるSAR画像超解像装置のフローチャート図である。
図29は、可変型分割領域合成部13のフローチャート図である。
図27において、可変型分割領域合成部13は、超解像処理部5から得られた各処理領域での超解像結果を考慮して、画像の合成に用いる領域(重複領域)を変化させながら画像を合成し、画像を合成する際に生じ得る散乱点の消失や多重検出の問題を改善し、超解像画像を出力できる。
この実施の形態4のSTEP1は、実施の形態3のSTEP1の動作と同じであるので、説明を省略する。
この実施の形態4のSTEP2−Aは、実施の形態3のSTEP2−Aの動作と同じであるので、説明を省略する。
この実施の形態4のSTEP3は、データの送り先が相関型分割領域合成部12から可変型分割領域合成部13に変更されたことを除いて、実施の形態3のSTEP3の動作と同じであるので、説明を省略する。
可変型分割領域合成部13は、図29に示すように、実施の形態3の相関型分割領域合成部12に、超解像結果から合成に用いる重複領域を決定する処理STEP4−C−2を追加したものである。STEP4−C−2以外の処理は実施の形態3の相関型分割領域合成部12と同じであるので、ここでは、説明を簡単にするため、STEP4−C−2についてのみ説明する。
その後の処理は実施の形態3と同じである。
図30に示すように、超解像処理対象の画像を分割実行範囲1と分割実行範囲2の2つの領域に分割して処理を行った場合を考える。ここでは、各可変重複領域の散乱点の数が異なると仮定し、分割実行範囲1の可変重複範囲には散乱点Aと散乱点Bが検出され、分割実行領域2の可変重複範囲には散乱点Cと散乱点Dと散乱点Eが検出されたとする。この時、2つの可変重複領域には、散乱点Aと散乱点Bと散乱点Cと散乱点Dと散乱点Eがある。
例えば、比較的散乱点同士の距離が近い散乱点Aと散乱点Bと散乱点Dと散乱点Eを含むように動的重複領域を決定し、次に分割実行範囲2の散乱点Cを含むように動的重複領域を変化させるかどうかを考える。この場合、分割実行範囲1で算出された全ての散乱点はすでに全てが画像の合成に用いられることが決定されており、分割実行範囲2においても同じ数の散乱点が合成に用いられることになっている。また、他の4つの散乱点が比較的近くにあるのに対して散乱点Cだけはある程度離れている。以上のことを考慮して、散乱点Cを含まないように動的合成位置を決定する。
次に、決定した動的重複領域をもとに、画像の合成を行うための準備を行う。まず、分割実行範囲1の、動的重複領域よりも右側にある領域を、画像の合成に用いないこととする。また、分割実行範囲2の、動的重複領域よりも左側にある領域を、画像の合成に用いないこととする。これにより、動的重複領域と非重複領域が定義される。
図31のように、処理対象画像を分割実行範囲1と分割実行範囲2に分割して超解像処理を実行し、超解像結果を重複領域で合成する例で説明する。ここで、分割実行範囲1の可変重複範囲では散乱点Aと散乱点Bと散乱点Cが算出され、分割実行範囲2の可変重複範囲には散乱点Dと散乱点Eが算出されたとする。この例では、散乱点Aと散乱点D、散乱点Bと散乱点Eが対応づけられた場合が正解であるとする。
Claims (4)
- 信号処理を施して電波画像の解像度を向上させるSAR画像超解像装置において、
上記画像を複数の処理領域に分割して超解像処理を実行する時の超解像処理にかかる実行時間を予測する実行時間予測手段と、
上記画像の分割時に上記それぞれの処理領域の両端で発生する散乱点の消失あるいは偽像の発生などの画質が劣化する範囲を、予め保持する画像の分割サイズと画質が劣化する範囲との関係を示す情報に基づいて、上記それぞれの処理領域に分割される画像の分割サイズに応じて特定する劣化範囲計算手段と、
上記実行時間予測手段で予測した超解像処理の実行時間および上記劣化範囲計算手段で特定した画質の劣化の範囲に基づき、当該実行時間が超解像処理の目標実行時間を超えず、かつ上記各処理領域における上記画質の劣化する範囲が当該処理領域の隣の処理領域における上記画質の劣化する範囲を含まない領域と重なるように、上記分割される処理領域の一部を互いに重複させて、画像を複数の処理領域に分割する分割実行領域決定手段と、
上記分割実行領域決定手段で分割した処理領域ごとに上記超解像処理を行う超解像処理手段と、
上記超解像処理手段から得られる分割した処理領域ごとの超解像結果における、上記画質が劣化する範囲を含まないそれぞれの領域を合成し、超解像画像を出力する分割領域合成手段と、
を備えたことを特徴とするSAR画像超解像装置。 - 信号処理を施して電波画像の解像度を向上させるSAR画像超解像装置において、
上記画像を複数の処理領域に分割して超解像処理を実行する時の超解像処理にかかる実行時間を予測する実行時間予測手段と、
上記画像の分割時に上記それぞれの処理領域の両端で発生する散乱点の消失あるいは偽像の発生などの画質が劣化する範囲を、予め保持する画像の分割サイズと画質が劣化する範囲との関係を示す情報に基づいて、上記それぞれの処理領域に分割される画像の分割サイズに応じて特定する劣化範囲計算手段と、
上記劣化範囲計算手段により特定された上記画質が劣化する範囲を含まない範囲で、上記画像を重複する複数の合成用の処理領域に分割する際に、処理領域の大きさを決定する基準となる処理領域の重複範囲を特定する重複範囲計算手段と、
上記実行時間予測手段で予測した上記超解像処理の実行時間および上記劣化範囲計算手段で特定した画質の劣化の範囲および上記重複範囲計算手段で特定した重複範囲に基づき、当該実行時間が超解像処理に対する目標実行時間を超えず、かつ上記各処理領域における上記重複範囲が当該処理領域の隣の処理領域における上記重複範囲と重なるように、上記分割される処理領域の一部を互いに重複させて、画像を複数の処理領域に分割する重複型分割実行領域決定手段と、
上記重複型分割実行領域決定手段で分割する処理領域ごとに上記超解像処理を行う超解像処理手段と、
上記超解像処理手段から得られ、重複を設けるように分割された各処理領域での超解像結果における、上記画質が劣化する範囲を含まないそれぞれの領域を合成し、超解像画像を出力する重複型分割領域合成手段と、
を備えたことを特徴とするSAR画像超解像装置。 - 上記重複型分割領域合成手段は、上記超解像処理手段から得られ、重複を設けるように分割された各処理領域での超解像結果を、上記重複範囲での散乱点相互の相関関係を利用して合成し、上記超解像画像として出力することを特徴とする請求項2記載のSAR画像超解像装置。
- 上記重複型分割領域合成手段は、上記超解像処理手段から得られ、重複を設けるように分割された各処理領域での超解像結果を、上記画像の合成に用いる領域を変化させながら合成し、上記超解像画像として出力することを特徴とする請求項2記載のSAR画像超解像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003402494A JP4305148B2 (ja) | 2003-12-02 | 2003-12-02 | Sar画像超解像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003402494A JP4305148B2 (ja) | 2003-12-02 | 2003-12-02 | Sar画像超解像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005164347A JP2005164347A (ja) | 2005-06-23 |
JP4305148B2 true JP4305148B2 (ja) | 2009-07-29 |
Family
ID=34726042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003402494A Expired - Fee Related JP4305148B2 (ja) | 2003-12-02 | 2003-12-02 | Sar画像超解像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4305148B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103064071A (zh) * | 2012-10-25 | 2013-04-24 | 西安电子科技大学 | 基于稀疏分解的雷达目标属性散射中心特征提取方法 |
WO2015005163A1 (ja) | 2013-07-12 | 2015-01-15 | 三菱電機株式会社 | 高解像度画像生成装置、高解像度画像生成方法及び高解像度画像生成プログラム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5091099B2 (ja) * | 2008-12-12 | 2012-12-05 | 株式会社キーエンス | 撮像装置 |
JP6653522B2 (ja) | 2015-02-04 | 2020-02-26 | シナプティクス・ジャパン合同会社 | 表示装置、表示パネルドライバ、表示パネルの駆動方法 |
KR101821607B1 (ko) * | 2016-05-03 | 2018-01-25 | 엘아이지넥스원 주식회사 | 오메가-k 알고리즘의 멀티 컴퓨터 프로세싱을 사용한 sar 및 isar 영상 생성 장치 |
KR101833237B1 (ko) * | 2016-05-03 | 2018-03-02 | 엘아이지넥스원 주식회사 | 오메가-k 알고리즘의 멀티 컴퓨터 프로세싱 시스템 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3007914B2 (ja) * | 1997-06-24 | 2000-02-14 | 防衛庁技術研究本部長 | モード固有値計測方法 |
JP3678946B2 (ja) * | 1999-07-28 | 2005-08-03 | 三菱電機株式会社 | 合成開口レーダ装置及びこの合成開口レーダ装置における目標散乱点検出方法 |
JP2002181930A (ja) * | 2000-12-18 | 2002-06-26 | Mitsubishi Electric Corp | 合成開口レーダ装置及び目標散乱点検出方法 |
JP4536281B2 (ja) * | 2001-03-12 | 2010-09-01 | 三菱電機株式会社 | 方位探知方法および方位探知装置 |
JP4202033B2 (ja) * | 2001-09-05 | 2008-12-24 | 三菱電機株式会社 | 並列画像処理装置および並列画像処理方法 |
-
2003
- 2003-12-02 JP JP2003402494A patent/JP4305148B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103064071A (zh) * | 2012-10-25 | 2013-04-24 | 西安电子科技大学 | 基于稀疏分解的雷达目标属性散射中心特征提取方法 |
WO2015005163A1 (ja) | 2013-07-12 | 2015-01-15 | 三菱電機株式会社 | 高解像度画像生成装置、高解像度画像生成方法及び高解像度画像生成プログラム |
US9563937B2 (en) | 2013-07-12 | 2017-02-07 | Mitsubishi Electric Corporation | High-resolution image generation apparatus, high-resolution image generation method, and high-resolution image generation program |
Also Published As
Publication number | Publication date |
---|---|
JP2005164347A (ja) | 2005-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9786288B2 (en) | Audio object extraction | |
JP4795359B2 (ja) | 画像セグメンテーション | |
US8538150B2 (en) | Method and apparatus for segmenting multi-view images into foreground and background based on codebook | |
EP3511937A1 (en) | Device and method for sound source separation, and program | |
US20130108066A1 (en) | Apparatus and method for tracking locations of plurality of sound sources | |
CN111044999B (zh) | 在调频连续波雷达单元中减少干扰的方法、设备及系统 | |
JP5488679B1 (ja) | マイクロホンアレイ選択装置、マイクロホンアレイ選択プログラム及び収音装置 | |
US20110075025A1 (en) | System and method producing high definition video from low definition video | |
JP4305148B2 (ja) | Sar画像超解像装置 | |
JP6205722B2 (ja) | ソーナー画像処理装置、ソーナー画像処理方法、ソーナー画像処理プログラムおよび記録媒体 | |
US9966081B2 (en) | Method and apparatus for synthesizing separated sound source | |
JP5679406B2 (ja) | 目標物速度特定装置、目標物速度特定プログラム及び目標物速度特定方法 | |
KR101988099B1 (ko) | 도래각 추정을 위한 공분산 행렬 생성 방법 | |
US20220180195A1 (en) | Model generation device, model adjustment device, model generation method, model adjustment method, and recording medium | |
JP6188429B2 (ja) | クラッタ抑圧装置 | |
US9679355B2 (en) | Image processing device | |
KR101653203B1 (ko) | 영상 처리 장치 및 방법 | |
JP6520276B2 (ja) | 雑音抑圧装置、雑音抑圧方法、及び、プログラム | |
JPH09261646A (ja) | 画像の動き検出装置 | |
JP6997589B2 (ja) | 方位推定装置、方位推定方法及びプログラム | |
JP2008134298A (ja) | 信号処理装置、信号処理方法およびプログラム | |
JP5981369B2 (ja) | ウェイト算出方法、ウェイト算出装置、アダプティブアレーアンテナ及びレーダ装置 | |
JP2007235784A (ja) | 信号分離装置、信号分離方法、信号分離プログラム及び記録媒体 | |
US7747049B2 (en) | Method of analysing a representation of a separation pattern | |
CN116681023B (zh) | 一种基于格林函数的波形筛选方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060830 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090420 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140515 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |