JP7152131B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP7152131B2 JP7152131B2 JP2016184200A JP2016184200A JP7152131B2 JP 7152131 B2 JP7152131 B2 JP 7152131B2 JP 2016184200 A JP2016184200 A JP 2016184200A JP 2016184200 A JP2016184200 A JP 2016184200A JP 7152131 B2 JP7152131 B2 JP 7152131B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- feature amount
- spatial feature
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Description
本開示は、画像を処理する記述に関する。
地表にマイクロ波パルスを照射し、反射波を測定するレーダ装置がある。レーダ装置の一例として、複数回測定した反射波を合成することで、高解像度を得ることができる合成開口レーダ（ＳＡＲ：Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）装置がある。合成開口レーダによる測定結果に基づいて、地表の位置に応じた反射波の強さを表す画像を得ることができる。合成開口レーダは、マイクロ波の特性を利用して、昼夜や天候に関係なく地表の画像を得ることができる。ＳＡＲによって反射波を測定し、ＳＡＲによる測定の結果を表す画像を得ることを、例えば、ＳＡＲによって撮影する、及び、ＳＡＲは撮影する、などと表記する。ＳＡＲは人工衛星や航空機などの飛翔体に搭載されて地表を撮影する。
しかし、ＳＡＲに使用するマイクロ波は、例えば散乱メカニズム等の物理特性において、光学機器による撮影において観測される光と異なる。そのため、ＳＡＲによって撮影された合成開口レーダ画像（ＳＡＲ画像）では、例えばスペックルノイズなどの、光学機器による撮影によって得られる光学画像には存在しない物理現象が撮影される。そのため、一般的に、ＳＡＲ画像の判読は難しい。
判読の容易さを実現するため、例えば、複数の偏波ＳＡＲ画像によるカラー化が行われる。偏波ＳＡＲ画像のカラー化は、例えば、マイクロ波の送信及び受信における偏波情報や、パウリ分解の値などの偏波情報から計算された値を補正し、補正された値をカラー画像に変換することによって行われる。しかし、これらの方法によって得られるカラー画像の色は自然な色にはならない。
特許文献１には、色情報が割り当てられた低解像度の多変波レーダ画像と、高解像度の単変波レーダ画像とを合成することによって、高解像度のカラーレーダ画像を得る画像生成方法が記載されている。
偏波ＳＡＲの送信時及び受信時における偏波情報や、パウリ分解の値などの偏波情報から計算された値を補正し、カラー画像に変換することによって、通常、色が光学画像は全く異なる、カラーのＳＡＲ画像が得られる。言い換えると、偏波ＳＡＲ画像を単にカラー画像の変換することによって得られる画像の色は自然な色にはならない。そのため、ＳＡＲ画像の判読は、必ずしも容易にはならない。
特許文献１の技術により、低解像度の多変波レーダ画像に単に色を割り当てても、自然な色のカラー画像は得られない。そのため、ＳＡＲ画像の判読は必ずしも容易にはならない。
本開示の目的の１つは、レーダ装置による測定の結果を表す画像の判読の容易性を向上させる技術を提供することにある。
本開示の一態様に係る画像処理装置は、レーダ装置による、偏波信号である第１信号の測定の結果に基づく第１データ値の２次元の分布と、前記第１信号とは異なる第２信号の測定の結果に基づく第２データ値の２次元の分布と、における、互いに関連する前記第１データ値と前記第２データ値との組み合わせを生成し、当該組み合わせに基づいて、前記第１データ値と前記第２データ値との関係を表す関係性モデルを生成する生成手段を備える。
本開示の一態様に係る画像処理方法は、レーダ装置による、偏波信号である第１信号の測定の結果に基づく第１データ値の２次元の分布と、前記第１信号とは異なる第２信号の測定の結果に基づく第２データ値の２次元の分布と、における、互いに関連する前記第１データ値と前記第２データ値との組み合わせを生成し、当該組み合わせに基づいて、前記第１データ値と前記第２データ値との関係を表す関係性モデルを生成する。
本開示の一態様に係るプログラムは、コンピュータに、レーダ装置による、偏波信号である第１信号の測定の結果に基づく第１データ値の２次元の分布と、前記第１信号とは異なる第２信号の測定の結果に基づく第２データ値の２次元の分布と、における、互いに関連する前記第１データ値と前記第２データ値との組み合わせを生成し、当該組み合わせに基づいて、前記第１データ値と前記第２データ値との関係を表す関係性モデルを生成する生成処理を実行させる。本開示の一態様は、上述のプログラムを記憶するコンピュータ読み取り可能な記憶媒体によっても実現される。
本開示には、レーダ装置による測定の結果を表す画像の判読の容易性を向上させることができるという効果がある。
次に、本開示の実施形態について図面を参照して詳細に説明する。
［第１の実施の形態］
［構成の説明］
図１は、本実施形態に係る画像処理システム１の構成の例を表すブロック図である。
［構成の説明］
図１は、本実施形態に係る画像処理システム１の構成の例を表すブロック図である。
図１に示すように、本実施形態の画像処理システム１は、画像処理装置１０を含む。画像処理装置１０は、ピクセル特徴量抽出部１００と、位置合わせ処理部１０１と、関係性モデル生成部１０２と、ピクセル特徴量抽出部２００と、画像推定部２０１、高解像度化処理部２１３とを含む。画像処理装置１０は、さらに、第１受信部１０３と、第２受信部１０４と、学習用偏波ＳＡＲ記憶部１０５と、対象画像記憶部１０６と、関係性モデル記憶部１０７とを含んでいてもよい。画像処理装置１０は、さらに、第３受信部２０２と、推定用偏波ＳＡＲ記憶部２０３と、推定画像記憶部２０４と、第２出力部２０５とを含んでいてもよい。
第１受信部１０３は、学習用偏波ＳＡＲ画像を記憶するサーバなどから、学習用偏波ＳＡＲ画像を受信する。第１受信部１０３は、受信した学習用偏波ＳＡＲ画像を、学習用偏波ＳＡＲ記憶部１０５に格納する。
学習用偏波ＳＡＲ記憶部１０５は、学習用偏波ＳＡＲ画像を記憶する。
学習用偏波ＳＡＲ画像及び後述される推定用偏波ＳＡＲ画像を含む偏波ＳＡＲ画像は、人工衛星や飛行機などの飛翔体に搭載されたレーダ装置によって測定された、マイクロ波などの偏波信号の測定値の２次元の分布を表す。以下、レーダ装置が測定に使用する電磁波はマイクロ波であるとして説明を行うが、レーダ装置が測定に使用する電磁波はマイクロ波に限定されない。偏波ＳＡＲ画像は、例えば、送信偏波と受信偏波の組み合わせ毎の、測定値の２次元の分布を表すレイヤを含んでいてもよい。レイヤの数は１でもよい。
以下で説明する、送信偏波と受信偏波の組み合わせにおいて、Ｈ（Ｈｏｒｉｓｏｎｔａｌ）は水平偏波を表し、Ｖ（Ｖｅｒｔｉｃａｌ）は垂直偏波を表す。例えば、ＨＨは、送信偏波及び受信偏波が共に水平偏波であることを表す。すなわち、水平偏波のマイクロ波を発信し、水平偏波の反射波を受信する（すなわち、測定する）ことを表す。ＨＶは、送信偏波が水平偏波であり、受信偏波が垂直偏波であることを表す。ＶＶは、送信偏波と受信偏波が共に垂直偏波であることを表す。ＶＨは、送信偏波が垂直偏波であり、受信偏波が水平偏波であることを表す。
送信偏波と受信偏波の組み合わせは、例えば、ＨＨ、ＨＶ、及び、ＶＶであってもよい。この場合、偏波ＳＡＲ画像は、ＨＨ、ＨＶ、及び、ＶＶの３つのレイヤを含む。送信偏波と受信偏波の組み合わせは、さらに、ＶＨを含んでいてもよい。この場合、偏波ＳＡＲ画像は、ＨＨ、ＨＶ、ＶＶ、及び、ＶＨの４つのレイヤを含む。偏波ＳＡＲ画像は、レイヤ毎に、偏波信号が測定された測定点毎の測定値を１つの画素の画素値として含む。測定値は、例えば、位相と振幅とを複素数によって表されていてもよい。その場合、画素値は、実数部の値と虚数部の値とによって表されていてもよい。この場合、偏波ＳＡＲ画像は、１つの画素あたり、レイヤの数と同じ数の複素数の組を、画素値として含むとみなせる。
第２受信部１０４は、例えば対象画像を記憶するサーバなどから、対象画像を受信する。第２受信部１０４は、受信した対象画像を、対象画像記憶部１０６に格納する。
対象画像記憶部１０６は、対象画像を記憶する。
対象画像は、例えば、人工衛星や飛行機などの飛翔体に搭載された光学撮影装置によって撮影された光学画像である。光学撮影装置は、例えば、デジタルカメラであってもよい。その場合、光学画像は、画素毎に、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、及び、Ｂ（Ｂｌｕｅ）の３つの成分の値を含む画素値によって表されるカラー画像であってもよい。光学撮影装置は、例えば、可視光領域以外の領域（例えば赤外等）を含む、複数の波長域において撮影を行えるカメラであってもよい。この場合の対象画像は、例えば、画素毎に、複数の波長域における測定値を成分として含む画素値によって表されていてもよい。対象画像は、学習用偏波ＳＡＲ画像を得たマイクロ波の波長と異なる波長のマイクロ波による測定によって得られた、ＳＡＲ画像であってもよい。
ピクセル特徴量抽出部１００は、学習用偏波ＳＡＲ画像からピクセル特徴量を抽出する。ピクセル特徴量抽出部１００は、画素の画素値がその画素におけるピクセル特徴量である、ピクセル特徴量画像を生成する。言い換えると、ピクセル特徴量抽出部１００は、学習用偏波ＳＡＲ画像から、ピクセル特徴量画像を生成する。ピクセル特徴量画像は、複数のレイヤを含む。ピクセル特徴量抽出部１００は、学習用偏波ＳＡＲ画像のレイヤから、ピクセル特徴量画像の複数のレイヤを生成してもよい。ピクセル特徴量抽出部１００は、学習用偏波ＳＡＲ画像の各レイヤから、独立に、ピクセル特徴量画像のレイヤを生成してもよい。ピクセル特徴量抽出部１００は、他の方法で、学習用偏波ＳＡＲ画像のレイヤから、ピクセル特徴量画像のレイヤを生成してもよい。ピクセル特徴量については、後で詳細に説明する。
位置合わせ処理部１０１は、ピクセル特徴量画像と対象画像との間の位置合わせを行う。
位置合わせは、例えば、ピクセル特徴量画像の画素について、ピクセル特徴量画像のその画素の画素値が得られた場所において、画素値が得られた対象画像の画素を特定することを表す。「画素値が得られた場所」は、その場所において得られた測定値に基づいて、その画素値が導出されたことを表す。以下の説明では、一方の画像の画素（以下、第１画素と表記）の画素値と、他方の画像の画素（以下、第２画素と表記）の画素値とが、同じ場所において異なる測定方法によって得られた測定値に基づいて導出される場合、第１画素と第２画素が対応すると表記する。「第１画素と第２画素が対応する」という表記は、「第１画素は第２画素に対応する」、及び、「第２画素が第１画素に対応する」とも表記される。この場合、加えて、第２画素に対応する第１画素の場所など（例えば位置）は、第２の画素の場所など（例えば位置）に対応する、等とも表記する。例えば、第１画素の位置に対応する第２画像における位置は、第２画像に含まれ、第１画素に対応する第２画素の位置を表す。
位置合わせは、例えば、ピクセル特徴量画像の画素について、ピクセル特徴量画像のその画素の画素値が得られた場所において、画素値が得られた対象画像の画素を特定することを表す。「画素値が得られた場所」は、その場所において得られた測定値に基づいて、その画素値が導出されたことを表す。以下の説明では、一方の画像の画素（以下、第１画素と表記）の画素値と、他方の画像の画素（以下、第２画素と表記）の画素値とが、同じ場所において異なる測定方法によって得られた測定値に基づいて導出される場合、第１画素と第２画素が対応すると表記する。「第１画素と第２画素が対応する」という表記は、「第１画素は第２画素に対応する」、及び、「第２画素が第１画素に対応する」とも表記される。この場合、加えて、第２画素に対応する第１画素の場所など（例えば位置）は、第２の画素の場所など（例えば位置）に対応する、等とも表記する。例えば、第１画素の位置に対応する第２画像における位置は、第２画像に含まれ、第１画素に対応する第２画素の位置を表す。
言い換えると、位置合わせ処理部１０１は、例えば、ピクセル特徴量画像の画素の位置に対応する、対象画像における位置を特定する。ピクセル特徴量画像の画素の位置に対応する、対象画像における位置を特定することによって、位置合わせ処理部１０１は、ピクセル特徴量画像の画素の画素値と、その画素に対応する、対象画像における画素の画素値との組み合わせを生成する。ピクセル特徴量画像の画素の画素値と、対象画像の、ピクセル特徴量画像のその画素に対応する画素の画素値は、同じ場所を異なる方法で測定した測定結果に基づいて得られた値を表す。
測定の結果に基づく値がピクセル特徴量画像の画素値として得られている領域（以下、第１領域と表記）と、測定の結果に基づく他の値が対象画像の画素値として得られている領域（以下、第２領域と表記）は、必ずしも一致しない。位置合わせ処理部１０１は、第１領域と第２領域の共通の領域において、複数の画素について、ピクセル特徴量画像の画素の位置に対応する、対象画像における位置を特定すればよい。そして、位置合わせ処理部１０１は、その共通の領域において、ピクセル特徴量画像の画素の画素値と、その画素に対応する、対象画像における画素の画素値との、複数の組み合わせを生成すればよい。
位置合わせ処理部１０１は、ピクセル特徴量画像の複数の画素の位置と、それらの画素に対応する対象画像の画素の位置とが一致するように、ピクセル特徴量画像及び対象画像の少なくとも一方の変形を行ってもよい。変形は、例えば、回転、拡大、縮小及び他の線形変換、又は、非線形変換などである。位置合わせ処理部１０１は、例えば地形図などを使用して、ピクセル特徴量画像及び対象画像の少なくとも一方の変形を行ってもよい。そして、位置合わせ処理部１０１は、特定した位置における対象画像の画素の画素値を特定してもよい。
一般に、画像の画素の位置は、例えば、規則的に並んだ格子点上に設定されうる。すなわち、変形前の画像の画素は格子点上に配置され、変形後の画像の画素は、変形前の画像の格子点とは必ずしも同一でない格子点上に配置されうる。変形前の画像の格子点上に設定された画素は、変形によって、変形後の画像の画素が配置される格子点とは異なる場所に移動することがある。変形前の画像の画素の変形による移動先の位置と、変形後の画像の画素の位置とが異なる場合、位置合わせ処理部１０１は、変形後の画像の画素の画素値を、補間によって算出してもよい。位置合わせ処理部１０１は、例えば、変形後の画像の画素の位置と、変形前の画像の画素の画素値と、変形前の画像の画素の変形による移動先の位置とに基づく補間によって、変形後の画像の画素の画素値を算出してもよい。補間の方法として、既存のさまざまな方法が適用可能である。位置合わせ処理部１０１は、変形後の画素の画素値を、その画素の位置に変形後の移動先が最も近い、変形前の画像の画素の画素値に設定してもよい。位置合わせ処理部１０１による位置合わせでは、ピクセル特徴量画像の画素と対象画像の画素との厳密な対応付けは必要ない。
学習用偏波ＳＡＲ画像と対象画像との間の位置合わせが完了している場合、すなわち、学習用偏波ＳＡＲ画像の画素と対象画像の画素との対応が既知である場合、位置合わせ処理部１０１は、ピクセル特徴量画像と対象画像との間の位置合わせを行わなくてもよい。学習用偏波ＳＡＲ画像の画素とピクセル特徴量画像の画素との関係は、ピクセル特徴量抽出部１００がピクセル特徴量画像からピクセル特徴量画像を生成する際に得られる。
以上で説明した位置合わせによって、ピクセル特徴量画像における画素値と、その画素値を持つ画素に対応する、学習用偏波ＳＡＲ画像の画素の画素値が測定された場所における、対象画像の画素値との関係を特定できる。
関係性モデル生成部１０２は、位置合わせによって得られた、学習用偏波ＳＡＲ画像の画素と、対象画像の画素との関係に基づいて、同じ場所におけるピクセル特徴量と対象画像の画素値との関連を表す関係性モデルを生成する。関係性モデルについては、後で詳細に説明する。
図２は、本実施形態に係る関係性モデル生成部１０２の構成の例を表すブロック図である。図２を参照すると、関係性モデル生成部１０２は、空間特徴量抽出部１１１と、関係性学習部１１２とを含む。
空間特徴量抽出部１１１は、ピクセル特徴量画像から、例えばピクセル特徴量画像にフィルタ処理を行うことによって、画素毎に空間特徴量を抽出する。そして、空間特徴量抽出部１１１は、各画素の画素値が空間特徴量である空間特徴量画像を生成する。言い換えると、空間特徴量抽出部１１１は、ピクセル特徴量画像から空間特徴量画像を生成する。空間特徴量画像も複数のレイヤを含んでよい。空間特徴量抽出部１１１は、ピクセル特徴量画像の各レイヤから、空間特徴量画像のレイヤを生成する。空間特徴量抽出部１１１は、ピクセル特徴量画像の各レイヤから、空間特徴量画像の複数のレイヤを生成してもよい。空間特徴量については、後で詳細に説明する。
関係性学習部１１２は、位置合わせによって対応が特定された、空間特徴量画像の画素及び対象画像の画素の、画素値の組み合わせに基づいて、空間特徴量画像の画素値（すなわち空間特徴量）と対象画像の画素値との関係を表す関係性モデルを生成する。関係性学習部１１２は、生成した関係性モデルを、関係性モデル記憶部１０７に格納する。関係性モデルについては後で詳細に説明する。
第３受信部２０２は、例えば推定用偏波ＳＡＲ画像を記憶するサーバ又はユーザが使用する端末装置等から、推定用偏波ＳＡＲ画像を受信する。第３受信部２０２は、受信した推定用偏波ＳＡＲ画像を、推定用偏波ＳＡＲ記憶部２０３に格納する。
上述のように、推定用偏波ＳＡＲ画像は、人工衛星や飛行機などの飛翔体に搭載されたレーダ装置によって測定された、マイクロ波などの偏波信号の測定値の２次元の分布を表す。推定用偏波ＳＡＲ画像を得るのに使用したマイクロ波は、例えば、学習用偏波ＳＡＲ画像を得るのに使用したマイクロ波と同じ波長のマイクロ波である。学習用偏波ＳＡＲ画像及び推定用偏波ＳＡＲ画像は、同じ種類のレーダ装置によって得られた偏波ＳＡＲ画像であってもよい。学習用偏波ＳＡＲ画像と推定用偏波ＳＡＲ画像は、同じタイミングの測定によって得られた画像であってもよい。学習用偏波ＳＡＲ画像と推定用偏波ＳＡＲ画像は、異なるタイミングの測定によって得られた画像であってもよい。推定用偏波ＳＡＲ画像は、レーダ装置による測定結果から学習用偏波ＳＡＲ画像を生成する方法と同じ方法によって生成された偏波ＳＡＲ画像であればよい。
上述のように、推定用偏波ＳＡＲ画像は、人工衛星や飛行機などの飛翔体に搭載されたレーダ装置によって測定された、マイクロ波などの偏波信号の測定値の２次元の分布を表す。推定用偏波ＳＡＲ画像を得るのに使用したマイクロ波は、例えば、学習用偏波ＳＡＲ画像を得るのに使用したマイクロ波と同じ波長のマイクロ波である。学習用偏波ＳＡＲ画像及び推定用偏波ＳＡＲ画像は、同じ種類のレーダ装置によって得られた偏波ＳＡＲ画像であってもよい。学習用偏波ＳＡＲ画像と推定用偏波ＳＡＲ画像は、同じタイミングの測定によって得られた画像であってもよい。学習用偏波ＳＡＲ画像と推定用偏波ＳＡＲ画像は、異なるタイミングの測定によって得られた画像であってもよい。推定用偏波ＳＡＲ画像は、レーダ装置による測定結果から学習用偏波ＳＡＲ画像を生成する方法と同じ方法によって生成された偏波ＳＡＲ画像であればよい。
推定用偏波ＳＡＲ記憶部２０３は、推定用偏波ＳＡＲ画像を記憶する。
ピクセル特徴量抽出部２００は、ピクセル特徴量抽出部１００が学習用偏波ＳＡＲ画像からピクセル特徴量を抽出する方法と同じ方法によって、推定用偏波ＳＡＲ画像からピクセル特徴量を抽出する。ピクセル特徴量抽出部２００は、画素の画素値がその画素におけるピクセル特徴量である、ピクセル特徴量画像を生成する。言い換えると、ピクセル特徴量抽出部２００は、推定用偏波ＳＡＲ画像から、ピクセル特徴量画像を生成する。ピクセル特徴量画像も複数のレイヤを含んでよい。ピクセル特徴量抽出部２００は、推定用偏波ＳＡＲ画像の各レイヤから、独立に、ピクセル特徴量画像のレイヤを生成する。ピクセル特徴量については、後で詳細に説明する。
画像推定部２０１は、関係性モデルに基づいて、ピクセル特徴量画像から推定画像を推定する。推定画像の形式は、例えば、対象画像の形式と同じであればよい。
図３は、本実施形態に係る画像推定部２０１の構成の例を表すブロック図である。図３を参照すると、画像推定部２０１は、空間特徴量抽出部２１１と、画像情報推定部２１２とを含む。
空間特徴量抽出部２１１は、上述の空間特徴量抽出部１１１と同様に動作する。すなわち、空間特徴量抽出部２１１は、ピクセル特徴量画像から、例えばピクセル特徴量画像にフィルタ処理を行うことによって、画素毎に空間特徴量を抽出する。そして、空間特徴量抽出部２１１は、各画素の画素値が空間特徴量である空間特徴量画像を生成する。言い換えると、空間特徴量抽出部２１１は、ピクセル特徴量画像から空間特徴量画像を生成する。上述のように、空間特徴量画像も複数のレイヤを含む。空間特徴量抽出部２１１は、ピクセル特徴量画像の各レイヤから、独立に、空間特徴量画像のレイヤを生成する。空間特徴量については、後で詳細に説明する。
画像情報推定部２１２は、関係性モデルに基づいて、空間特徴量画像から推定画像を推定する。画像情報推定部２１２による推定画像を推定する方法については、後で詳細に説明する。
高解像度化処理部２１３は、推定画像の高解像度化を行う。高解像度化については、後で詳細に説明する。高解像度化処理部２１３は、高解像度化が行われた推定画像（以下、「高解像度化推定画像」と表記）を、推定画像記憶部２０４に格納する。
推定画像記憶部２０４は、高解像度化推定画像を記憶する。
第２出力部２０５は、高解像度化推定画像を、例えばユーザの端末などの他の装置に出力する。
上述のピクセル特徴量抽出部１００は、ピクセル特徴量抽出部２００として動作してもよい。
図４は、本実施形態に係る画像処理システム１Ａの構成の例を表すブロック図である。画像処理システム１Ａは、画像処理装置１０Ａを含む。画像処理装置１０Ａは、画像処理装置１０の要素のうち、ピクセル特徴量抽出部２００を含まない。そして、ピクセル特徴量抽出部１００が、ピクセル特徴量抽出部２００として動作する。
画像処理システム１は、１つの装置（例えば、図１に示す画像処理装置１０及び図２に示す画像処理装置１０Ａ）として実装されていてもよい。画像処理システム１は、互いに通信可能に接続された、複数の装置として実装されていてもよい。
図５は、本実施形態に係る画像処理システム１Ｂの構成の例を表すブロック図である。図５に示す例では、画像処理システム１Ｂは、互いに通信可能に接続されている２つの装置として実装されている。具体的には、画像処理システム１Ｂは、第１画像処理装置１１と、第２画像処理装置１２とを含む。第１画像処理装置１１は、ピクセル特徴量抽出部１００と、位置合わせ処理部１０１と、関係性モデル生成部１０２と、第１受信部１０３と、第２受信部１０４と、学習用偏波ＳＡＲ記憶部１０５と、対象画像記憶部１０６と、関係性モデル記憶部１０７とを含む。第１画像処理装置１１は、さらに、第１出力部１０８を含む。第２画像処理装置１２は、ピクセル特徴量抽出部２００と、画像推定部２０１、高解像度化処理部２１３とを含む。第２画像処理装置１２は、さらに、第３受信部２０２と、推定用偏波ＳＡＲ記憶部２０３と、推定画像記憶部２０４と、第２出力部２０５と、第４受信部２０６と、関係性モデル記憶部２０７とを含む。
［動作の説明］
次に、本実施形態の画像処理装置１０の動作について、図面を参照して詳細に説明する。
次に、本実施形態の画像処理装置１０の動作について、図面を参照して詳細に説明する。
図６は、本実施形態の画像処理装置１０の、関係性モデルの生成の動作を表すフローチャートである。
ステップＳ１０１：
ピクセル特徴量抽出部１００は、学習用偏波ＳＡＲ画像からピクセル特徴量画像を生成する。
ピクセル特徴量抽出部１００は、学習用偏波ＳＡＲ画像からピクセル特徴量画像を生成する。
上述のように、ピクセル特徴量抽出部１００に入力される学習用偏波ＳＡＲ画像は、送信偏波と受信偏波の組み合わせが、ＨＨ、ＨＶ、及び、ＶＶの３種類の偏波ＳＡＲ画像をレイヤとして含んでいてもよい。学習用偏波ＳＡＲ画像は、ＨＨ、ＨＶ、及び、ＶＶの３種類にＶＨを加えた４種類の偏波ＳＡＲ画像をレイヤとして含んでいてもよい。偏波ＳＡＲ画像の各ピクセル値（すなわち上述の画素値）は複素数の値によって表される。ピクセル特徴量抽出部１００は、学習用偏波ＳＡＲ画像の各レイヤのピクセル値からピクセル特徴量を抽出する。ピクセル特徴量抽出部１００、抽出したピクセル特徴量を、画素値が抽出したピクセル特徴量である複数のレイヤを含むピクセル特徴量画像として出力する。ピクセル特徴量抽出部１００は、たとえば、各レイヤの偏波ＳＡＲ画像に対してパウリ分解、三成分分解、又は、四成分分解を行うことによって得られる複数の成分をそれぞれ表す、複数の出力成分画像を生成してもよい。ピクセル特徴量抽出部１００は、その出力成分画像の各ピクセル値を対数変換することによって得られる画像を、ピクセル特徴量画像のレイヤの１つとしてもよい。ピクセル特徴量抽出部１００は、より単純に、ＨＨ、ＨＶ、及び、ＶＶのそれぞれの偏波ＳＡＲ画像の各ピクセル値（複素数）の絶対値を対数変換した値を画素値として含む画像を、ピクセル特徴量画像のレイヤとしてもよい。この場合、レイヤ数は３となる。ピクセル特徴量抽出部１００は、対数変換の代わりに、べき関数など、又は、その折れ線近似などを用いてもよい。
ステップＳ１０２：
位置合わせ処理部１０１は、ピクセル特徴量画像と対象画像の位置合わせを行う。ピクセル特徴量画像と学習用偏波ＳＡＲ画像の位置は同じである。例えば、ピクセル特徴量画像と学習用偏波ＳＡＲ画像の同じ位置の画素の画素値は、同じ場所の測定値に由来する。従って、ピクセル特徴量画像と対象画像の位置合わせは、学習用偏波ＳＡＲ画像と対象画像との位置合わせと等価である。位置合わせ処理部１０１は、位置合わせにおいて、ピクセル特徴量画像を基準にして対象画像を変形してもよいし、対象画像を基準にしてピクセル特徴量画像を変形してもよい。位置合わせ処理部１０１は、地形図などの別情報を基準にしてピクセル特徴量画像と対象画像の両方を変形してもよい。上述のように、学習用偏波ＳＡＲ画像と対象画像との間の位置合わせが済んでいれば、ステップＳ１０２における位置合わせは不要となりうる。また、ステップＳ１０２における、ピクセル特徴量画像と対象画像の位置合わせは、厳密な一致を必要としない。ピクセル特徴量画像の画素の位置に対応する、対象画像における位置を特定することによって、位置合わせ処理部１０１は、ピクセル特徴量画像の画素の画素値と、その画素に対応する、対象画像における画素の画素値との組み合わせを生成する。
位置合わせ処理部１０１は、ピクセル特徴量画像と対象画像の位置合わせを行う。ピクセル特徴量画像と学習用偏波ＳＡＲ画像の位置は同じである。例えば、ピクセル特徴量画像と学習用偏波ＳＡＲ画像の同じ位置の画素の画素値は、同じ場所の測定値に由来する。従って、ピクセル特徴量画像と対象画像の位置合わせは、学習用偏波ＳＡＲ画像と対象画像との位置合わせと等価である。位置合わせ処理部１０１は、位置合わせにおいて、ピクセル特徴量画像を基準にして対象画像を変形してもよいし、対象画像を基準にしてピクセル特徴量画像を変形してもよい。位置合わせ処理部１０１は、地形図などの別情報を基準にしてピクセル特徴量画像と対象画像の両方を変形してもよい。上述のように、学習用偏波ＳＡＲ画像と対象画像との間の位置合わせが済んでいれば、ステップＳ１０２における位置合わせは不要となりうる。また、ステップＳ１０２における、ピクセル特徴量画像と対象画像の位置合わせは、厳密な一致を必要としない。ピクセル特徴量画像の画素の位置に対応する、対象画像における位置を特定することによって、位置合わせ処理部１０１は、ピクセル特徴量画像の画素の画素値と、その画素に対応する、対象画像における画素の画素値との組み合わせを生成する。
ステップＳ１０３
関係性モデル生成部１０２は、上記位置合わせ処理部１０１で位置合わせされたピクセル特徴量画像と対象画像から関係性モデルを生成する関係性モデル生成処理を行う。
関係性モデル生成部１０２は、上記位置合わせ処理部１０１で位置合わせされたピクセル特徴量画像と対象画像から関係性モデルを生成する関係性モデル生成処理を行う。
図７は、本実施形態の画像処理装置１０の、関係性モデル生成処理の動作の例を表すフローチャートである。
ステップＳ１１１：
空間特徴量抽出部１１１は、ピクセル特徴量画像から空間特徴量画像を生成する。具体的には、空間特徴量抽出部１１１は、ピクセル特徴量画像のそれぞれのレイヤにフィルタ処理を行うことによって空間特徴量を抽出する。そして、空間特徴量抽出部１１１は、画素値が抽出された空間特徴量である、複数のレイヤを含む空間特徴量画像を生成する。
空間特徴量抽出部１１１は、ピクセル特徴量画像から空間特徴量画像を生成する。具体的には、空間特徴量抽出部１１１は、ピクセル特徴量画像のそれぞれのレイヤにフィルタ処理を行うことによって空間特徴量を抽出する。そして、空間特徴量抽出部１１１は、画素値が抽出された空間特徴量である、複数のレイヤを含む空間特徴量画像を生成する。
空間特徴量抽出部１１１よるフィルタ処理について説明する。空間特徴量抽出部１１１は、ピクセル特徴量画像のピクセルを対象ピクセルとして選択し、ピクセル特徴量画像の対象ピクセルに対して周辺ピクセルによる一様平均化フィルタをかけることによって、対象ピクセルにおける空間特徴量を抽出する。空間特徴量抽出部１１１は、対象ピクセルと同じ位置のピクセルのピクセル値が、抽出した空間特徴量である画像を生成することによって、スペックルノイズが除去された特徴量画像を生成する。空間特徴量抽出部１１１は、平均化フィルタの周辺ピクセル数が奇数の値である平均化フィルタを使用すればよい。空間特徴量抽出部１１１は、例えば、サイズが９×９である一様平均化フィルタをピクセル特徴量画像にかけることによって得られる、フィルタされたピクセル値を、空間特徴量として抽出する。なお、空間特徴量抽出部１１１が使用する平均化フィルタは、一様分布の平均化フィルタでなくてもよい。空間特徴量抽出部１１１は、ガウシアンフィルタやメディアンフィルタなどを利用して、空間特徴量を抽出してもよい。空間特徴量抽出部１１１は、スペックルノイズを除去できる他のフィルタを使って空間特徴量を抽出してもよい。
空間特徴量抽出部１１１は、で抽出する空間特徴量は、フィルタ平均値ではなく、対象ピクセルについて周辺ピクセルの画素値を用いて計算した、例えば標準偏差、テクスチャ、エントロピー、又は、エネルギーなどを、空間特徴量として抽出してもよい。空間特徴量抽出部１１１は、ピクセル特徴量画像にガボールフィルタなどを適用することによって得られる出力を、空間特徴量として抽出してもよい。空間特徴量抽出部１１１が抽出する空間特徴量の種類の数に制限はない。空間特徴量抽出部１１１は、複数の種類の空間特徴量を抽出してもよい。
空間特徴量抽出部１１１は、ピクセル特徴量画像の各レイヤに対して空間特徴量の抽出を行う。言い換えると、空間特徴量抽出部１１１は、ピクセル特徴量画像の各レイヤから、空間特徴量画像を生成する。複数の種類の空間特徴量を抽出する場合、空間特徴量抽出部１１１は、ピクセル特徴量画像の各レイヤから、複数の空間特徴量画像を生成する。
ステップＳ１１２：
次に、関係性学習部１１２は、空間特徴量画像の複数のレイヤの同じ位置のピクセルにおける空間特徴量を要素として含む空間特徴量ベクトルVsarを生成する。以下の説明では、空間特徴量ベクトルを、「特徴ベクトル」及び「SAR特徴ベクトル」とも表記する。SAR特徴ベクトルVsarは、例えば、空間特徴量画像の複数のレイヤの同じ位置のピクセルにおける空間特徴量が、例えばレイヤの番号の順番に要素として並んだベクトルであってもよい。空間特徴量画像の複数のレイヤには、例えば、空間特徴量抽出部１１１によって、レイヤ毎に異なる番号が設定されていればよい。
次に、関係性学習部１１２は、空間特徴量画像の複数のレイヤの同じ位置のピクセルにおける空間特徴量を要素として含む空間特徴量ベクトルVsarを生成する。以下の説明では、空間特徴量ベクトルを、「特徴ベクトル」及び「SAR特徴ベクトル」とも表記する。SAR特徴ベクトルVsarは、例えば、空間特徴量画像の複数のレイヤの同じ位置のピクセルにおける空間特徴量が、例えばレイヤの番号の順番に要素として並んだベクトルであってもよい。空間特徴量画像の複数のレイヤには、例えば、空間特徴量抽出部１１１によって、レイヤ毎に異なる番号が設定されていればよい。
関係性学習部１１２は、さらに、対象画像の各ピクセルについて、画素値の成分（例えば、Ｒ、Ｇ、及び、Ｂ）を要素として含む画素値ベクトルVoptを生成する。以下の説明では、画素値ベクトルを、「対象ベクトル」とも表記する。画素値ベクトルVoptは、例えば、画素値の成分が予め定められた順番（例えば、Ｒ、Ｇ、Ｂの順番）に要素として並んだベクトルであってもよい。
関係性学習部１１２は、空間特徴量画像における画素の特徴ベクトルの各要素と、対象画像における、空間特徴量画像のその画素に対応する画素における対象ベクトルの各要素とを要素として含む、関係性ベクトルを生成する。関係性学習部１１２は、例えば、特徴ベクトルと光学ベクトルとを連結することによって、関係性ベクトルを生成してもよい。対象画像の画素値は、ＲＧＢ空間において表されていなくてもよい。対象画像の画素値は、Ｌａｂ空間やＹＣｒＣｂ空間などの他の色空間表現によって表された値であってもよい。また、関係性学習部１１２は、ピクセルの座標（例えば、空間特徴量画像におけるピクセルの座標と、そのピクセルに対応する、対象画像のピクセルの座標）を要素としてさらに含む、関係性ベクトルを生成してもよい。
ステップＳ１１３：
そして、関係性学習部１１２は、生成した関係性ベクトルを複数のクラスに分類するクラス分類（言い換えると、複数のクラスタに分類するクラスタリング）を行い、クラス分類の結果に基づいて関係性モデルを生成する。クラス分類には教師なしの手法としてｋ－ｍｅａｎｓクラスタリングや混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）、深層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などを用いることができる。ｋ－ｍｅａｎｓクラスタリングやＧＭＭ、ＤＮＮにおけるクラスタ数はどのような値であってもよい。
そして、関係性学習部１１２は、生成した関係性ベクトルを複数のクラスに分類するクラス分類（言い換えると、複数のクラスタに分類するクラスタリング）を行い、クラス分類の結果に基づいて関係性モデルを生成する。クラス分類には教師なしの手法としてｋ－ｍｅａｎｓクラスタリングや混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）、深層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などを用いることができる。ｋ－ｍｅａｎｓクラスタリングやＧＭＭ、ＤＮＮにおけるクラスタ数はどのような値であってもよい。
ステップＳ１１４：
関係性学習部１１２は、関係性ベクトルの集合にクラス分類を行った結果として得られる、各クラスの中心ベクトルμを算出する。ここで、ベクトルμは、SAR特徴ベクトルVsarに関連する要素と、対象ベクトルVoptに関連する要素とを含む。例えば、関係性ベクトルがSAR特徴ベクトルVsarと対象ベクトルVoptとが連結されたベクトルである場合、ベクトルμは、SAR特徴ベクトルVsarに関連するベクトルμsarと、対象ベクトルVoptに関連するベクトルμoptとが連結されたベクトルである。以下の説明では、ベクトルμsarを、中心特徴ベクトルとも表記する。また、ベクトルμoptを、中心対象ベクトルとも表記する。
関係性学習部１１２は、関係性ベクトルの集合にクラス分類を行った結果として得られる、各クラスの中心ベクトルμを算出する。ここで、ベクトルμは、SAR特徴ベクトルVsarに関連する要素と、対象ベクトルVoptに関連する要素とを含む。例えば、関係性ベクトルがSAR特徴ベクトルVsarと対象ベクトルVoptとが連結されたベクトルである場合、ベクトルμは、SAR特徴ベクトルVsarに関連するベクトルμsarと、対象ベクトルVoptに関連するベクトルμoptとが連結されたベクトルである。以下の説明では、ベクトルμsarを、中心特徴ベクトルとも表記する。また、ベクトルμoptを、中心対象ベクトルとも表記する。
ステップＳ１１５：
また、関係性学習部１１２は、各クラス内で、SAR特徴ベクトルVsarから対象ベクトルVoptを推定する、以下の推定式（すなわち、SAR特徴ベクトルVsarを対象ベクトルVoptに変換する変換規則）を導出する。
また、関係性学習部１１２は、各クラス内で、SAR特徴ベクトルVsarから対象ベクトルVoptを推定する、以下の推定式（すなわち、SAR特徴ベクトルVsarを対象ベクトルVoptに変換する変換規則）を導出する。
Vopt = F(Vsar)
推定式として、具体的には以下の式を用いることができる。
推定式として、具体的には以下の式を用いることができる。
Vopt ＝ μopt ＋ A × (Vsar - μsar) (1)
ここでＡは対象ベクトルVoptの長さの行数とSAR特徴ベクトルVsarの長さの列数を持つ行列である。関係性学習部１１２は、推定式のパラメータとして、例えば、推定誤差を最小化する係数を算出すればよい。さらに外れ値に対応するためには、関係性学習部１１２は、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）などによって外れ値を除去した上で、線形回帰式を求めればよい。線形回帰式は、例えば、例えば上述の推定式(1)によって表される。及び中心特徴ベクトルμsar及び中心対象ベクトルμoptは、中心ベクトルμに含まれる。関係性学習部１１２は、具体的には、上述の推定式の行列Ａを求めればよい。求めた行列Aを含む式(1)によって表される変換規則を、以下では、回帰モデルとも表記する。
ここでＡは対象ベクトルVoptの長さの行数とSAR特徴ベクトルVsarの長さの列数を持つ行列である。関係性学習部１１２は、推定式のパラメータとして、例えば、推定誤差を最小化する係数を算出すればよい。さらに外れ値に対応するためには、関係性学習部１１２は、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）などによって外れ値を除去した上で、線形回帰式を求めればよい。線形回帰式は、例えば、例えば上述の推定式(1)によって表される。及び中心特徴ベクトルμsar及び中心対象ベクトルμoptは、中心ベクトルμに含まれる。関係性学習部１１２は、具体的には、上述の推定式の行列Ａを求めればよい。求めた行列Aを含む式(1)によって表される変換規則を、以下では、回帰モデルとも表記する。
また、推定式として以下の式も用いることもできる。
Vopt = Σc ac × μopt × (Vsar － μsar)^bc (2)
ここで、cはクラス番号を表し、「Σc」はcについての和を表し、「^」はべき乗の演算子であり、acとbcは、クラスcにおける、クラス毎に付与される定数である。例えば、ac = a（定数） = Σ(Vsar - μsar)^-2、bc = －2とすれば、上記式(2)は、距離の逆２乗を重みとした加重平均となる。この場合の式(2)を回帰モデルとしてもよい。
ここで、cはクラス番号を表し、「Σc」はcについての和を表し、「^」はべき乗の演算子であり、acとbcは、クラスcにおける、クラス毎に付与される定数である。例えば、ac = a（定数） = Σ(Vsar - μsar)^-2、bc = －2とすれば、上記式(2)は、距離の逆２乗を重みとした加重平均となる。この場合の式(2)を回帰モデルとしてもよい。
ステップＳ１１６：
関係性学習部１１２は、クラス毎に、例えば、中心ベクトルμと、行列Aによって表される変換規則（例えば回帰モデル）とを含む、関係性モデルを生成する。
関係性学習部１１２は、クラス毎に、例えば、中心ベクトルμと、行列Aによって表される変換規則（例えば回帰モデル）とを含む、関係性モデルを生成する。
SAR特徴ベクトルVsarの要素間相関がある場合、事前に白色化しておくことで、より良い関係性モデルを生成できる。具体的には、関係性学習部１１２は、白色化主成分分析により平均ベクトルEと直交変換Wを求める。そして、以下の式
Vsar'＝ W × (Vsar - E)
により、白色化したSAR特徴ベクトルVsar’を求める。関係性学習部１１２は、白色化したSAR特徴ベクトルVsar’をSAR特徴ベクトルVsarの代わりに用いればよい。関係性学習部１１２は、平均ベクトルEと直交変換Wは関係性モデルの一部に含める。言い換えると、関係性学習部１１２は、平均ベクトルEと直交変換Wとを含む関係性モデルを生成する。
Vsar'＝ W × (Vsar - E)
により、白色化したSAR特徴ベクトルVsar’を求める。関係性学習部１１２は、白色化したSAR特徴ベクトルVsar’をSAR特徴ベクトルVsarの代わりに用いればよい。関係性学習部１１２は、平均ベクトルEと直交変換Wは関係性モデルの一部に含める。言い換えると、関係性学習部１１２は、平均ベクトルEと直交変換Wとを含む関係性モデルを生成する。
そして、画像処理装置１０は、図７に示す動作を終了し、次に、図６のステップＳ１０４に示す動作を行う。
ステップＳ１０４：
関係性モデル生成部１０２は、例えば関係性モデル記憶部１０７に、生成した関係性モデルを出力する。関係性モデル生成部１０２は、先制した関係性モデルを、画像推定部２０１に出力してもよい。
関係性モデル生成部１０２は、例えば関係性モデル記憶部１０７に、生成した関係性モデルを出力する。関係性モデル生成部１０２は、先制した関係性モデルを、画像推定部２０１に出力してもよい。
次に、本実施形態の画像処理装置１０の、推定用偏波ＳＡＲ画像から、関係性モデルを用いて対象画像を推定する動作について説明する。
図８は、本実施形態の画像処理装置１０の、推定用偏波ＳＡＲ画像から、関係性モデルを用いて対象画像を推定する動作の例を表すフローチャートである。
ステップＳ１２１：
ピクセル特徴量抽出部２００は、ピクセル特徴量抽出部１００によるピクセル特徴量画像を生成する方法と同じ方法によって、推定用偏波ＳＡＲ画像から複数のレイヤのピクセル特徴量画像を生成する。
ピクセル特徴量抽出部２００は、ピクセル特徴量抽出部１００によるピクセル特徴量画像を生成する方法と同じ方法によって、推定用偏波ＳＡＲ画像から複数のレイヤのピクセル特徴量画像を生成する。
ステップＳ１２２：
空間特徴量抽出部２１１は、空間特徴量抽出部１１１による、ピクセル特徴量画像から空間特徴量画像を生成する方法と同じ方法によって、生成されたピクセル特徴量画像から空間特徴量画像を生成する。生成された空間特徴画像は、上述のように、複数のレイヤを含む。
空間特徴量抽出部２１１は、空間特徴量抽出部１１１による、ピクセル特徴量画像から空間特徴量画像を生成する方法と同じ方法によって、生成されたピクセル特徴量画像から空間特徴量画像を生成する。生成された空間特徴画像は、上述のように、複数のレイヤを含む。
次に、画像情報推定部２１２は、空間特徴画像の各画素について、ステップＳ１２３及びステップＳ１２４の動作を繰り返す。それにより、画像情報推定部２１２は、関係性モデルを用いた、推定画像の輝度と配色の推定を行う。以下では、ステップＳ１２３及びステップＳ１２４における処理の対象であるピクセルを、対象ピクセルと表記する。
ステップＳ１２３：
画像情報推定部２１２は、関係性モデルに基づいて、特徴ベクトル（すなわち、空間特徴量ベクトル）のクラスを推定する。
画像情報推定部２１２は、関係性モデルに基づいて、特徴ベクトル（すなわち、空間特徴量ベクトル）のクラスを推定する。
具体的には、まず、画像情報推定部２１２は、生成された空間特徴量画像の、複数のレイヤの対象ピクセルにおける空間特徴量を要素として含むSAR特徴ベクトルVsarを生成する。ステップＳ１２３において生成されるSAR特徴ベクトルVsarの要素として含まれる空間特徴量の順序は、上述のSAR特徴ベクトルVsarの要素として含まれる空間特徴量の順序と同じである。関係性モデルには、生成された各クラスの中心ベクトルμが含まれている。中心ベクトルμは、中心特徴ベクトルμsarを含んでいる。画像情報推定部２１２は、各クラスの中心特徴ベクトルμsarの中で、SAR特徴ベクトルVsarに最も近い中心特徴ベクトルμsarのクラスcを求める。
関係性モデル生成時にSAR特徴ベクトルVsarが白色化されている場合、画像情報推定部２１２は、同様に関係性モデルのEとWから、白色化されたSAR特徴ベクトルVsar’を求める。画像情報推定部２１２は、求めた白色化されたSAR特徴ベクトルVsar’をSAR特徴ベクトルVsarの代わりに用いる。
関係性モデルは、クラス毎に、特徴ベクトルから光学対象ベクトルを推定する推定式Fを含んでいる。以下では、クラスcにおける推定画像の画素を推定する推定式を「Fc」と表記する。
画像情報推定部２１２は、SAR特徴ベクトルVsarに最も近い中心特徴ベクトルμsarのクラスとして求めたクラスcにおける、以下の推定式に従って、対象ピクセルの推定対象ベクトルVopt（以下、画素値ベクトルVoptとも表記する）を算出する。推定対象ベクトルVoptは、対象ピクセルにおける画素値の成分を要素として含むベクトルである。画像情報推定部２１２は、対象ピクセルにおける画素値が、算出した推定対象ベクトルVoptによって表されるが装置である推定画像を生成し、生成した推定画像を出力する。
Vopt = Fc(Vsar)
ステップＳ１２５：
画像情報推定部２１２は、それぞれの画素において、推定対象ベクトルVoptを画素値に変換する。画像情報推定部２１２は、それぞれの画素の画素値が、推定対象ベクトルVoptを変換することによって得られた画素値である、推定画像を生成する。
ステップＳ１２５：
画像情報推定部２１２は、それぞれの画素において、推定対象ベクトルVoptを画素値に変換する。画像情報推定部２１２は、それぞれの画素の画素値が、推定対象ベクトルVoptを変換することによって得られた画素値である、推定画像を生成する。
図９は、関係性モデルを用いた推定画像の推定までの処理において使用されるデータを模式的に表す図である。
まず、画像情報推定部２１２は、複数レイヤを持つ推定用偏波ＳＡＲの空間特徴量画像から、画素毎の偏波ＳＡＲのSAR特徴ベクトルVsarを抽出する。SAR特徴ベクトルVsarの要素は、空間特徴量画像の複数のレイヤの、同じ位置のピクセルにおけるピクセル値（すなわち、空間特徴量）である。偏波ＳＡＲのSAR特徴ベクトルVsarの次元数Msarは、空間特徴量画像のレイヤ数に一致する。次に、画像情報推定部２１２は、SAR特徴ベクトルVsarと、関係性モデルに含まれる偏波ＳＡＲの中心特徴ベクトルの集合（すなわち、複数のクラスにおける中心特徴ベクトルμsarの集合）に含まれる各ベクトルと比較する。画像情報推定部２１２は、SAR特徴ベクトルVsarの最近傍となる中心特徴ベクトルμsarを抽出する。抽出した中心特徴ベクトルμsarによって、その中心特徴ベクトルμsarのクラスcが定まる。クラスの数をNとすると、この場合の関係性モデルは、例えば、N個の関係性ベクトルを含む。そして、関係性ベクトルは、例えば、Msar次元の偏波ＳＡＲの空特徴ベクトルと、２次元の特徴ベクトルの座標情報と、Mopt次元の対象ベクトルとに分けられる、(Msar + Mopt+２)次元のベクトルである。画像情報推定部２１２は、SAR特徴ベクトルVsarと、関係性ベクトルのうち、Msar次元の偏波ＳＡＲの特徴ベクトルとを比較する。そして、画像情報推定部２１２は、最近傍の偏波ＳＡＲの特徴ベクトルを抽出する。画像情報推定部２１２は、抽出した最近傍の特徴ベクトルのクラスの偏波ＳＡＲの、中心特徴ベクトル、中心対象ベクトル、及び、回帰モデルを用いて、推定対象ベクトルを算出する。画像情報推定部２１２は、画素値が推定対象ベクトルによって表される推定対象画像を生成する。
ステップＳ１２６：
次に、高解像度化処理部２１３は、推定用偏波ＳＡＲ画像を用いて、推定画像を高解像度化する。高解像度化処理部２１３は、推定画像を高解像度化することによって得られた画像である、高解像度推定画像を出力する。具体的には、高解像度化処理部２１３は、推定用偏波ＳＡＲ画像から輝度情報Ｄを抽出する。高解像度化処理部２１３は、輝度情報を抽出する方法として、ピクセル特徴量抽出部１００と同一の成分分解や対数変換を用いてもよい。その場合、ピクセル特徴量抽出部１００の出力をそのまま使うことができる。
次に、高解像度化処理部２１３は、推定用偏波ＳＡＲ画像を用いて、推定画像を高解像度化する。高解像度化処理部２１３は、推定画像を高解像度化することによって得られた画像である、高解像度推定画像を出力する。具体的には、高解像度化処理部２１３は、推定用偏波ＳＡＲ画像から輝度情報Ｄを抽出する。高解像度化処理部２１３は、輝度情報を抽出する方法として、ピクセル特徴量抽出部１００と同一の成分分解や対数変換を用いてもよい。その場合、ピクセル特徴量抽出部１００の出力をそのまま使うことができる。
高解像度化処理部２１３は、推定画像を、必要に応じてＹＣｒＣｂ空間に変換してもよい。高解像度化処理部２１３は、ＹＣｒＣｂ空間における、Ｙ成分の値に輝度情報Ｄを反映し、輝度情報Ｄが反映された、ＹＣｒＣｂ空間において表された推定画像を、再度元の色空間に戻すことによって、推定画像を高解像度化してもよい。Ｙ成分の値に輝度情報Ｄ反映するとは、例えば、輝度を調整する関数Ｇによって輝度情報Ｄを調整した値を、Ｙに代入することであってもよく、輝度を調整する関数Ｇによって輝度情報Ｄを調整した値の空間高周波成分のみを、Ｙの値に加算することであってもよい。
たとえば、推定用偏波ＳＡＲ画像の画素値として、ＨＨ、ＨＶ、ＶＶのレイヤにおける測定値の絶対値の対数変換を用いている場合、それらの絶対値に対数変換を行うことによって得られた値の最大値に、所定の係数αをかける関数が関数Ｇであってもよい。その場合には関数Ｇは以下のように表せる。
G(D) ＝ α × max(D)
この例では、輝度情報Dは、推定用偏波ＳＡＲ画像のＨＨ、ＨＶ、ＶＶのレイヤにおける測定値の絶対値に対数変換を行うことによって得られた値を要素として含むベクトルであり、max(D)は輝度情報Dを表すベクトルの要素の中の最大値を返す関数である。
この例では、輝度情報Dは、推定用偏波ＳＡＲ画像のＨＨ、ＨＶ、ＶＶのレイヤにおける測定値の絶対値に対数変換を行うことによって得られた値を要素として含むベクトルであり、max(D)は輝度情報Dを表すベクトルの要素の中の最大値を返す関数である。
［効果］
以上で説明した本実施形態には、レーダ装置による測定の結果を表す画像（例えば偏波ＳＡＲ画像）の判読の容易性を向上させることができるという効果がある。
以上で説明した本実施形態には、レーダ装置による測定の結果を表す画像（例えば偏波ＳＡＲ画像）の判読の容易性を向上させることができるという効果がある。
その理由は、関係性モデル生成部１０２が、空間特徴量画像の画素の画素値である空間特徴量と、その画素に関連する、対象画像の画素の画素値との組み合わせを生成し、生成した組み合わせに基づいて関係性モデルを生成するからである。組み合わせは、上述の関係性ベクトルである。関係性モデルは、空間特徴量とその空間特徴量が得られた場所の観測によって得られた画素の画素値との関係を表す。より具体的には、関係性モデルは、空間特徴量から画素値への変換規則を表す。関係性モデルによって、レーダ装置によって得られた測定の結果に基づく空間特徴量から、その測定が行われた場所の撮影によって得られる画素値が得られる。言い換えると、レーダ装置による測定によって得られた測定値を、その測定値が得られた場所における空間特徴量に基づいて、例えば光学的に撮影され、自然に見える、対象画像の画素値に結びつけることができる。さらに言い換えると、レーダ装置による測定の結果を表すＳＡＲ画像を、その対象画像に近い輝度と配色の画像に変換できる。従って、例えばＳＡＲ画像等の、レーダ装置による測定の結果を表す画像の判読が容易になる。
［第２の実施の形態］
［構成の説明］
図１０は、本開示の第２の実施形態に係る画像処理装置１０Ｃの構成の例を表すブロック図である。図１０を参照すると、画像処理装置１０Ｃは、第１データ値の２次元の分布と第２データ値の２次元の分布とにおける、互いに関連する第１データ値と第２データ値との組み合わせを生成する関係性モデル生成部１０２（生成部１０２とも表記）を含む。
［構成の説明］
図１０は、本開示の第２の実施形態に係る画像処理装置１０Ｃの構成の例を表すブロック図である。図１０を参照すると、画像処理装置１０Ｃは、第１データ値の２次元の分布と第２データ値の２次元の分布とにおける、互いに関連する第１データ値と第２データ値との組み合わせを生成する関係性モデル生成部１０２（生成部１０２とも表記）を含む。
第１データ値は、レーダ装置による、偏波信号である第１信号の測定の結果に基づくデータ値である。第１データ値の２次元の分布は、例えば、上述の学習用偏波ＳＡＲ画像から生成された、空間特徴量画像である。
第２データ値は、第１信号とは異なる第２信号の測定の結果に基づくデータ値である。第２データ値の２次元の分布は、例えば、上述の対象画像である。対象画像は、例えば、カメラなどの光学撮影装置によって撮影された光学画像である。対象画像は、光学画像に限られない。
第１データ値の２次元の分布と、第２データ値の２次元の分布との間において、位置合わせが完了していればよい。すなわち、同じ場所の観測の結果に基づく第１データ値と第２データ値とが、互いに関連付けられていればよい。第１データ値と第２データ値との組み合わせは、例えば、上述の関係性ベクトルである。関係性モデル生成部１０２は、複数の組み合わせを生成すればよい。
関係性モデル生成部１０２は、生成した組み合わせに基づいて、第１データ値と第２データ値との関係を表す関係性モデルを生成する。関係性モデルは、例えば、上述のように、第１データ値を第２データ値に変換する変換規則である。関係性モデル生成部１０２は、例えば、生成した組み合わせを複数のクラスに分類してもよい。関係性モデル生成部１０２は、さらに、クラス毎に変換規則を生成してもよい。そして、関係性モデル生成部１０２は、関係性モデルとして、生成したクラスごとの変換規則を生成してもよい。
［動作の説明］
次に、本実施形態の画像処理装置１０Ｃの動作について、図面を参照して詳細に説明する。
次に、本実施形態の画像処理装置１０Ｃの動作について、図面を参照して詳細に説明する。
図１１は、本実施形態の画像処理装置１０Ｃの動作の例を表すフローチャートである。
ステップＳ２０１：
関係性モデル生成部１０２は、まず、第１データ値と第２データ値との組み合わせを生成する。
関係性モデル生成部１０２は、まず、第１データ値と第２データ値との組み合わせを生成する。
ステップＳ２０２：
次に、関係性モデル生成部１０２は、生成した組み合わせに基づいて、第１データ値と
第２データ値との関係を表す関係性モデルを生成する。
次に、関係性モデル生成部１０２は、生成した組み合わせに基づいて、第１データ値と
第２データ値との関係を表す関係性モデルを生成する。
［効果］
以上で説明した本実施形態には、第１の実施形態と同じ効果がある。その理由は、第１の実施形態の効果が生じる理由と同じである。
以上で説明した本実施形態には、第１の実施形態と同じ効果がある。その理由は、第１の実施形態の効果が生じる理由と同じである。
［他の実施の形態］
本開示の実施形態に係る画像処理装置は、記憶媒体から読み出されたプログラムがロードされたメモリと、そのプログラムを実行するプロセッサとを含むコンピュータによって実現することができる。本開示の実施形態に係る画像処理装置は、専用のハードウェアによって実現することもできる。本開示の実施形態に係る画像処理装置は、前述のコンピュータと専用のハードウェアとの組み合わせによって実現することもできる。なお、図５に示す第１画像処理装置１１及び第２画像処理装置１２も、本開示の実施形態に係る画像処理装置に含まれる。
本開示の実施形態に係る画像処理装置は、記憶媒体から読み出されたプログラムがロードされたメモリと、そのプログラムを実行するプロセッサとを含むコンピュータによって実現することができる。本開示の実施形態に係る画像処理装置は、専用のハードウェアによって実現することもできる。本開示の実施形態に係る画像処理装置は、前述のコンピュータと専用のハードウェアとの組み合わせによって実現することもできる。なお、図５に示す第１画像処理装置１１及び第２画像処理装置１２も、本開示の実施形態に係る画像処理装置に含まれる。
言い換えると、上述の実施形態に係る画像処理装置は、回路構成（ｃｉｒｃｕｉｔｒｙ）などのハードウェアによって実現することができる。回路構成は、例えば、コンピュータに含まれるプロセッサとメモリであってもよい。その場合、プログラムが、メモリにロードされていればよい。そのプログラムは、プロセッサが実行することが可能であり、コンピュータを上述の画像処理装置として動作させればよい。回路構成は、例えば、通信可能に接続された複数のコンピュータであってもよい。回路構成は、例えば、回路（ｃｉｒｃｕｉｔ）であってもよい。回路構成は、例えば、通信可能に接続された複数の回路であってもよい。回路構成は、通信可能に接続された、１台以上のコンピュータと、１個以上の回路との組み合わせであってもよい。
図１２は、本開示の実施形態に係る画像処理装置を実現することができる、コンピュータ１０００のハードウェア構成の一例を表す図である。図１２を参照すると、コンピュータ１０００は、プロセッサ１００１と、メモリ１００２と、記憶装置１００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１００４とを含む。また、コンピュータ１０００は、記憶媒体１００５にアクセスすることができる。メモリ１００２と記憶装置１００３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスクなどの記憶装置である。記憶媒体１００５は、例えば、ＲＡＭ、ハードディスクなどの記憶装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、可搬記憶媒体である。記憶装置１００３が記憶媒体１００５であってもよい。プロセッサ１００１は、メモリ１００２と、記憶装置１００３に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ１００１は、Ｉ／Ｏインタフェース１００４を介して、例えば、偏波ＳＡＲ画像を供給するサーバなどにアクセスすることができる。プロセッサ１００１は、記憶媒体１００５にアクセスすることができる。記憶媒体１００５には、コンピュータ１０００を、上述の実施形態のいずれか１つに係る画像処理装置として動作させるプログラムが格納されている。
プロセッサ１００１は、記憶媒体１００５に格納されている、コンピュータ１０００を、上述の実施形態のいずれか１つに係る画像処理装置として動作させるプログラムを、メモリ１００２にロードする。そして、プロセッサ１００１が、メモリ１００２にロードされたプログラムを実行することにより、コンピュータ１０００は、画像処理装置として動作する。
以下の第１のグループに含まれる各部は、例えば、プログラムを記憶する記憶媒体１００５から各部の機能を実現することができる専用のプログラムが読み込まれたメモリ１００２と、そのプログラムを実行するプロセッサ１００１により実現することができる。第１のグループは、ピクセル特徴量抽出部１００、位置合わせ処理部１０１、関係性モデル生成部１０２、第１受信部１０３、第２受信部１０４、第１出力部１０８、空間特徴量抽出部１１１、及び、関係性学習部１１２を含む。第１のグループは、さらに、ピクセル特徴量抽出部２００、画像推定部２０１、第３受信部２０２、第２出力部２０５、第４受信部２０６、空間特徴量抽出部２１１、画像情報推定部２１２、及び、高解像度化処理部２１３を含む。
また、以下の第２のグループに含まれる各部は、コンピュータ１０００が含むメモリ１００２やハードディスク装置等の記憶装置１００３により実現することができる。第２のグループは、学習用偏波ＳＡＲ記憶部１０５、対象画像記憶部１０６、関係性モデル記憶部１０７、推定用偏波ＳＡＲ記憶部２０３、推定画像記憶部２０４、及び、関係性モデル記憶部２０７を含む。
あるいは、第１又は第２のグループに含まれる部の一部又は全部を、各部の機能を実現する専用の回路によって実現することもできる。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
レーダ装置による、偏波信号である第１信号の測定の結果に基づく第１データ値の２次元の分布と、前記第１信号とは異なる第２信号の測定の結果に基づく第２データ値の２次元の分布と、における、互いに関連する前記第１データ値と前記第２データ値との組み合わせを生成し、当該組み合わせに基づいて、前記第１データ値と前記第２データ値との関係を表す関係性モデルを生成する生成手段
を備える画像処理装置。
レーダ装置による、偏波信号である第１信号の測定の結果に基づく第１データ値の２次元の分布と、前記第１信号とは異なる第２信号の測定の結果に基づく第２データ値の２次元の分布と、における、互いに関連する前記第１データ値と前記第２データ値との組み合わせを生成し、当該組み合わせに基づいて、前記第１データ値と前記第２データ値との関係を表す関係性モデルを生成する生成手段
を備える画像処理装置。
（付記２）
前記生成手段は、前記組み合わせに基づいて、前記第１データ値から前記第２データ値への変換を算出し、当該変換を含む前記関係性モデルを生成する
付記１に記載の画像処理装置。
前記生成手段は、前記組み合わせに基づいて、前記第１データ値から前記第２データ値への変換を算出し、当該変換を含む前記関係性モデルを生成する
付記１に記載の画像処理装置。
（付記３）
前記生成手段は、前記組み合わせを、類似性に基づく複数のクラスに分類し、前記複数のクラスの各々についての前記変換を算出する
付記２に記載の画像処理装置。
前記生成手段は、前記組み合わせを、類似性に基づく複数のクラスに分類し、前記複数のクラスの各々についての前記変換を算出する
付記２に記載の画像処理装置。
（付記４）
前記変換は、前記複数のクラスに分類された前記組み合わせの前記複数のクラスの各々における平均値に基づく変換である
付記３に記載の画像処理装置。
前記変換は、前記複数のクラスに分類された前記組み合わせの前記複数のクラスの各々における平均値に基づく変換である
付記３に記載の画像処理装置。
（付記５）
前記変換は、回帰モデルに基づく変換である
付記２から４のいずれか１項に記載の画像処理装置。
前記変換は、回帰モデルに基づく変換である
付記２から４のいずれか１項に記載の画像処理装置。
（付記６）
前記第１信号の前記第１データ値の２次元の第２分布から、前記関係性モデルに基づいて、前記第２信号の推定データ値の２次元の分布を推定する推定手段
をさらに備える付記１から５のいずれか１項に記載の画像処理装置。
前記第１信号の前記第１データ値の２次元の第２分布から、前記関係性モデルに基づいて、前記第２信号の推定データ値の２次元の分布を推定する推定手段
をさらに備える付記１から５のいずれか１項に記載の画像処理装置。
（付記７）
前記第２分布から輝度情報を抽出し、当該輝度情報を推定された前記推定データ値に反映する高解像度化手段
をさらに備える付記６に記載の画像処理装置。
前記第２分布から輝度情報を抽出し、当該輝度情報を推定された前記推定データ値に反映する高解像度化手段
をさらに備える付記６に記載の画像処理装置。
（付記８）
レーダ装置による、偏波信号である第１信号の測定の結果に基づく第１データ値の２次元の分布と、前記第１信号とは異なる第２信号の測定の結果に基づく第２データ値の２次元の分布と、における、互いに関連する前記第１データ値と前記第２データ値との組み合わせを生成し、当該組み合わせに基づいて、前記第１データ値と前記第２データ値との関係を表す関係性モデルを生成する
画像処理方法。
レーダ装置による、偏波信号である第１信号の測定の結果に基づく第１データ値の２次元の分布と、前記第１信号とは異なる第２信号の測定の結果に基づく第２データ値の２次元の分布と、における、互いに関連する前記第１データ値と前記第２データ値との組み合わせを生成し、当該組み合わせに基づいて、前記第１データ値と前記第２データ値との関係を表す関係性モデルを生成する
画像処理方法。
（付記９）
前記組み合わせに基づいて、前記第１データ値から前記第２データ値への変換を算出し、当該変換を含む前記関係性モデルを生成する
付記８に記載の画像処理方法。
前記組み合わせに基づいて、前記第１データ値から前記第２データ値への変換を算出し、当該変換を含む前記関係性モデルを生成する
付記８に記載の画像処理方法。
（付記１０）
前記組み合わせを、類似性に基づく複数のクラスに分類し、前記複数のクラスの各々についての前記変換を算出する
付記９に記載の画像処理方法。
前記組み合わせを、類似性に基づく複数のクラスに分類し、前記複数のクラスの各々についての前記変換を算出する
付記９に記載の画像処理方法。
（付記１１）
前記変換は、前記複数のクラスに分類された前記組み合わせの前記複数のクラスの各々における平均値に基づく変換である
付記１０に記載の画像処理方法。
前記変換は、前記複数のクラスに分類された前記組み合わせの前記複数のクラスの各々における平均値に基づく変換である
付記１０に記載の画像処理方法。
（付記１２）
前記変換は、回帰モデルに基づく変換である
付記７から１１のいずれか１項に記載の画像処理方法。
前記変換は、回帰モデルに基づく変換である
付記７から１１のいずれか１項に記載の画像処理方法。
（付記１３）
前記第１信号の前記第１データ値の２次元の第２分布から、前記関係性モデルに基づいて、前記第２信号の推定データ値の２次元の分布を推定する
付記８から１２のいずれか１項に記載の画像処理方法。
前記第１信号の前記第１データ値の２次元の第２分布から、前記関係性モデルに基づいて、前記第２信号の推定データ値の２次元の分布を推定する
付記８から１２のいずれか１項に記載の画像処理方法。
（付記１４）
前記第２分布から輝度情報を抽出し、当該輝度情報を推定された前記推定データ値に反映する
付記１３に記載の画像処理方法。
前記第２分布から輝度情報を抽出し、当該輝度情報を推定された前記推定データ値に反映する
付記１３に記載の画像処理方法。
（付記１５）
コンピュータに、
レーダ装置による、偏波信号である第１信号の測定の結果に基づく第１データ値の２次元の分布と、前記第１信号とは異なる第２信号の測定の結果に基づく第２データ値の２次元の分布と、における、互いに関連する前記第１データ値と前記第２データ値との組み合わせを生成し、当該組み合わせに基づいて、前記第１データ値と前記第２データ値との関係を表す関係性モデルを生成する生成処理
を実行させるプログラム。
コンピュータに、
レーダ装置による、偏波信号である第１信号の測定の結果に基づく第１データ値の２次元の分布と、前記第１信号とは異なる第２信号の測定の結果に基づく第２データ値の２次元の分布と、における、互いに関連する前記第１データ値と前記第２データ値との組み合わせを生成し、当該組み合わせに基づいて、前記第１データ値と前記第２データ値との関係を表す関係性モデルを生成する生成処理
を実行させるプログラム。
（付記１６）
前記生成処理は、前記組み合わせに基づいて、前記第１データ値から前記第２データ値への変換を算出し、当該変換を含む前記関係性モデルを生成する
付記１５に記載のプログラム。
前記生成処理は、前記組み合わせに基づいて、前記第１データ値から前記第２データ値への変換を算出し、当該変換を含む前記関係性モデルを生成する
付記１５に記載のプログラム。
（付記１７）
前記生成処理は、前記組み合わせを、類似性に基づく複数のクラスに分類し、前記複数のクラスの各々についての前記変換を算出する
付記１６に記載のプログラム。
前記生成処理は、前記組み合わせを、類似性に基づく複数のクラスに分類し、前記複数のクラスの各々についての前記変換を算出する
付記１６に記載のプログラム。
（付記１８）
前記変換は、前記複数のクラスに分類された前記組み合わせの前記複数のクラスの各々における平均値に基づく変換である
付記１７に記載のプログラム。
前記変換は、前記複数のクラスに分類された前記組み合わせの前記複数のクラスの各々における平均値に基づく変換である
付記１７に記載のプログラム。
（付記１９）
前記変換は、回帰モデルに基づく変換である
付記１６から１８のいずれか１項に記載のプログラム。
前記変換は、回帰モデルに基づく変換である
付記１６から１８のいずれか１項に記載のプログラム。
（付記２０）
コンピュータに、
前記第１信号の前記第１データ値の２次元の第２分布から、前記関係性モデルに基づいて、前記第２信号の推定データ値の２次元の分布を推定する推定処理
をさらに実行させる付記１５から１９のいずれか１項に記載のプログラム。
コンピュータに、
前記第１信号の前記第１データ値の２次元の第２分布から、前記関係性モデルに基づいて、前記第２信号の推定データ値の２次元の分布を推定する推定処理
をさらに実行させる付記１５から１９のいずれか１項に記載のプログラム。
（付記２１）
コンピュータに、
前記第２分布から輝度情報を抽出し、当該輝度情報を推定された前記推定データ値に反映する高解像度化処理
をさらに実行させる付記２１に記載のプログラム。
コンピュータに、
前記第２分布から輝度情報を抽出し、当該輝度情報を推定された前記推定データ値に反映する高解像度化処理
をさらに実行させる付記２１に記載のプログラム。
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
１ 画像処理システム
１Ａ 画像処理システム
１Ｂ 画像処理システム
１０ 画像処理装置
１０Ｃ 画像処理装置
１１ 第１画像処理装置
１２ 第２画像処理装置
１００ ピクセル特徴量抽出部
１０１ 位置合わせ処理部
１０２ 関係性モデル生成部
１０３ 第１受信部
１０４ 第２受信部
１０５ 学習用偏波ＳＡＲ記憶部
１０６ 対象画像記憶部
１０７ 関係性モデル記憶部
１０８ 第１出力部
１１１ 空間特徴量抽出部
１１２ 関係性学習部
２００ ピクセル特徴量抽出部
２０１ 画像推定部
２０２ 第３受信部
２０３ 推定用偏波ＳＡＲ記憶部
２０４ 推定画像記憶部
２０５ 第２出力部
２０６ 第４受信部
２０７ 関係性モデル記憶部
２１１ 空間特徴量抽出部
２１２ 画像情報推定部
２１３ 高解像度化処理部
１０００ コンピュータ
１００１ プロセッサ
１００２ メモリ
１００３ 記憶装置
１００４ Ｉ／Ｏインタフェース
１００５ 記憶媒体
１Ａ 画像処理システム
１Ｂ 画像処理システム
１０ 画像処理装置
１０Ｃ 画像処理装置
１１ 第１画像処理装置
１２ 第２画像処理装置
１００ ピクセル特徴量抽出部
１０１ 位置合わせ処理部
１０２ 関係性モデル生成部
１０３ 第１受信部
１０４ 第２受信部
１０５ 学習用偏波ＳＡＲ記憶部
１０６ 対象画像記憶部
１０７ 関係性モデル記憶部
１０８ 第１出力部
１１１ 空間特徴量抽出部
１１２ 関係性学習部
２００ ピクセル特徴量抽出部
２０１ 画像推定部
２０２ 第３受信部
２０３ 推定用偏波ＳＡＲ記憶部
２０４ 推定画像記憶部
２０５ 第２出力部
２０６ 第４受信部
２０７ 関係性モデル記憶部
２１１ 空間特徴量抽出部
２１２ 画像情報推定部
２１３ 高解像度化処理部
１０００ コンピュータ
１００１ プロセッサ
１００２ メモリ
１００３ 記憶装置
１００４ Ｉ／Ｏインタフェース
１００５ 記憶媒体
Claims (9)
- レーダ装置による、偏波信号である第１信号の第１の測定の結果である学習用偏波ＳＡＲ（Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）画像から生成された第１のピクセル特徴量画像から第１データ値の二次元の第１分布である第１の空間特徴量画像を生成する第１特徴抽出手段と、
前記第１の空間特徴量画像と、前記第１信号とは異なる第２信号の測定の結果に基づく第２データ値の二次元の第２分布である対象画像と、における、同じ対象の測定の結果である前記第１の空間特徴量画像の画素値と前記対象画像の画素値との組み合わせを生成し、当該組み合わせに基づいて、前記第１の空間特徴量画像の画素値と前記対象画像の画素値との関係を表す回帰モデルを生成する生成手段と、
前記第１信号の第２の測定の結果である推定用偏波ＳＡＲ画像から生成された第２のピクセル特徴量画像から前記第１データ値の二次元の第３分布である第２の空間特徴量画像を生成する第２特徴抽出手段と、
前記第２の空間特徴量画像から、前記回帰モデルに基づいて、前記第２信号の推定データ値の二次元の第４分布である推定画像を推定する推定手段と、
を備え、
前記第２信号は光であり、
前記対象画像は光学画像である
画像処理装置。 - 前記生成手段は、前記組み合わせに基づいて、前記第１の空間特徴量画像の画素値から前記対象画像の画素値への変換を算出し、当該変換を含む前記回帰モデルを生成する
請求項１に記載の画像処理装置。 - 前記生成手段は、前記組み合わせを、類似性に基づく複数のクラスに分類し、前記複数のクラスの各々についての前記変換を算出する
請求項２に記載の画像処理装置。 - 前記変換は、前記複数のクラスに分類された前記組み合わせの前記複数のクラスの各々における平均値に基づく変換である
請求項３に記載の画像処理装置。 - 前記第３分布から輝度情報を抽出し、当該輝度情報を推定された前記推定データ値に反映する高解像度化手段
をさらに備える請求項１乃至４のいずれか１項に記載の画像処理装置。 - 前記第１特徴抽出手段は、前記第１の測定の結果から、第３データ値の二次元の第５分布である前記第１のピクセル特徴量画像を生成し、当該第５分布から前記第１の空間特徴量画像を生成し、
前記第２特徴抽出手段は、前記第２の測定の結果から、第３データ値の二次元の第６分布である前記第２のピクセル特徴量画像を生成し、当該第６分布から前記第２の空間特徴量画像を生成する
請求項１乃至５のいずれか１項に記載の画像処理装置。 - レーダ装置による、偏波信号である第１信号の第１の測定の結果である学習用偏波ＳＡＲ画像から生成された第１のピクセル特徴量画像から第１データ値の二次元の第１分布である第１の空間特徴量画像を生成し、
前記第１の空間特徴量画像と、前記第１信号とは異なる第２信号の測定の結果に基づく第２データ値の二次元の第２分布である対象画像と、における、同じ対象の測定の結果である前記第１の空間特徴量画像の画素値と前記対象画像の画素値との組み合わせを生成し、当該組み合わせに基づいて、前記第１の空間特徴量画像の画素値と前記対象画像の画素値との関係を表す回帰モデルを生成し、
前記第１信号の第２の測定の結果である推定用偏波ＳＡＲ画像から生成された第２のピクセル特徴量画像から前記第１データ値の二次元の第３分布である第２の空間特徴量画像を生成し、
前記第２の空間特徴量画像から、前記回帰モデルに基づいて、前記第２信号の推定データ値の二次元の第４分布である推定画像を推定し、
前記第２信号は光であり、
前記対象画像は光学画像である
画像処理方法。 - 前記組み合わせに基づいて、前記第１の空間特徴量画像の画素値から前記対象画像の画素値への変換を算出し、当該変換を含む前記回帰モデルを生成する
請求項７に記載の画像処理方法。 - コンピュータに、
レーダ装置による、偏波信号である第１信号の第１測定の結果である学習用偏波ＳＡＲ画像から生成された第１のピクセル特徴量画像から第１データ値の二次元の第１分布である第１の空間特徴量画像を生成する第１特徴量抽出処理と、
前記第１の空間特徴量画像と、前記第１信号とは異なる第２信号の測定の結果に基づく第２データ値の二次元の第２分布である対象画像と、における、同じ対象の測定の結果である前記第１の空間特徴量画像の画素値と前記対象画像の画素値との組み合わせを生成し、当該組み合わせに基づいて、前記第１の空間特徴量画像の画素値と前記対象画像の画素値との関係を表す回帰モデルを生成する生成処理と、
前記第１信号の第２の測定の結果である推定用偏波ＳＡＲ画像から生成された第２のピクセル特徴量画像から前記第１データ値の二次元の第３分布である第２の空間特徴量画像を生成する第２特徴抽出処理と、
前記第２の空間特徴量画像から、前記回帰モデルに基づいて、前記第２信号の推定データ値の二次元の第４分布である推定画像を推定する推定処理と、
を実行させ、
前記第２信号は光であり、
前記対象画像は光学画像である
プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016184200A JP7152131B2 (ja) | 2016-09-21 | 2016-09-21 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016184200A JP7152131B2 (ja) | 2016-09-21 | 2016-09-21 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018048898A JP2018048898A (ja) | 2018-03-29 |
| JP7152131B2 true JP7152131B2 (ja) | 2022-10-12 |
Family
ID=61766281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016184200A Active JP7152131B2 (ja) | 2016-09-21 | 2016-09-21 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7152131B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019215819A1 (ja) * | 2018-05-08 | 2019-11-14 | 日本電気株式会社 | 合成開口レーダ画像解析システム、合成開口レーダ画像解析方法および合成開口レーダ画像解析プログラム |
| WO2020172019A1 (en) * | 2019-02-20 | 2020-08-27 | Saudi Arabian Oil Company | Method for fast calculation of seismic attributes using artificial intelligence |
| US20230042178A1 (en) * | 2020-03-31 | 2023-02-09 | Nec Corporation | Analysis device, analysis method, and storage medium |
| WO2022034666A1 (ja) * | 2020-08-13 | 2022-02-17 | 三菱電機株式会社 | 学習装置、画像処理装置、及び位置合わせシステム |
| CN112164017B (zh) * | 2020-09-27 | 2023-11-17 | 中国兵器工业集团第二一四研究所苏州研发中心 | 一种基于深度学习的偏振彩色化方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004184184A (ja) | 2002-12-02 | 2004-07-02 | Mitsubishi Electric Corp | レーダ画像処理装置 |
| US6795590B1 (en) | 2000-09-22 | 2004-09-21 | Hrl Laboratories, Llc | SAR and FLIR image registration method |
| JP2010236970A (ja) | 2009-03-31 | 2010-10-21 | Mitsubishi Space Software Kk | ＳＡＲ（ＳｙｎｔｈｅｔｉｃＡｐｅｒｔｕｒｅＲａｄａｒ）重畳データ生成装置、ＳＡＲ重畳データ再生装置、ＳＡＲ重畳データ生成プログラム、ＳＡＲ重畳データ再生プログラム、ＳＡＲ重畳データ生成方法およびＳＡＲ重畳データ再生方法 |
| WO2011102520A1 (ja) | 2010-02-22 | 2011-08-25 | 株式会社パスコ | 水稲収量予測モデル生成方法、及び水稲収量予測方法 |
| JP2015114147A (ja) | 2013-12-10 | 2015-06-22 | 三菱電機株式会社 | 画像合成装置及び画像合成方法 |
| JP2015125498A (ja) | 2013-12-25 | 2015-07-06 | 一般財団法人 リモート・センシング技術センター | 擬似カラー化画像処理システム |
| WO2017179171A1 (ja) | 2016-04-14 | 2017-10-19 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
-
2016
- 2016-09-21 JP JP2016184200A patent/JP7152131B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6795590B1 (en) | 2000-09-22 | 2004-09-21 | Hrl Laboratories, Llc | SAR and FLIR image registration method |
| JP2004184184A (ja) | 2002-12-02 | 2004-07-02 | Mitsubishi Electric Corp | レーダ画像処理装置 |
| JP2010236970A (ja) | 2009-03-31 | 2010-10-21 | Mitsubishi Space Software Kk | ＳＡＲ（ＳｙｎｔｈｅｔｉｃＡｐｅｒｔｕｒｅＲａｄａｒ）重畳データ生成装置、ＳＡＲ重畳データ再生装置、ＳＡＲ重畳データ生成プログラム、ＳＡＲ重畳データ再生プログラム、ＳＡＲ重畳データ生成方法およびＳＡＲ重畳データ再生方法 |
| WO2011102520A1 (ja) | 2010-02-22 | 2011-08-25 | 株式会社パスコ | 水稲収量予測モデル生成方法、及び水稲収量予測方法 |
| JP2015114147A (ja) | 2013-12-10 | 2015-06-22 | 三菱電機株式会社 | 画像合成装置及び画像合成方法 |
| JP2015125498A (ja) | 2013-12-25 | 2015-07-06 | 一般財団法人 リモート・センシング技術センター | 擬似カラー化画像処理システム |
| WO2017179171A1 (ja) | 2016-04-14 | 2017-10-19 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018048898A (ja) | 2018-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7152131B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| Shao et al. | Remote sensing image fusion with deep convolutional neural network | |
| Wang et al. | Generating high quality visible images from SAR images using CNNs | |
| Akbarizadeh | A new statistical-based kurtosis wavelet energy feature for texture recognition of SAR images | |
| Simoes et al. | A convex formulation for hyperspectral image superresolution via subspace-based regularization | |
| Mitianoudis et al. | Pixel-based and region-based image fusion schemes using ICA bases | |
| Li et al. | A new pan-sharpening method using a compressed sensing technique | |
| Vivone et al. | Pansharpening based on deconvolution for multiband filter estimation | |
| Fotiadou et al. | Spectral super resolution of hyperspectral images via coupled dictionary learning | |
| CN114746895A (zh) | 用于图像去噪的噪声重构 | |
| Paris et al. | A novel sharpening approach for superresolving multiresolution optical images | |
| WO2019215819A1 (ja) | 合成開口レーダ画像解析システム、合成開口レーダ画像解析方法および合成開口レーダ画像解析プログラム | |
| Liu et al. | Underwater image colour constancy based on DSNMF | |
| Ajibola et al. | Fusion of UAV-based DEMs for vertical component accuracy improvement | |
| Zhou et al. | Infrared small target detection via incorporating spatial structural prior into intrinsic tensor sparsity regularization | |
| Park et al. | Active-passive data fusion algorithms for seafloor imaging and classification from CZMIL data | |
| CN116935214A (zh) | 一种卫星多源遥感数据的时空谱融合方法 | |
| CN113446998B (zh) | 一种基于高光谱目标探测数据的动态解混方法 | |
| Kekre et al. | Image fusion using Kekre's hybrid wavelet transform | |
| Abas et al. | Multi-focus image fusion with multi-scale transform optimized by metaheuristic algorithms | |
| Kaur et al. | Image fusion on digital images using Laplacian pyramid with DWT | |
| Gazi et al. | Edge detection in satellite image using cellular neural network | |
| CN102156872B (zh) | 一种基于多光谱数据的物体识别方法和装置 | |
| CN111126508A (zh) | 一种基于hopc改进的异源图像匹配方法 | |
| CN107038706B (zh) | 基于自适应网格的红外图像置信度评估装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190820 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200812 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200825 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201023 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210415 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210615 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210914 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210914 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210929 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20211005 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20211021 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20211022 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20211025 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20211026 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220201 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220412 |
|
| C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20220510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220629 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220705 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220726 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220809 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220906 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220906 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220929 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7152131 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |