JP7188595B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP7188595B2
JP7188595B2 JP2021532643A JP2021532643A JP7188595B2 JP 7188595 B2 JP7188595 B2 JP 7188595B2 JP 2021532643 A JP2021532643 A JP 2021532643A JP 2021532643 A JP2021532643 A JP 2021532643A JP 7188595 B2 JP7188595 B2 JP 7188595B2
Authority
JP
Japan
Prior art keywords
pixels
pixel
intensity
image processing
peripheral pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021532643A
Other languages
English (en)
Other versions
JPWO2021009905A5 (ja
JPWO2021009905A1 (ja
Inventor
大地 田中
治 宝珠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021009905A1 publication Critical patent/JPWO2021009905A1/ja
Publication of JPWO2021009905A5 publication Critical patent/JPWO2021009905A5/ja
Application granted granted Critical
Publication of JP7188595B2 publication Critical patent/JP7188595B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021SAR image post-processing techniques
    • G01S13/9027Pattern recognition for feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021SAR image post-processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7635Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks based on graphs, e.g. graph cuts or spectral clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、容易にSAR画像と対象とを対応付けることを可能にする合成開口レーダの画像処理装置および画像処理方法に関する。
合成開口レーダ(SAR:Synthetic Aperture Radar)技術は、人工衛星や航空機などの飛翔体が移動しながら電磁波を送受信し、大きな開口を持つアンテナと等価な観測画像が得られる技術である。合成開口レーダは、例えば、地表からの反射波を信号処理して、標高や地表変位を解析するために利用される。SAR技術が用いられる場合、解析装置は、合成開口レーダによって得られる時系列のSAR画像(SARデータ)を入力とし、入力されたSAR画像を時系列解析する。
SAR画像を使用する場合に、地表面や構造物等の観測の対象とSAR画像における対応箇所とが容易に対応付けられることが好ましい。
特許文献1には、容易に対象とSAR画像における箇所とを対応付けることができるようにするために、SAR画像におけるPS(Persistent Scatterer)点の画素をクラスタリングする方法が記載されている。特許文献1に記載された方法では、複数のPS点の位相の相関に基づいてクラスタリングが実行される。
なお、特許文献2には、ある画素と統計的に均質な画素を検出する方法が記載されている。
また、非特許文献1には、複数時期でノイズの性質が変わらない画素としてのSHP(Statistically Homogeneous Pixel )と呼ばれる画素を活用する解析方法が記載されている。SHPとして、強度(反射強度)に関して類似性がある画素が選定される。
国際公開第2018/123748号 国際公開第2010/112426号
A. Ferretti et.al., "A New Algorithm for Processing Interferometric Data-Stacks: SqueeSAR", IEEE Transactions on Geoscience and Remote Sensing, Vol. 49, No. 9, pp.3460-3470, September 2011
特許文献1に記載された方法では、計測点としてPS(Persistent Scatterer)点のみが使用されるので、計測点が少ないことがある。その場合には、観測の対象とSAR画像における対応箇所との対応付けが難しくなることがある。特許文献1に記載された方法において、計測点を増やして、すなわち、クラスタリング対象の画素を増やして、クラスタリングを実行しようとすると、位相ノイズの性質が異なる画素が混在する可能性がある。特許文献1に記載された方法では、位相相関に基づいてクラスタリングが実行されるので、位相ノイズの性質が異なる画素が混在する状況では、生成されるクラスタが、所望のクラスタ構成とは異なってしまう可能性がある。
本発明は、分類の対象の画素を増やしても所望の分類を実行することができ、その結果、より容易にSAR画像と対象とを対応付けることを可能にする画像処理装置および画像処理方法を提供することを目的とする。
本発明による画像処理装置は、サンプル画素の強度を算出する強度算出手段と、サンプル画素の強度に基づいて、サンプル画素と強度の統計的性質が類似する周辺画素を選択する周辺画素選択手段と、周辺画素の位相を特定する位相特定手段と、周辺画素の位相の相関に基づいて周辺画素を分類することによって複数のクラスタを生成する画素分類手段と、統計的性質が類似する周辺画素を接続してグラフ化する画素接続手段とを備え、画素分類手段は、画素接続手段が作成したグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断することによってクラスタを生成する
本発明による画像処理方法は、サンプル画素の強度を算出し、サンプル画素の強度に基づいて、サンプル画素と強度の統計的性質が類似する周辺画素を選択し、周辺画素の位相を特定し、周辺画素の位相の相関に基づいて周辺画素を分類し、周辺画素を分類することによって複数のクラスタを生成し、統計的性質が類似する周辺画素を接続してグラフ化し、クラスタを生成するときに、作成されたグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断する
本発明による画像処理プログラムは、コンピュータに、サンプル画素の強度を算出する処理と、サンプル画素の強度に基づいて、サンプル画素と強度の統計的性質が類似する周辺画素を選択する処理と、周辺画素の位相を特定する処理と、周辺画素の位相の相関に基づいて周辺画素を分類することによって複数のクラスタを生成する処理と、統計的性質が類似する周辺画素を接続してグラフ化する処理とを実行させ、クラスタを生成するときに、作成されたグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断させる
本発明によれば、分類の対象の画素を増やしても所望の分類を実行することができ、その結果、より容易にSAR画像と対象とを対応付けることが可能になる。
第1の実施形態の画像処理装置の構成例を示すブロック図である。 クラスタリング部の構成例を示すブロック図である。 距離特定部の構成例を示すブロック図である。 第1の実施形態の画像処理装置の動作を示すフローチャートである。 最小全域木生成部の動作を示すフローチャートである。 クラスタリングを説明するための説明図である。 クラスタリングを説明するための説明図である。 クラスタリングを説明するための説明図である。 実施形態におけるクラスタリングを説明するための説明図である。 第2の実施形態の画像処理装置の構成例を示すブロック図である。 第2の実施形態の画像処理装置の動作を示すフローチャートである。 画素接続部の作用を説明するための説明図である。 第3の実施形態の画像処理装置の構成例を示すブロック図である。 第3の実施形態の画像処理装置の動作を示すフローチャートである。 第4の実施形態の画像処理装置の構成例を示すブロック図である。 第4の実施形態の画像処理装置の動作を示すフローチャートである。 CPUを有するコンピュータの一例を示すブロック図である。 画像処理装置の主要部を示すブロック図である。
以下、本発明の実施形態を図面を参照して説明する。
実施形態1.
図1は、第1の実施形態の画像処理装置の構成例を示すブロック図である。図1に示す画像処理装置1は、SAR画像格納部100、位相特定部101、クラスタリング部102、強度算出部104、および周辺画素抽出部105および類似検証部106を含む。
SAR画像格納部100には、N枚のSAR画像が格納されている。位相特定部101は、複数のSAR画像に基づいて、複数のサンプル画素(対象画素)の各々における位相を特定する。クラスタリング部102は、少なくとも画素の位相の相関に基づいて、画素をクラスタリングする。
強度算出部104は、画素の強度を算出する。周辺画素抽出部105は、SAR画像においてサンプル画素を含む窓領域を設定し、窓領域内の画素を抽出する。類似検証部106は、サンプル画素の強度と抽出された画素の強度とに基づいて、サンプル画素と統計的に均質な画素(SHP)を特定する。
図2は、クラスタリング部102の構成例を示すブロック図である。図2に示す例では、クラスタリング部102は、距離特定部121、最小全域木生成部122および分離部123を含む。
距離特定部121は、2つのサンプル画素の間の距離(例えば、ユークリッド距離)および2つのサンプル画素の位相の相関に基づいて、2つのサンプル画素の関係を示す距離を算出する。最小全域木生成部122は、距離特定部121算出した距離に基づいて、サンプル画素に関する最小全域木を生成する。分離部123は、あらかじめ定められたしきい値を用いて、最小全域木を分離する。分離されて生成された木に属するサンプル画素の集合が、サンプル画素のクラスタになる。 一般に、複数のクラスタが生成される。以下、画像における画素の間の距離としてユークリッド距離が使用される場合を例にするが、距離は、それに限定される訳ではない。
図3は、距離特定部121の構成例を示すブロック図である。距離特定部121は、相関係数算出部1211、距離算出部1212および統合部1213を含む。
相関係数算出部1211は、2つのサンプル画素に関して位相特定部101によって特定された位相の相関係数を求める。相関係数算出部1211は、2つのサンプル画素に関する位相(たとえば位相配列の各々)についての相関係数を算出する。
相関係数算出部1211は、例えば、次のようにして位相の相関に関する計算を行う。すなわち、位相特定部101が絶対値1の複素数として位相を特定する場合には、相関係数算出部1211は、下記の(1)式を用いて位相の相関の強さを計算してもよい。(1)式において、位相特定部101が算出したサンプル画素a に対する位相配列の各々の要素がsan とされ、サンプル画素b に対する位相配列の各々の要素がsbn とされている。Nは画像の数を示す。n は画像の番号を示す。上付き線は複素共役を表す。
Figure 0007188595000001
また、位相特定部101が偏角の形で位相を特定する場合には、相関係数算出部1211は、ピアソンの積率相関係数を位相の相関係数としてもよい。
距離算出部1212は、2つのサンプル画素に関するユークリッド距離を求める。距離算出部1212は、2つのサンプル画素の座標等の位置情報を用いて、公知の手法等によってSAR画像におけるユークリッド距離を求める。
統合部1213は、相関係数算出部1211が算出した2つのサンプル画素に関する相関係数と、距離算出部1212が算出した2つのサンプル画素に関するユークリッド距離とに基づいて、2つのサンプル画素の関係を定める。関係を、距離と表現する。なお、2つのサンプル画素の間の距離は、2つのサンプル画素の相関関係が強い場合に小さい値になる。しかし、相関係数は、一般に、相関が強い場合に大きい値になる。そこで、統合部1213は、変換部を備えてもよい。変換部は、相関が強い場合に大きい値となる相関係数を、相関が強い場合に小さい値になるように変換する。
なお、距離は、2つの画素の関係の程度を示す指標であればよく、統合部1213は、上述した処理とは異なる処理によって距離を求めてもよい。
また、例えば、統合部1213は、相関係数とユークリッド距離とのうちの少なくとも一方に重みを付与して距離を求めてもよい。重みを用いる場合には、相関係数とはユークリッド距離とのうち、重視する方が強く反映された距離が求められる。例えば、ユークリッド距離に重み0を付与すると、位相の相関係数のみに基づく距離が算出される。
次に、図4および図5のフローチャートを参照して画像処理装置1の動作を説明する。図4は、画像処理装置1の動作を示すフローチャートである。
強度算出部104は、SAR画像からサンプル画素を選択し(ステップS101)、サンプル画素の強度(振幅値でもよい。)を算出する(ステップS102)。サンプル画素は、例えば、PS点の画素であるが、SAR画像における全ての画素であってもよい。
周辺画素抽出部105は、SAR画像においてサンプル画素を含む窓領域、例えば、その重心位置から最も近い画素がサンプル画素であるような窓領域を設定する(ステップS103)。そして、周辺画素抽出部105は、窓領域内の画素を周辺画素として抽出する。なお、窓領域のサイズは任意であるが、一例として、窓領域のサイズとして、縦横10×10画素や、100×100画素が用いられる。窓領域のサイズは偶数に限られない。また、窓領域の形状は、正方形に限られない。窓領域の形状は、長方形(一例として、11×21画素)でもよいし、楕円などの非矩形であってもよい。窓領域の形状は、地形などに応じて、サンプル画素ごとに異なるようにしてもよい。また、窓領域は、連続する複数の画素で構成されるのではなく、離散的な複数の画素で構成される(例えば、一画素おきに選択された複数の画素で窓領域が形成される。)ようにしてもよい。
類似検証部106は、周辺画素の強度を算出する(ステップS104)。類似検証部106は、例えば、サンプル画素の強度と周辺画素の強度とが同じ確率分布関数によって生成されるか否か検証する(ステップS105)。そして、類似検証部106は、サンプル画素と同じ確率分布関数によって生成される周辺画素を、サンプル画素と統計的に均質な画素とする。類似検証部106は、サンプル画素と統計的に均質な複数の画素(サンプル画素も含まれる。)を位相特定部101に出力する。
位相特定部101は、各々の画素における位相を特定する(ステップS107)。位相特定部101において、位相特定部101は、例えば、位相配列を作成することによって位相を特定する。具体的には、位相特定部101は、画素毎に、複数のSAR画像の各々の当該画素における位相を要素とする配列、すなわち位相配列を作成する。
位相特定部101は、画素における位相の一例として、基準となるSAR画像と他のSAR画像との間での位相の変化(位相差)を求めてもよい。この場合には、同じ領域を撮影した複数のSAR画像のうち、基準となるSAR画像があらかじめ定められる。そして、位相特定部101は、位相差を位相配列の要素とする。また、他の例として、位相特定部101は、基準となるSAR画像を定めずに、複数のSAR画像における当該画素の位相を時系列順等で配列することによって位相配列を作成してもよい。
なお、位相は、例えば絶対値が1となるように正規化された複素数の形式で表される。
本実施形態では、クラスタリング部102において、最小全域木生成部122は、サンプル画素をクラスタリングするために、最小全域木を生成する(ステップS108)。最小全域木は、ステップS106の処理で抽出された全ての画素が、距離特定部121によって算出される距離の総和が最小になるような枝によって、閉路が構成されないように接続された木構造である。なお、本実施形態では、最小全域木における枝の各々には、枝に接続される2つのサンプル画素の間の距離が重みとして付される。
図5は、最小全域木生成部122の動作を示すフローチャートである。
なお、図5に示す例では、最小全域木生成部122は、クラスタリングのために、プリム法で最小全域木を生成するが、クラスカル法で最小全域木を生成してもよい。
また、クラスタリング部102は、少なくとも画素の位相の相関が用いられるのであれば、他のクラスタリング方法を用いてもよい。他のクラスタリング方法の一例として、画素と各々のクラスタのセントロイドとの距離に基づいて、画素をいずれかのクラスタに分類する方法がある。また、クラスタリング方法の他の例として、カーネルと呼ばれる関数によって算出される画素間の類似度に基づいて、画素をいずれかのクラスタに分類する方法がある。カーネルを用いる手法として、画素間の類似度を計算してグラフを作成し、類似度が最小となるような辺を分割するような手法が用いられてもよいし、類似度に基づいて定義されるセントロイドと各画素との類似度を最大化するような手法が用いられてもよい。
図5に示す例では、最小全域木生成部122は、複数の画素のうち、1つの画素をランダムに選択して重み付きグラフを生成する(ステップS121)。次に、最小全域木生成部122は、重み付きグラフに属するいずれかの画素と重み付きグラフに属さない複数の画素との間の距離を確認する。最小全域木生成部122は、重み付きグラフに属する画素との距離が最短である2つの画素の組を決定する(ステップS122)。なお、距離は、上述したように、相関係数算出部1211、距離算出部1212および統合部1213を含む距離特定部121によって算出される。
最小全域木生成部122は、決定された組における画素のうち、重み付きグラフに属さない画素を重み付きグラフに追加する(ステップS123)。なお、最小全域木生成部122は、組に含まれる2つの画素を接続する枝を、重み付きグラフに加える。
次に、最小全域木生成部122は、全ての画素が重み付きグラフに属するかを判定する(ステップS124)。全ての画素が重み付きグラフに属する場合には、処理を終了する。重み付きグラフに属さない画素が存在する場合には、ステップS122に戻る。
分離部123は、画素をクラスタリングする(ステップS109)。すなわち、分離部123は、あらかじめ定められたしきい値を用いて最小全域木を分離する。重み付きグラフが分離されて生成された各々のグラフにおける画素の集合がクラスタとなる。しきい値は、最小全域木において枝で接続されている2つの画素の間の距離の平均値または距離の標準偏差に基づいて決定される。一例として、分離部123は、クラスタに属する画素間の距離がしきい値以下になるように、クラスタを定める。また、分離部123は、クラスタに属する画素の間の距離の標準偏差がしきい値以下になるように、クラスタを定めてもよい。
なお、分離部123は、クラスタを生成するときに、各々のクラスタのサイズ(属する画素の数)に制限を付けるようにしてもよい。
以上に説明したように、本実施形態の画像処理装置1は、少なくとも画素の位相の相関に基づいて、画素をクラスタリングする。よって、位相平均や位相の分散の大きさが揃った画素が含まれるクラスタが生成される。
さらに、本実施形態では、画像処理装置1は、強度に基づく画素の同一性(統計的に均質であること)に基づいて、クラスタリングの対象の画素を増やすとともに、位相に基づくクラスタリングを行うので、より正確にクラスタが生成される可能性が高まる。なお、同一性は、統計的に均質であるか否かを意味する。換言すれば、同一性があるということは、画素が類似していることを示す。
また、本実施形態の画像処理装置1を用いる場合には、クラスタリングの対象の画素を増やせるので、SAR画像を使用する場合に、地表面や構造物等の観測の対象とSAR画像における対応箇所とがより容易に、かつ、正確に対応付けられる。なお、このことは、以下の実施形態でも同様である。
図6は、本実施形態でのクラスタリングを説明するための説明図である。図6に示す例では、SAR画像に、建物Aおよび道路Bが含まれる。図6(A)において、丸印は、サンプル画素を示す。白抜き丸印は、建物Aの壁面に関連する画素を示す。黒塗り丸印は、道路Bに関連する画素を示す。
建物Aの壁面に関連する複数の画素に関して、ある画素の位相と他の画素の位相との距離は短い。よって、それらは、図6(B)に示すように、クラスタAに分類される。また、道路Bに関連する複数の画素に関して、各画素の位相と他の画素の位相との距離は短い。よって、それらは、図6(B)に示すように、クラスタBに分類される。
図7~図9の説明図を参照して、本実施形態の効果をより詳しく説明する。
図7(A)に示すように、位相が変化する画素a,b,c,dがあるとする。そして、強度に基づいて類似する画素c,dが選択されたとする(図7(B)参照)。図7(C)に示すように、画素c,dの各々の位相の平均的な変動は同程度であり、かつ、画素c,dの位相の分散が小さいので、位相の統計的性質に同一性がある画素が一のクラスタに分類される。
図8(A)に示すように、強度に基づいて類似すると判定された画素a,b,c,dのうちに、位相の分散を大きくする画素が存在する場合を考える(図8(A)における枠X内の画素に対するそれ以外の画素を参照)。そのような場合に、位相の統計的性質を考慮しないときには、図8(B)に示すように、クラスタリングの対象になる画素に、統計的性質が異なる画素が含まれてしまう。
図9は、本実施形態の画像処理装置1において実施される画像処理方法によるクラスタリングを説明するための説明図である。
本実施形態では、図9(A),(B)に示すように、1つのクラスタ(クラスタ#1とクラスタ#2のそれぞれ)には、位相の統計的性質(例えば、分散および平均)が類似する画素が属する。
実施形態2.
図10は、第2の実施形態の画像処理装置の構成例を示すブロック図である。図10に示す画像処理装置2の構成は、第1の実施形態の画像処理装置1に画素接続部107が追加され、クラスタリング部102がクラスタリング部110に置換された構成である。
画素接続部107は、強度に基づく同一性がある画素を、接続してグラフ化する。後述するように、クラスタリング部110は、第2の実施形態におけるクラスタリング部102の処理とは異なる処理によって、クラスタリングを実行する。
図11は、画像処理装置2の動作を示すフローチャートである。図12に示すように、画像処理装置2は、第1の実施形態の画像処理装置1の処理(図4に示された処理)に加えて、ステップS131の処理を実行する。また、図4に示されステップS108,S109の処理に代えて、ステップS110の処理を実行する。その他の処理は、第1の実施形態の画像処理装置1が実行する処理と同じである。
ステップS131において、画素接続部107は、類似検証部106によって同一性があると判定された画素を接続することによってグラフを作成する。ステップS110において、クラスタリング部110は、位相の相関が所定のしきい値以下である画素間の辺を切断することによってクラスタを生成する。しきい値は、所望されるクラスタのサイズ等に応じて設定される。
本実施形態でも、第1の実施形態と同様に、画像処理装置2は、強度に基づく画素の同一性に基づいて、クラスタリングの対象の画素を増やすとともに、位相に基づくクラスタリングを行うので、所望のクラスタ構成が作成される可能性が高まる。
図12は、画素接続部107の作用を説明するための説明図である。
周辺画素抽出部105および類似検証部106は、図12(A)に例示されるようなSAR画像におけるサンプル画像の強度に基づく同一性を検証する(図12(B)参照)。画素接続部107は、同一性がある(類似する)と判定された画素同士を接続してSAR画像中の画素をグラフ化する(図12(C)参照)。なお、図12(C)には、接続の様子が模式的に表され、図12(B)に示された状態とは整合していない。
クラスタリング部110は、位相の相関が弱い画素間の辺を切断することによって、クラスタを生成する(図12(D)参照)。図12(D)には、4つのクラスタが例示されている。
実施形態3.
図13は、第3の実施形態の画像処理装置の構成例を示すブロック図である。図13に示す画像処理装置3の構成は、第1の実施形態の画像処理装置1にノイズ推定部108が追加された構成である。
ノイズ推定部108は、周辺画素におけるノイズに関する統計的性質を推定する。SAR画像におけるノイズとして、例えば、画素間で強度が揺らぐことに起因するノイズがある。その場合、画素の強度の分散がノイズに反映される。
図14は、画像処理装置4の動作を示すフローチャートである。図14に示すように、画像処理装置3は、第1の実施形態の画像処理装置1の処理(図4参照)に加えて、ステップS141の処理を実行する。その他の処理は、第1の実施形態の画像処理装置1が実行する処理と同じである。ただし、後述するように、クラスタリング部102は、画素をクラスタリングするときに、ノイズ推定部108の処理結果を参照する。
ステップS141において、ノイズ推定部108は、例えば、類似検証部106による検証の結果に応じて選択された各々の画素の強度の分散を算出する。ノイズ推定部108は、算出結果をクラスタリング部102に出力する。
クラスタリング部102は、クラスタリングの処理で、例えば、クラスタリングの対象の画素に関する強度の分散が大きいときには、同じクラスタに分類される基準を緩めてもよい。一例として、クラスタリング部102は、同じクラスタに分類するためのしきい値を小さくする。また、強度の分散が小さい(すなわち、ノイズが小さい)画素については、同じクラスタに分類される基準を高くするができる。そのような処理をクラスタリング部102が実行することによって、位相の相関が大きい複数の画素が、同じクラスタに分類される。
なお、本実施形態では、ノイズに関する統計的性質として画素の強度の分散を例にしたが、ノイズに関する統計的性質は画素の強度の分散に限られない。ノイズに関する統計的性質として、画素の強度の平均など他の統計的性質が用いられてもよい。
また、本実施形態では、ノイズに関する統計的性質に基づいてクラスタリングのしきい値が変更されることを例にしたが、ノイズに関する統計的性質は、他の用途に用いられてもよい。例えば、ノイズに関する統計的性質は、画素の位相の相関に基づいて画素がクラスタリングされるときに、一のクラスタに属することに決定されるための相関の程度(尺度)を変更するために使用可能である。
本実施形態の画像処理装置3が使用される場合、設計者などが意図するクラスタ構成(例えば、所定のサイズや画素の位相に関する統計的性質が所定の程度に揃えられたクラスタ構成)を得るために、ノイズ推定部108の処理結果を使用することができる。例えば、意図されたクラスタ構成を得るために、ノイズに関する統計的性質に基づいてクラスタリングのためのパラメータ(例えば、しきい値)が変更されるようにしてもよい。
実施形態4.
図15は、第4の実施形態の画像処理装置の構成例を示すブロック図である。図15に示す画像処理装置4の構成は、図10に示された第2の実施形態の画像処理装置2にノイズ推定部108が追加された構成である。
図16は、画像処理装置4の動作を示すフローチャートである。図16に示すように、画像処理装置4は、第2の実施形態の画像処理装置2の処理(図11参照)に加えて、ステップS141の処理を実行する。その他の処理は、図13に示された第3の実施形態の画像処理装置3が実行する処理と同じである。ただし、クラスタリング部110は、画素をクラスタリングするときに、ノイズ推定部108の処理結果を参照する。クラスタリング部110は、第3の実施形態におけるクラスタリング部102がノイズ推定部108の処理結果を参照する方法と同様の方法で、ノイズ推定部108の処理結果を参照する。
ステップS141の処理は、第3の実施形態におけるノイズ推定部108が実行する処理と同じであるが、画素接続部107によるステップS131の処理とノイズ推定部108によるステップS141の処理とは、同時に実行されることが可能である。
本実施形態では、第2の実施形態の場合と同様に、所望のクラスタ構成が作成される可能性が高まるとともに、第3の実施形態の場合と同様に、設計者などが意図するクラスタ構成(例えば、所定のサイズや画素の位相に関する統計的性質が所定の程度に揃えられたクラスタ構成)を得ることができる。
上記の各実施形態における各構成要素は、1つのハードウェアで構成可能であるが、1つのソフトウェアでも構成可能である。また、各構成要素は、複数のハードウェアでも構成可能であり、複数のソフトウェアでも構成可能である。また、各構成要素のうちの一部をハードウェアで構成し、他部をソフトウェアで構成することもできる。
上記の実施形態における各機能(各処理)を、CPU(Central Processing Unit )等のプロセッサやメモリ等を有するコンピュータで実現可能である。例えば、記憶装置(記憶媒体)に上記の実施形態における方法(処理)を実施するためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをCPUで実行することによって実現してもよい。
図17は、CPUを有するコンピュータの一例を示すブロック図である。コンピュータは、画像処理装置に実装される。CPU1000は、記憶装置1001に格納されたプログラムに従って処理を実行することによって、上記の実施形態における各機能を実現する。すなわち、図1,図10,図13,図15に示された画像処理装置における、位相特定部101、クラスタリング部102,110、強度算出部104、周辺画素抽出部105、類似検証部106、画素接続部107、およびノイズ推定部108の機能を実現する。
記憶装置1001は、例えば、非一時的なコンピュータ可読媒体(non-transitory computer readable medium )である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium )を含む。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM(Compact Disc-Read Only Memory )、CD-R(Compact Disc-Recordable )、CD-R/W(Compact Disc-ReWritable )、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM )、フラッシュROM)がある。
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium )に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。
メモリ1002は、例えばRAM(Random Access Memory)で実現され、CPU1000が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ1002に、記憶装置1001または一時的なコンピュータ可読媒体が保持するプログラムが転送され、CPU1000がメモリ1002内のプログラムに基づいて処理を実行するような形態も想定しうる。
図18は、画像処理装置の主要部を示すブロック図である。図18に示す画像処理装置10は、サンプル画素(例えば、PS点の画素)の強度を算出する強度算出手段11(実施形態では、強度算出部104で実現される。)と、サンプル画素の強度に基づいて、サンプル画素と強度の統計的性質が類似する周辺画素を選択する周辺画素選択手段12(実施形態では、周辺画素抽出部105および類似検証部106で実現される。)と、周辺画素の位相を特定する位相特定手段13(実施形態では、位相特定部101で実現される。)と、周辺画素の位相の相関に基づいて周辺画素(サンプル画素も含む。)を分類する画素分類手段14(実施形態では、クラスタリング部102,110で実現される。)とを備える。
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
(付記1)サンプル画素の強度を算出する強度算出手段と、
前記サンプル画素の強度に基づいて、サンプル画素と強度の統計的性質が類似する周辺画素を選択する周辺画素選択手段と、
前記周辺画素の位相を特定する位相特定手段と、
前記周辺画素の位相の相関に基づいて前記周辺画素を分類する画素分類手段と
を備えた画像処理装置。
(付記2)前記画素分類手段は、周辺画素を分類することによって複数のクラスタを生成する
付記1の画像処理装置。
(付記3)前記画素分類手段は、統計的性質が類似する周辺画素を接続してグラフ化する画素接続手段(実施形態では、画素接続部107で実現される。)を含み、
前記画素分類手段は、前記画素接続手段が作成したグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断することによってクラスタを生成する
付記2の画像処理装置。
(付記4)周辺画素のノイズの統計的性質を推定するノイズ推定手段(実施形態では、ノイズ推定部108で実現される。)を備え、
前記画素分類手段は、前記ノイズの統計的性質を参照して周辺画素を分類する
付記1から付記3のうちのいずれかに記載の画像処理装置。
(付記5)サンプル画素の強度を算出し、
前記サンプル画素の強度に基づいて、サンプル画素と強度の統計的性質が類似する周辺画素を選択し、
前記周辺画素の位相を特定し、
前記周辺画素の位相の相関に基づいて前記周辺画素を分類する
画像処理方法。
(付記6)周辺画素を分類することによって複数のクラスタを生成する
付記5の画像処理方法。
(付記7)統計的性質が類似する周辺画素を接続してグラフ化し、
作成されたグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断することによってクラスタを生成する
付記6の画像処理方法。
(付記8)周辺画素のノイズの統計的性質を推定し、
前記ノイズの統計的性質を参照して周辺画素を分類する
付記5から付記7のうちのいずれかに記載の画像処理方法。
(付記9)コンピュータに、
サンプル画素の強度を算出する処理と、
前記サンプル画素の強度に基づいて、サンプル画素と強度の統計的性質が類似する周辺画素を選択する処理と、
前記周辺画素の位相を特定する処理と、
前記周辺画素の位相の相関に基づいて前記周辺画素を分類する処理と
を実行させるための画像処理プログラム。
(付記10)コンピュータに、
周辺画素を分類することによって複数のクラスタを生成する処理
を実行させる付記9の画像処理プログラム。
(付記11)コンピュータに、
統計的性質が類似する周辺画素を接続してグラフ化する処理と、
作成されたグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断することによってクラスタを生成する処理と
を実行させる付記10の画像処理プログラム。
(付記12)コンピュータに、
周辺画素のノイズの統計的性質を推定する処理と、
前記ノイズの統計的性質を参照して周辺画素を分類する処理と
を実行させる付記9から付記11のうちのいずれかに記載の画像処理プログラム。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
1,2,3,4,10 画像処理装置
11 強度算出手段
12 周辺画素選択手段
13 位相特定手段
14 画素分類手段
100 SAR画像格納部
101 位相特定部
102,110 クラスタリング部
104 強度算出部
105 周辺画素抽出部
106 類似検証部
107 画素接続部
108 ノイズ推定部
1000 CPU
1001 記憶装置
1002 メモリ

Claims (5)

  1. サンプル画素の強度を算出する強度算出手段と、
    前記サンプル画素の強度に基づいて、サンプル画素と強度の統計的性質が類似する周辺画素を選択する周辺画素選択手段と、
    前記周辺画素の位相を特定する位相特定手段と、
    前記周辺画素の位相の相関に基づいて前記周辺画素を分類することによって複数のクラスタを生成する画素分類手段と
    統計的性質が類似する前記周辺画素を接続してグラフ化する画素接続手段とを備え
    前記画素分類手段は、前記画素接続手段が作成したグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断することによって前記クラスタを生成する
    画像処理装置。
  2. 周辺画素のノイズの統計的性質を推定するノイズ推定手段を備え、
    前記画素分類手段は、前記ノイズの統計的性質を参照して周辺画素を分類する
    請求項記載の画像処理装置。
  3. サンプル画素の強度を算出し、
    前記サンプル画素の強度に基づいて、サンプル画素と強度の統計的性質が類似する周辺画素を選択し、
    前記周辺画素の位相を特定し、
    前記周辺画素の位相の相関に基づいて前記周辺画素を分類することによって複数のクラスタを生成し、
    統計的性質が類似する前記周辺画素を接続してグラフ化し、
    前記クラスタを生成するときに、作成されたグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断する
    画像処理方法。
  4. 周辺画素のノイズの統計的性質を推定し、
    前記ノイズの統計的性質を参照して周辺画素を分類する
    請求項記載の画像処理方法。
  5. コンピュータに、
    サンプル画素の強度を算出する処理と、
    前記サンプル画素の強度に基づいて、サンプル画素と強度の統計的性質が類似する周辺画素を選択する処理と、
    前記周辺画素の位相を特定する処理と、
    前記周辺画素の位相の相関に基づいて前記周辺画素を分類することによって複数のクラスタを生成する処理と
    統計的性質が類似する前記周辺画素を接続してグラフ化する処理とを実行させ
    前記クラスタを生成するときに、作成されたグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断させる
    ための画像処理プログラム。
JP2021532643A 2019-07-18 2019-07-18 画像処理装置および画像処理方法 Active JP7188595B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/028265 WO2021009905A1 (ja) 2019-07-18 2019-07-18 画像処理装置および画像処理方法

Publications (3)

Publication Number Publication Date
JPWO2021009905A1 JPWO2021009905A1 (ja) 2021-01-21
JPWO2021009905A5 JPWO2021009905A5 (ja) 2022-03-28
JP7188595B2 true JP7188595B2 (ja) 2022-12-13

Family

ID=74209781

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021532643A Active JP7188595B2 (ja) 2019-07-18 2019-07-18 画像処理装置および画像処理方法

Country Status (3)

Country Link
US (1) US20220262096A1 (ja)
JP (1) JP7188595B2 (ja)
WO (1) WO2021009905A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011211437A (ja) 2010-03-29 2011-10-20 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012533051A (ja) 2009-07-08 2012-12-20 テレ−リレヴァメント エウローパ−ティ.エルレ.エ. エッセ.エルレ.エルレ. 同一領域上で取得されたsar画像から得られるインターフェログラムのフィルタリング処理方法
CN103645476A (zh) 2013-12-18 2014-03-19 中国国土资源航空物探遥感中心 一种合成孔径雷达差分干涉图序列的时空同质滤波方法
WO2018123748A1 (ja) 2016-12-27 2018-07-05 日本電気株式会社 画像解析装置、画像解析方法及びコンピュータ読み取り可能記録媒体
WO2019106850A1 (ja) 2017-12-01 2019-06-06 日本電気株式会社 Sar画像解析システム、画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10042048B1 (en) * 2014-02-20 2018-08-07 National Technology & Engineering Solutions Of Sandia, Llc Superpixels for improved structure and terrain classification using multiple synthetic aperture radar image products
US9389311B1 (en) * 2015-02-19 2016-07-12 Sandia Corporation Superpixel edges for boundary detection
US10325349B2 (en) * 2017-08-11 2019-06-18 Intermap Technologies Inc. Method and apparatus for enhancing 3D model resolution
JP7039215B2 (ja) * 2017-08-30 2022-03-22 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012533051A (ja) 2009-07-08 2012-12-20 テレ−リレヴァメント エウローパ−ティ.エルレ.エ. エッセ.エルレ.エルレ. 同一領域上で取得されたsar画像から得られるインターフェログラムのフィルタリング処理方法
JP2011211437A (ja) 2010-03-29 2011-10-20 Sony Corp 画像処理装置および方法、並びにプログラム
CN103645476A (zh) 2013-12-18 2014-03-19 中国国土资源航空物探遥感中心 一种合成孔径雷达差分干涉图序列的时空同质滤波方法
WO2018123748A1 (ja) 2016-12-27 2018-07-05 日本電気株式会社 画像解析装置、画像解析方法及びコンピュータ読み取り可能記録媒体
WO2019106850A1 (ja) 2017-12-01 2019-06-06 日本電気株式会社 Sar画像解析システム、画像処理装置、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
JPWO2021009905A1 (ja) 2021-01-21
WO2021009905A1 (ja) 2021-01-21
US20220262096A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
JP6679774B2 (ja) 海事自動ターゲット認識のためのデータ融合分析
US10796188B2 (en) Image processing apparatus, image processing method, and program to identify objects using image features
US11373314B2 (en) Land mask image generation for ocean surface and land surface
EP2573734B1 (en) Systems and methods for evaluating plane similarity
US20210132214A1 (en) Synthetic aperture radar image analysis system, synthetic aperture radar image analysis method, and synthetic aperture radar image analysis program
Doulgeris et al. Automatic PolSAR segmentation with the U-distribution and Markov random fields
JP2016095850A (ja) 物体危険性識別方法と装置
JP6856136B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
JP7151876B2 (ja) 合成開口レーダの画像処理装置及び画像処理方法
JP2010197378A (ja) レーダ画像処理装置
CN104239895B (zh) 基于特征降维的sar目标鉴别方法
JP7188594B2 (ja) 画像処理装置および画像処理方法
JP7188595B2 (ja) 画像処理装置および画像処理方法
Kusetogullari et al. Self-adaptive hybrid PSO-GA method for change detection under varying contrast conditions in satellite images
US11835619B2 (en) Synthetic aperture radar signal analysis device, synthetic aperture radar signal analysis method, and synthetic aperture radar signal analysis program
Zabrodina et al. Blind estimation of mixed noise parameters in images using robust regression curve fitting
US20240280689A1 (en) Image analysis device and image analysis method
KR20150090731A (ko) 표적 식별 정보 데이터베이스 구축 장치 및 방법
CN110399832B (zh) 基于相干性的TomoSAR植被病虫害监测方法及装置
JP7396462B2 (ja) データ処理装置およびデータ処理方法
JP2018088093A (ja) 物体候補領域抽出装置、方法、及びプログラム
RU2620727C2 (ru) Способ распознавания космических аппаратов по редуцированным радиолокационным изображениям
US8913795B2 (en) Identification of texture connectivity
Flesia et al. Considering correlation properties on statistical simulation of clutter
Dwivedi et al. ANALYZING THE EFFECT OF CONTEXTUAL INFORMATION IN NOISE BASED CLASSIFIER ON SATELLITE IMAGES

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R151 Written notification of patent or utility model registration

Ref document number: 7188595

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151