JPWO2019215819A1 - 合成開口レーダ画像解析システム、合成開口レーダ画像解析方法および合成開口レーダ画像解析プログラム - Google Patents

合成開口レーダ画像解析システム、合成開口レーダ画像解析方法および合成開口レーダ画像解析プログラム Download PDF

Info

Publication number
JPWO2019215819A1
JPWO2019215819A1 JP2020517660A JP2020517660A JPWO2019215819A1 JP WO2019215819 A1 JPWO2019215819 A1 JP WO2019215819A1 JP 2020517660 A JP2020517660 A JP 2020517660A JP 2020517660 A JP2020517660 A JP 2020517660A JP WO2019215819 A1 JPWO2019215819 A1 JP WO2019215819A1
Authority
JP
Japan
Prior art keywords
sar
unit
image analysis
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020517660A
Other languages
English (en)
Other versions
JP6935847B2 (ja
Inventor
大地 田中
大地 田中
大典 生藤
大典 生藤
宝珠山 治
治 宝珠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019215819A1 publication Critical patent/JPWO2019215819A1/ja
Application granted granted Critical
Publication of JP6935847B2 publication Critical patent/JP6935847B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9004SAR image acquisition techniques
    • G01S13/9005SAR image acquisition techniques with optical processing of the SAR signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021SAR image post-processing techniques
    • G01S13/9027Pattern recognition for feature extraction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/904SAR modes
    • G01S13/9056Scan SAR mode
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04Display arrangements
    • G01S7/046Display arrangements using an intermediate storage device, e.g. a recording/reproducing device

Abstract

合成開口レーダ画像解析システム20は、合成開口レーダで撮影された同一地点を示す複数の画像に基づいて複数の画像の中から選択された画像の複数の画素間の位相の相関の強さを判定する位相相関判定手段21と、複数の画素の分布の形状と地理空間情報が示す対象物の形状との類似の度合いを判定する形状判定手段22と、判定された位相の相関の強さと判定された類似の度合いとに基づいて複数の画素と対象物とを対応付ける対応付け手段23とを含む。

Description

本発明は、合成開口レーダ(SAR:Synthetic Aperture Radar)画像解析システム、合成開口レーダ画像解析方法および合成開口レーダ画像解析プログラムに関し、特にSAR 画像と地理空間情報とを融合してSAR 画像を解析する合成開口レーダ画像解析システム、合成開口レーダ画像解析方法および合成開口レーダ画像解析プログラムに関する。
地上から離れた上空から地表面の様子を観測するための技術が普及している。例えば、合成開口レーダは、衛星や飛行機等が上空から地上に向けて電磁波を斜めに照射し、電磁波に対する地表面からの反射波を画像化することによって地表面の様子を観測する技術である。合成開口レーダで撮影された画像であるSAR 画像は、電磁波に対する反射特性が記録された画像である。
地上に存在する対象物から反射された電磁波の強さは、対象物と衛星との間の距離に基づいて画像化される。すなわち、対象物からの反射波が表示される位置は、対象物の高さに応じて、対象物の位置からずれる。
上記の仕組みにより、SAR 画像は、地理座標に従って地表面の様子が表示されている画像に比べて、地理空間が歪んでいる画像である。よって、SAR 画像は、SAR 画像自体に関する地理空間情報以外の地理空間情報と対応付けられにくい。
特許文献1には、SAR 画像における地理空間の歪みを補正するためにオルソ補正と呼ばれる補正処理を行う合成開口レーダ画像のオルソ補正装置が記載されている。
また、特許文献2には、市街地領域と地滑り地帯の運動をさらに信頼性の高い方法で測定することが出来るようにする測定手順を確定する方法が記載されている。
特許第4702122号公報 特許第4861555号公報
T. Tanaka, and O. Hoshuyama, "Persistent Scatterer Clustering for Structure Displacement Analysis Based on Phase Correlation Network," in Proc. IEEE IGARSS2017, Jul. 2017.
特許文献1に記載されているオルソ補正装置は、既知の標高データ(DEM:Digital Elevation Model) を用いて、大まかにSAR 画像における地理空間の歪みを補正できる。
しかし、特許文献1に記載されているオルソ補正装置が用いられても、地図等の地理空間情報に記録されている対象物各々の電磁波の反射に関する情報は、SAR 画像から手動で取得することが求められる。すなわち、対象物各々の電磁波の反射に関する情報の取得作業は、煩雑である。
また、特許文献1に記載されているオルソ補正装置が使用された際、DEM の誤差等に起因する歪みがSAR 画像に残る場合がある。特に、通常DEM に記録されない建築物等に関する大きな歪みが、SAR 画像に残る可能性が高い。
上記の理由により、特許文献1に記載されているオルソ補正装置によるオルソ補正処理が実行された後であっても、SAR 画像と地理空間情報とを単純に重ね合わせることによってSAR 画像と地理空間情報とを対応付けることは困難である。
また、特許文献2に記載されている方法でも、SAR 画像と地理空間情報とを対応付けることは想定されていない。
[発明の目的]
そこで、本発明は、上述した課題を解決する、SAR 画像の画素と地理空間情報が示す対象物とを容易に対応付けることができる合成開口レーダ画像解析システム、合成開口レーダ画像解析方法および合成開口レーダ画像解析プログラムを提供することを目的とする。
本発明による合成開口レーダ画像解析システムは、合成開口レーダで撮影された同一地点を示す複数の画像に基づいて複数の画像の中から選択された画像の複数の画素間の位相の相関の強さを判定する位相相関判定手段と、複数の画素の分布の形状と地理空間情報が示す対象物の形状との類似の度合いを判定する形状判定手段と、判定された位相の相関の強さと判定された類似の度合いとに基づいて複数の画素と対象物とを対応付ける対応付け手段とを含むことを特徴とする。
本発明による合成開口レーダ画像解析方法は、合成開口レーダで撮影された同一地点を示す複数の画像に基づいて複数の画像の中から選択された画像の複数の画素間の位相の相関の強さを判定し、複数の画素の分布の形状と地理空間情報が示す対象物の形状との類似の度合いを判定し、判定された位相の相関の強さと判定された類似の度合いとに基づいて複数の画素と対象物とを対応付けることを特徴とする。
本発明による合成開口レーダ画像解析プログラムは、コンピュータに、合成開口レーダで撮影された同一地点を示す複数の画像に基づいて複数の画像の中から選択された画像の複数の画素間の位相の相関の強さを判定する位相相関判定処理、複数の画素の分布の形状と地理空間情報が示す対象物の形状との類似の度合いを判定する形状判定処理、および判定された位相の相関の強さと判定された類似の度合いとに基づいて複数の画素と対象物とを対応付ける対応付け処理を実行させることを特徴とする。
本発明によれば、SAR 画像の画素と地理空間情報が示す対象物とを容易に対応付けることができる。
本発明による合成開口レーダ画像解析システムの第1の実施形態の例を示す説明図である。 第1の実施形態の画像解析装置100の構成例を示すブロック図である。 SAR 画像整形部110が出力するSAR 画像情報の例を示す説明図である。 SAR 画像整形部110が出力するSAR 画素情報の例を示す説明図である。 地理空間情報整形部120が出力する地理空間情報の例を示す説明図である。 地理空間情報整形部120に入力される電子地図の例を示す説明図である。 形状判定部150が生成する対象物の形状を示す画像の例を示す説明図である。 形状判定部150が生成するSAR 画素群の分布形状を示す画像の例を示す説明図である。 画素分類部130が出力する対象物−SAR 画素対応情報の例を示す説明図である。 第1の実施形態の画像解析装置100によるSAR 画素対応付け処理の動作を示すフローチャートである。 第2の実施形態の画像解析装置101の構成例を示すブロック図である。 特許文献2に記載されているSAR 画像解析システムに含まれるSAR 画像解析部900の構成を示すブロック図である。 統合部170が生成する統合地理空間情報の例を示す説明図である。 統合部170が生成する統合地理空間情報の他の例を示す説明図である。 第2の実施形態の画像解析装置101によるSAR 画素対応付け処理の動作を示すフローチャートである。 第3の実施形態の画像解析装置102の構成例を示すブロック図である。 第3の実施形態の画像解析装置102によるSAR 画素対応付け処理の動作を示すフローチャートである。 第4の実施形態の画像解析装置103の構成例を示すブロック図である。 安定反射点抽出部190が出力するSAR 画素情報の例を示す説明図である。 第4の実施形態の画像解析装置103によるSAR 画素対応付け処理の動作を示すフローチャートである。 第5の実施形態の画像解析装置104の構成例を示すブロック図である。 第5の実施形態の画像解析装置104によるSAR 画素対応付け処理の動作を示すフローチャートである。 第6の実施形態の画像解析装置105の構成例を示すブロック図である。 第6の実施形態の画像解析装置105によるSAR 画素対応付け処理の動作を示すフローチャートである。 第7の実施形態の画像解析装置106の構成例を示すブロック図である。 第7の実施形態の画像解析装置106によるSAR 画素対応付け処理の動作を示すフローチャートである。 第8の実施形態の画像解析装置107の構成例を示すブロック図である。 SAR 画像撮影条件入力部210から入力される撮影条件の例を示す説明図である。 反射特性推定部220が出力する反射特性推定値の例を示す説明図である。 第8の実施形態の画像解析装置107によるSAR 画素対応付け処理の動作を示すフローチャートである。 第9の実施形態の画像解析装置108の構成例を示すブロック図である。 第9の実施形態の画像解析装置108によるSAR 画素対応付け処理の動作を示すフローチャートである。 本発明による画像解析装置のハードウェア構成例を示す説明図である。 本発明による合成開口レーダ画像解析システムの概要を示すブロック図である。
[第1実施形態]
[構成の説明]
以下、本発明の実施形態を、図面を参照して説明する。図1は、本発明による合成開口レーダ画像解析システムの第1の実施形態の例を示す説明図である。
図1に示す合成開口レーダ画像解析システム10は、SAR 画像の画素と対象物とを対応付けることによって、地理空間情報に記録されている対象物各々に関して、SAR で計測された電磁波に対する反射波の情報が容易に把握されるようにすることを目的とする。
図1に示すように、本実施形態の合成開口レーダ画像解析システム10は、画像解析装置100を含む。本実施形態の画像解析装置100は、SAR 画像の画素と対象物とを容易に対応付けることができる。
また、図1に示すように、合成開口レーダ画像解析システム10は、SAR 画像記憶装置300を含んでいてもよい。図1に記載されている破線は、データ(情報)が流れる可能性がある箇所を示す。
SAR 画像撮影装置600は、例えばSAR 衛星である。また、SAR 画像記憶装置300には、SAR 画像撮影装置600が撮影したSAR 画像が蓄積される。SAR 画像記憶装置300は、サーバやハードディスク等である。
また、図1に示すように、合成開口レーダ画像解析システム10は、入力インタフェース400を含んでいてもよいし、地理空間情報記憶装置500を含んでいてもよい。利用者は、入力インタフェース400を介して、例えば手書きの地図や紙の地図がスキャンされたデータを画像解析装置100に入力できる。入力インタフェース400は、例えばマウス、タッチパネル、キーボード、スキャナである。
また、地理空間情報記憶装置500には、地理空間情報が蓄積される。地理空間情報は、地理的な情報と関連する情報とが対応付けられている情報である。地理空間情報は、例えば、建物や道路等の対象物の情報と地理的な座標とが対応付けられているデータである地図データである。
また、地理空間情報は、地理的な座標と光の反射特性とが対応付けられているデータである各種の航空写真や衛星写真でもよい。SAR 画像記憶装置300は、サーバやハードディスク等である。
画像解析装置100は、SAR 画像と地理空間情報とを入力とする。例えば、画像解析装置100は、SAR 画像をSAR 画像撮影装置600から取得してもよいし、SAR 画像記憶装置300から取得してもよい。また、画像解析装置100は、地理空間情報を入力インタフェース400から取得してもよいし、地理空間情報記憶装置500から取得してもよい。
図1に示すように、画像解析装置100は、入力された地理空間情報に記録されている対象物各々に対して入力されたSAR 画像の画素(以下、SAR 画素と呼ぶ。)を対応付ける装置である。対応付けた後、画像解析装置100は、対象物とSAR 画素との対応関係を出力する。
図2は、第1の実施形態の画像解析装置100の構成例を示すブロック図である。図2に示すように、画像解析装置100は、SAR 画像整形部110と、地理空間情報整形部120と、画素分類部130と、位相相関判定部140と、形状判定部150とを有する。図2に示すように、SAR 画像整形部110、地理空間情報整形部120、位相相関判定部140、および形状判定部150は、画素分類部130とそれぞれ接続されている。
SAR 画像整形部110は、SAR 画像の情報を所定の形式に整形して出力する機能を有する。最初に、SAR 画像整形部110は、SAR 画像を入力として受け付ける。
入力されるSAR 画像の画素には、電磁波に対する反射波の強度および位相がそれぞれ記録されている。SAR 画像整形部110は、入力となる複数のSAR 画像に対して、例えば画像間の位置ずれ等を補正する。
画像間で位置を合わせる際、SAR 画像整形部110は、入力されたSAR 画像の中から基準になる一枚の画像(以下、基準画像という。)を選出する。次いで、SAR 画像整形部110は、選出された基準画像の画素に記録されている地点と同一の地点が記録されている入力された他のSAR 画像の画素を探索する。SAR 画像整形部110は、基準画像の画素と、探索された画素とを対応付ける。
同一地点が記録されている画素を探索する際、SAR 画像整形部110は、光学画像間での位置合わせで一般的に用いられる手法を用いてもよい。光学画像間での位置合わせで用いられる手法を用いる場合、SAR 画像整形部110は、基準画像の表示内容から特徴的なパターンを探索し、他の入力画像の表示内容から探索された特徴的なパターンに類似するパターンを探索する。SAR 画像整形部110は、探索された類似するパターン同士が同一地点のパターンを表しているとして、位置合わせを行ってもよい。
図3は、SAR 画像整形部110が出力するSAR 画像情報の例を示す説明図である。図3に示すように、SAR 画像情報は、SAR 画像ID(Identifier)と、基準画像フラグと、SAR 画素IDと、位置と、輝度と、位相とで構成されている。
SAR 画像IDは、SAR 画像各々を識別する識別子である。また、基準画像フラグは、SAR 画像IDが示すSAR 画像が基準画像として用いられるか否かを示す情報である。基準画像フラグが「TRUE」であるSAR 画像は、基準画像として用いられる。また、基準画像フラグが「FALSE 」であるSAR 画像は、基準画像として用いられない。
また、SAR 画素IDは、SAR 画像の各画素を識別する識別子である。また、位置、輝度、位相は、それぞれSAR 画素IDが示す画素の位置、輝度、位相である。
図4は、SAR 画像整形部110が出力するSAR 画素情報の例を示す説明図である。図4に示すように、SAR 画素情報は、SAR 画素IDと、位置と、位相系列とで構成されている。
SAR 画素IDは、図3に示すSAR 画素IDである。なお、SAR 画素情報は、基準画像のSAR 画素を示すSAR 画素IDに対して生成される。
入力されるSAR 画像各々の位置合わせは、基準画像に対して実行される。すなわち、基準画像のSAR 画素各々に対応する、入力された他のSAR 画像のSAR 画素が一意に定まる。よって、本実施形態では、SAR 画素情報のSAR 画素IDに、基準画像のSAR 画素のSAR 画素IDが記録される。
また、図4に示す位置は、入力されるSAR 画像のSAR 画素の位置である。上記の理由により、入力される複数のSAR 画像のうち、基準画像のSAR 画素の位置のみがSAR 画素情報に保持される。
また、図4に示す位相系列は、入力される複数のSAR 画像の、画素の画素値に含まれている位相の系列である。位相は、各SAR 画素に記録されている情報であり、SAR で計測された電磁波の遅れに関する情報である。位相系列は、基準画像のSAR 画素に記録されている地点と同一の地点が記録されているSAR 画素が他の入力されるSAR 画像から取得されたときに記録される。
SAR 画像整形部110は、例えば入力されるSAR 画像の中で位相の基準になるSAR 画像を定め、入力されるSAR 画像各々に対して基準になるSAR 画像との位相差を位相として求めてもよい。
また、SAR 画像整形部110は、各地点の標高が記録されたデータであるDEM を用いて、撮影領域における標高に依存した位相変化が除去された位相を求めてもよい。また、SAR 画像整形部110は、大気の状態に依存した位相変化が除去された位相を求めてもよい。
なお、位相は、角度の形式でSAR 画素情報に記録されていてもよい。また、位相角が偏角であり絶対値が1である複素数が、SAR 画素情報に記録されていてもよい。
地理空間情報整形部120は、入力された地理空間情報から道路やビル等の対象物各々の場所や形状を抽出し、所定の形式に整形して出力する機能を有する。最初に、地理空間情報整形部120は、地理空間情報を入力として受け付ける。
図5は、地理空間情報整形部120が出力する地理空間情報の例を示す説明図である。図5に示すように、地理空間情報整形部120が出力する地理空間情報は、対象物IDと、位置と、形状とで構成されている。
対象物IDは、対象物を識別する識別子である。また、位置および形状は、対象物IDが示す対象物の位置および形状である。
地理空間情報整形部120は、入力される地理空間情報の形態に応じて異なる整形処理を行う。例えば、入力される地理空間情報が電子地図である場合、図6に示すように、入力された時点で既にビルや道路等を識別するIDが電子地図上に割り当てられていることもある。
図6は、地理空間情報整形部120に入力される電子地図の例を示す説明図である。図6に示すOBJ0001 〜OBJ0003 、OBJ0005 〜OBJ0006 は、それぞれ建物である。また、OBJ0004 は、道路である。
図6に示すような電子地図が入力された場合、地理空間情報整形部120は、単に電子地図から各IDが示す対象物を抽出し、整形して出力する。
また、入力される地理空間情報が航空写真や衛星写真である場合、入力された時点では写真に写っている対象が不明確であることもある。写っている対象が不明確である写真が入力された場合、地理空間情報整形部120は、画像認識等で写真に写っている対象を特定する。
特定した後、地理空間情報整形部120は、写っている対象ごとに対象物IDを割り当てる。次いで、地理空間情報整形部120は、対象物IDに各対象物の場所と形状等が対応付けられた地理空間情報を出力する。
また、写っている対象を特定する代わりに、地理空間情報整形部120は、簡略的に単に隣接した画素の画素値と大きな差がある画素値を有する画素を特定してもよい。次いで、地理空間情報整形部120は、特定された複数の画素を1つ以上の画素群に分け、分けられた画素群ごとに対象物IDを割り当ててもよい。
上記の方法で得られる隣接した画素の画素値と比べて画素値が大きく異なる画素は、建物の輪郭や道路の輪郭等を表していることが多い。よって、地理空間情報整形部120は、画素群ごとに対象物IDを割り当て画素群の画素の分布形状を記録することによって、簡易的に地理空間情報を生成できる。
なお、画素群に分割する方法として、例えば連続した画素を1つの画素群に含める方法が用いられてもよい。または、直線等の特定のパターンで並ぶ画素を1つの画素群に含める方法が用いられてもよい。
画素分類部130は、画素群への分割結果と、画素群と対応する対象物との組を算出する機能を有する。画素分類部130は、地理空間情報から抽出された各々の対象物を、適宜並行に移動、回転、拡大、縮小、または変形する。また、画素分類部130は、いくつかのパターンで複数のSAR 画素を画素群に分割する。
画素分類部130は、位相相関判定部140と形状判定部150を用いて組を算出する。位相相関判定部140は、各画素群を構成する画素間の位相相関の強さをそれぞれ判定する機能を有する。また、形状判定部150は、各画素群を構成する画素の分布形状と対象物の形状との類似性、または類似の度合いを判定する機能を有する。
最終的に、画素分類部130は、構成する画素間の位相が最も強く相関する画素群を算出する組に含める。なお、画素分類部130は、構成する画素間の位相相関の強さが所定値以上である画素群を算出する組に含めてもよい。
かつ、画素分類部130は、組に含められた画素群の分布形状が最も類似する形状の対象物を組に含める。なお、画素分類部130は、組に含められた画素群の分布形状と形状との類似の度合いが所定値以上である対象物を組に含めてもよい。
位相相関判定部140は、例えば、同じ場所が撮影された複数のSAR 画像と、複数のSAR 画像に関するSAR 画素情報と、地図等の地理空間情報とを入力とし、SAR 画素間で位相変化が相関しているか否かを判定する機能を有する。
位相相関判定部140は、入力となる同一地域が撮影された複数のSAR 画像から1枚の基準画像となるSAR 画像を選択する。位相相関判定部140は、SAR 画素情報に基づいて、入力された複数のSAR 画像から、基準画像のSAR 画素各々と同一地点が記録された画素を取り出す。次いで、位相相関判定部140は、取り出された画素の位相系列を基に、基準画像のSAR 画素間の位相相関の強さを判定する。
位相相関判定部140は、例えば複素数の形式で位相系列を受け取る。受け取られた位相系列を基に、位相相関判定部140は、SAR 画素間の位相相関の強さを算出する。位相相関の強さは、例えば以下のように算出される。
位相相関が評価される対象のSAR 画素をiA、iBとする。また、N 枚のSAR 画像が入力され、SAR 画像各々に対して1 〜n のSAR 画像IDが割り当てられているとする。
SAR 画像IDがn であるSAR 画像の、SAR 画素IDがi である画素の位相の値をsi(n) と表記すれば、位相系列は、si =(si(1),si(2),・・・,si(N))Tという行ベクトルで表記される。なお、記号T は、行列を転置する演算を表す。
なお、本明細書においてテキスト中で使用する記号である「→」等は、本来直前の文字の真上に記載されるべきであるが、テキスト記法の制限により上記のように当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記載される。
複素数の形式で位相系列が入力されているのであれば、siA とsiB との位相相関の強さは、例えば以下の式で算出される。
Figure 2019215819
なお、式(1)における記号「* 」 は、行列の複素共役転置をとる演算を表す。また、W は、位相系列の各要素に対して重みを付けるために用いられる半正定値行列である。W として、例えば、対角要素が全て0以上であるような対角行列が用いられる。また、W として、対角要素が全て1であるような対角行列が用いられてもよい。
また、式(1)における記号「||」は、囲まれている式の絶対値をとる演算を表す。式(1)は、siA とsiB の2つのベクトルが完全に一致しているか、siA とsiB の間の位相差が常に一定である場合に最大値をとる性質がある。よって、位相相関判定部140は、式(1)の値を位相相関の強さとして用いることができる。
なお、位相相関判定部140は、式(1)に単調増加する関数が適用された結果を位相相関の強さとしてもよい。例えば、位相相関判定部140は、式(1)にf(x)=x2 等の関数が適用された結果を位相相関の強さとしてもよい。
形状判定部150は、形状の類似性を判定する機能を有する。形状判定部150は、複数のSAR 画素で構成されるSAR 画素群の分布形状が、地理空間情報が示す対象物の形状と類似しているか否かを判定する。
形状判定部150は、基準画像の複数のSAR 画素がSAR 画素群としてまとめられたとき、SAR 画素群の分布形状と地理空間情報が示す対象物の形状とが類似しているか否かを判定する。形状判定部150は、画素分類部130から入力されたSAR 画素情報が示すSAR 画素群と対象物とを、形状の類似性の判定対象とする。
例えば、形状判定部150は、以下のように形状の類似性を判定する。最初に、形状判定部150は、SAR 画素群と対象物とに対して、SAR 画素群を構成するSAR 画素各々と対象物との距離をそれぞれ算出する。
対象物の輪郭線の外側にSAR 画素が存在する場合、形状判定部150は、対象物の輪郭線に存在する点であってSAR 画素との距離が最も短くなる点とSAR 画素との距離を、対象物とSAR 画素との距離として算出してもよい。また、対象物の輪郭線の内側にSAR 画素が存在する場合、形状判定部150は、対象物とSAR 画素との距離を0と算出してもよい。
上記の方法等で得られた対象物と各SAR 画素との距離各々に対して、形状判定部150は、距離が短いほど出力が大きい関数を適用する。例えば、形状判定部150は、算出された距離に対してガウス関数を適用してもよい。また、形状判定部150は、算出された距離が0である場合にのみ1を出力し、0以外の距離が算出された場合に0を出力する関数を適用してもよい。
距離が短いほど出力が大きい関数の出力値の合計値は、SAR 画素群の分布形状と対象物の形状が類似するほど大きくなる値である。すなわち、形状判定部150は、出力値の合計値を、形状の類似性の評価値として用いることができる。
なお、合計値を求める際、形状判定部150は、適宜重み付けを行ってもよい。また、形状判定部150は、正規化された合計値を評価値としてもよい。正規化する場合、形状判定部150は、合計値をSAR 画素群の要素数で割ることによって正規化してもよい。また、形状判定部150は、対象物が地理空間を占める面積で合計値を割ることによって正規化してもよい。
また、形状判定部150は、上記の両方の方法を考慮して、SAR 画素群の要素数に任意の係数が掛けられた値と対象物の面積に任意の係数が掛けられた値との調和平均を算出し、算出された調和平均で合計値を割ることによって正規化してもよい。
上記のように得られた評価値を用いて、形状判定部150は、形状の類似性を判定する。また、上記の方法以外に、形状判定部150は、例えば以下の方法で形状の類似性を判定してもよい。
最初に、形状判定部150は、形状の類似性の判定対象である対象物の形状を示す画像を生成する。図7は、形状判定部150が生成する対象物の形状を示す画像の例を示す説明図である。図7は、道路の形状を示す画像と、ビルの形状を示す画像とを示す。
図7に示す画像は、対象物の輪郭の内側が全て白色であり、対象物の輪郭の外側が全て黒色である画像である。図7に示す画像において、白色は「1」を表し、黒色は「0」を表している。
例えば、図7に示す道路の形状を示す画像において、道路の箇所は白色であり、他の箇所は黒色である。また、図7に示すビルの形状を示す画像において、ビルの箇所は白色であり、他の箇所は黒色である。
また、形状判定部150は、対象物の輪郭の内側が正の実数を表す色であり、対象物の輪郭の外側が全て黒色である画像を生成してもよい。また、形状判定部150は、地理空間情報に記録された対象物の形状と対象物の実物の形状との差に応じて、対象物の形状を示す画像にぼかし処理を施してもよい。
次に、形状判定部150は、SAR 画素群の分布形状を示す画像を生成する。図8は、形状判定部150が生成するSAR 画素群の分布形状を示す画像の例を示す説明図である。図8は、SAR 画素群A を示す画像と、SAR 画素群B を示す画像とを示す。
図8に示す画像は、SAR 画素群を構成するSAR 画素の位置の画素が白色であり、他の画素が黒色である画像である。図8に示す画像において、白色は「1」を表し、黒色は「0」を表している。
また、形状判定部150は、SAR 画素の位置の画素が正の実数を表す色であり、他の画素が黒色である画像を生成してもよい。また、形状判定部150は、分布形状の歪み等に応じて、SAR 画素群の分布形状を示す画像にぼかし処理を施してもよい。
次に、形状判定部150は、対象物の形状を示す画像とSAR 画素群の分布形状を示す画像とを乗算することによって乗算画像を算出する。形状判定部150は、算出された乗算画像全体に渡る画素値の合計値を、形状の類似性の評価値として用いることができる。
また、形状判定部150は、正規化された合計値を評価値としてもよい。正規化する場合、形状判定部150は、対象物の形状を示す画像全体に渡る画素値の合計値、または画素群の分布形状を示す画像全体に渡る画素値の合計値で乗算画像全体に渡る画素値の合計値を割ることによって正規化してもよい。
または、形状判定部150は、対象物の形状を示す画像全体に渡る画素値の合計値と画素群の分布形状を示す画像全体に渡る画素値の合計値にそれぞれ適当な重みを付けた上で調和平均を算出してもよい。
形状判定部150は、算出された調和平均で乗算画像全体に渡る画素値の合計値を割ることによって合計値を正規化する。以上のように得られた評価値を用いて、形状判定部150は、形状の類似性を判定する。
画素分類部130は、上記の処理で得られた画素群と対応する対象物との組を示す情報を対象物−SAR 画素対応情報として出力する。図9は、画素分類部130が出力する対象物−SAR 画素対応情報の例を示す説明図である。
図9に示すように、対象物−SAR 画素対応情報は、対象物IDと、SAR 画素IDとを含む。また、図9に示すように、対象物−SAR 画素対応情報は、SAR 画素群IDを含んでもよい。SAR 画素群IDは、画素群を識別する識別子である。画素分類部130は、SAR 画素群の分布形状と対象物の形状とを比較する際等にSAR 画素群IDを用いる。
画素分類部130が出力した対象物−SAR 画素対応情報を参照することによって、利用者は、各対象物に対応するSAR 画素を把握できる。以上のように、画素分類部130は、位相相関判定部140による判定結果、および形状判定部150による判定結果に基づいて、構成するSAR 画素同士の位相相関が強いSAR 画素群を、地理空間情報が示す形状が分布形状に類似する対象物に対応付ける。
本実施形態の画像解析装置100は、SAR 画像の画素と対象物とを容易に対応付けることができる。画素分類部130が出力する対象物−SAR 画素対応情報が示すSAR 画素群と対象物との対応付けの尤もらしさは、以下の理由により保証される。
SAR 画像における位相は、照射された電磁波の微妙な遅れを表す。また、位相は、対象物の高さと変位に対して敏感に変化する。よって、位相が強く相関する画素同士を群にまとめることによって、画素分類部130は、高さや変位が類似していると考えられる同一の対象物が表示されている可能性が高い画素群を抽出できる。
また、SAR 画像のSAR 画素群の分布形状は、レイオーバやフォアショートニングと呼ばれる現象の影響を受けてSAR 画像に特有の歪みを伴うものの、地理空間における形状を所定のレベルで維持する性質を有する。よって、画素分類部130は、地理空間情報が示す対象物各々に対して、対象物の形状に分布形状が類似するSAR 画素群をSAR 画像から抽出して対応付けることができる。
以上のように、本実施形態の画素分類部130は、構成するSAR 画素間の位相が強く相関するSAR 画素群を、地理空間情報が示す対象物のうち分布形状と形状が類似する対象物に対応付ける。よって、本実施形態の画像解析装置100は、地理空間情報が示す対象物各々とSAR 画像のSAR 画素群とを尤もらしく対応付けることができる。
[動作の説明]
以下、本実施形態の画像解析装置100のSAR 画素を対象物に対応付ける動作を図10を参照して説明する。図10は、第1の実施形態の画像解析装置100によるSAR 画素対応付け処理の動作を示すフローチャートである。
最初に、画像解析装置100は、サーバ等のSAR 画像記憶装置300に蓄積された複数枚のSAR 画像、またはSAR 画像撮影装置600が撮影した複数枚のSAR 画像を入力として受け取る(ステップS101)。
次いで、SAR 画像整形部110は、入力された複数枚のSAR 画像を基にSAR 画像情報およびSAR 画素情報を生成する。SAR 画像整形部110は、生成されたSAR 画像情報およびSAR 画素情報を画素分類部130に入力する(ステップS102)。
また、ステップS101〜ステップS102の処理と独立に、画像解析装置100は、サーバ等の地理空間情報記憶装置500や入力インタフェース400から、対象物の形状が記録された地理空間情報を入力として受け取る(ステップS103)。
次いで、地理空間情報整形部120は、入力された地理空間情報を所定の形式に整形する(ステップS104)。地理空間情報整形部120は、例えば図5に示す形式に地理空間情報を整形する。地理空間情報整形部120は、整形された地理空間情報を画素分類部130に入力する。
SAR 画像情報およびSAR 画素情報の入力と地理空間情報の入力とが完了した後、画素分類部130は、SAR 画素間の位相相関の強さと形状の類似性とを、それぞれ位相相関判定部140と形状判定部150に判定させる。
最初に、位相相関判定部140は、SAR 画素情報が示すSAR 画素群のうち、構成するSAR 画素間の位相が最も強く相関するSAR 画素群を検出する(ステップS105)。
次いで、形状判定部150は、地理空間情報が示す対象物各々の形状と、ステップS105で検出されたSAR 画素群の分布形状との類似性をそれぞれ判定する(ステップS106)。
画素分類部130は、分布形状との類似性が最も高いと判定された形状を示す対象物と入力されたSAR 画像のSAR 画素群とを対応付ける(ステップS107)。次いで、画素分類部130は、対応付けられたSAR 画素群と対象物とを示す対象物−SAR 画素対応情報を生成する。
次いで、画素分類部130は、生成された対象物−SAR 画素対応情報を出力する(ステップS108)。出力した後、画像解析装置100は、SAR 画素対応付け処理を終了する。
[効果の説明]
本実施形態の画像解析装置100は、SAR 画像のSAR 画素と、地図等の地理空間情報が示す対象物とを対応付けることができる。
画像解析装置100は、複数のSAR 画像に渡って観測される位相のSAR 画素間での相関の強さを判定する位相相関判定部140と、地理空間情報が示す対象物の形状とSAR 画素群の分布形状との類似性を判定する形状判定部150とを有する。
また、画像解析装置100は、SAR 画素間の位相相関の強さが最も大きいSAR 画素群を、地理空間情報が示す形状の類似性が最も高い対象物に対応付ける画素分類部130を有する。すなわち、画素分類部130は、SAR 画素を位相相関判定部140による判定結果、および形状判定部150による判定結果に基づいて分類する。
画素分類部130は、構成するSAR 画素間で位相が強く相関するSAR 画素群を、地理空間情報が示す対象物のうち形状が分布形状に類似する対象物に対応付ける。よって、本実施形態の画像解析装置100は、地理空間情報が示す各対象物に、SAR 画素群またはSAR 画素を対応付けることができる。
[第2実施形態]
[構成の説明]
次に、本発明の第2の実施形態を、図面を参照して説明する。図11は、第2の実施形態の画像解析装置101の構成例を示すブロック図である。
図11に示す画像解析装置101は、図2に示す画像解析装置100と異なり、画像解析部160と、統合部170とを有する。統合部170は、画素分類部130と画像解析部160とに接続されている。画像解析部160および統合部170以外の画像解析装置101の構成は、画像解析装置100の構成と同様である。
なお、本実施形態では、画像解析装置101が画像解析装置100の代わりに合成開口レーダ画像解析システム10に含まれて使用される。他の実施形態の画像解析装置も、画像解析装置100の代わりに合成開口レーダ画像解析システム10に含まれて使用される。
画像解析部160は、SAR 画像を入力として受け取り、SAR 画像を解析する機能を有する。画像解析部160は、SAR 画像の解析結果を統合部170に入力する。
画像解析部160は、SAR 画像を入力として、SAR 画像の各画素の情報を算出する。例えば、特許文献2に記載されている方法を用いれば、画像解析部160は、複数枚のSAR 画像を解析することによって、SAR 画像の各画素における変位と標高の情報を各SAR 画素の情報として得ることができる。特に、画像解析部160は、安定した反射波が撮影されている画素(以下、安定反射点と呼ぶ。)における変位と標高の情報を得ることができる。
図12は、特許文献2に記載されているSAR 画像解析システムに含まれるSAR 画像解析部900の構成を示すブロック図である。SAR 画像解析部900は、安定反射点算出部910と、変位・標高算出部920とを有する。
SAR 画像解析部900は、以下のように動作する。安定反射点算出部910は、複数のSAR 画像に渡って撮影された同一地点における位相の違いを解析するために、同じ地域が撮影された複数のSAR 画像をSAR 画像が記憶されている装置から取得する。
安定反射点算出部910は、取得された複数のSAR 画像から安定反射点を算出する。安定反射点は、上述した通り複数のSAR 画像に渡って安定した反射波が撮影されている地点の画素である。例えば、特許文献2に記載されているSAR 画像解析システムでは、輝度が安定している画素と位相が安定している画素とが安定反射点として利用されている。
次いで、変位・標高算出部920は、安定反射点算出部910で算出された安定反射点を入力とし、各SAR 画素における変位および標高を算出する。特に、変位・標高算出部920は、各安定反射点における変位および標高を算出する。以上のように、画像解析部160は、画素における変位と標高の情報を得ることができる。
統合部170は、画像解析部160で算出された変位および標高の情報と、画素分類部130で得られた対象物−SAR 画素対応情報とを入力として、SAR 画素における変位および標高の情報を対象物−SAR 画素対応情報と統合する機能を有する。統合することによって、統合部170は、統合地理空間情報を生成する。
統合地理空間情報は、地理空間情報が示す各対象物に対してSAR 画像の解析で得られた情報が割り当てられた情報である。統合地理空間情報は、例えば、各対象物に変位情報が付与されている地図である。
図13は、統合部170が生成する統合地理空間情報の例を示す説明図である。図13に示すように、統合地理空間情報には、対象物IDと、画像解析部160で得られた情報とが対応付けて記録される。画像解析部160で得られる情報は、例えば、変位、標高である。
なお、1つの対象物に対して複数のSAR 画素群が対応付けられている場合、SAR 画像から得られる情報も1つの対象物に対して複数存在する。SAR 画像から得られる情報が複数存在する場合、統合部170は、平均をとる等の統計処理で得られた代表値を統合地理空間情報に記録してもよい。また、統合部170は、全ての情報を統合地理空間情報に記録してもよい。
平均をとる等の統計処理で代表値を得る場合、統合部170は、SAR 画像におけるS/N 比(Signal to Noise ratio) 、輝度の安定性、位相の安定性、位相の時間的な相関や空間的な相関を表す指標であるコヒーレンス等を用いて、信頼性の高い抽出結果に重みを付けてもよい。
重みが付けられた抽出結果の平均をとることによって、統合部170は、代表値を算出してもよい。また、統合部170は、複数の場所における変位を統合することによって得られるたわみ、回転等の動きを数値化して統合地理空間情報に記録してもよい。
図14は、統合部170が生成する統合地理空間情報の他の例を示す説明図である。図14に示す統合地理空間情報は、統合地図である。図14に示すように、統合地図が示す対象物それぞれが占める領域には、画像解析部160で得られた情報が割り当てられている。例えば、図14に示す統合地図では、「-2mm/ 年」、「5mm/年」の変位を示す情報が割り当てられている。
なお、1つの対象物に対して複数のSAR 画素群が対応付けられている場合、SAR 画像から得られる情報も1つの対象物に対して複数存在する。SAR 画像から得られる情報が複数存在する場合、統合部170は、該当の対象物に対応付けられているSAR 画素群を、地図が示す該当の対象物が占める領域に点として割り当ててもよい。
また、統合部170は、SAR 画像から得られる複数の情報に対して補間処理を行った後に情報を地図に割り当ててもよい。また、統合部170は、平均をとる等の統計処理を行うことによって1つの代表値を取得し、該当の対象物が地図に占める領域全てに代表値を割り当ててもよい。
[動作の説明]
以下、本実施形態の画像解析装置101のSAR 画素を対象物に対応付ける動作を図15を参照して説明する。図15は、第2の実施形態の画像解析装置101によるSAR 画素対応付け処理の動作を示すフローチャートである。
ステップS201〜ステップS208の各処理は、図10に示すステップS101〜ステップS108の各処理とそれぞれ同様である。
ステップS205〜ステップS208の各処理と独立に、画像解析部160は、入力されたSAR 画像を解析する(ステップS209)。解析することによって、画像解析部160は、SAR 画像の各画素の情報を算出する。例えば、画像解析部160は、特許文献2に記載されている方法を用いて、変位および標高を示す情報を算出する。
次いで、統合部170は、画像解析部160で得られたSAR 画像の各画素の情報を参照して、画素分類部130が出力した対象物−SAR 画素対応情報に、対象物に対応付けられた画素の情報を割り当てる(ステップS210)。画素の情報を割り当てることによって、統合部170は、統合地理空間情報を生成する。
統合部170は、生成された統合地理空間情報を出力する(ステップS211)。出力した後、画像解析装置101は、SAR 画素対応付け処理を終了する。
[効果の説明]
本実施形態の画像解析装置101の統合部170は、SAR 画像から得られた情報を地理空間情報に割り当てる。例えば、SAR 画像から取得された情報が地図に割り当てられるため、利用者は、SAR 画像解析で得られた情報を容易に把握できる。
例えば、画像解析部160がSAR 画像を基に変位を解析した場合、統合部170は、個々の建物が隆起または沈降した程度が記録された地図を生成できる。生成された地図を参照して、利用者は、個々の建物の倒壊のリスクの程度等を容易に判断できる。
[第3実施形態]
[構成の説明]
次に、本発明の第3の実施形態を、図面を参照して説明する。図16は、第3の実施形態の画像解析装置102の構成例を示すブロック図である。
図16に示す画像解析装置102は、図2に示す画像解析装置100と異なり、距離判定部180を有する。また、本実施形態の画素分類部130には、位相相関判定部140と形状判定部150に加えて、距離判定部180が新たに接続されている。距離判定部180以外の画像解析装置102の構成は、画像解析装置100の構成と同様である。
距離判定部180は、基準画像の画素同士が近接しているか否かを判定する機能を有する。近接している程度を表す指標として、距離判定部180は、画素間の距離に対して単調減少する関数が適用された結果を用いることができる。
例えば、評価対象のSAR 画素のSAR 画素IDをiA、iBとする。また、SAR 画素IDがi である画素の位置を、2次元の実ベクトルri で表記する。画素iAと画素iBとの距離は、例えば以下の式で算出される。
Figure 2019215819
なお、式(2)における記号「|| || 」は、囲まれているベクトルのノルムを算出する演算を表す。式(2)で算出された距離に対して、例えば以下の関数が適用される。
Figure 2019215819
なお、式(3)におけるβは、適当な正の実数である。式(3)の関数が画素間の距離に適用されると、画素同士が近接するほど1に近づき、画素同士が離れるほど0に近づく指標が得られる。すなわち、距離判定部180は、距離の短さを表す指標を得ることができる。また、距離判定部180は、適用される関数として、単にf(x)= -xを用いてもよい。
本実施形態の画素分類部130は、位相相関判定部140による判定結果と、距離判定部180による判定結果と、形状判定部150による判定結果とをそれぞれ参照して、画素群と対応する対象物との組を算出する。
すなわち、画素分類部130は、構成するSAR 画素間の位相が強く相関し、かつ構成するSAR 画素間の距離が短い(位置が近い)SAR 画素群を算出する組に含める。かつ、画素分類部130は、地理空間情報が示す各対象物のうち、組に含められたSAR 画素群の分布形状と形状が類似する対象物をSAR 画素群と対応付ける。
[動作の説明]
以下、本実施形態の画像解析装置102のSAR 画素を対象物に対応付ける動作を図17を参照して説明する。図17は、第3の実施形態の画像解析装置102によるSAR 画素対応付け処理の動作を示すフローチャートである。
ステップS301〜ステップS304の各処理は、図10に示すステップS101〜ステップS104の各処理とそれぞれ同様である。
SAR 画像情報およびSAR 画素情報の入力と地理空間情報の入力とが完了した後、画素分類部130は、SAR 画素間の位相相関の強さ、画素間の距離の短さ、および形状の類似性を、それぞれ位相相関判定部140、距離判定部180、形状判定部150に判定させる。
最初に、位相相関判定部140は、SAR 画素情報が示すSAR 画素群のうち、構成するSAR 画素間の位相が強く相関するSAR 画素群を検出する(ステップS305)。
次いで、距離判定部180は、ステップS305で検出されたSAR 画素群のうち、SAR 画素間の距離が所定の距離より短いSAR 画素群を検出する(ステップS306)。
次いで、形状判定部150は、地理空間情報が示す対象物各々の形状と、ステップS306で検出されたSAR 画素群の分布形状との類似性を判定する(ステップS307)。
ステップS308〜ステップS309の各処理は、図10に示すステップS107〜ステップS108の各処理とそれぞれ同様である。
[効果の説明]
本実施形態の画像解析装置102は、SAR 画素間の距離を考慮して画素群と対象物とを対応付けることができるため、より高精度に対応付けを行うことができる。その理由は、画素分類部130が、距離判定部180による判定結果も参照するため、地理的に遠く離れているにも関わらず偶然強い相関関係にある各画素を、それぞれ異なるクラスタに分類できるためである。
[第4実施形態]
[構成の説明]
次に、本発明の第4の実施形態を、図面を参照して説明する。図18は、第4の実施形態の画像解析装置103の構成例を示すブロック図である。
図18に示す画像解析装置103は、図2に示す画像解析装置100と異なり、SAR 画像整形部110と画素分類部130との間に安定反射点抽出部190を有する。安定反射点抽出部190以外の画像解析装置103の構成は、画像解析装置100の構成と同様である。
安定反射点抽出部190は、SAR 画像を入力として受け取り、SAR 画像の輝度や位相が安定しているSAR 画素である安定反射点を抽出する機能を有する。安定反射点抽出部190は、抽出された安定反射点を示す情報を画素分類部130に入力する。
安定反射点抽出部190は、SAR 画像整形部110がSAR 画像同士の位置合わせ等を行った後に、SAR 画像から安定反射点を抽出する。安定反射点抽出部190は、例えば入力されたSAR 画像から、複数のSAR 画像に渡って輝度があまり変化しないSAR 画素を安定反射点として抽出する。
または、安定反射点抽出部190は、複数のSAR 画像に渡って変位や標高等による位相変化を除いて位相が安定しているSAR 画素を安定反射点として抽出してもよい。または、安定反射点抽出部190は、複数のSAR 画像に渡って位相に含まれるノイズの量が少ないSAR 画素を安定反射点として抽出してもよい。または、安定反射点抽出部190は、特許文献2に記載されている方法を用いて、安定反射点であるPS(Permanent Scatterer) を抽出してもよい。
本実施形態の画素分類部130は、安定反射点抽出部190で抽出された安定反射点のみを分類の対象にする。
図19は、安定反射点抽出部190が出力するSAR 画素情報の例を示す説明図である。図19に示すように、SAR 画素情報は、SAR 画素IDと、安定反射点フラグと、位置と、位相系列と、輝度系列とで構成されている。
図19に示すSAR 画素ID、位置、および位相系列は、図4に示すSAR 画素ID、位置、および位相系列とそれぞれ同様である。また、図19に示す輝度系列は、入力される複数のSAR 画像の、画素の画素値に含まれている輝度の系列である。
輝度系列は、基準画像のSAR 画素と同一地点が撮影されている画素が他の入力されるSAR 画像から取得されたときに記録される。すなわち、位相系列には、各SAR 画像の画素値に含まれている位相の系列が記録される。また、輝度系列には、各SAR 画像の画素値に含まれている輝度の系列が記録される。
安定反射点フラグは、SAR 画素各々が安定反射点であるか否かを示す情報である。例えば、SAR 画素IDが示すSAR 画素が安定反射点であれば、安定反射点抽出部190は、安定反射点フラグに「TRUE」と記録する。また、SAR 画素IDが示すSAR 画素が安定反射点でなければ、安定反射点抽出部190は、安定反射点フラグに「FALSE 」と記録する。
本実施形態の画素分類部130は、安定反射点フラグに「TRUE」と記録されているSAR 画素IDが示すSAR 画素に対してのみ対象物を対応付ける。なお、安定反射点抽出部190は、第2の実施形態の画像解析装置101および第3の実施形態の画像解析装置102の各SAR 画像整形部110の後方にも挿入可能な構成要素である。
[動作の説明]
以下、本実施形態の画像解析装置103のSAR 画素を対象物に対応付ける動作を図20を参照して説明する。図20は、第4の実施形態の画像解析装置103によるSAR 画素対応付け処理の動作を示すフローチャートである。
ステップS401の処理は、図10に示すステップS101の処理と同様である。
SAR 画像整形部110は、入力された複数枚のSAR 画像を基にSAR 画像情報およびSAR 画素情報を生成する。SAR 画像整形部110は、生成されたSAR 画像情報およびSAR 画素情報を安定反射点抽出部190に入力する(ステップS402)。
次いで、安定反射点抽出部190は、入力されたSAR 画像から輝度や位相が安定しているSAR 画素を安定反射点として抽出する(ステップS403)。
次いで、安定反射点抽出部190は、抽出された安定反射点に基づいて、入力されたSAR 画素情報を修正する(ステップS404)。安定反射点抽出部190は、修正されたSAR 画素情報を画素分類部130に入力する。
ステップS405〜ステップS410の各処理は、図10に示すステップS103〜ステップS108の各処理とそれぞれ同様である。
[効果の説明]
本実施形態の画像解析装置103は、ノイズの影響を受けずに対象物にSAR 画素群を対応付けることができる。その理由は、安定反射点抽出部190が安定反射点を特定することによって画素分類部130がノイズの影響により輝度や位相が不安定な画素を取り扱わずに済むため、相関の評価等の評価結果がノイズの影響で不正確になることが防止されるためである。
[第5実施形態]
[構成の説明]
次に、本発明の第5の実施形態を、図面を参照して説明する。図21は、第5の実施形態の画像解析装置104の構成例を示すブロック図である。
図21に示す画像解析装置104の画素分類部130は、分割部131と、探索部132とを有する。画素分類部130の構成以外の画像解析装置104の構成は、画像解析装置102の構成と同様である。なお、画像解析装置104は、距離判定部180を有しなくてもよい。
図21に示すように、分割部131は、SAR 画像整形部110と、位相相関判定部140と、距離判定部180とに接続されている。また、探索部132は、地理空間情報整形部120と、分割部131と、形状判定部150とに接続されている。分割部131は、探索部132にデータを入力できる。また、探索部132も、分割部131にデータを入力できる。
分割部131は、SAR 画像整形部110の出力を入力とし、SAR 画素群を位相が強く相関する画素群に分割する機能を有する。また、画像解析装置104が距離判定部180を有する場合、分割部131は、SAR 画素群を位相が強く相関し、かつ位置が近接している画素群に分割してもよい。
分割部131は、例えば非特許文献1に記載されている方法を用いて上記の分割を実行できる。また、分割部131は、Kernel K-meansと呼ばれる手法を用いても上記の分割を実行できる。
具体的には、分割部131は、Kernel K-meansで用いられる類似度を算出する関数であるKernel関数を、位相相関判定部140の出力と距離判定部180の出力との積として定義する。Kernel関数を両出力の積として定義することによって、分割部131は、分割された後のSAR 画素群を構成するSAR 画素同士が強い位相相関を持ち、かつSAR 画素同士の位置が近接するように、SAR 画素群を分割できる。
また、分割部131は、Normalized CutやSpectral Clustering 等の、グラフが用いられるクラスタリング手法を上記の分割で使用してもよい。具体的には、分割部131は、各ノードがSAR 画素であり、各エッジが重みであるグラフを生成する。生成されるグラフは、位相相関判定部140の出力と距離判定部180の出力との積等を表す。
生成されたグラフに対してNormalized CutやSpectral Clustering 等のグラフ分割アルゴリズムを適用することによって、分割部131は、分割された後のSAR 画素群を構成するSAR 画素同士が強い位相相関を持ち、かつSAR 画素同士の位置が近接するように、SAR 画素群を分割できる。
また、本実施形態の画像解析装置104が距離判定部180を有する場合、距離判定部180は、対象物のサイズ等に応じた倍率を算出された距離に乗じた上で評価してもよい。すなわち、大きな対象物を表示している画素を評価する際、画素間の距離に関する制約を緩和するために、距離判定部180は、他の画素との距離を算出した際、算出された距離に1より小さい倍率を乗じてもよい。
探索部132は、分割部131で得られたSAR 画素群と、地理空間情報整形部120が出力した対象物各々の形状および位置を示す地理空間情報とを入力とし、SAR 画素群各々に対して分布形状に形状が最も類似する対象物を探索する機能を有する。
探索部132は、分布形状に形状が最も類似する対象物に、SAR 画素群を構成する全てのSAR 画素を割り当てる。すなわち、探索部132は、対象物−SAR 画素対応情報を生成し、生成された対象物−SAR 画素対応情報を出力する。
[動作の説明]
以下、本実施形態の画像解析装置104のSAR 画素を対象物に対応付ける動作を図22を参照して説明する。図22は、第5の実施形態の画像解析装置104によるSAR 画素対応付け処理の動作を示すフローチャートである。
ステップS501〜ステップS504の各処理は、図10に示すステップS101〜ステップS104の各処理とそれぞれ同様である。
位相相関判定部140は、SAR 画素情報が示すSAR 画素群を構成するSAR 画素間の位相相関の評価値を判定する。次いで、分割部131は、位相相関判定部140が判定した位相相関の評価値を参照して、入力されたSAR 画像のSAR 画素群を分割する(ステップS505)。
次いで、形状判定部150は、地理空間情報が示す対象物各々の形状と、ステップS505で分割されたSAR 画素群の分布形状との類似性をそれぞれ判定する(ステップS506)。
次いで、探索部132は、判定された類似性に基づいて、地理空間情報が示す対象物各々に対して分割部131が分割したSAR 画素群の中から最も形状に分布形状が類似するSAR 画素群を探索する。探索部132は、探索されたSAR 画素群を構成するSAR 画素を対象物に対応付ける(ステップS507)。
次いで、探索部132は、対応付けられたSAR 画素群と対象物とを示す対象物−SAR 画素対応情報を生成する。探索部132は、生成された対象物−SAR 画素対応情報を出力する(ステップS508)。出力した後、画像解析装置104は、SAR 画素対応付け処理を終了する。
[効果の説明]
本実施形態の画像解析装置104は、クラスタリングの手法を利用して、地理空間情報が示す対象物にSAR 画素を対応付けることができる。その理由は、分割部131がクラスタリングの手法を用いてSAR 画素群を分割し、探索部132が分割されたSAR 画素群と対象物とを対応付けるためである。
[第6実施形態]
[構成の説明]
次に、本発明の第6の実施形態を、図面を参照して説明する。図23は、第6の実施形態の画像解析装置105の構成例を示すブロック図である。
図23に示す画像解析装置105の画素分類部130は、分割部131と、探索部132と、終了判定部133とを有する。図23に示すように、終了判定部133は、探索部132に接続されている。
終了判定部133以外の画像解析装置105の構成は、画像解析装置104の構成と同様である。なお、画像解析装置105は、距離判定部180を有しなくてもよい。
本実施形態の分割部131も、SAR 画像整形部110の出力を入力とし、SAR 画素群を位相が強く相関する画素群に分割する機能を有する。また、画像解析装置105が距離判定部180を有する場合、分割部131は、SAR 画素群を位相が強く相関し、かつ位置が近接している画素群に分割してもよい。
また、本実施形態の探索部132も、分割部131で得られたSAR 画素群と、地理空間情報整形部120が出力した対象物各々の形状および位置を示す地理空間情報とを入力とし、SAR 画素群各々に対して分布形状に形状が最も類似する対象物を探索する機能を有する。
探索部132は、分布形状に形状が最も類似する対象物に、SAR 画素群を構成する全てのSAR 画素を割り当てる。すなわち、探索部132は、対象物−SAR 画素対応情報を生成し、生成された対象物−SAR 画素対応情報を出力する。
本実施形態の分割部131は、探索部132がSAR 画素と地理空間情報が示す対象物各々とを既に対応付けている場合、対象物−SAR 画素対応情報を基にSAR 画素群を再分割する。
分割部131は、探索部132により得られた対象物ごとに対応付けられたSAR 画素群を示す情報に基づいて再分割を行う。再分割を行う際、分割部131は、分割で利用されるアルゴリズムのパラメータを、画素群が割り当てられた対象物に応じて変更してもよい。
分割部131は、例えば、探索部132により同一の対象物に対応付けられた全てのSAR 画素群を構成するSAR 画素が、再分割された後に同じ単一のSAR 画素群に属するように再分割を行ってもよい。
終了判定部133は、分割部131によるSAR 画素群の再分割を終了させるか否かを判定する機能を有する。判定する際、終了判定部133は、位相相関や形状の類似性に基づいた再分割の終了条件を用いてもよい。
例えば、各対象物に割り当てられている画素同士が所定値以上の位相相関の強さを持たない場合、終了判定部133は、再分割を継続させると判断してもよい。また、割り当てられた画素が属する画素群の分布形状が対象物の形状と十分類似していない場合、終了判定部133は、再分割を継続させると判断してもよい。
また、終了判定部133は、再分割の回数に基づいた終了条件を用いてもよい。例えば、再分割の回数が所定回数を超えた場合、終了判定部133は、再分割を終了させると判断してもよい。
[動作の説明]
以下、本実施形態の画像解析装置105のSAR 画素を対象物に対応付ける動作を図24を参照して説明する。図24は、第6の実施形態の画像解析装置105によるSAR 画素対応付け処理の動作を示すフローチャートである。
ステップS601〜ステップS604の各処理は、図10に示すステップS101〜ステップS104の各処理とそれぞれ同様である。
位相相関判定部140は、SAR 画素情報が示すSAR 画素群を構成するSAR 画素間の位相相関の評価値を判定する。次いで、分割部131は、位相相関判定部140が判定した位相相関の評価値を参照して、入力されたSAR 画像のSAR 画素群を分割する(ステップS605)。
次いで、形状判定部150は、地理空間情報が示す対象物各々の形状と、ステップS605で分割されたSAR 画素群の分布形状との類似性をそれぞれ判定する(ステップS606)。
次いで、探索部132は、判定された類似性に基づいて、地理空間情報が示す対象物各々に対して分割部131が分割したSAR 画素群の中から最も形状に分布形状が類似するSAR 画素群を探索する。探索部132は、探索されたSAR 画素群を構成するSAR 画素を対象物に対応付ける(ステップS607)。
次いで、終了判定部133は、再分割の終了条件が満たされているか否かを判定する(ステップS608)。再分割の終了条件が満たされていない場合(ステップS608におけるNo)、分割部131は、再度ステップS605の処理を行う。
再分割の終了条件が満たされている場合(ステップS608におけるYes )、探索部132は、対応付けられたSAR 画素群と対象物とを示す対象物−SAR 画素対応情報を生成する。探索部132は、生成された対象物−SAR 画素対応情報を出力する(ステップS609)。出力した後、画像解析装置105は、SAR 画素対応付け処理を終了する。
[効果の説明]
本実施形態の画像解析装置105の画素分類部130は、SAR 画素群の分割を繰り返し実行することによって、位相相関の強さと形状の類似性が共に指定された条件を満たすまで対応付けを行う。すなわち、画像解析装置105は、クラスタの再分割と結合を繰り返し実行することによって、より改善された対象物−SAR 画素対応情報を出力できる。
[第7実施形態]
[構成の説明]
次に、本発明の第7の実施形態を、図面を参照して説明する。図25は、第7の実施形態の画像解析装置106の構成例を示すブロック図である。
図25に示す画像解析装置106は、図2に示す画像解析装置100と異なり、探索範囲限定部200と、SAR 画像撮影条件入力部210と、画像解析部160とを有する。
探索範囲限定部200、SAR 画像撮影条件入力部210、および画像解析部160以外の画像解析装置106の構成は、画像解析装置100の構成と同様である。なお、画像解析装置106は、SAR 画像撮影条件入力部210と画像解析部160とを有しなくてもよい。
本実施形態の画像解析部160は、第2の実施形態の画像解析部160と同様に、特許文献2に記載されている画像解析部のようにSAR 画像から標高データ等を算出する機能を有する。
SAR 画像撮影条件入力部210には、画像解析装置106に入力されたSAR 画像各々の撮影条件が入力される。入力される撮影条件は、撮影された方角、画像を撮影したSAR 画像撮影装置600の軌道等を示す。
探索範囲限定部200は、各SAR 画素における標高データ、SAR 画像の撮影条件等に基づいて、位置を変換する機能を有する。例えば、探索範囲限定部200は、入力されたSAR 画像(特に、基準画像)の座標系で表示されているSAR 画素各々の位置を、入力された地理空間情報が示す座標系で表示された位置に変換する。
また、探索範囲限定部200は、入力された地理空間情報が示す座標系で表示されている対象物各々の位置を、入力されたSAR 画像(特に、基準画像)の座標系で表示された位置に変換する。
探索範囲限定部200は、各SAR 画素における標高データを、地図や各場所における標高が記録されたデータから取得してもよいし、特許文献2に記載されているSAR 画像解析方法を用いて取得してもよい。なお、各場所における標高が記録されたデータは、DEM 、DTM(Digital Terrain Model)、DSM(Digital Surface Model)等である。
探索範囲限定部200が位置を変換することによって、対象物の位置とSAR 画素の位置とが大まかに対応付けられる。探索範囲限定部200は、変換によって大まかに対応付けられた各位置の周辺を画素分類部130に入力する。画素分類部130は、形状が類似する対象物とSAR 画素群との組を探索する範囲を、入力された各位置の周辺に限定する。
また、探索範囲限定部200は、SAR 画像撮影条件入力部210から入力されたSAR 画像撮影条件や、画像解析部160から入力された各SAR 画素における標高データ等を参照して探索範囲を算出してもよい。
画素分類部130は、探索範囲限定部200が指定した探索範囲から、構成するSAR 画素間の位相が最も強く相関するSAR 画素群を算出する組に含める。かつ、画素分類部130は、探索範囲限定部200が指定した探索範囲から、組に含められたSAR 画素群の分布形状が最も類似する形状の対象物を探索する。
また、画素分類部130は、第5の実施形態のように、SAR 画素群を分割し、分割された画素群各々の分布形状と形状が最も類似する対象物を画素群と対応付けてもよい。
[動作の説明]
以下、本実施形態の画像解析装置106のSAR 画素を対象物に対応付ける動作を図26を参照して説明する。図26は、第7の実施形態の画像解析装置106によるSAR 画素対応付け処理の動作を示すフローチャートである。
ステップS701〜ステップS704の各処理は、図10に示すステップS101〜ステップS104の各処理とそれぞれ同様である。
SAR 画像情報およびSAR 画素情報の入力と地理空間情報の入力とが完了した後、画素分類部130は、SAR 画素間の位相相関の強さと形状の類似性とを、それぞれ位相相関判定部140と形状判定部150に判定させる。また、画素分類部130は、探索範囲を探索範囲限定部200に限定させる。
最初に、探索範囲限定部200は、入力された地理空間情報に基づいて、SAR 画素群の探索範囲、および対象物の探索範囲をそれぞれ算出する(ステップS705)。
次いで、位相相関判定部140は、SAR 画素情報が示すSAR 画素群のうち、構成するSAR 画素間の位相が最も強く相関するSAR 画素群を、算出された探索範囲から検出する(ステップS706)。
次いで、形状判定部150は、地理空間情報が示す算出された探索範囲における対象物各々の形状と、ステップS706で検出されたSAR 画素群の分布形状との類似性をそれぞれ判定する(ステップS707)。
ステップS708〜ステップS709の各処理は、図10に示すステップS107〜ステップS108の各処理とそれぞれ同様である。
[効果の説明]
本実施形態の画像解析装置106は、探索範囲限定部200が探索範囲を限定するため、より高速に対象物とSAR 画素とを対応付けることができる。また、画像解析装置106は、探索範囲限定部200が探索範囲を限定するため、全く無関係な場所に存在する分布形状に形状が類似した対象物にSAR 画素群が誤って対応付けられることを防止できる。すなわち、画像解析装置106は、形状が類似するSAR 画素群と対象物の各探索範囲を限定することによって、対応付け自体の正確さを向上できる。
[第8実施形態]
[構成の説明]
次に、本発明の第8の実施形態を、図面を参照して説明する。図27は、第8の実施形態の画像解析装置107の構成例を示すブロック図である。
図27に示す画像解析装置107は、図2に示す画像解析装置100と異なり、SAR 画像撮影条件入力部210と、反射特性推定部220とを有する。SAR 画像撮影条件入力部210および反射特性推定部220以外の画像解析装置107の構成は、画像解析装置100の構成と同様である。
また、図27に示すように、形状判定部150は、反射特性推定部220と接続されている。なお、画像解析装置107は、SAR 画像撮影条件入力部210を有しなくてもよい。
反射特性推定部220は、地理空間情報整形部120から地理空間情報を入力として受け取る。入力された地理空間情報を基に、反射特性推定部220は、各対象物の各部分が電磁波を反射する強さの程度、すなわち反射特性を推定する機能を有する。
推定する際、反射特性推定部220は、SAR 画像撮影条件入力部210からSAR 画像撮影条件を入力として受け付け、入力された撮影条件に応じて電磁波の反射特性を推定してもよい。
SAR 画像撮影条件入力部210には、画像解析装置107に入力されたSAR 画像各々の撮影条件が入力される。入力される撮影条件は、撮影された方角、画像を撮影したSAR 画像撮影装置600の軌道等を示す。
形状判定部150は、形状の類似性を判定する際、反射特性推定部220で推定された反射特性を考慮する。
図28は、SAR 画像撮影条件入力部210から入力される撮影条件の例を示す説明図である。例えば、SAR 画像撮影装置600が図28に示す撮影条件でビルと道路を撮影した場合を考える。
図28に示す「斜めから見た図」は、SAR 画像撮影装置600、路面、およびビルの立体的な配置を示す。また、当該撮影状況に対する図28に示す「上から見た図」において、SAR 画像撮影装置600から照射される電磁波が、白色の矢印で示されている。
図28に示す撮影条件の場合、入射方向側に位置するビルの壁面は、電磁波を強く反射しやすい。また、一般的に道路脇に設けられている縁石も、電磁波を強く反射しやすい。また、道路の路面は、電磁波を強く反射しにくい。また、ビルに遮られて電磁波が届かない領域は、電磁波を全く反射しない。
上記の性質に基づいて、反射特性推定部220は、地図や航空写真等の地理空間情報を基に、図29に示すような各対象物の各部分が電磁波を反射する強さの程度を推定できる。図29は、反射特性推定部220が出力する反射特性推定値の例を示す説明図である。
図29(a)は、道路に関する反射特性の値である道路反射特性推定値を示す。図29(a)に示す黒地に白のドットが付された領域Aは、電磁波を弱く反射する路面の領域である。また、道路を囲む白い領域Bは、電磁波を強く反射する縁石の領域である。
なお、図29(a)に示す道路面の一部や道路を囲む領域に存在する黒色の領域は、ビルに遮られて電磁波を全く反射できない領域である。
図29(b)は、ビルに関する反射特性の値であるビル反射特性推定値を示す。図29(b)に示す白地に比較的疎な黒のドットが付された領域Cは、ビルの壁面の影響で電磁波を強く反射する領域である。
また、図29(b)に示す白地に比較的密な黒のドットが付された領域Dは、ビルの天井の影響で、領域Cよりは弱いものの路面よりは電磁波を強く反射する領域である。また、ビルの壁面からの反射波、およびビルの天井からの反射波は、SAR 特有の歪みを伴うことが推定される。
形状判定部150は、分布形状の類似性を評価する際、反射特性推定部220で推定された反射特性に基づいて、例えば、強く反射する部分、または反射波におけるノイズが少ない部分に重みを付ける。対象物の部分に重みを付けた上で、形状判定部150は、対象物の形状と、SAR 画素群の分布形状との類似性を判定する。
[動作の説明]
以下、本実施形態の画像解析装置107のSAR 画素を対象物に対応付ける動作を図30を参照して説明する。図30は、第8の実施形態の画像解析装置107によるSAR 画素対応付け処理の動作を示すフローチャートである。
ステップS801〜ステップS803の各処理は、図10に示すステップS101〜ステップS103の各処理とそれぞれ同様である。
地理空間情報整形部120は、入力された地理空間情報を所定の形式に整形する(ステップS804)。次いで、地理空間情報整形部120は、整形された地理空間情報を、画素分類部130と反射特性推定部220とに入力する。
次いで、反射特性推定部220は、入力された地理空間情報を基に、地理空間情報が示す対象物各々の反射特性を推定する(ステップS805)。
反射特性を推定する際、反射特性推定部220は、SAR 画像撮影条件入力部210から入力されたSAR 画像撮影条件を参照して反射特性を推定してもよい。反射特性推定部220は、推定された反射特性を形状判定部150に入力する。
ステップS806〜ステップS809の各処理は、図10に示すステップS105〜ステップS108の各処理とそれぞれ同様である。
[効果の説明]
本実施形態の反射特性推定部220は、地理空間情報整形部120から地理空間情報を入力として受け付け、各対象物の各部分が電磁波を反射する強さの程度を推定する。反射特性推定部220は、対象物の形状や素材等の情報を用いて、各対象物の各部分が電磁波を反射する強さの程度を推定できる。
地図情報等を基に反射特性推定部220で推定された反射特性を用いて、画像解析装置107は、電磁波を強く反射し、ノイズの影響を受けにくい対象物の部分の形状を重点的に評価する。よって、画像解析装置107は、地理空間情報が示す対象物とSAR 画素とをより正確に対応付けることができる。
[第9実施形態]
[構成の説明]
次に、本発明の第9の実施形態を、図面を参照して説明する。図31は、第9の実施形態の画像解析装置108の構成例を示すブロック図である。
図31に示す画像解析装置108は、図2に示す画像解析装置100と異なり、非対応画素除去部230を有する。非対応画素除去部230以外の画像解析装置108の構成は、画像解析装置100の構成と同様である。
非対応画素除去部230は、画素分類部130に接続されている。非対応画素除去部230は、画素分類部130で対象物に対応付けられなかったSAR 画素を除去する機能を有する。非対応画素除去部230は、対応付けられる適切な対象物が発見されなかったSAR 画素を除去する。
画素分類部130が位相相関判定部140と形状判定部150とを用いて位相相関の強さの判定と形状の類似性の判定を行った結果、SAR 画素間の位相相関が弱い、または形状同士が十分に類似していないため、対象物に対応付けられないSAR 画素群が検出される場合がある。
非対応画素除去部230は、対象物に対応付けられなかったSAR 画素群をSAR 画像から除去する。本実施形態の画像解析装置108は、対象物に対応付けられなかったSAR 画素群以外のSAR 画素群と対象物との対応付けの結果を示す情報を出力する。
[動作の説明]
以下、本実施形態の画像解析装置108のSAR 画素を対象物に対応付ける動作を図32を参照して説明する。図32は、第9の実施形態の画像解析装置108によるSAR 画素対応付け処理の動作を示すフローチャートである。
ステップS901〜ステップS908の各処理は、図10に示すステップS101〜ステップS108の各処理とそれぞれ同様である。
非対応画素除去部230は、対象物に対応付けられなかったSAR 画素群をSAR 画像から除去する(ステップS909)。除去した後、画像解析装置108は、SAR 画素対応付け処理を終了する。
[効果の説明]
本実施形態の画像解析装置108は、SAR 画素と対象物とが誤って対応付けられることを防止できる。例えば、古い地図データ等が地理空間情報として入力された場合、地図上に存在していない対象物の観測結果がSAR 画像に記録されていることがある。
非対応画素除去部230がSAR 画像から地図上に存在していない対象物が記録されたSAR 画素を除去することによって、画素分類部130が同じSAR 画像に基づいてSAR 画素に無理に対象物を対応付けることが防止される。
各実施形態の画像解析装置は、SAR 画像の画素各々を、地図等の地理空間情報が示す対象物に対応付けることができる。また、各実施形態の画像解析装置は、SAR 画像を解析することによってSAR 画像の画素各々に関して得られた情報を、地図等の地理空間情報が示すビルや道路等の対象物に対して割り当てることができる。
なお、各実施形態の画像解析装置は、SAR 画像以外にも、位相を有する複数の画像と対象とを対応付けることができる。例えば、画像解析装置は、合成開口ソナーの情報と光学画像情報とを対応付けることもできる。また、画像解析装置は、光学画像とTime Of Flightカメラで撮影された位相画像とを対応付けることもできる。
また、各実施形態の画像解析装置は、コヒーレントな光の干渉が利用される位相イメージングの分野にも適用される。例えば、画像解析装置は、膨張や収縮等で透過時の位相が変化する透過物体が組み合わせられた対象に関して、位相画像が示す位相変化の様子と、透過物体の構成が記載された設計図面とを対応付けることができる。
また、各実施形態の画像解析装置は、地上設置型のレーダが用いられて取得されたデータも利用できる。例えば、橋脚やダム等に向けてレーダが照射した電磁波の位相変化を計測することによって劣化を計測する技術が存在する。各実施形態の画像解析装置は、橋脚やダムの各部分と、取得された劣化が計測されたデータとを対応付けることができる。
以下、本実施形態の画像解析装置のハードウェア構成の具体例を説明する。図33は、本発明による画像解析装置のハードウェア構成例を示す説明図である。
図33に示す画像解析装置は、CPU(Central Processing Unit )11と、主記憶部12と、通信部13と、補助記憶部14とを備える。また、ユーザが操作するための入力部15や、ユーザに処理結果または処理内容の経過を提示するための出力部16を備えてもよい。
なお、図33に示す画像解析装置は、CPU11の代わりにDSP(Digital Signal Processor)を備えてもよい。または、図33に示す画像解析装置は、CPU11とDSPとを併せて備えてもよい。
主記憶部12は、データの作業領域やデータの一時退避領域として用いられる。主記憶部12は、例えばRAM(Random Access Memory)である。
通信部13は、有線のネットワークまたは無線のネットワーク(情報通信ネットワーク)を介して、周辺機器との間でデータを入力および出力する機能を有する。
補助記憶部14は、一時的でない有形の記憶媒体である。一時的でない有形の記憶媒体として、例えば磁気ディスク、光磁気ディスク、CD−ROM(Compact Disk Read Only Memory )、DVD−ROM(Digital Versatile Disk Read Only Memory )、半導体メモリが挙げられる。
入力部15は、データや処理命令を入力する機能を有する。入力部15は、例えばキーボードやマウス等の入力デバイスである。
出力部16は、データを出力する機能を有する。出力部16は、例えば液晶ディスプレイ装置等の表示装置、またはプリンタ等の印刷装置である。
また、図33に示すように、画像解析装置において、各構成要素は、システムバス17に接続されている。
補助記憶部14は、例えば、SAR 画像整形部110、地理空間情報整形部120、画素分類部130、位相相関判定部140、形状判定部150、画像解析部160、統合部170、距離判定部180、安定反射点抽出部190、探索範囲限定部200、SAR 画像撮影条件入力部210、反射特性推定部220、および非対応画素除去部230を実現するためのプログラムを記憶している。
なお、各画像解析装置は、ハードウェアにより実現されてもよい。例えば、画像解析装置100は、内部に図2に示すような機能を実現するプログラムが組み込まれたLSI(Large Scale Integration )等のハードウェア部品が含まれる回路が実装されてもよい。
また、各画像解析装置は、図33に示すCPU11が各構成要素が有する機能を提供するプログラムを実行することによって、ソフトウェアにより実現されてもよい。
ソフトウェアにより実現される場合、CPU11が補助記憶部14に格納されているプログラムを、主記憶部12にロードして実行し、画像解析装置の動作を制御することによって、各機能がソフトウェアにより実現される。
また、各構成要素の一部または全部は、汎用の回路(circuitry )または専用の回路、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
次に、本発明の概要を説明する。図34は、本発明による合成開口レーダ画像解析システムの概要を示すブロック図である。本発明による合成開口レーダ画像解析システム20は、合成開口レーダで撮影された同一地点を示す複数の画像に基づいて複数の画像の中から選択された画像の複数の画素間の位相の相関の強さを判定する位相相関判定手段21(例えば、位相相関判定部140)と、複数の画素の分布の形状と地理空間情報が示す対象物の形状との類似の度合いを判定する形状判定手段22(例えば、形状判定部150)と、判定された位相の相関の強さと判定された類似の度合いとに基づいて複数の画素と対象物とを対応付ける対応付け手段23(例えば、画素分類部130)とを含む。
また、形状判定手段22は、位相の相関の強さが第1の所定値以上であると判定された複数の画素の分布の形状と、地理空間情報が示す対象物の形状との類似の度合いを判定してもよい。また、対応付け手段23は、類似の度合いが第2の所定値以上であると判定された複数の画素と対象物とを対応付けてもよい。
そのような構成により、合成開口レーダ画像解析システムは、SAR 画像の画素と地理空間情報が示す対象物とを容易に対応付けることができる。合成開口レーダ画像解析システム20は、SAR 画素群と、地理空間情報が示す対象物とを対応付けるシステムである。
また、合成開口レーダ画像解析システム20は、地理空間情報が示す範囲のうち複数の画素に対応付けられる対象物が探索される範囲を特定する特定手段(例えば、探索範囲限定部200)を含み、形状判定手段22は、特定された範囲に存在する対象物を判定の対象にしてもよい。
また、特定手段は、地理空間情報の座標とSAR 画像の座標との変換関係に基づいて探索される範囲を特定してもよい。
そのような構成により、合成開口レーダ画像解析システムは、より迅速にSAR 画像の画素と対象物とを対応付けることができる。
また、合成開口レーダ画像解析システム20は、地理空間情報が示す対象物が電磁波を反射する強さを推定する推定手段(例えば、反射特性推定部220)を含み、形状判定手段22は、推定された強さに基づいて類似の度合いを判定してもよい。
そのような構成により、合成開口レーダ画像解析システムは、より正確にSAR 画像の画素と対象物とを対応付けることができる。
また、合成開口レーダ画像解析システム20は、画素間の距離を判定する距離判定手段(例えば、距離判定部180)を含み、形状判定手段22は、画素間の距離が所定値以下であると判定された複数の画素を判定の対象にしてもよい。
そのような構成により、合成開口レーダ画像解析システムは、より正確にSAR 画像の画素と対象物とを対応付けることができる。
また、合成開口レーダ画像解析システム20は、同一地点を示す複数の画像から安定反射点を抽出する抽出手段(例えば、安定反射点抽出部190)を含み、位相相関判定手段21は、抽出された各安定反射点間の位相の相関の強さを判定してもよい。
そのような構成により、合成開口レーダ画像解析システムは、SAR 画像の安定反射点と対象物とを対応付けることができる。
また、位相相関判定手段21は、判定された位相の相関の強さに基づいて選択された画像の画素群を分割し、形状判定手段22は、分割された画素群の分布の形状と対象物の形状との類似の度合いを判定してもよい。
そのような構成により、合成開口レーダ画像解析システムは、クラスタリングの手法を利用してSAR 画像の画素と対象物とを対応付けることができる。
また、位相相関判定手段21は、分割された画素群と対象物とが対応付けられた結果が所定の条件を満たすまで分割を繰り返し実行してもよい。
そのような構成により、合成開口レーダ画像解析システムは、SAR 画像の画素と対象物とをより高精度に対応付けることができる。
また、合成開口レーダ画像解析システム20は、合成開口レーダで撮影された複数の画像を解析する解析手段(例えば、画像解析部160)と、解析手段による解析の結果を複数の画素と対象物とが対応付けられた結果に統合する統合手段(例えば、統合部170)とを含んでもよい。
そのような構成により、合成開口レーダ画像解析システムは、SAR 画像解析で得られた情報を利用者に提示できる。
また、合成開口レーダ画像解析システム20は、対象物に対応付けられなかった画素を選択された画像から除去する除去手段(例えば、非対応画素除去部230)を含んでもよい。
そのような構成により、合成開口レーダ画像解析システムは、SAR 画像の画素と対象物とをより高精度に対応付けることができる。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
10、20 合成開口レーダ画像解析システム
11 CPU
12 主記憶部
13 通信部
14 補助記憶部
15 入力部
16 出力部
17 システムバス
21 位相相関判定手段
22 形状判定手段
23 対応付け手段
100〜108 画像解析装置
110 SAR 画像整形部
120 地理空間情報整形部
130 画素分類部
131 分割部
132 探索部
133 終了判定部
140 位相相関判定部
150 形状判定部
160 画像解析部
170 統合部
180 距離判定部
190 安定反射点抽出部
200 探索範囲限定部
210 SAR 画像撮影条件入力部
220 反射特性推定部
230 非対応画素除去部
300 SAR 画像記憶装置
400 入力インタフェース
500 地理空間情報記憶装置
600 SAR 画像撮影装置
900 SAR 画像解析部
910 安定反射点算出部
920 変位・標高算出部

Claims (10)

  1. 合成開口レーダで撮影された同一地点を示す複数の画像に基づいて前記複数の画像の中から選択された画像の複数の画素間の位相の相関の強さを判定する位相相関判定手段と、
    複数の画素の分布の形状と地理空間情報が示す対象物の形状との類似の度合いを判定する形状判定手段と、
    判定された位相の相関の強さと判定された類似の度合いとに基づいて複数の画素と対象物とを対応付ける対応付け手段とを含む
    ことを特徴とする合成開口レーダ画像解析システム。
  2. 地理空間情報が示す範囲のうち複数の画素に対応付けられる対象物が探索される範囲を特定する特定手段を含み、
    形状判定手段は、特定された範囲に存在する対象物を判定の対象にする
    請求項1記載の合成開口レーダ画像解析システム。
  3. 地理空間情報が示す対象物が電磁波を反射する強さを推定する推定手段を含み、
    形状判定手段は、推定された強さに基づいて類似の度合いを判定する
    請求項1または請求項2記載の合成開口レーダ画像解析システム。
  4. 画素間の距離を判定する距離判定手段を含み、
    形状判定手段は、画素間の距離が所定値以下であると判定された複数の画素を判定の対象にする
    請求項1から請求項3のうちのいずれか1項に記載の合成開口レーダ画像解析システム。
  5. 同一地点を示す複数の画像から安定反射点を抽出する抽出手段を含み、
    位相相関判定手段は、抽出された各安定反射点間の位相の相関の強さを判定する
    請求項1から請求項4のうちのいずれか1項に記載の合成開口レーダ画像解析システム。
  6. 位相相関判定手段は、判定された位相の相関の強さに基づいて選択された画像の画素群を分割し、
    形状判定手段は、分割された画素群の分布の形状と対象物の形状との類似の度合いを判定する
    請求項1から請求項5のうちのいずれか1項に記載の合成開口レーダ画像解析システム。
  7. 位相相関判定手段は、分割された画素群と対象物とが対応付けられた結果が所定の条件を満たすまで分割を繰り返し実行する
    請求項6記載の合成開口レーダ画像解析システム。
  8. 合成開口レーダで撮影された複数の画像を解析する解析手段と、
    前記解析手段による解析の結果を複数の画素と対象物とが対応付けられた結果に統合する統合手段とを含む
    請求項1から請求項7のうちのいずれか1項に記載の合成開口レーダ画像解析システム。
  9. 合成開口レーダで撮影された同一地点を示す複数の画像に基づいて前記複数の画像の中から選択された画像の複数の画素間の位相の相関の強さを判定し、
    複数の画素の分布の形状と地理空間情報が示す対象物の形状との類似の度合いを判定し、
    判定された位相の相関の強さと判定された類似の度合いとに基づいて複数の画素と対象物とを対応付ける
    ことを特徴とする合成開口レーダ画像解析方法。
  10. コンピュータに、
    合成開口レーダで撮影された同一地点を示す複数の画像に基づいて前記複数の画像の中から選択された画像の複数の画素間の位相の相関の強さを判定する位相相関判定処理、
    複数の画素の分布の形状と地理空間情報が示す対象物の形状との類似の度合いを判定する形状判定処理、および
    判定された位相の相関の強さと判定された類似の度合いとに基づいて複数の画素と対象物とを対応付ける対応付け処理
    を実行させるための合成開口レーダ画像解析プログラム。
JP2020517660A 2018-05-08 2018-05-08 合成開口レーダ画像解析システム、合成開口レーダ画像解析方法および合成開口レーダ画像解析プログラム Active JP6935847B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/017798 WO2019215819A1 (ja) 2018-05-08 2018-05-08 合成開口レーダ画像解析システム、合成開口レーダ画像解析方法および合成開口レーダ画像解析プログラム

Publications (2)

Publication Number Publication Date
JPWO2019215819A1 true JPWO2019215819A1 (ja) 2021-05-13
JP6935847B2 JP6935847B2 (ja) 2021-09-15

Family

ID=68466768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020517660A Active JP6935847B2 (ja) 2018-05-08 2018-05-08 合成開口レーダ画像解析システム、合成開口レーダ画像解析方法および合成開口レーダ画像解析プログラム

Country Status (3)

Country Link
US (1) US11841421B2 (ja)
JP (1) JP6935847B2 (ja)
WO (1) WO2019215819A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102309251B1 (ko) * 2020-03-26 2021-10-07 주식회사 에스아이에이 위성 영상 신호에 포함된 객체의 부피 정보를 계산하는 방법
WO2022054186A1 (ja) * 2020-09-10 2022-03-17 日本電気株式会社 推定装置、推定方法及び記憶媒体
JP7384295B2 (ja) 2020-09-29 2023-11-21 日本電気株式会社 画像解析装置および画像解析方法
KR102598888B1 (ko) * 2023-03-15 2023-11-06 한화시스템 주식회사 원유 저장량 예측장치 및 예측방법
CN117274342B (zh) * 2023-11-21 2024-02-13 中铁水利水电规划设计集团有限公司 一种基于卫星数据的水利工程形变监测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587601B1 (en) * 1999-06-29 2003-07-01 Sarnoff Corporation Method and apparatus for performing geo-spatial registration using a Euclidean representation
JP2003331289A (ja) * 2002-05-08 2003-11-21 Mitsubishi Electric Corp 画像識別装置およびこの画像識別装置を備えたレーダ装置
JP2010281617A (ja) * 2009-06-03 2010-12-16 Mitsubishi Electric Corp レーダー画像処理装置
US20130004017A1 (en) * 2011-06-30 2013-01-03 The Boeing Company Context-Based Target Recognition
JP2013101428A (ja) * 2011-11-07 2013-05-23 Pasuko:Kk 建物輪郭抽出装置、建物輪郭抽出方法及び建物輪郭抽出プログラム
JP2015114147A (ja) * 2013-12-10 2015-06-22 三菱電機株式会社 画像合成装置及び画像合成方法
JP2016188789A (ja) * 2015-03-30 2016-11-04 株式会社東芝 合成開口レーダ装置及びそのレーダ信号処理方法
JP2017072473A (ja) * 2015-10-07 2017-04-13 三菱電機株式会社 画像処理装置および画像処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITMI991154A1 (it) 1999-05-25 2000-11-25 Milano Politecnico Procedimento per misure radar di spostamento di aere urbane e zone franose
US20090002224A1 (en) * 2005-09-22 2009-01-01 Nader Khatib SAR ATR tree line extended operating condition
JP4702122B2 (ja) 2006-03-15 2011-06-15 三菱電機株式会社 合成開口レーダ画像のオルソ補正装置
US8798148B2 (en) * 2007-06-15 2014-08-05 Physical Optics Corporation Apparatus and method employing pre-ATR-based real-time compression and video frame segmentation
US8588547B2 (en) * 2008-08-05 2013-11-19 Pictometry International Corp. Cut-line steering methods for forming a mosaic image of a geographical area
US8155452B2 (en) * 2008-10-08 2012-04-10 Harris Corporation Image registration using rotation tolerant correlation method
US9389311B1 (en) * 2015-02-19 2016-07-12 Sandia Corporation Superpixel edges for boundary detection
JP7152131B2 (ja) * 2016-09-21 2022-10-12 日本電気株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587601B1 (en) * 1999-06-29 2003-07-01 Sarnoff Corporation Method and apparatus for performing geo-spatial registration using a Euclidean representation
JP2003331289A (ja) * 2002-05-08 2003-11-21 Mitsubishi Electric Corp 画像識別装置およびこの画像識別装置を備えたレーダ装置
JP2010281617A (ja) * 2009-06-03 2010-12-16 Mitsubishi Electric Corp レーダー画像処理装置
US20130004017A1 (en) * 2011-06-30 2013-01-03 The Boeing Company Context-Based Target Recognition
JP2013101428A (ja) * 2011-11-07 2013-05-23 Pasuko:Kk 建物輪郭抽出装置、建物輪郭抽出方法及び建物輪郭抽出プログラム
JP2015114147A (ja) * 2013-12-10 2015-06-22 三菱電機株式会社 画像合成装置及び画像合成方法
JP2016188789A (ja) * 2015-03-30 2016-11-04 株式会社東芝 合成開口レーダ装置及びそのレーダ信号処理方法
JP2017072473A (ja) * 2015-10-07 2017-04-13 三菱電機株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
US11841421B2 (en) 2023-12-12
US20210132214A1 (en) 2021-05-06
JP6935847B2 (ja) 2021-09-15
WO2019215819A1 (ja) 2019-11-14

Similar Documents

Publication Publication Date Title
JP6935847B2 (ja) 合成開口レーダ画像解析システム、合成開口レーダ画像解析方法および合成開口レーダ画像解析プログラム
JP7077961B2 (ja) 画像解析装置、画像解析方法及びプログラム
US10366500B2 (en) Autonomous characterization of water flow from surface water velocity
JP6632474B2 (ja) 監視装置、監視方法及び空港監視システム
Sameen et al. A two-stage optimization strategy for fuzzy object-based analysis using airborne LiDAR and high-resolution orthophotos for urban road extraction
Lei et al. End-to-end change detection using a symmetric fully convolutional network for landslide mapping
JP2008185375A (ja) Sar画像の3d形状算出装置及びsar画像の歪補正装置
Du et al. A novel lacunarity estimation method applied to SAR image segmentation
CN112668461B (zh) 一种具有野生动物识别的智能监管系统
KR100904078B1 (ko) 항공 사진의 영상정합을 이용한 3차원 공간 정보 생성 시스템 및 방법
JP2011133341A (ja) 変位計測装置、変位計測方法、及び変位計測プログラム
Park et al. Conceptual design of the CZMIL data processing system (DPS): algorithms and software for fusing lidar, hyperspectral data, and digital images
CN115951350A (zh) 永久散射体点提取方法、装置、设备及介质
Ren et al. Automated SAR reference image preparation for navigation
Wang et al. GrabRiver: graph-theory-based river width extraction from remote sensing imagery
JP7006781B2 (ja) 合成開口レーダ信号解析装置、合成開口レーダ信号解析方法および合成開口レーダ信号解析プログラム
JP5928010B2 (ja) 道路標示検出装置及びプログラム
JP6879386B2 (ja) 合成開口レーダの信号処理装置及び信号処理方法
Ni et al. Applications of 3d-edge detection for als point cloud
Flemming Design of semi-automatic algorithm for shoreline extraction using Synthetic Aperture Radar (SAR) images
Debella-Gilo Bare-earth extraction and dtm generation from photogrammetric point clouds with a partial use of an existing lower resolution DTM
Noh et al. Applications of high-resolution, cross-track, pushbroom satellite images with the SETSM algorithm
Sportouche et al. Building detection by fusion of optical and SAR features in metric resolution data
Misra et al. An approach for generation of multi temporal co-registered optical remote sensing images from Resourcesat-2/2A sensors
CN107808160B (zh) 三维建筑物提取方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210727

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210809

R150 Certificate of patent or registration of utility model

Ref document number: 6935847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150