WO2019087673A1 - 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム - Google Patents

画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム Download PDF

Info

Publication number
WO2019087673A1
WO2019087673A1 PCT/JP2018/037234 JP2018037234W WO2019087673A1 WO 2019087673 A1 WO2019087673 A1 WO 2019087673A1 JP 2018037234 W JP2018037234 W JP 2018037234W WO 2019087673 A1 WO2019087673 A1 WO 2019087673A1
Authority
WO
WIPO (PCT)
Prior art keywords
stable reflection
reflection point
image processing
stable
phase
Prior art date
Application number
PCT/JP2018/037234
Other languages
English (en)
French (fr)
Inventor
大地 田中
宝珠山　治
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2019550922A priority Critical patent/JP6856136B2/ja
Priority to US16/759,887 priority patent/US11397261B2/en
Publication of WO2019087673A1 publication Critical patent/WO2019087673A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G01S13/9023—SAR image post-processing techniques combined with interferometric techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G01S13/9027—Pattern recognition for feature extraction

Definitions

  • An object of the present invention is to provide a technique for solving the above-mentioned problems.
  • an image processing apparatus is A stable reflection point at which reflection is stable in a plurality of images and stable reflection point specifying means for specifying the position of the stable reflection point; Phase acquisition means for acquiring the phase of the identified stable reflection point; Clustering means for clustering the stable reflection points based on the position of the stable reflection points and the phase; Equipped.
  • the second cause is that the amount of stable reflection points to be calculated is enormous. Although it is not impossible in principle to take measures while comparing it with geographical information etc. at each point, it is a task that requires a long time because of the huge amount.
  • phase acquisition unit 312 for example, the form of a complex number normalized so that the absolute value is 1 is used as a form for containing the phase. That is, the complex number having the phase calculated by the above method as the argument can be obtained. By using such a format, clustering can be performed without considering the influence of phase wrapping.
  • the phase feature amount inner product calculating unit 341 specifies the inner product function so that the distance between the stable reflection point feature amounts decreases as the phases are synchronized. Further, the position feature amount inner product calculating unit 342 specifies an inner product function such that the distance between the stable reflection point feature amounts becomes shorter as the position of the stable reflection point approaches.
  • the phase feature amount inner product calculating unit 341 receives, as an input, an arrangement of phases at two stable reflection points, and specifies, for example, a square of their correlation as an inner product of phase feature amounts.
  • the correlation is obtained by taking an inner product with respect to an array of two phases given by complex numbers, and normalizing the absolute value of the inner product with a norm. That is, the array of phases at the stable reflection point m is a column vector , Column vector of phase at stable reflection point n Suppose that it stores in. Then, the inner product of the phase feature quantity is Given by The inner product of this phase feature amount becomes large when the stable reflection point m and the stable reflection point n have similar phase changes, and becomes 1 when the same. As a result, if the outputs of the position feature amount inner product specifying unit 341 are the same, the distance between the stable reflection point feature amount becomes shorter as the stable reflection point m and the stable reflection point n have similar phase changes. .
  • Kernel K-means by integrating the calculation of centroids and the calculation of the square of the distance between the centroid and feature quantities at each point, only the inner product function is used without passing through the calculation of feature quantities, as shown below:
  • p is a data point whose distance is to be evaluated
  • the subscript m is the index of the data to be evaluated
  • C is a cluster
  • the two-variable function K is an inner product function related to the feature quantity of the data point It represents.
  • a stable reflection point is used as the data point p
  • an inner product function defined by the inner product specifying unit 314 of the proposal is used as the inner product function K.
  • the classification unit 333 may repeat the above-described operation. That is, the classification unit 333 performs the reclassification again for each of the clusters in which the stable reflection point to which the reclassification belongs belongs has been updated. By repeating this, all stable reflection points are classified into clusters such that the sum of squares of the distances of stable reflection point features from the centroid is minimized.
  • the multiplication unit 343 integrates the evaluation on the positional relationship between the stable reflection points and the correlation of the phase.
  • FIG. 4B is a diagram showing an example of a position inner product table and a phase array inner product table that the image processing apparatus included in the image processing system according to the present embodiment has.
  • the position inner product table 403 stores the inner product regarding the position of the stable reflection point.
  • the phase array inner product table 404 stores the inner product of the stable reflection point phase array. The calculation of the inner product is performed, for example, on the distance with respect to the feature amount of the position (or phase arrangement) between stable reflection points in the SAR image.
  • FIG. 5 is a block diagram showing the hardware configuration of the image processing apparatus included in the image processing system according to the present embodiment.
  • a central processing unit (CPU) 510 is a processor for arithmetic control, and implements the functional components of the image processing apparatus 310 of FIGS. 3A to 3D by executing a program.
  • a ROM (Read Only Memory) 520 stores fixed data such as initial data and programs and other programs.
  • the network interface 530 also communicates with other devices via a network.
  • the CPU 510 is not limited to one, and may be a plurality of CPUs or may include a GPU (Graphics Processing Unit) for image processing.
  • GPU Graphics Processing Unit
  • the input / output data 546 is data input / output via the input / output interface 560.
  • the transmission / reception data 547 is data transmitted / received via the network interface 530.
  • the RAM 540 also has an application execution area 548 for executing various application modules.
  • the storage 550 stores a database, various parameters, or the following data or program necessary for realizing the present embodiment.
  • the storage 550 stores the stable reflection point table 402.
  • the stable reflection point table 402 is a table for managing the relationship between the SAR image ID 421 and the stable reflection point ID 423 shown in FIG. 4A.
  • the cluster table 406 is a table for managing the relationship between the stable reflection point ID 423 and the cluster ID 461 shown in FIG. 4C.
  • the storage 550 further stores a stable reflection point identification module 551, a phase acquisition module 552, an inner product identification module 553 and a clustering module 554.
  • the storage 550 further stores a phase feature quantity inner product specifying module 5531, a position feature quantity inner product specifying module 5532, and a multiplication module 5533.
  • the phase feature amount inner product specifying module 5531 is a module for specifying an inner product of the phase feature amount.
  • the position feature quantity inner product specifying module 5532 is a module for specifying an inner product of the position feature quantity.
  • the multiplication module 5533 is a module that integrates the evaluation on the positional relationship between each of the stable reflection points and the correlation of the phase.
  • the inner product application module 5541 is a module that applies an inner product function to the combination of stable reflection point groups.
  • the initial cluster generation module 5542 is a module that assigns an initial cluster to each of the stable reflection points.
  • the classification module 5543 is a module for classifying stable reflection points.
  • the input / output interface 560 interfaces input / output data with input / output devices.
  • a display unit 561 and an operation unit 562 are connected to the input / output interface 560.
  • a storage medium 564 may be connected to the input / output interface 560.
  • a speaker 563 which is an audio output unit, a microphone which is an audio input unit, or a GPS (Global Positioning System) position determination unit may be connected.
  • programs and data regarding general-purpose functions of the image processing apparatus 310 and other realizable functions are not illustrated.
  • step S601 the stable reflection point identification unit 311 of the image processing device 310 receives the SAR image as an input and identifies stable reflection points.
  • step S603 the phase acquisition unit 312 of the image processing apparatus 310 acquires the phase at each of the stable reflection points.
  • step S 607 the initial cluster generation unit 331 of the clustering unit 313 determines initial cluster allocation based on the position of the stable reflection point, the inner product of the stable reflection point feature amounts, and the like. If the inner product of the stable reflection point feature amount is not used for initial cluster generation, steps S605 and S607 may be performed before or after, or may be performed simultaneously.
  • step S621 the classification unit 333 of the image processing device 310 calculates the centroid of each class generated by the initial cluster generation unit 331 and the square of the distance of the stable reflection point feature value between each stable reflection point. calculate. These calculations are performed based on the inner product of the stable reflection point feature quantities related to the total stable reflection point calculated by the inner product application unit 332.
  • the correspondence between the points in the SAR image and the structure becomes easy.
  • the point cloud at the location where the layover occurs can be displayed as another cluster, it is possible to prevent the stable reflection point located at a geographically completely separate location from being mistakenly associated with the same structure.
  • stable reflection points are grouped for each structure, it is not necessary to associate a large number of stable reflection points with one another, and it is only necessary to verify the correspondence between a few clusters and structures.
  • the image processing system 700 includes an image processing device 710 and a SAR image storage unit 320.
  • the image processing device 710 includes a stable reflection point identification unit 311, a phase acquisition unit 312, a clustering unit 713, and an inner product identification unit 314.
  • the clustering unit 713 clusters stable reflection points based on the inner product specified by the inner product specifying unit 314.
  • a set of stable reflection points having a phase correlated with a certain level or more may be connected. Furthermore, based on other geospatial information, prior knowledge, etc., a set of stable reflection points determined to be less relevant may not be connected. For each edge connecting stable reflection points calculated by the above method, the inner product of stable reflection point feature quantities between stable reflection points directly connected by the edge is set as an edge weight.
  • the graph generation unit 732 can generate a graph based on the inner product calculated by the inner product application unit 731. However, on the contrary, if the connection relationship can be defined in advance by the graph generation unit 732 from known information or the like, the stable reflection point pair for calculating the inner product may be determined based on this. In that case, the inner product may be calculated between stable reflection points at which edges connected directly on the graph generated by the graph generation unit 732 exist.
  • the cluster storage unit 733 holds cluster information that has not been divided into clusters. At the start of clustering, one cluster having all stable reflection points as elements may be held as an initial value before division into clusters, or a cluster divided based on some known information is held. You may
  • the division graph N (825) is generated by repeating the division of the generation graph 811 a predetermined number of times. That is, in the initial state, each stable reflection point is assigned in the generated graph, but similar stable reflection points are clustered into the same cluster by dividing the generated graph into a plurality of graphs.
  • generation graph is not limited to 2 division
  • the storage 950 stores a database, various parameters, or the following data or program necessary for realizing the present embodiment.
  • the storage 950 stores a divided graph table 802 and a cluster table 803.
  • the divided graph table 802 is a table for managing the relationship between the generated graph 811 and the divided graph 1 (821) shown in FIG. 8B.
  • the cluster table 803 is a table for managing the relationship between the stable reflection point ID 423 and the cluster ID-N (826) shown in FIG. 8B.
  • the storage 950 further stores a clustering module 954, a graph generation module 9542, a condition determination module 9543, a subgraph extraction module 9544 and a graph division module 9545.
  • w i, j is a weight of an edge when there is a connection edge from node i to node j, and is a numerical value that is 0 when there is no connection.
  • the matrix W is a square matrix of M rows and N columns , and has w i, j as elements of i rows and j columns.
  • the matrix D is a diagonal matrix and has ⁇ j w i, j as an element of i rows and j columns.
  • step S1305 the inner product application unit 1231 of the image processing apparatus 1210 calculates the inner product of the stable reflection point feature amounts between the stable reflection points.
  • step S1307 the image processing apparatus 1210 generates a graph having the calculated inner product as an edge weight.
  • step S1309 the graph feature amount specifying unit 1233 of the image processing device 1210 specifies each graph feature amount of the stable reflection point.

Abstract

画像上の安定反射点と対象物との対応付けを容易に行うこと。画像処理装置であって、安定反射点特定部と、位相取得部と、クラスタリング部と、を備える。画像処理装置の安定反射点特定部は、複数の画像において反射が安定している安定反射点を特定する。画像処理装置の位相取得部は、特定された安定反射点の位相を取得する。画像処理装置のクラスタリング部は、安定反射点の位置と、位相と、に基づいて、安定反射点をクラスタリングする。

Description

画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
　本発明は、画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システムに関する。
　上記技術分野において、特許文献１には、ＳＡＲ（合成開口レーダー；Ｓｙｎｔｈｅｔｉｃ　Ａｐｅｒｔｕｒｅ　ＲＡＤＡＲ）画像解析システムにおいて、安定反射点の位置と各安定反射点における変位および標高とを出力する技術が開示されている。
国際公開第００／７２０４５号
　しかしながら、上記文献に記載の技術では、画像上の安定反射点と対象物との対応付けを行うことが困難であった。
　本発明の目的は、上述の課題を解決する技術を提供することにある。
　上記目的を達成するため、本発明に係る画像処理装置は、
　複数の画像において反射が安定している安定反射点および前記安定反射点の位置を特定する安定反射点特定手段と、
　特定された前記安定反射点の位相を取得する位相取得手段と、
　前記安定反射点の位置と、前記位相と、に基づいて、前記安定反射点をクラスタリングするクラスタリング手段と、
　を備えた。
　上記目的を達成するため、本発明に係る画像処理方法は、
　複数の画像において反射が安定している安定反射点および前記安定反射点の位置を特定する安定反射点特定ステップと、
　特定された前記安定反射点の位相を取得する位相取得ステップと、
　前記安定反射点の位置と、前記位相と、に基づいて、前記安定反射点をクラスタリングするクラスタリングステップと、
　を含む。
　上記目的を達成するため、本発明に係る画像処理プログラムは、
　複数の画像において反射が安定している安定反射点および前記安定反射点の位置を特定する安定反射点特定ステップと、
　特定された前記安定反射点の位相を取得する位相取得ステップと、
　前記安定反射点の位置と、前記位相と、に基づいて、前記安定反射点をクラスタリングするクラスタリングステップと、
　をコンピュータに実行させる。
　上記目的を達成するため、本発明に係る画像処理システムは、
　複数の画像を撮影する撮影手段と、
　撮影された画像を記憶する記憶手段と、
　複数の画像を取得する取得手段と、
　複数の画像において反射が安定している安定反射点および前記安定反射点の位置を特定する安定反射点特定手段と、
　特定された前記安定反射点の位相を取得する位相取得手段と、
　前記安定反射点の位置と、前記位相と、に基づいて、前記安定反射点をクラスタリングするクラスタリング手段と、
　を備えた。
　本発明によれば、画像上の安定反射点と対象物との対応付けを容易に行うことができる。
本発明の第１実施形態に係る画像処理装置の構成を示すブロック図である。 前提技術の画像処理装置の構成の一例を示すブロック図である。 前提技術の画像処理装置において発生するレイオーバーの原理を説明する図である。 本発明の第２実施形態に係る画像処理システムの概略を説明する図である。 本発明の第２実施形態に係る画像処理システムに含まれる画像処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る画像処理システムに含まれる画像処理装置の内積特定部の構成を示すブロック図である。 本発明の第２実施形態に係る画像処理システムに含まれる画像処理装置のクラスタリング部の構成を示すブロック図である。 本発明の第２実施形態に係る画像処理システムに含まれる画像処理装置が有するＳＡＲ画像テーブルおよび安定反射点テーブルの一例を示す図である。 本発明の第２実施形態に係る画像処理システムに含まれる画像処理装置が有する位置内積テーブルおよび位相配列内積テーブルの一例を示す図である。 本発明の第２実施形態に係る画像処理システムに含まれる画像処理装置が有する初期クラスタテーブルおよびクラスタテーブルの一例を示す図である。 本発明の第２実施形態に係る画像処理システムに含まれる画像処理装置のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る画像処理システムに含まれる画像処理装置の処理手順を説明するフローチャートである。 本発明の第２実施形態に係る画像処理システムに含まれる画像処理装置によるクラスタ算出の処理手順を説明するフローチャートである。 本発明の第３実施形態に係る画像処理システムの構成を示すブロック図である。 本発明の第３実施形態に係る画像処理システムに含まれる画像処理装置が有する生成グラフテーブルの一例を示す図である。 本発明の第３実施形態に係る画像処理システムに含まれる画像処理装置が有する分割グラフテーブルおよびクラスタテーブルの一例を示す図である。 本発明の第３実施形態に係る画像処理システムに含まれる画像処理装置のハードウェア構成を示すブロック図である。 本発明の第３実施形態に係る画像処理システムに含まれる画像処理装置の処理手順を説明するフローチャートである。 本発明の第３実施形態に係る画像処理システムに含まれる画像処理装置によるグラフの分割の処理手順を説明するフローチャートである。 本発明の第４実施形態に係る画像処理システムの構成を示すブロック図である。 本発明の第５実施形態に係る画像処理システムの構成を示すブロック図である。 本発明の第５実施形態に係る画像処理システムに含まれる画像処理装置の処理手順を説明するフローチャートである。 本発明の第５実施形態に係る画像処理システムに含まれる画像処理装置の処理手順を説明するフローチャートである。
　以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。
　［第１実施形態］
　本発明の第１実施形態としての画像処理装置１００について、図１を用いて説明する。画像処理装置１００は、画像における安定反射点をクラスタリングする装置である。
　図１に示すように、画像処理装置１００は、安定反射点特定部１０１と、位相取得部１０２と、クラスタリング部１０３とを含む。安定反射点特定部１０１は、複数の画像において反射が安定している安定反射点および安定反射点の位置を特定する。位相取得部１０２は、特定された安定反射点の位相を取得する。クラスタリング部１０３は、安定反射点の位置と、位相と、に基づいて、安定反射点をクラスタリングする。
　本実施形態によれば、安定反射点をクラスタリングするので、画像上の安定反射点と対象物との対応付けを容易に行うことができる。
　［第２実施形態］
　次に本発明の第２実施形態に係る画像処理装置について、図２Ａ乃至図６を用いて説明する。
　（前提技術）
　図２Ａは、前提技術の画像解析システムの構成の一例を示すブロック図である。図２Ｂは、前提技術の画像解析装置において発生するレイオーバーの原理を説明する図である。前提技術のＳＡＲ画像解析システム２００の一例が特許文献１に記載されている。図２Ａに示したように、ＳＡＲ画像解析システム２００は、ＳＡＲ画像解析装置２１０、ＳＡＲ画像記憶部２２０、安定反射点記憶部２３０および変位・標高記憶部２４０を有する。また、ＳＡＲ画像解析装置２１０は、安定反射点算出部２１１および変位・標高算出部２１２を有する。
　そして、ＳＡＲ画像解析装置２１０は、次のように動作する。安定反射点算出部２１１は、複数のＳＡＲ画像間にわたる同一地点で観測された位相の違いを解析するために、同じ場所を異なる時期に撮影した複数のＳＡＲ画像をＳＡＲ画像記憶部２２０から取得する。安定反射点算出部２１１は、取得した複数のＳＡＲ画像から安定反射点を算出する。算出された安定反射点は、例えば、安定反射点記憶部２３０に記憶される。
　ここで、安定反射点とは、複数のＳＡＲ画像に渡って安定した反射が得られている画像をいう。例えば、特許文献１では、輝度の安定した画像と位相の安定した画像とを安定反射点として利用している。
　次に、変位・標高算出部２１２は、安定反射点算出部２１１で算出された安定反射点を入力とし、各安定反射点における変位および標高を算出する。算出した変位および標高は、例えば、変位・標高記憶部２４０に記憶される。
　ＳＡＲ画像解析システム２００では、ＳＡＲ画像上で算出された安定反射点が、どの対象物（例えば、ビルや橋、道路、地面等）と対応しているのかが分かり難いという問題があった。その主な原因は次の二つである。
　第一の原因は、ＳＡＲ画像特有のレイオーバーまたは倒れ込みと呼ばれる現象の影響により、地理的に離れた場所にある複数の安定反射点が、ＳＡＲ画像上では同じ場所に入り混じって算出されることである。この現象は、ＳＡＲがアンテナと反射体との間の距離に応じた情報を取得する観測手段であるために生じるものである。
　ここで、レイオーバーは、建物の壁や急斜面など（入射角よりも急な勾配を持つマイクロ波に正対する面）では、上部の方が下部の方よりもアンテナに近くなるため（通常は、上部の方がアンテナから遠い）、画像上で上下が反転して白く潰れる現象をいう。また、倒れ込みは、高い建物や山などが実際の平面位置よりアンテナに近い位置に表示される現象をいう（フォアショートニング）。
　図２Ｂに示した、場所Ａと場所Ｂとで算出された安定反射点は、ＳＡＲ衛星２５０のアンテナから等距離にあるため、レイオーバーが起こり、ＳＡＲ画像上の同じ場所に重畳されて算出されてしまう。このようなことが起こった場合、ＳＡＲ画像上で算出された安定反射点が、地理的にはどこのものなのか対応を取ることが極めて難しくなる。
　第二の原因は、算出される安定反射点の量が膨大であることである。一点一点について地理的な情報等と見比べながら対応を取ることも原理的には不可能ではないが、膨大な量のため長時間を要する作業となる。
　（本実施形態の技術）
　図３Ａは、本実施形態に係る画像処理システムの概略を説明する図である。画像処理システム３００は、画像処理装置３１０とＳＡＲ衛星３５０とを含む。画像処理システム３００は、ＳＡＲ画像を処理することにより、地上の構造物、例えば、高層ビルや高層マンションなどの傾きや地盤沈下などによるビルの沈み込みなどを判定する。
　ＳＡＲ衛星３５０は、ＳＡＲ画像を撮影する。ＳＡＲ衛星３５０は、地表や、地上にある建造物、例えば、高層ビルや高層マンションなどのＳＡＲ画像を撮影する。ＳＡＲ衛星３５０が撮影したＳＡＲ画像は、例えば、ストレージ３６０に保存される。また、ＳＡＲ衛星３５０は、撮影したＳＡＲ画像を画像処理装置３１０に送信してもよい。
　画像処理装置３１０は、ＳＡＲ衛星３５０が撮影した複数のＳＡＲ画像を取得する。ここで、情報処理装置３１０が取得する複数のＳＡＲ画像は、例えば、地表の同一地点や同一領域、同一範囲などを異なる撮影条件（日時、天候、撮影に用いたＳＡＲ衛星など）で撮影したＳＡＲ画像である。画像処理装置３１０は、ストレージ３６０に保存されたＳＡＲ画像を取得してもよい。また、画像処理装置３１０は、ＳＡＲ衛星３５０から直接ＳＡＲ画像を取得してもよい。そして、画像処理装置３１０は、取得したＳＡＲ画像から安定反射点を特定する。画像処理装置３１０は、さらに、特定した安定反射点の各々における位相を特定する。
　図３Ｂは、本実施形態に係る画像処理システムに含まれる画像処理装置の構成を示すブロック図である。図３Ｃは、本実施形態に係る画像処理システムに含まれる画像処理装置の内積特定部の構成を示すブロック図である。図３Ｄは、本実施形態に係る画像処理システムに含まれる画像処理装置のクラスタリング部の構成を示すブロック図である。
　画像処理システム３００は、画像処理装置３１０とＳＡＲ画像記憶部３２０とを備える。画像処理装置３１０は、安定反射点特定部３１１、位相取得部３１２、クラスタリング部３１３および内積特定部３１４を有する。画像処理装置３１０は、ＳＡＲ画像記憶部３２０から複数のＳＡＲ画像を取得する。
　安定反射点特定部３１１は、ＳＡＲ画像記憶部３２０から複数のＳＡＲ画像を取得し、取得した複数のＳＡＲ画像において反射が安定している安定反射点を特定する。ここで、安定反射点は、同じ場所を撮影した複数のＳＡＲ画像において、反射が安定している１つ以上の画素をいう。安定反射点の特定には、例えば、特許文献１に記載のＰＳ－ＩｎＳＡＲ（Ｐｅｒｍａｎｅｎｔ　Ｓｃａｔｔｅｒｓ　Ｉｎｔｅｒｆｅｒｏｍｅｔｒｙ　Ｓｙｎｔｈｅｔｉｃ　Ａｐｅｒｔｕｒｅ　Ｒａｄａｒ；永久散乱体干渉ＳＡＲ）等の解析手法が用いられる。
　位相取得部３１２は、複数のＳＡＲ画像に基づいて、安定反射点の各々における位相を特定（取得）する。位相取得部３１２は、安定反射点特定部３１１で算出された安定反射点の画像上における位置と、ＳＡＲ画像と、を入力として、安定反射点の各々における位相の時系列を特定する。
　位相取得部３１２は、位相の特定として、例えば、安定反射点ごとに、複数のＳＡＲ画像の各々の当該画素における位相を要素とした配列を生成してもよい。また、基準となるＳＡＲ画像と他のＳＡＲ画像との間での位相変化を用いてもよい。この場合には、同じ領域を撮影した複数のＳＡＲ画像のうち、基準となるＳＡＲ画像があらかじめ定められている。
　そして、位相取得部３１２は、基準となるＳＡＲ画像と他のＳＡＲ画像との各々との位相差を求めて配列の要素とする。また、例えば、ＤＥＭ（Ｄｉｇｉｔａｌ　Ｅｌｅｖａｔｉｏｎ　Ｍｏｄｅｌ）を利用して、標高に依存した位相の変化を除去した位相を配列として生成してもよい。
　また、大気の揺らぎに依存した位相の変化を公知の手法を用いる等して除去してもよい。これらの位相変化の除去は、観測対象等に応じて適宜行われればよい。
　位相取得部３１２において、位相を収める形式としては、例えば、絶対値が１となるように正規化された複素数の形式を用いる。つまり、上記の方法で算出した位相を偏角として持つ複素数とすることができる。このような形式を用いれば、位相のラッピングによる影響を考えずにクラスタリングを行うことができる。
　クラスタリング部３１３は、安定反射点の各々の位置関係および、安定反射点の各々の間の位相の相関に基づいて、安定反射点の各々をクラスタリングする。すなわち、クラスタリング部３１３は、安定反射点特定部３１１において特定された安定反射点となる画素の位置と、位相取得部３１２によって特定された位相の配列を入力として、安定反射点の各々をクラスタリングする。
　内積特定部３１４は、クラスタリング部３１３において、安定反射点の各々の間の位置の関係および、安定反射点の各々の間の位相の相関を評価に用いられる内積を特定（算出）する。
　図３Ｃは、本実施形態に係る画像処理システムに含まれる画像処理装置の内積特定部の構成を示すブロック図である。内積特定部３１４は、位相特徴量内積算出部３４１、位置特徴量内積算出部３４２および乗算部３４３を有する。
　位相特徴量内積算出部３４１は、位相の配列に関する特徴量の内積をとる。位置特徴量内積算出部３４２は、安定反射点位置に関する特徴量の内積をとる。ここで算出された関数（内積）は、クラスタリング部３１３から適宜呼び出される。内積特定部３１４は、安定反射点の位置と位相の配列とに基づき、位置と位相の配列とに基づく内積として計算結果を出力する。
　ここで、内積特定部３１４から算出される内積は、仮に安定反射点Ａと安定反射点Ｂとが存在したときに、２点間の特徴量に関する距離を定義する。すなわち、（安定反射点Ａと安定反射点Ａとの内積）－２×（安定反射点Ａと安定反射点Ｂとの内積）＋（安定反射点Ｂと安定反射点Ｂとの内積）で算出される量の平方根をもって、２点における特徴量のユークリッド距離とすることができる。
　本実施形態においては、内積関数で定義された内積を安定反射点特徴量の内積と呼び、内積関数で定義された距離を安定反射点特徴量の距離と呼ぶ。自分同士の内積が小さく、他の点との内積が大きくなるほど距離が離れ、２つの安定反射点が関係している程度が小さいと判断する。
　位相特徴量内積算出部３４１は、安定反射点の各々の位相の相関を評価する。また、位置特徴量内積算出部３４２は、安定反射点の各々間の位置関係を評価する。
　位相特徴量内積算出部３４１と位置特徴量内積算出部３４２とのそれぞれにおける内積関数は、特徴量への変換と内積の計算とをまとめた２変数関数として定義される。特徴量の内積として用いられる２変数関数としては、対称性および正定値性という２つの性質が満たされていれば、どのような関数を選んでも対応する特徴量が存在することが一般に知られている。
　本実施系形態では、位相特徴量内積算出部３４１は、位相が同期するほど、安定反射点特徴量の距離が短くなるように内積関数を特定する。また、位置特徴量内積算出部３４２は、安定反射点の位置が接近するほど、安定反射点特徴量の距離が短くなるように内積関数を特定する。
　位相特徴量内積算出部３４１は、２つの安定反射点における位相の配列を入力として、例えば、それらの相関の２乗を位相特徴量の内積として特定する。ここで、相関とは、複素数で与えられた２つの位相の配列に対して内積をとり、この内積の絶対値をノルムで正規化したものである。すなわち、安定反射点ｍにおける位相の配列を列ベクトル
Figure JPOXMLDOC01-appb-M000001
 、
安定反射点ｎにおける位相の配列を列ベクトル
Figure JPOXMLDOC01-appb-M000002
 に格納しているとする。すると、位相特徴量の内積は、
Figure JPOXMLDOC01-appb-M000003
 で与えられる。この位相特徴量の内積は、安定反射点ｍと安定反射点ｎとが類似した位相変化を持っている場合に大きくなり、全く同じであれば１になる。結果として、位置特徴量内積特定部３４１の出力が同じであれば、安定反射点ｍと安定反射点ｎとが類似した位相変化を持っているほど、安定反射点特徴量の距離としては短くなる。
　位相特徴量の内積としては、上記の相関を変形したものも使える場合がある。例えば、
Figure JPOXMLDOC01-appb-M000004
 に対して、定数を足してもよいし、正の係数を持つ多項式を適用するといった操作を行ってもよい。
　また、上記の内積から１減算したものに対して単調増加の指数関数を適用してもよいし、上記の内積を１から減算したものに対して平方根をとり、単調増加の指数関数を適用してもよい。ここで挙げた例のいずれも、位相変化が類似するほど、安定反射点特徴量の距離としては短くなるので、本実施形態の位相特徴量内積特定部３４１における内積関数として用いることができる。
　位置特徴量内積算出部３４２は、２つの安定反射点の位置を入力とし、例えば、それらの安定反射点間の位置に関する距離が長くなるほど小さくなる（単調減少）ような関数を適用した結果を内積とすることができる。例えば、安定反射点間の位置に関するユークリッド距離に対して、ガウス関数を適用したものを位置特徴量の内積としてもよい。すなわち、安定反射点ｍの位置を
Figure JPOXMLDOC01-appb-M000005
 とし、安定反射点ｎの位置を
Figure JPOXMLDOC01-appb-M000006
 としたとき、σをパラメータとしたガウス関数
Figure JPOXMLDOC01-appb-M000007
 を、位置特徴量の内積としてもよい。
　また、正定値行列Σの逆行列Σ－１を用いて、
Figure JPOXMLDOC01-appb-M000008
 を位置特徴量の内積としてもよい。
　また、安定反射点の位置に関するユークリッド距離を二乗せずに指数関数を適用して
Figure JPOXMLDOC01-appb-M000009
 を位置特徴量の内積としてもよい。
　以上で挙げた全ての位置特徴量の内積の例は、全ての安定反射点の位置に関するユークリッド距離が離れるほど０に近づき、完全に同一の位置に関しては１になる関数である。この内積を用いて安定反射点特徴量の距離を求めると、位置が接近するほど安定反射点特徴量の距離が短くなる。
　安定反射点間の位置に関する距離が長くなるほど小さくなるような関数でない場合にも、位置特徴量に関する内積として使える場合がある。例えば、安定反射点の位置ベクトルに関する内積
Figure JPOXMLDOC01-appb-M000010
 を位置特徴量の内積としてもよい。この場合にも、安定反射点同士が画像上で近接するほど、安定反射点特徴量の距離としては短くなるため、位置特徴量内積算出部３４２で用いることができる。
　図３Ｄは、本実施形態に係る画像処理システムに含まれる画像処理装置のクラスタリング部の構成を示すブロック図である。クラスタリング部３１３は、初期クラスタ生成部３３１、内積適用部３３２および分類部３３３を有する。
　内積適用部３３２は、安定反射点各々の位置と、安定反射点各々における位相の配列と、を入力とし、安定反射点群の組み合わせに対して内積関数を適用する。この際、全ての組み合わせに対する内積を計算してもよいし、他の知識に基づき内積が０になることが明らかである部分について計算を省略してもよい。
　例えば、位置特徴量内積として画像上の安定反射点間の位置に関するユークリッド距離にガウス関数を適用したものを用いる場合に、ある程度離れている点同士では内積がほぼ０になるため、計算を省略し、離れた点の内積を全て０にしてもよい。
　初期クラスタ生成部３３１は、安定反射点の各々に対する初期クラスタの割当を行う。初期クラスタの配分については、例えば、利用者等によってあらかじめ指定された数の初期クラスタを生成する。初期クラスタ生成部３３１は、生成される初期クラスタの数に関する指定がない場合には、生成する初期クラスタの数を適宜決定して初期クラスタを生成してもよい。
　初期クラスタの割当方法については、完全にランダムに決めてもよいし、安定反射点各々の位置に基づいて、各クラスタの中心の位置がなるべく等間隔に並ぶように決めてもよい。また、内積適用部３３２において、算出された内積に基づき、内積で定義される距離が互いにできる限り離れるような安定反射点を数点選び、それらをクラスタの代表点として、各安定反射点を一番近い代表点を持つクラスタに分配してもよい。
　分類部３３３は、例えば、以下のように安定反射点を分類する。分類部３３３では、クラスタのセントロイドとクラスタとに属する各安定反射点との安定反射点特徴量の距離の二乗和が最小となるようにクラスタを分割する。ここで、セントロイドとは、クラスタを構成する安定反射点との、内積特定部３１４によって定義される安定反射点特徴量の距離二乗和が最小となるような特徴量である。このような分類を実現するために、Ｋｅｒｎｅｌ　Ｋ－ｍｅａｎｓと呼ばれる手法を用いる。
　Ｋｅｒｎｅｌ　Ｋ－ｍｅａｎｓでは、セントロイドの算出と、セントロイドと各点の特徴量に関する距離の二乗の算出を統合することにより、特徴量の算出を経ることなく内積関数のみを用いて、下記のように算出する。
Figure JPOXMLDOC01-appb-M000011
 　ここで、ｐは、距離を評価する対象となるデータ点で、添え字のｍは、評価対象のデータのインデックス、Ｃは、クラスタ、２変数関数Ｋは、データ点の特徴量に関する内積関数を表している。本実施形態では、データ点ｐとして安定反射点を用い、内積関数Ｋとして提案の内積特定部３１４で定義されている内積関数を用いる。
　また、セントロイドの抽出にあたって、どの点との距離を重視したかを用いた重み付けを行っても構わない。この場合には、距離の二乗は次のように算出される。ｗ（ｐ）は、点ｐに対する重みである。
Figure JPOXMLDOC01-appb-M000012
 　Ｋｅｒｎｅｌ　Ｋ－ｍｅａｎｓを用いた本実施形態のクラスタリング手法は、以下のように、安定反射点を分類する。まず、初期クラスタ生成部３３１において生成されたクラスタ情報と、内積適用部３３２で内積特定部３１４において算出された安定反射点特徴量の内積を入力とし、各クラスタのセントロイドと各安定反射点との間での安定反射点特徴量の距離二乗を算出する。
　そして、分類部３３３は、安定反射点の各々を安定反射点特徴量の距離二乗が最も小さくなるセントロイドと対応するクラスタへ再分配する。この分類によって、各々のクラスタに属する安定反射点が更新される。
　分類部３３３は、上述した動作を繰り返し行ってもよい。すなわち、再分類されて属する安定反射点が更新されたクラスタの各々に対して、分類部３３３は、再び再分類を行う。これを繰り返すことによって、全ての安定反射点が、セントロイドとの安定反射点特徴量の距離の二乗和が最小となるようなクラスタに分類される。
　乗算部３４３は、安定反射点各々の間の位置関係と位相の相関とに関する評価を統合する。
　図４Ａは、本実施形態に係る画像処理システムに含まれる画像処理装置が有するＳＡＲ画像テーブルおよび安定反射点テーブルの一例を示す図である。ＳＡＲ画像テーブル４０１は、ＳＡＲ画像ＩＤ（Identifier）４１１に関連付けて、反射点ＩＤ４１２、輝度４１３、位置４１４および位相４１５を記憶する。ＳＡＲ画像ＩＤ４１１は、ＳＡＲ画像を識別するための識別子である。反射点ＩＤ４１２は、ＳＡＲ画像に含まれる反射点を識別するための識別子である。輝度４１３は、反射点の輝度であり、位置４１４は、反射点の位置であり、位相４１５は、反射点の位相である。安定反射点テーブル４０２は、ＳＡＲ画像ＩＤ（Ａ０００１）４２１およびＳＡＲ画像ＩＤ（Ａ０００２）４２２に関連付けて、安定反射点ＩＤ４２３、位置４２４および位相配列４２５を記憶する。安定反射点ＩＤ４２３は、複数のＳＡＲ画像から特定された安定反射点を識別するための識別子である。位置４２４および位相配列４２５は、各安定反射点における位置および位相配列である。
　図４Ｂは、本実施形態に係る画像処理システムに含まれる画像処理装置が有する位置内積テーブルおよび位相配列内積テーブルの一例を示す図である。位置内積テーブル４０３は、安定反射点の位置に関する内積を記憶する。位相配列内積テーブル４０４は、安定反射点の位相配列に関する内積を記憶する。内積の計算は、例えば、ＳＡＲ画像内の安定反射点同士の位置（または位相配列）の特徴量に関する距離などについて行われる。
　図４Ｃは、本実施形態に係る画像処理システムに含まれる画像処理装置が有する初期クラスタテーブルおよびクラスタテーブルの一例を示す図である。初期クラスタテーブル４０５は、安定反射点ＩＤ４２３に関連付けて初期クラスタＩＤ４５３を記憶する。初期クラスタは、位置の内積および位相配列の内積を用いて決定される。クラスタテーブル４０６は、安定反射点ＩＤ４２３に関連付けてクラスタＩＤ４６１を記憶する。クラスタＩＤ４６１は、各安定反射点が分類されるクラスタを識別する識別子である。画像処理装置３１０は、初期クラスタに割り当てられた安定反射点のクラスタリングを繰り返す。画像処理装置３１０は、クラスタリングを繰り返すことにより、安定反射点が割り当てられるクラスタを更新する。これにより、最終的なクラスタが決定される。そして、画像処理装置３１０は、これらのテーブル４０１～４０６を参照して、安定反射点をクラスタリングする。
　図５は、本実施形態に係る画像処理システムに含まれる画像処理装置のハードウェア構成を示すブロック図である。ＣＰＵ(Central Processing Unit)５１０は演算制御用のプロセッサであり、プログラムを実行することで図３Ａ乃至図３Ｄの画像処理装置３１０の機能構成部を実現する。ＲＯＭ(Read Only Memory)５２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース５３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ５１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース５３０は、ＣＰＵ５１０とは独立したＣＰＵを有して、ＲＡＭ(Random Access Memory)５４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ５４０とストレージ５５０との間でデータを転送するＤＭＡＣ(Direct Memory Access Controller)を設けるのが望ましい（図示なし）。さらに、入出力インタフェース５６０は、ＣＰＵ５１０とは独立したＣＰＵを有して、ＲＡＭ５４０の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、ＣＰＵ５１０は、ＲＡＭ５４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ５１０は、処理結果をＲＡＭ５４０に準備し、後の送信あるいは転送はネットワークインタフェース５３０やＤＭＡＣ、あるいは入出力インタフェース５６０に任せる。
　ＲＡＭ５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。ＳＡＲ画像４０１は、ＳＡＲ画像記憶部３２０から取得したＳＡＲ画像である。安定反射点５４２は、ＳＡＲ画像から特定した安定反射点である。位相５４３は、安定反射点における位相（位相配列）である。内積５４４は、安定反射点に関する内積である。クラスタ５４５は、安定反射点がクラスタリングされたクラスタである。
　入出力データ５４６は、入出力インタフェース５６０を介して入出力されるデータである。送受信データ５４７は、ネットワークインタフェース５３０を介して送受信されるデータである。また、ＲＡＭ５４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域５４８を有する。
　ストレージ５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ５５０は、安定反射点テーブル４０２を格納する。安定反射点テーブル４０２は、図４Ａに示した、ＳＡＲ画像ＩＤ４２１と安定反射点ＩＤ４２３などとの関係を管理するテーブルである。クラスタテーブル４０６は、図４Ｃに示した、安定反射点ＩＤ４２３とクラスタＩＤ４６１との関係を管理するテーブルである。ストレージ５５０は、さらに、安定反射点特定モジュール５５１、位相取得モジュール５５２、内積特定モジュール５５３およびクラスタリングモジュール５５４を格納する。
　安定反射点特定モジュール５５１は、ＳＡＲ画像の安定反射点を特定するモジュールである。位相取得モジュール５５２は、各安定反射点の位相を特定するモジュールである。内積特定モジュール５５３は、内積を特定するモジュールである。クラスタリングモジュール５５４は、安定反射点をクラスタリングするモジュールである。
　ストレージ５５０は、さらに、位相特徴量内積特定モジュール５５３１、位置特徴量内積特定モジュール５５３２および乗算モジュール５５３３を格納する。位相特徴量内積特定モジュール５５３１は、位相特徴量の内積を特定するモジュールである。位置特徴量内積特定モジュール５５３２は、位置特徴量の内積を特定するモジュールである。乗算モジュール５５３３は、安定反射点各々の間の位置関係と位相の相関とに関する評価を統合するモジュールである。
　また、内積適用モジュール５５４１は、安定反射点群の組み合わせに対して内積関数を適用するモジュールである。初期クラスタ生成モジュール５５４２は、安定反射点の各々に対する初期クラスタの割当を行うモジュールである。分類モジュール５５４３は、安定反射点を分類するモジュールである。
　これらのモジュール５５１～５５４，５５３１～５５３３，５５４１～５５４３は、ＣＰＵ５１０によりＲＡＭ５４０のアプリケーション実行領域５４８に読み出され、実行される。制御プログラム５５５は、画像処理装置３１０の全体を制御するためのプログラムである。
　入出力インタフェース５６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース５６０には、表示部５６１、操作部５６２、が接続される。また、入出力インタフェース５６０には、さらに、記憶媒体５６４が接続されてもよい。さらに、音声出力部であるスピーカ５６３や、音声入力部であるマイク、あるいは、ＧＰＳ（Global Positioning System）位置判定部が接続されてもよい。なお、図５に示したＲＡＭ５４０やストレージ５５０には、画像処理装置３１０が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。
　図６Ａは、本実施形態に係る画像処理システムに含まれる画像処理装置の処理手順を説明するフローチャートである。図６Ｂは、本実施形態に係る画像処理システムに含まれる画像処理装置によるクラスタ算出の処理手順を説明するフローチャートである。これらのフローチャートは、ＣＰＵ５１０がＲＡＭ５４０を使用して実行し、図３Ａ乃至図３Ｄの画像処理装置３１０の機能構成部を実現する。
　ステップＳ６０１において、画像処理装置３１０の安定反射点特定部３１１は、ＳＡＲ画像を入力として安定反射点を特定する。ステップＳ６０３において、画像処理装置３１０の位相取得部３１２は、安定反射点の各々における位相を取得する。位相取得部３１２は、例えば、位相配列を算出して位相を取得する。
　ステップＳ６０５において、画像処理装置３１０は、全ての安定反射点間での安定反射点特徴量の内積を算出する。クラスタリング部３１３の内積適用部３３２は、内積関数に基づいて全ての安定反射点間での、安定反射点特徴量の内積を、内積特定部３１４を用いて計算する。
　ステップＳ６０７において、クラスタリング部３１３の初期クラスタ生成部３３１は、安定反射点の位置や安定反射点特徴量の内積等に基づいて初期クラスタの割当を決定する。なお、安定反射点特徴量の内積を初期クラスタ生成に用いない場合には、ステップＳ６０５とステップＳ６０７とは前後しても、あるいは同時に実行してもよい。
　ステップＳ６０９において、クラスタリング部３１３の分類部３３３は、初期クラスタ生成部３３１で生成された初期クラスタと、内積適用部３３２において算出された安定反射点全ての間での安定反射点特徴量の内積と、に基づいて、各クラスタのセントロイドと各クラスタを構成する安定反射点との安定反射点特徴量の距離の二乗和が最小となるようにクラスタを分類する。
　ここで、ステップＳ６０９において、Ｋｅｒｎｅｌ　Ｋ－ｍｅａｎｓ法に基づいて分類を行う場合、分類部３３３は図６Ｂに示すフローチャートに従って動作する。
　ステップＳ６２１において、画像処理装置３１０の分類部３３３は、初期クラスタ生成部３３１によって生成された各クラスのセントロイドと、各安定反射点の間での安定反射点特徴量の距離の二乗と、を計算する。これらの計算は、内積適用部３３２において算出された全安定反射点に関する安定反射点特徴量の内積に基づいて行われる。
　ステップＳ６２３において、画像処理装置２１０は、安定反射点の各々について、ステップＳ６２１において算出された安定反射点特徴量の距離の二乗が最も小さくなるようなセントロイドを探し、そのセントロイドに対応するクラスタへ再割り当てする。
　ステップＳ６２５において、画像処理装置３１０は、収束したか否かを判定する。収束したと判定した場合（ステップＳ６２５のＹＥＳ）、画像処理装置３１０は、処理を終了する。収束していないと判定した場合（ステップＳ６２５のＮＯ）、画像処理装置３１０は、ステップＳ６２１に戻る。
　ここで、収束している場合とは、例えば、クラスタの割当が変化しない場合である。また、多少割当が変化している場合にも、割り当ての変化が起こる点数が少なければ収束していると判定してもよい。また、割り当てが変化しているか否かを判定しなくても、既知の知識からどの程度の回数で収束しているのかを予測し、既定の回数の繰り返しを終えたら収束していると判定してもよい。以上の動作により、安定反射点のクラスタが算出される。
　本実施形態によれば、ＳＡＲ画像中の点と構造物との対応付けが容易になる。また、レイオーバーが発生している場所の点群を別のクラスタとして表示できるので、地理的に全く離れた場所にある安定反射点を誤って同じ構造物と対応付けることを防止できる。さらに、構造物ごとに安定反射点がまとめられるので、膨大な量の安定反射点それぞれを対応付ける必要がなく、少数のクラスタと構造物との対応付けを検証するだけで済む。
　［第３実施形態］
　次に本発明の第３実施形態に係る画像処理システムについて、図７乃至図１０Ｂを用いて説明する。図７は、本実施形態に係る画像処理システムの構成を説明するための図である。本実施形態に係る画像処理システムは、上記第２実施形態と比べると、画像処理システムに含まれる画像処理装置がクラスタリング部３１３に代えてクラスタリング部７１３を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
　画像処理システム７００は、画像処理装置７１０とＳＡＲ画像記憶部３２０とを備える。画像処理装置７１０は、安定反射点特定部３１１、位相取得部３１２、クラスタリング部７１３および内積特定部３１４を有する。クラスタリング部７１３は、内積特定部３１４で特定された内積に基づいて、安定反射点をクラスタリングする。
　クラスタリング部７１３は、内積適用部７３１、グラフ生成部７３２、クラスタ蓄積部７３３、条件判定部７３４、部分グラフ抽出部７３５およびグラフ分割部７３６を有する。
　内積適用部７３１は、安定反射点のペアに対して内積特定部３１４で特定した内積関数を適用して安定反射点特徴量の内積を計算する。ただし、他の知識から内積が０に近くなることが明らかであるならば、その内積については計算する必要はない。
　グラフ生成部７３２は、安定反射点の各々をノードとして持ち、エッジに重みとして安定反射点特徴量の内積を持つようなグラフを生成する。つまり、グラフ生成部７３２は、安定反射点同士を結ぶ重み付き無向グラフを生成する。ここで、重み付き無向グラフは、安定反射点をノードとし、各安定反射点を結ぶエッジに重みの情報として、内積適用部７３１で算出した安定反射点特徴量の内積を持つグラフである。
　このとき、グラフ上で接続する安定反射点の組に関しては、内積特定部３１４で内積が算出されている全ての安定反射点の組を接続してもよい。また、内積適用部７３１で計算した安定反射点特徴量の内積の値に基づき、安定反射点特徴量の内積が一定以上に大きい安定反射点の組を接続してもよい。
　また、安定反射点の位相情報に基づき、ある一定以上に相関している位相を持つ安定反射点の組を接続してもよい。さらに、他の地理空間情報や事前知識等に基づき、関連が薄いと判断される安定反射点の組を接続しないようにしてもよい。以上のような方法で算出された安定反射点同士を接続するエッジ各々に対して、そのエッジが直接結び付ける安定反射点の間での安定反射点特徴量の内積をエッジの重みとして設定する。
　なお、グラフ生成部７３２では、内積適用部７３１で算出された内積に基づいてグラフを生成することができる。しかしながら、これとは反対に、既知の情報等からグラフ生成部７３２であらかじめ接続関係を定義できるのであれば、これに基づいて内積を計算する安定反射点のペアを決定してもよい。その場合には、グラフ生成部７３２で生成するグラフ上で直接接続するエッジが存在する安定反射点間で内積の計算を行ってもよい。
　クラスタ蓄積部７３３は、クラスタの分割が終了していないクラスタ情報を保持する。クラスタリング開始時には、クラスタへの分割がされる前の初期値として、全ての安定反射点を要素とする１つのクラスタを保持してもよいし、何かしらの既知情報に基づいて分割されたクラスタを保持してもよい。
　クラスタ蓄積部７３３は、各繰り返しで分割されたクラスタを順番に蓄積する機能と、蓄積されたクラスタを再分割するために１つずつ順番に取り出す機能を持つ。ここで、取り出すとは、クラスタ情報を出力し、クラスタ蓄積部７３３内からは消去することをいう。蓄積する順番と取り出す順番とについては、最初に蓄積されたものが最初に取り出されるＦＩＦＯ（First In First Out）方式を用いてもよいし、最初に蓄積されたものが最後に取り出されるＦＩＬＯ（First In Last Out）方式を用いてもよい。
　また、何かしらの手段での優先度付けを行って取り出してもよい。例えば、蓄積されているクラスタについて最大の要素数を持つクラスタのセントロイドと安定反射点について、安定反射点特徴量の距離等に基づいて、分割が十分に行われていないものが優先的に取り出されるようにしてもよい。あるいは、クラスタの安定反射点同士を接続するエッジの重みを見て、その平均や最小値等が大きいものから取り出すようにしてもよい。
　部分グラフ抽出部７３５は、グラフ生成部７３２で生成されたグラフ全体から、これから分割するクラスタに属する安定反射点に関する部分グラフを抽出する。すなわち、部分グラフ抽出部７３５は、クラスタ蓄積部７３３からクラスタを受け取り、グラフ生成部７３２から安定反射点全体のグラフを受け取り、クラスタを構成する安定反射点同士の接続を表すグラフを抽出する。
　条件判定部７３４は、クラスタの分割が完了したか否かを判定する。つまり、条件判定部７３４は、クラスタが終了条件を満たしているか否かを判定する。終了条件を満たしていないクラスタに対しては、再度分割が行われるようにクラスタ蓄積部７３３へ蓄積する。終了条件を満たしているクラスタについては確定したクラスタとして順次出力し、再分割が行われないようにするため、クラスタ蓄積部７３３へ蓄積しない。
　終了条件としては、クラスタを構成する安定反射点の数が少なくなった場合に分割を停止するようにしてもよい。また、クラスタ内で安定反射点同士、あるいはクラスタのセントロイドと安定反射点との間で、安定反射点特徴量の距離を算出し、算出した距離が小さい場合に分割を停止してもよい。また、クラスタ内で安定反射点間の位置に関する距離が十分に小さくなった場合に分割を停止してもよい。
　グラフ分割部７３６は、グラフを分割することによりクラスタを分割する。グラフ分割部７３６は、取り出された部分グラフに対して、エッジの重みに基づいた分割を行う。エッジの重みに基づいた分割方法としては、例えば、カットの重みに基づいた分割を行う。
　ここで、カットとはグラフを構成するノード集合を２つに分割したときの、この分割された集合のペアのことをいう。カットの重みとは、カットを構成する２つのノード集合に対して、一方のノード集合に属するノードと他方のノード集合に属するノードとを接続する、全てのエッジの重みの合計値を算出したものである。すなわち、下記数式（１３）のようにして算出したものである。ここで、ｗｉ，ｊは、ノードｉからノードｊへの接続エッジが存在する場合にはエッジの重みであり、接続がない場合には０となる数値である。また、分割された２つのノード集合をＡ、Ｂとしている。
Figure JPOXMLDOC01-appb-M000013
 　分割は、カットの重みを何かしらの手段で正規化して求まる指標が最小となるように行う。例えば、Normalized Cutと呼ばれる指標は、カットを構成する２つのノード集合各々について、カットの重みを、ノード集合各々を構成するノードから直接接続されるエッジの重みの総和により割ることで正規化する。そして、こうして得られた２つの正規化されたカットの重みの和を取ったもののことである。すなわち、下記数式（１４）のように算出したものである。ここで、ｗｉ，ｊは安定反射点ｉから安定反射点ｊへの接続エッジが存在する場合にはエッジの重みであり、接続がない場合には０となる数値である。また、分割される前のノードの集合をＶ、２つのノード集合をＡ、Ｂとしている。　
Figure JPOXMLDOC01-appb-M000014
 　この指標を用いることにより、分割された各々のノード集合が小さくなり過ぎず、かつ接続の弱いエッジで切断されたような分割結果を得ることができる。また、単にカットを構成する２つのノード集合の間でのエッジの総数で正規化したものを最小化して分割を行ってもよい。
　また、例えば、安定反射点間の距離に基づいて定義された別のエッジ重みを定義しておき、定義されたエッジ重みに対するカットの重みで正規化したものを最小化するように分割を行ってもよい。このようにすることで、クラスタリング後の点の密集度合を調整することができる。分割により得られた２つの安定反射点の集合は、新しいクラスタとしてクラスタ蓄積部７３３に蓄積される。
　以降、クラスタ蓄積部７３３からの取り出しと部分グラフ抽出、停止条件の判定、分割を、全てのクラスタが停止条件を満たして出力され、クラスタ蓄積部７３３内にクラスタが残らない状態になるまで繰り返す。以上の繰り返しが終了するまでに出力されたクラスタ情報が、最終的なクラスタリング結果である。
　図８Ａは、本実施形態に係る画像処理システムに含まれる画像処理装置が有する生成グラフテーブルの一例を示す図である。生成グラフテーブル８０１は、安定反射点ＩＤ４２３などに関連付けて生成グラフ８１１を記憶する。生成グラフ８１１は、安定反射点同士を結ぶ重み付き無向グラフである。
　図８Ｂは、本実施形態に係る画像処理システムに含まれる画像処理装置が有する分割グラフテーブルおよびクラスタテーブルの一例を示す図である。分割グラフテーブル８０２は、生成グラフ８１１に関連付けて、分割グラフ１（８２１）、クラスタＩＤ－１（８２２）、分割グラフ２（８２３）、クラスタＩＤ－２（８２４）、分割グラフＮ（８２５）およびクラスタＩＤ－Ｎ（８２６）を記憶する。クラスタテーブル８０３は、安定反射点ＩＤ４２３に関連付けて、分割グラフＮ（８２５）およびクラスタＩＤ－Ｎ（８２６）を記憶する。
　例えば、ここでは、分割グラフＮ（８２５）は、生成グラフ８１１の２分割を所定回数繰り返すことにより生成される。すなわち、初期状態においては、各安定反射点は、生成グラフ内に割り当てられているが、生成グラフを複数のグラフに分割することにより、類似の安定反射点同士を同じクラスタにクラスタリングする。なお、ここでは、生成グラフを２分割する例で説明をしたが、生成グラフの分割は、２分割には限定されず、例えば、３分割以上であってもよい。
　図９は、本実施形態に係る画像処理システムに含まれる画像処理装置のハードウェア構成を示すブロック図である。ＲＡＭ９４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ９４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。生成グラフ９４１は、グラフ生成部７３２により生成されたグラフである。部分グラフ９４２は、部分グラフ抽出部７３５により抽出された、クラスタを構成する安定反射点同士の接続を表すグラフである。分割グラフ９４３は、グラフ分割部７３６により分割されたグラフである。
　ストレージ９５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ９５０は、分割グラフテーブル８０２およびクラスタテーブル８０３を格納する。分割グラフテーブル８０２は、図８Ｂに示した、生成グラフ８１１と分割グラフ１（８２１）などとの関係を管理するテーブルである。クラスタテーブル８０３は、図８Ｂに示した、安定反射点ＩＤ４２３とクラスタＩＤ－Ｎ（８２６）などとの関係を管理するテーブルである。ストレージ９５０は、さらに、クラスタリングモジュール９５４、グラフ生成モジュール９５４２、条件判定モジュール９５４３、部分グラフ抽出モジュール９５４４およびグラフ分割モジュール９５４５を格納する。
　グラフ生成モジュール９５４２は、安定反射点同士を結ぶ重み付き無向グラフを生成するモジュールである。条件判定モジュール９５４３は、クラスタが終了条件を満たしているか否かを判定するモジュールである。部分グラフ抽出モジュール９５４４は、クラスタを構成する安定反射点同士の接続を表すグラフを抽出するモジュールである。グラフ分割モジュール９５４５は、部分グラフに対して、エッジの重みに基づいた分割を行うモジュールである。これらのモジュール９５４２～９５４５、ＣＰＵ５１０によりＲＡＭ９４０のアプリケーション実行領域５４８に読み出され、実行される。
　図１０Ａは、本実施形態に係る画像処理システムに含まれる画像処理装置の処理手順を説明するフローチャートである。図１０Ｂは、本実施形態に係る画像処理システムに含まれる画像処理装置によるグラフの分割の処理手順を説明するフローチャートである。これらのフローチャートは、ＣＰＵ５１０がＲＡＭ９４０を使用して実行し、図７の画像処理装置７１０の機能構成部を実現する。
　ステップＳ６０５において、画像処理装置７１０の内積適用部７３１は、内積特定部３１４により特定された内積関数を用いて、安定反射点間における安定反射点特徴量の内積を算出する。ステップＳ１００１において、画像処理装置７１０のグラフ生成部７３２は、上述の内積を重みとしてもつグラフを生成する。ステップＳ１００３において、カットの重みに関する指標が最小化するようにグラフを繰り返し分割する。分割された結果がクラスタとして出力される。
　次に、ステップＳ１００３におけるグラフの繰り返し分割について、図１０Ｂを参照して説明する。ステップＳ１０２１において、画像処理装置７１０は、分割の開始時に分割開始前のクラスタ情報をクラスタ蓄積部７３３に蓄積する。上述したとおり、全ての安定反射点を要素に持つ１つのクラスタを蓄積してもよいし、既知の上情報に基づいて分割したものを蓄積してもよい。
　ステップＳ１０２３において、画像処理装置７１０は、クラスタ蓄積部７３３からクラスタを１つ取り出し、グラフ生成部７３２で算出された全安定反射点に関するグラフから、取り出されたクラスタ内での安定反射点同士に関する結合を表す部分グラフを抽出する。ここで取り出されたクラスタの情報は、クラスタ蓄積部７３３内からは一旦削除される。
　ステップＳ１０２５において、画像処理装置７１０の条件判定部７３４は、取り出されたクラスタが分割停止条件を満たすのか否かを判定する。上述したとおり、クラスタ構成要素の結合度合いを表す何かしらの指標によって分割停止を決定してもよい。また、特定の繰り返し回数を超えている場合を持って分割停止を決定してもよいし、算出されたクラスタの数をもって分割停止を決定してもよい。
　分割停止条件を満たす場合（ステップＳ１０２５のＹＥＳ）、画像処理装置７１０は、ステップＳ１０２７に進む。ステップＳ１０２７において、画像処理装置７１０は、分割が完了したクラスタとして出力する。この場合には、クラスタ蓄積部７３３内には戻らないため、この確定したクラスタに属していた安定反射点のクラスタ割当ては以降変化しないようになる。
　分割停止条件を満たさない場合（ステップＳ１０２５のＮＯ）、画像処理装置７１０は、ステップＳ１０２９に進む。ステップＳ１０２９において、画像処理装置７１０は、カットの重みに関する指標を最小化するようなカットでクラスタを分割し、分割されたクラスタを新しいクラスタとしてクラスタ蓄積部７３３に蓄積する。
　ステップＳ１０３１において、画像処理装置７１０は、クラスタ蓄積部７３３にクラスタが残っているか否かを判定する。クラスタが残っている場合（ステップＳ１０３１のＮＯ）、画像処理装置７１０は、ステップＳ１０２３に戻り、再度残っているクラスタに対する分割を行う。
　クラスタが残っていない場合（ステップＳ１０３１のＹＥＳ）、全ての安定反射点のクラスタへの分割が完了したことになるので、画像処理装置７１０は、処理を終了する。このようにして順次出力されたクラスタが、本実施形態におけるクラスタリングの結果である。
　本実施形態によれば、クラスタの分割を停止する条件を柔軟に設定することができ、その条件を満たすクラスタになっていることを確実に保証できる。これにより、どの程度の位置や変動、高さが一致したクラスタを抽出するかを調整することができるので、抽出したい構造物の細かさ、つまり、ビル全体を抽出したいか、ビルの細かい凹凸構造を抽出したいかといった調整が可能になる。
　［第４実施形態］
　次に本発明の第４実施形態に係る画像処理システムについて、図１１を用いて説明する。図１１は、本実施形態に係る画像処理システムの構成を説明するための図である。本実施形態に係る画像処理システムは、上記第３実施形態と比べると、分割順記録部を有する点で異なる。その他の構成および動作は、第２実施形態および第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
　画像処理システム１１００は、画像処理装置１１１０およびＳＡＲ画像記憶部３２０を備える。画像処理装置１１１０は、分割順記録部１１１１を有する。分割順記録部１１１１は、グラフ分割部７３６から分割前のクラスタ情報と分割後のクラスタ情報とを受け取り、どのクラスタがどの順で分割されたかを保存する。保存する形式としては、例えば、ツリー構造を利用することができる。
　すなわち、分割前のクラスタを親ノードとし、分割後のクラスタを子ノードとして、木構造を作る。最終的にクラスタリングが完了した時点で、行った全ての分割が保存されることになる。この分割順の記録は、例えば、クラスタリング後にクラスタ数を調整するという用途で用いることができる。つまり、例えば、細かすぎるクラスタに分かれていると判断した場合に、木構造をさかのぼって、分割数が少ないときのクラスタリング結果を取り出すことができる。
　本実施形態によれば、細かいクラスタに分割しすぎていると判断される場合に、分割順をたどって、より大きなクラスタへと調整することができる。また、見るクラスタの細かさを変えながら処理を行いたい場合に、あらかじめ細かいクラスタへの分割と、本実施形態のツリー構造を求めておくことによって、新しく計算し直すことなく、様々な細かさでのクラスタを処理することができる。ビル全体のクラスタ抽出と、細かいビル上の凹凸への絞り込みを適宜行うことができる。
　［第５実施形態］
　次に本発明の第５実施形態に係る画像処理システムについて、図１２乃至図１３Ｂを用いて説明する。図１２は、本実施形態に係る画像処理システムの構成を説明するための図である。本実施形態に係る画像処理システムは、上記第２実施形態乃至第４実施形態と比べると、クラスタリング部３１３およびクラスタリング部７１３に代えてクラスタリング部１２１３を有する点で異なる。その他の構成および動作は、第２実施形態乃至第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
　画像処理システム１２００は、画像処理装置１２１０とＳＡＲ画像記憶部３２０とを備える。画像処理装置１２１０は、クラスタリング部１２１３を有する。クラスタリング部１２１３は、内積適用部１２３１、グラフ生成部１２３２、グラフ特徴量特定部１２３３、初期クラスタ生成部１２３４および分類部１２３５を有する。
　内積適用部１２３１は、安定反射点のペアに対して安定反射点特徴量の内積を計算する。すなわち、内積適用部１２３１は、第２実施形態と同様に、安定反射点間における安定反射点特徴量の内積を算出する。
　グラフ生成部１２３２は、安定反射点の各々をノードとして持ち、エッジの重みとして安定反射点特徴量の内積を持つようなグラフを生成する。すなわち、グラフ生成部１２３２は、第２実施形態と同様に、安定反射点同士を結ぶ重み付き無向グラフを生成する。
　グラフ特徴量特定部１２３３は、グラフ生成部１２３２で生成されたグラフから、各安定反射点におけるグラフ上の接続関係についての特徴量を特定する。ここで、グラフ特徴量とは、各安定反射点から他の安定反射点への接続関係に関する特徴量である。すなわち、類似したグラフ特徴量を持つ安定反射点は、共通して強く接続している安定反射点が多い。つまり、例えば、グラフスペクトルと呼ばれる量を用いる。グラフスペクトルは、例えば、下記のように算出する。
　グラフ上のノードの総数をＭとする。ｗｉ，ｊはノードｉからノードｊへの接続エッジが存在する場合にはエッジの重みであり、接続がない場合には０となる数値とする。行列Ｗは、Ｍ行Ｎ列の正方行列であり、ｉ行ｊ列の要素としてｗｉ，ｊを持つ。行列Ｄは、対角行列であり、ｉ行ｊ列の要素としてΣｊｗｉ，ｊを持つ。
　このとき、行列Ｄ－Ｗの固有ベクトルを、固有値の小さい方から順に取得する。取得する固有ベクトルの本数をＫとすると、全ての固有ベクトルを取得してＫ＝Ｍとしてもよいし、ＫをＭ未満の適当な本数としてもよい。
　固有ベクトルを小さい方から順に、
Figure JPOXMLDOC01-appb-M000015
 とする。ここで、固有ベクトル
Figure JPOXMLDOC01-appb-M000016
 を列ベクトルとして持つ、Ｍ行Ｋ列の行列に格納する。グラフスペクトルは、この行ベクトルＭ本として与えられる。
　あるいは、グラフスペクトルを何かしらの手段によって正規化したものを用いてもよい。例えば、上で述べた行列ＷとＤとを用いると、行列Ｄ－ＷとＤとを用いて、次のような一般化固有値問題を解くことで、固有ベクトルＫ本を求めてもよい。
　λを固有値として
Figure JPOXMLDOC01-appb-M000017
 グラフスペクトルを求めた際と同様にして、固有ベクトルを固有値の小さい方から順に格納した行列の、行ベクトルを抽出することで、正規化されたグラフスペクトルが得られる。
　以上のグラフスペクトル等を、安定反射点に関するグラフに対して求め、各安定反射点についてのグラフ特徴量とする。
　初期クラスタ生成部１２３４は、安定反射点の各々に対する初期クラスタを生成する。初期クラスタ生成部１２３４は、安定反射点の各々に対する初期クラスタの割当を行う。初期クラスタの配分については、例えば、利用者等によってあらかじめ指定された数の初期クラスタを生成する。
　初期クラスタ生成部１２３４は、生成される初期クラスタの数に関する指定がない場合には、生成する初期クラスタの数を適宜決定して初期クラスタを生成してもよい。初期クラスタの割当方法については、完全にランダムに決めてもよいし、安定反射点の各々の位置に基づいて、各クラスタの中心の位置がなるべく等間隔に並ぶように決めてもよい。
　また、グラフ特徴量特定部１２３３において算出されたグラフ特徴量に基づき、グラフ特徴量同士が互いにできる限り離れるような安定反射点を数点選び、それらをクラスタの代表点として、各安定反射点をグラフ特徴量に関して一番近い代表点を持つクラスタに配分してもよい。
　分類部１２３５は、安定反射点の各々におけるグラフ特徴量に基づいて、安定反射点の各々を分類する。分類部１２３５は、例えば、以下のようにＫ－ｍｅａｎｓ法を用いて安定反射点を分類する。分類部１２３５は、例えば、初期クラスタ生成部１２３４によって生成されている初期クラスタ等のクラスタに対して、グラフ特徴量のセントロイドを求める。ここで、グラフ特徴量のセントロイドとは、クラスタに含まれる安定反射点の各々についてグラフ特徴量に関する距離の二乗和が最小となるような、グラフ特徴量と同一の次元を持つベクトルのことである。すなわち、グラフ特徴量のセントロイドは、グラフ特徴量に関する距離の観点において、クラスタの中心となるようなベクトルである。
　グラフ特徴量のセントロイドは、例えば、クラスタ内のグラフ特徴量の平均として求められる。または、あらかじめ何かしらの指標に基づいた重みを各点に対して適用し、重み付き平均として求めてもよい。
　グラフ特徴量のセントロイドを求めると、分類部１２３５は、各々のクラスタのグラフ特徴量のセントロイドと安定反射点の各々のグラフ特徴量とのユークリッド距離を求める。そして、分類部１２３５は、安定反射点の各々を、グラフ特徴量に関する距離が最も短くなるグラフ特徴量のセントロイドと対応するクラスタへ再配分する。この分類によって、各々のクラスタに属する安定反射点が更新される。
　分類部１２３５は、上述した動作を繰り返し行ってもよい。すなわち、再分類されて属する安定反射点が更新されたクラスタの各々に対して、分類部１２３５は、再びグラフ特徴量のセントロイドと安定反射点との距離に基づいて、クラスタを再分類する。
　上述した処理が繰り返し行われることで、全ての安定反射点が、グラフ特徴量のセントロイドとのグラフ特徴量に関する距離の二乗和が最小となるようなクラスタに分類される。
　分類部１２３５は、例えば、セントロイドとの距離が繰り返しにより変化しなかった場合に、分類が収束したと判定して、その場合におけるクラスタの各々をクラスタリングの結果とする。また、繰り返し回数が特定の回数を上回った場合に、十分な回数の繰り返しにより収束したと判定して、クラスタリング結果を出力してもよい。また、繰り返しによりクラスタの割当が変化する安定反射点の個数をカウントし、微量の安定反射点しか変化していない場合に収束したと判定してもよい。
　図１３Ａは、本実施形態に係る画像処理システムに含まれる画像処理装置の処理手順を説明するフローチャートである。図１３Ｂは、本実施形態に係る画像処理システムに含まれる画像処理装置の処理手順を説明するフローチャートである。
　ステップＳ１３０５において、画像処理装置１２１０の内積適用部１２３１は、安定反射点間における、安定反射点特徴量の内積を算出する。ステップＳ１３０７において、画像処理装置１２１０は、算出した内積をエッジの重みとしてもつグラフを生成する。ステップＳ１３０９において、画像処理装置１２１０のグラフ特徴量特定部１２３３は、安定反射点の各々のグラフ特徴量を特定する。
　ステップＳ１３１１において、画像処理装置１２１０の初期クラスタ生成部１２３４は、初期クラスタを生成する。ステップＳ１３１３において、画像処理装置１２１０の分類部１２３５は、安定反射点をグラフ特徴量に基づいて分類し、分類した結果をクラスタリング結果として出力する。
　次にグラフ特徴量の分類について、図１３Ｂを参照して説明する。ステップＳ１３２１において、画像処理装置１２１０は、各クラスタ内で安定反射点の接続関係、すなわち各安定反射点がどの程度の重みを持つエッジによってどの安定反射点と接続されているかに関する特徴量の平均を取り、セントロイドを算出する。ステップＳ１３２３において、画像処理装置１２１０は、各安定反射点について、グラフ特徴量のセントロイドとのグラフ特徴量の距離が最も短いクラスタに再配分する。すなわち、画像処理装置１２１０は、各安定反射点について、そのグラフ特徴量と最も近接するセントロイドを探索し、そのセントロイドと対応するクラスタに再配分する。ステップＳ１３２５において、画像処理装置１２１０は、分類が収束したか否かを判定する。収束した場合（ステップＳ１３２５のＹＥＳ）、画像処理装置１２１０は、処理を終了する。収束していない場合（ステップＳ１３２５のＮＯ）、画像処理装置１２１０は、ステップＳ１３２１に戻る。以上のようにして、得られたものが安定反射点のクラスタである。
　本実施形態によれば、グラフ特徴量の特性上、安定して正確なクラスタリング結果が得られやすい。
　［他の実施形態］
　さらに、ＳＡＲ画像から得られた変位情報等を、可視光画像をはじめとする、ＳＡＲ以外のデータと対応付けて処理するプログラムに適用できる。また、クラスタの違いを表示することで、構造の違いを表示できるＳＡＲ画像表示装置として利用できる。さらに、構造物ごとの解析を行うためのＳＡＲ画像処理プログラムにも適用できる。
　超音波を利用すれば、合成開口ソナーにも適用可能である。
　Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔカメラで撮影された位相画像にも適用できる。複数の時間で観測し、上述の実施形態の手法を適用すれば、似た動きをしている構造を抽出することができる。
　コヒーレントな光の干渉を利用した位相イメージングの分野にも適用できる。例えば、ガラスや細胞等の透明物体を計測するために利用される透過型の位相イメージング法で撮影した画像の、時系列的な位相変化に上述の実施形態の手法を適用すれば、膨張率等の違う構造を抽出することができる。また、偏波を変えながら撮影し、複数の偏波観測された位相に対して上述の実施形態の手法を適用することにより、類似した屈折率の異方性を持つ部位をクラスタリングでき、透明物体の材質や、発生している応力・歪みの分析等に利用できる。反射型に関しても、光ヘテロダインを利用した微細な構造の解析法があり、上述の実施形態の手法を適用できる。
　パターンの干渉で生じる位相を利用すれば、可視の強度画像への応用も可能である。例えば、周期パターンをイメージングセンサで撮影し、その位相から情報を抽出する技術がある。代表的なものとして、撮像素子の素子配列により生じる周期パターンと対象のパターンの干渉で生じる位相を利用して精密な歪み計測を行うサンプリングモレア法がある。しかしながら、上述の実施形態の技術を適用することにより、類似した歪みの生じ方をしている部分を推定し、素材の異なる構造を抽出できる。また、周期パターンを照射し、その位相を複数の位置で撮影した場合には、写っている立体ごとのクラスタを抽出することができる。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
　また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
　［実施形態の他の表現］
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　複数の画像において反射が安定している安定反射点および前記安定反射点の位置を特定する安定反射点特定手段と、
　特定された前記安定反射点の位相を取得する位相取得手段と、
　前記安定反射点の位置と、前記位相と、に基づいて、前記安定反射点をクラスタリングするクラスタリング手段と、
　を備えた画像処理装置。
（付記２）
　前記クラスタリング手段は、
　　前記安定反射点における位相配列を取得する位相配列取得手段と、
　　前記位相配列に基づいて、前記位相配列の特徴量の内積を特定する位相特徴量内積算出手段と、
　　前記安定反射点の位置に基づいて、前記位置の特徴量の内積を特定する位置特徴量内積算出手段と、
　位相特徴量と位置特徴量とを統合して前記安定反射点の特徴量を出力する統合手段と、
　をさらに備え、
　前記クラスタリング手段は、前記安定反射点の特徴量を用いて、前記安定反射点をクラスタリングする付記１に記載の画像処理装置。
（付記３）
　前記位相特徴量内積特定手段は、前記位相の相関に基づいて、前記位相特徴量内積を特定する付記２に記載の画像処理装置。
（付記４）
　前記位置特徴量内積特定手段は、前記安定反射点の前記位置に関するユークリッド距離に対して、単調減少する関数を用いて、前記位置特徴量内積を特定する付記２または３に記載の画像処理装置。
（付記５）
　前記クラスタリング手段は、クラスタ内の安定反射点の特徴量の距離に基づいて前記クラスタのセントロイドを算出し、算出した前記セントロイドと前記安定反射点との特徴量の距離に基づいて、前記安定反射点が属するクラスタを更新する付記１乃至４のいずれか１項に記載の画像処理装置。
（付記６）
　前記クラスタリング手段は、前記安定反射点をノードとし、前記安定反射点の各々を結ぶエッジに重みを付けた、前記安定反射点の重み付きグラフを生成するグラフ生成手段をさらに備え、
　生成された前記重み付きグラフに基づいて、前記安定反射点をクラスタリングする付記１に記載の画像処理装置。
（付記７）
　前記クラスタリング手段は、生成された前記重み付きグラフの前記エッジの重みに基づいて、前記重み付きグラフを分割するグラフ分割手段をさらに備え、
　分割されたグラフに基づいて、前記安定反射点をクラスタリングする付記６に記載の画像処理装置。
（付記８）
　前記グラフ分割手段は、前記重み付きグラフの分割を所定回数繰り返す付記７に記載の画像処理装置。
（付記９）
　前記クラスタリング手段は、前記安定反射点の前記重み付きグラフ上の接続関係に関する特徴量の平均に基づいて、前記クラスタの各々のセントロイドを算出する付記５乃至８のいずれか１項に記載の画像処理装置。
（付記１０）
　前記クラスタリング手段は、クラスタのセントロイドと前記安定反射点との間の距離に基づいて、前記安定反射点が属するクラスタを更新する付記１乃至９のいずれか１項に記載の画像処理装置。
（付記１１）
　クラスタリングされた前記安定反射点に関する情報を出力する出力手段をさらに備えた付記１乃至１０のいずれか１項に記載の画像解析装置。
（付記１２）
　前記画像は、ＳＡＲ画像である付記１乃至１１のいずれか１項に記載の画像解析装置。
（付記１３）
　複数の画像において反射が安定している安定反射点および前記安定反射点の位置を特定する安定反射点特定ステップと、
　特定された前記安定反射点の位相を取得する位相取得ステップと、
　前記安定反射点の位置と、前記位相と、に基づいて、前記安定反射点をクラスタリングするクラスタリングステップと、
　を含む画像処理方法。
（付記１４）
　複数の画像において反射が安定している安定反射点および前記安定反射点の位置を特定する安定反射点特定ステップと、
　特定された前記安定反射点の位相を取得する位相取得ステップと、
　前記安定反射点の位置と、前記位相と、に基づいて、前記安定反射点をクラスタリングするクラスタリングステップと、
　をコンピュータに実行させる画像処理プログラム。
（付記１５）
　複数の画像を撮影する撮影手段と、
　撮影された画像を記憶する記憶手段と、
　複数の画像を取得する取得手段と、
　複数の画像において反射が安定している安定反射点および前記安定反射点の位置を特定する安定反射点特定手段と、
　特定された前記安定反射点の位相を取得する位相取得手段と、
　前記安定反射点の位置と、前記位相と、に基づいて、前記安定反射点をクラスタリングするクラスタリング手段と、
　を備えた画像処理システム。
　この出願は、２０１７年１０月３０日に出願された日本出願特願２０１７－２０９２８７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (15)

  1. 　複数の画像において反射が安定している安定反射点および前記安定反射点の位置を特定する安定反射点特定手段と、
    　特定された前記安定反射点の位相を取得する位相取得手段と、
    　前記安定反射点の位置と、前記位相と、に基づいて、前記安定反射点をクラスタリングするクラスタリング手段と、
    　を備えた画像処理装置。
  2. 　前記クラスタリング手段は、
    　　前記安定反射点における位相配列を取得する位相配列取得手段と、
    　　前記位相配列に基づいて、前記位相配列の特徴量の内積を特定する位相特徴量内積算出手段と、
    　　前記安定反射点の位置に基づいて、前記位置の特徴量の内積を特定する位置特徴量内積算出手段と、
    　位相特徴量と位置特徴量とを統合して前記安定反射点の特徴量を出力する統合手段と、
    　をさらに備え、
    　前記クラスタリング手段は、前記安定反射点の特徴量を用いて、前記安定反射点をクラスタリングする請求項１に記載の画像処理装置。
  3. 　前記位相特徴量内積特定手段は、前記位相の相関に基づいて、前記位相特徴量内積を特定する請求項２に記載の画像処理装置。
  4. 　前記位置特徴量内積特定手段は、前記安定反射点の前記位置に関するユークリッド距離に対して、単調減少する関数を用いて、前記位置特徴量内積を特定する請求項２または３に記載の画像処理装置。
  5. 　前記クラスタリング手段は、クラスタ内の安定反射点の特徴量の距離に基づいて前記クラスタのセントロイドを算出し、算出した前記セントロイドと前記安定反射点との特徴量の距離に基づいて、前記安定反射点が属するクラスタを更新する請求項１乃至４のいずれか１項に記載の画像処理装置。
  6. 　前記クラスタリング手段は、前記安定反射点をノードとし、前記安定反射点の各々を結ぶエッジに重みを付けた、前記安定反射点の重み付きグラフを生成するグラフ生成手段をさらに備え、
    　生成された前記重み付きグラフに基づいて、前記安定反射点をクラスタリングする請求項１に記載の画像処理装置。
  7. 　前記クラスタリング手段は、生成された前記重み付きグラフの前記エッジの重みに基づいて、前記重み付きグラフを分割するグラフ分割手段をさらに備え、
    　分割されたグラフに基づいて、前記安定反射点をクラスタリングする請求項６に記載の画像処理装置。
  8. 　前記グラフ分割手段は、前記重み付きグラフの分割を所定回数繰り返す請求項７に記載の画像処理装置。
  9. 　前記クラスタリング手段は、前記安定反射点の前記重み付きグラフ上の接続関係に関する特徴量の平均に基づいて、前記クラスタの各々のセントロイドを算出する請求項５乃至８のいずれか１項に記載の画像処理装置。
  10. 　前記クラスタリング手段は、クラスタのセントロイドと前記安定反射点との間の距離に基づいて、前記安定反射点が属するクラスタを更新する請求項１乃至９のいずれか１項に記載の画像処理装置。
  11. 　クラスタリングされた前記安定反射点に関する情報を出力する出力手段をさらに備えた請求項１乃至１０のいずれか１項に記載の画像解析装置。
  12. 　前記画像は、ＳＡＲ画像である請求項１乃至１１のいずれか１項に記載の画像解析装置。
  13. 　複数の画像において反射が安定している安定反射点および前記安定反射点の位置を特定する安定反射点特定ステップと、
    　特定された前記安定反射点の位相を取得する位相取得ステップと、
    　前記安定反射点の位置と、前記位相と、に基づいて、前記安定反射点をクラスタリングするクラスタリングステップと、
    　を含む画像処理方法。
  14. 　複数の画像において反射が安定している安定反射点および前記安定反射点の位置を特定する安定反射点特定ステップと、
    　特定された前記安定反射点の位相を取得する位相取得ステップと、
    　前記安定反射点の位置と、前記位相と、に基づいて、前記安定反射点をクラスタリングするクラスタリングステップと、
    　をコンピュータに実行させる画像処理プログラム。
  15. 　複数の画像を撮影する撮影手段と、
    　撮影された画像を記憶する記憶手段と、
    　複数の画像を取得する取得手段と、
    　複数の画像において反射が安定している安定反射点および前記安定反射点の位置を特定する安定反射点特定手段と、
    　特定された前記安定反射点の位相を取得する位相取得手段と、
    　前記安定反射点の位置と、前記位相と、に基づいて、前記安定反射点をクラスタリングするクラスタリング手段と、
    　を備えた画像処理システム。
PCT/JP2018/037234 2017-10-30 2018-10-04 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム WO2019087673A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019550922A JP6856136B2 (ja) 2017-10-30 2018-10-04 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
US16/759,887 US11397261B2 (en) 2017-10-30 2018-10-04 Image processing apparatus, image processing method, image processing program, and image processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017209287 2017-10-30
JP2017-209287 2017-10-30

Publications (1)

Publication Number Publication Date
WO2019087673A1 true WO2019087673A1 (ja) 2019-05-09

Family

ID=66331701

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037234 WO2019087673A1 (ja) 2017-10-30 2018-10-04 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム

Country Status (3)

Country Link
US (1) US11397261B2 (ja)
JP (1) JP6856136B2 (ja)
WO (1) WO2019087673A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020202259A1 (ja) * 2019-03-29 2020-10-08 日本電気株式会社 合成開口レーダの画像処理装置及び画像処理方法
JPWO2019106850A1 (ja) * 2017-12-01 2020-12-03 日本電気株式会社 Ｓａｒ画像解析システム、画像処理装置、画像処理方法および画像処理プログラム
WO2022190196A1 (ja) * 2021-03-09 2022-09-15 日本電気株式会社 変化検知装置および変化検知方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11455322B2 (en) * 2020-05-12 2022-09-27 International Business Machines Corporation Classification of time series data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221520A (ja) * 2005-02-14 2006-08-24 Chuden Gijutsu Consultant Kk 画像特徴量抽出システムおよび方法
US20110163911A1 (en) * 2008-07-04 2011-07-07 Telespazio S.P.A. Identification and Analysis of Persistent Scatterers In Series of SAR Images
WO2018123748A1 (ja) * 2016-12-27 2018-07-05 日本電気株式会社 画像解析装置、画像解析方法及びコンピュータ読み取り可能記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITMI991154A1 (it) 1999-05-25 2000-11-25 Milano Politecnico Procedimento per misure radar di spostamento di aere urbane e zone franose
US7319797B2 (en) * 2004-06-28 2008-01-15 Qualcomm Incorporated Adaptive filters and apparatus, methods, and systems for image processing
US8666114B2 (en) * 2011-12-01 2014-03-04 Honeywell International Inc. System and method for geospatial partitioning of a geographical region
US8494305B2 (en) * 2011-12-20 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Image filtering by sparse reconstruction on affinity net
JP6349937B2 (ja) * 2014-05-09 2018-07-04 日本電気株式会社 変動検出装置、変動検出方法および変動検出用プログラム
US9389311B1 (en) * 2015-02-19 2016-07-12 Sandia Corporation Superpixel edges for boundary detection
EP3336763A1 (en) * 2016-12-14 2018-06-20 Conti Temic microelectronic GmbH Device for classifying data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221520A (ja) * 2005-02-14 2006-08-24 Chuden Gijutsu Consultant Kk 画像特徴量抽出システムおよび方法
US20110163911A1 (en) * 2008-07-04 2011-07-07 Telespazio S.P.A. Identification and Analysis of Persistent Scatterers In Series of SAR Images
WO2018123748A1 (ja) * 2016-12-27 2018-07-05 日本電気株式会社 画像解析装置、画像解析方法及びコンピュータ読み取り可能記録媒体

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
GIROLAMI, MARK: "Mercer Kernel-Based Clustering in Feature Space", IEEE TRANSACTIONS ON NEURAL NETWORKS, vol. 13, no. 3, May 2002 (2002-05-01), pages 780 - 784, XP011077250 *
GRYGORASH, OLEKSANDR ET AL.: "Minimum Spanning Tree Based Clustering Algorithms", PROCEEDINGS OF THE 18TH IEEE INTERNATIONAL CONFERENCE ON TOOLS WITH ARTIFICAL INTELLIGENCE (ICTAI'06, October 2006 (2006-10-01), XP031031423, ISBN: 0-7695-2728-0 *
LU , PING: "Persistent Scatterers Interferometry Hotspot and Cluster Analysis (PSI-HCA) for detection of extremely slow-moving landslides", INTERNATIONAL JOURNAL OF REMOTE SENSING, vol. 33, no. 2, 20 January 2012 (2012-01-20), pages 466 - 489, XP055516816 *
MICHAELSEN, ECKART ET AL.: "Utilizing Phase for the Grouping of PS in Urban High-Resolution in- SAR-Images", JOINT URBAN REMOTE SENSING EVENT (JURSE 2011, 13 April 2011 (2011-04-13), pages 189 - 192, XP031864445 *
SCHUNERT, ALEXANDER ET AL.: "Grouping of Persistent Scatterers in high-resolution SAR data of urban scenes", ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING, vol. 73, 2012, pages 80 - 88, XP055516813 *
TANAKA ET AL.: "Persistent Scatterer Clustering for Structure Displacement Analysis Based on Phase Correlation Network", 2017 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM (IGARSS, 4 December 2017 (2017-12-04), pages 4618 - 4621, XP033275496, ISSN: 2153-7003 *
TANAKA, TAICHI: "Clustering Technique to Grasp Distribution Shape of Persistent Scatterers Using Correlation Kernel", PROCEEDINGS OF THE 2018 IEICE GENERAL CONFERENCE: COMMUNICATION 1, 6 March 2018 (2018-03-06), pages 187, ISSN: 1349-1369 *
TANAKA, TAICHI: "Persistent Scatterer Clustering Using Phase Correlation Graph for Structure Displacement Analysis", PROCEEDINGS OF THE 2017 IEICE GENERAL CONFERENCE: COMMUNICATION 1, 7 March 2017 (2017-03-07), pages 224, ISSN: 1349-1369 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019106850A1 (ja) * 2017-12-01 2020-12-03 日本電気株式会社 Ｓａｒ画像解析システム、画像処理装置、画像処理方法および画像処理プログラム
JP7020494B2 (ja) 2017-12-01 2022-02-16 日本電気株式会社 Ｓａｒ画像解析システム、画像処理装置、画像処理方法および画像処理プログラム
US11709254B2 (en) 2017-12-01 2023-07-25 Nec Corporation SAR image analysis system, image processing apparatus, image processing method, and image processing program
WO2020202259A1 (ja) * 2019-03-29 2020-10-08 日本電気株式会社 合成開口レーダの画像処理装置及び画像処理方法
US11754704B2 (en) 2019-03-29 2023-09-12 Nec Corporation Synthetic-aperture-radar image processing device and image processing method
WO2022190196A1 (ja) * 2021-03-09 2022-09-15 日本電気株式会社 変化検知装置および変化検知方法

Also Published As

Publication number Publication date
JPWO2019087673A1 (ja) 2020-11-12
JP6856136B2 (ja) 2021-04-07
US11397261B2 (en) 2022-07-26
US20210181336A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
WO2019087673A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
Zeybek et al. Point cloud filtering on UAV based point cloud
Balaguer et al. Definition of a comprehensive set of texture semivariogram features and their evaluation for object-oriented image classification
Palace et al. Amazon forest structure from IKONOS satellite data and the automated characterization of forest canopy properties
JP7077961B2 (ja) 画像解析装置、画像解析方法及びプログラム
Gillan et al. Integrating drone imagery with existing rangeland monitoring programs
Gopinath et al. Automated extraction of watershed boundary and drainage network from SRTM and comparison with Survey of India toposheet
Zeybek Classification of UAV point clouds by random forest machine learning algorithm
Hétroy-Wheeler et al. Segmentation of tree seedling point clouds into elementary units
CN109961510B (zh) 一种基于三维点云重构技术的高切坡地质快速编录方法
JP7020494B2 (ja) Ｓａｒ画像解析システム、画像処理装置、画像処理方法および画像処理プログラム
CN111323788B (zh) 建筑物变化的监测方法、装置及计算机设备
Ferreira et al. Using remote sensing images and cloud services on AWS to improve land use and cover monitoring
Guan et al. Partially supervised hierarchical classification for urban features from lidar data with aerial imagery
JP7151876B2 (ja) 合成開口レーダの画像処理装置及び画像処理方法
La Salandra et al. Generating UAV high-resolution topographic data within a FOSS photogrammetric workflow using high-performance computing clusters
Al-Doski et al. Land cover mapping using remote sensing data
Teodoro et al. Exploration of the OBIA methods available in SPRING non-commercial software to UAV data processing
CN110399832B (zh) 基于相干性的TomoSAR植被病虫害监测方法及装置
Lin et al. A classification method of unmanned-aerial-systems-derived point cloud for generating a canopy height model of farm forest
Ankayarkanni et al. Object based segmentation techniques for classification of satellite image
Zhao et al. A point cloud classification approach based on vertical structures of ground objects
Carrilho et al. Quality assessment for automatic LiDAR data classification methods
Liab et al. Growth Measurement of Arabidopsis in 2.5 D from a High Throughput Phenotyping Platform
Jacob et al. Adjusting second moment bias in eigenspace using Bayesian empirical estimators, Dirichlet tessellations and Worldview I data for predicting Culex quinquefasciatus habitats in Trinidad

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18874612

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019550922

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18874612

Country of ref document: EP

Kind code of ref document: A1