JP6397379B2 - CHANGE AREA DETECTION DEVICE, METHOD, AND PROGRAM - Google Patents
CHANGE AREA DETECTION DEVICE, METHOD, AND PROGRAM Download PDFInfo
- Publication number
- JP6397379B2 JP6397379B2 JP2015151284A JP2015151284A JP6397379B2 JP 6397379 B2 JP6397379 B2 JP 6397379B2 JP 2015151284 A JP2015151284 A JP 2015151284A JP 2015151284 A JP2015151284 A JP 2015151284A JP 6397379 B2 JP6397379 B2 JP 6397379B2
- Authority
- JP
- Japan
- Prior art keywords
- change
- detection target
- time point
- area
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、変化領域検出装置、方法、及びプログラムに関する。 The present invention relates to a change area detection apparatus, method, and program.
航空写真や衛星画像からの変化検出はその有用性から、長い期間にわたりコンピュータビジョンやリモートセンシングの分野において研究されてきた。特に近年の急速な都市化における土地利用形態の変化のモニタリングや都市計画への利用のためにその重要性はますます増している。 Change detection from aerial photographs and satellite images has been studied in the fields of computer vision and remote sensing for a long time because of its usefulness. In particular, it has become increasingly important for monitoring land use changes in rapid urbanization in recent years and for use in urban planning.
異なる時点で撮影された航空写真や衛星画像から地上の変化を検出する技術は大きく２つに分けられる。１つは各時点での地上の三次元構造を復元し、その高さ方向の変化量から変化領域を検出しようとするものである。もう１つは画素間の地理的な対応関係が決定された複数の画像を利用するものである。これは各画素値を利用して、地上の物体の変化などを画素ごとに数値化し、このような数値の変化量によって表現される画像の変化から変化領域を検出するものである。 Techniques for detecting ground changes from aerial photographs and satellite images taken at different times are roughly divided into two. One is to restore the three-dimensional structure on the ground at each time point and to detect a change region from the amount of change in the height direction. The other uses a plurality of images in which the geographical correspondence between pixels is determined. In this method, each pixel value is used to digitize a change in an object on the ground for each pixel, and a change area is detected from a change in an image expressed by such a change amount of the numerical value.
前者の技術として近年広く研究されているものとして、航空機によって撮影されたパノラマ画像を用いるものがある。これは、ステレオ画像を利用して撮影した領域の3次元構造（Digital Surface Modelと呼ばれる）を復元し、異なる時点における高さの変化が大きな領域を変化領域とするものである。三次元構造復元技術の進歩によって、地上に存在する物体の高さを精度よく得ることが出来るようになったため、これを利用して高い精度で変化領域を検出することが出来る（非特許文献１参照）。 As the former technique, a technique that uses a panoramic image photographed by an aircraft is widely studied in recent years. This restores the three-dimensional structure (referred to as Digital Surface Model) of a region shot using a stereo image, and sets a region having a large change in height at different time points as a change region. Advances in three-dimensional structure restoration technology have made it possible to obtain the height of an object existing on the ground with high accuracy, so that it is possible to detect a change region with high accuracy using this (Non-Patent Document 1). reference).
最先端の研究成果によるとかなり高い精度で変化領域を推定することが出来るものの、航空機を利用してステレオ画像を取得することが難しいことに加え、通常の航空写真を撮影するよりもコストがかかるため技術の適用範囲が限定されてしまう。また、地上の変化は必ずしも高さ方向の変化を伴うものではない。例えば、２階建ての家屋が建て変わった場合などを想像してみればよい。したがってこのような手法によって検出できる変化の種類は限られている。 According to the state-of-the-art research results, it is possible to estimate the change area with considerably high accuracy, but it is difficult to obtain a stereo image using an aircraft, and it is more expensive than taking a normal aerial photograph. This limits the scope of application of the technology. In addition, changes on the ground do not necessarily involve changes in the height direction. For example, imagine that a two-story house has been rebuilt. Therefore, the types of changes that can be detected by such a method are limited.
もう一方の三次元情報を利用しない技術について、ステレオ画像ではない通常の航空写真に画像処理の手法を適用することによって変化領域を推定する手法も数多く研究されている。こちらの技術の特徴としては、地上の物体の高さに依存したものではないため、より多くの種類の変化を検出できるということが挙げられる。また、ステレオ画像と比較すると通常の航空写真は取得しやすく、技術の適用範囲は広くなる。 As for the other technology that does not use three-dimensional information, many methods for estimating a change region by applying an image processing method to a normal aerial photograph that is not a stereo image have been studied. A feature of this technology is that it can detect more types of changes because it does not depend on the height of objects on the ground. Also, compared to stereo images, ordinary aerial photographs are easier to obtain, and the scope of application of the technology is broadened.
そのようなもののひとつに建築物のスペクトル変化に注目したものがある。これは建築物が変化すると、これにともなって色だけではなく、反射に代表される光学的な性質が変化するという事実を利用し、このような変化を数値化する指標を用いて変化領域を検出する手法である。変化領域を決定する際にはファジー論理やデンプスター＝シェーファーの決定理論などが用いられる（非特許文献２参照）。 One of them is focusing on changes in the spectrum of buildings. This is based on the fact that when the building changes, not only the color but also the optical properties represented by reflection change. This is a detection method. When determining the change region, fuzzy logic, Dempster-Schaefer decision theory, or the like is used (see Non-Patent Document 2).
また、航空写真に対して画像処理の手法に加えてノンパラメトリックな密度推定手法とＥＭアルゴリズムと呼ばれる統計的機械学習の手法を適用することによって変化領域を検出する研究例もある（非特許文献３参照）。 In addition, there is a research example in which a change region is detected by applying a non-parametric density estimation method and a statistical machine learning method called an EM algorithm to an aerial photograph in addition to an image processing method (Non-patent Document 3). reference).
２つの異なる時点において撮影された航空写真から確度の高い変化領域を発見し、当該領域を正例として教師あり学習を行い、識別器を構成するという研究例もある（非特許文献４参照）。なお、ここでいう識別器とは、数値ベクトルを入力としてうけとり、入力パターンが注目物体であるか否かを出力する関数一般を指す。 There is also a research example in which a highly accurate change area is found from aerial photographs taken at two different time points, supervised learning is performed using the area as a positive example, and a discriminator is configured (see Non-Patent Document 4). The discriminator here refers to a general function that receives a numeric vector as an input and outputs whether or not the input pattern is a target object.
航空写真からの変化検出を行う際に従来から大きな障害となっているのが影の変化である。したがって、影の領域を推定し、その影の変化による影響を事前に除こうとする研究例が数多くある（非特許文献５参照）。 Shadow changes have been a major obstacle in detecting changes from aerial photographs. Therefore, there are many research examples in which a shadow area is estimated and the influence of the change in the shadow is removed in advance (see Non-Patent Document 5).
航空写真は撮影したタイミングによって影が生じる方向が変わったり、森林の植生が変わったりしてしまう。このような変化によっても航空機からの地上の見え方が変わってしまうため、本来検出したい土地利用変化以外の非本質的な変化を検出してしまうという難点がある。 In aerial photography, the direction in which the shadows are produced changes depending on the timing of taking, and the vegetation of the forest changes. Such a change also changes the way the ground is seen from the aircraft, so that there is a difficulty in detecting non-essential changes other than land use changes that are originally desired to be detected.
ステレオ画像を利用しない変化領域検出技術の多くは画素ごとの変化情報と統計的な推定を利用するものであり、パターンの意味づけや学習などの知的な情報処理を含まない。そのため、例えば赤色の建物が黒色の建物に変わったときに、それは黒い建物なのか影の影響によるものなのかを正確に判別することが出来ない。さらに、純粋に物理的な性質に基づいた指標のみを利用した場合、植生の変化など時間の経過による地上のテクスチャの変化を誤って土地利用形態の変化として検出してしまう可能性が高くなる。 Many of the change area detection techniques that do not use a stereo image use change information for each pixel and statistical estimation, and do not include intelligent information processing such as pattern meaning and learning. Therefore, for example, when a red building is changed to a black building, it cannot be accurately determined whether it is a black building or due to the influence of a shadow. Furthermore, when only an index based on purely physical properties is used, there is a high possibility that a change in texture on the ground over time, such as a change in vegetation, will be erroneously detected as a change in land use form.
一方、知的な情報処理を含む技術もこれまで提案されてきたが、学習のために自動的に生成された情報が必ずしも高品質ということができず、不正確なノイズの混入を防ぐことが出来ない。そのため、このようにして得られた識別器の効果は限定的であると考えられる。人力で学習のためのデータを生成することも考えられるが必要となるデータの量と労力を考えると現実的ではない。加えて、学習のための情報を必要としない技術も提案されてはきたものの、処理に時間がかかるため、大量のデータに適用するには不向きである。 On the other hand, technologies including intelligent information processing have been proposed so far, but the information automatically generated for learning cannot always be said to be of high quality and prevent inaccurate noise contamination. I can't. Therefore, the effect of the discriminator obtained in this way is considered to be limited. Although it is possible to generate data for learning by human power, it is not realistic considering the amount of data and labor required. In addition, although a technique that does not require information for learning has been proposed, it takes time to process and is not suitable for application to a large amount of data.
本発明は、上記事情に鑑みてなされたものであり、変化領域を精度よく検出するための変化領域検出装置、方法、及びプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a change area detection apparatus, method, and program for detecting a change area with high accuracy.
上記目的を達成するために、本発明に係る変化領域検出装置は、異なる第１時点及び第２時点で撮影された航空写真と、前記第１時点に対応する地図情報とを用いて土地利用変化を検出する変化領域検出装置であって、変化領域検出を行う際に、入力された前記第１時点の航空写真の画素を特徴づける局所特徴ベクトル、及び前記第２時点の航空写真の画素を特徴づける局所特徴ベクトルを計算する局所特徴ベクトル計算手段と、前記第１時点及び第２時点の各々の航空写真で同じ座標を持つ画素において計算された局所特徴ベクトルから、前記画素ごとに変化量を計算する変化量計算手段と、前記画素ごとの変化量から、変化領域候補を検出する変化領域候補決定手段と、前記第１時点に対応する地図情報と前記第１時点の航空写真とから、前記第１時点の航空写真の小領域と、変化検出対象を含むか否かを示す情報とからなる検出対象識別器学習用データセットを作成する学習用データセット構築手段と、前記検出対象識別器学習用データセットから、変化検出対象を含むか否かを識別するための検出対象識別器を学習する検出対象識別器構築手段と、前記変化領域候補決定手段によって検出された変化領域候補の各々について、前記検出対象識別器を用いて、前記変化領域候補が前記変化検出対象を含むか否かを識別し、前記変化検出対象を含まない前記変化領域候補を除外する非検出対象領域除外手段と、を含んで構成されている。 In order to achieve the above object, a change area detection apparatus according to the present invention uses land photographs using aerial photographs taken at different first time points and second time points and map information corresponding to the first time points. And a local feature vector that characterizes pixels of the aerial photograph at the first time point and a pixel of the aerial photograph at the second time point when the change region detection is performed. A local feature vector calculation means for calculating a local feature vector to be attached, and a local feature vector calculated at a pixel having the same coordinates in each aerial photograph at the first time point and the second time point, and a change amount is calculated for each pixel. A change amount calculation means, a change area candidate determination means for detecting a change area candidate from the change amount for each pixel, map information corresponding to the first time point, and the aerial photograph at the first time point. A learning data set construction means for creating a detection target classifier learning data set comprising a small area of the aerial photograph at the first time point and information indicating whether or not a change detection target is included, and the detection target classifier About each of the change area candidate detected by the detection object discriminator construction means which learns the detection object discriminator for identifying whether the change detection object is included or not from the learning data set, and the change area candidate determination means A non-detection target region exclusion means for identifying whether the change region candidate includes the change detection target using the detection target identifier, and excluding the change region candidate not including the change detection target; It is comprised including.
また、本発明に係る変化領域検出装置において、前記学習用データセット構築手段は、前記地図情報から、前記変化検出対象の物体の存在する画像座標を取得し、当該画像座標に基づいて前記学習用データセットを作成するようにすることができる。 Further, in the change area detection device according to the present invention, the learning data set construction unit obtains image coordinates where the change detection target object exists from the map information, and the learning data set is based on the image coordinates. A data set can be created.
また、本発明に係る変化領域検出装置において、前記局所特徴ベクトル計算手段は、注目画素及び前記注目画素の周辺の小領域の色又は輝度の情報も利用して、注目画素周辺の形又はテクスチャに関する情報を記述する前記局所特徴ベクトルを計算するようにすることができる。 Further, in the change region detection device according to the present invention, the local feature vector calculation means relates to the shape or texture around the pixel of interest using information on the color or luminance of the pixel of interest and a small region around the pixel of interest. The local feature vector describing the information can be calculated.
また、本発明に係る変化領域検出装置において、前記検出対象識別器学習手段は、前記検出対象識別器学習用データセットに含まれる小領域の画素を特徴づける局所特徴ベクトルを計算し、前記計算された画素の前記局所特徴ベクトルをまとめ上げる処理によって、前記検出対象識別器学習用データセットに含まれる小領域の大域特徴ベクトルを計算し、前記大域特徴ベクトルに基づいて変化検出対象を含むか否かを識別するための前記検出対象識別器を学習し、前記非検出対象領域除外手段は、前記変化領域候補決定手段によって検出された変化領域候補の各々について、前記第２時点の航空領域の前記変化領域候補の画素を特徴づける局所特徴ベクトルを計算し、前記計算された画素の前記局所特徴ベクトルをまとめ上げる処理によって、前記変化領域候補の大域特徴ベクトルを計算し、前記計算した大域特徴ベクトルに基づいて、前記検出対象識別器を用いて、前記変化領域候補が前記変化検出対象を含むか否かを識別するようにすることができる。 Further, in the change area detection device according to the present invention, the detection target classifier learning means calculates a local feature vector characterizing a pixel in a small area included in the detection target classifier learning data set, and the calculation is performed. Whether or not to include a change detection target based on the global feature vector by calculating a global feature vector of a small region included in the detection target classifier learning data set by processing to collect the local feature vectors of the obtained pixels The non-detection target area excluding unit learns the detection target classifier, and the change in the aviation area at the second time point is determined for each of the change area candidates detected by the change area candidate determination unit. By calculating a local feature vector that characterizes a pixel of a region candidate, and collecting the local feature vectors of the calculated pixel A global feature vector of the change region candidate is calculated, and based on the calculated global feature vector, the detection target discriminator is used to identify whether the change region candidate includes the change detection target. can do.
また、本発明に係る変化領域検出装置において、前記変化量計算手段は、前記第１時点及び第２時点の各々の航空写真で同じ座標を持つ画素において計算された局所特徴ベクトルから、前記画素ごとに、利用する局所特徴ベクトルに合わせた距離関数から計算される距離を、前記変化量として計算するようにすることができる。 Further, in the change region detection device according to the present invention, the change amount calculation means is configured to calculate, for each pixel, a local feature vector calculated for pixels having the same coordinates in the aerial photographs at the first time point and the second time point. Further, a distance calculated from a distance function matched to a local feature vector to be used can be calculated as the change amount.
本発明に係る変化領域検出方法は、局所特徴ベクトル計算手段、変化量計算手段、変化領域候補決定手段、学習用データセット構築手段、検出対象識別器構築手段、及び非検出対象領域除外手段を含み、異なる第１時点及び第２時点で撮影された航空写真と、前記第１時点に対応する地図情報とを用いて土地利用変化を検出する変化領域検出装置における変化領域検出方法であって、前記局所特徴ベクトル計算手段が、変化領域検出を行う際に、入力された前記第１時点の航空写真の画素を特徴づける局所特徴ベクトル、及び前記第２時点の航空写真の画素を特徴づける局所特徴ベクトルを計算するステップと、前記変化量計算手段が、前記第１時点及び第２時点の各々の航空写真で同じ座標を持つ画素において計算された局所特徴ベクトルから、前記画素ごとに変化量を計算するステップと、前記変化領域候補決定手段が、前記画素ごとの変化量から、変化領域候補を検出するステップと、前記学習用データセット構築手段が、前記第１時点に対応する地図情報と前記第１時点の航空写真とから、前記第１時点の航空写真の小領域と、変化検出対象を含むか否かを示す情報とからなる検出対象識別器学習用データセットを作成するステップと、前記検出対象識別器構築手段が、前記検出対象識別器学習用データセットから、変化検出対象を含むか否かを識別するための検出対象識別器を学習するステップと、前記非検出対象領域除外手段が、前記変化領域候補決定手段によって検出された変化領域候補の各々について、前記検出対象識別器を用いて、前記変化領域候補が前記変化検出対象を含むか否かを識別し、前記変化検出対象を含まない前記変化領域候補を除外するステップと、を含む。 The change area detection method according to the present invention includes a local feature vector calculation means, a change amount calculation means, a change area candidate determination means, a learning data set construction means, a detection target classifier construction means, and a non-detection target area exclusion means. A change area detection method in a change area detection device for detecting land use change using aerial photographs taken at different first time points and second time points and map information corresponding to the first time points, When the local feature vector calculation means performs the change area detection, the local feature vector that characterizes the input aerial photo pixel at the first time point and the local feature vector that characterizes the aerial photo pixel at the second time point. And a local feature vector calculated by the change amount calculation means at pixels having the same coordinates in the aerial photographs at each of the first time point and the second time point. Calculating a variation amount for each pixel, a step in which the variation region candidate determination unit detects a variation region candidate from the variation amount for each pixel, and the learning data set construction unit includes For detection object discriminator learning comprising map information corresponding to one time point and aerial photograph at the first time point, and a small area of the aerial photograph at the first time point and information indicating whether or not a change detection target is included. Creating a data set; learning the detection target classifier for identifying whether the detection target classifier construction means includes a change detection target from the detection target classifier learning data set; The non-detection target region excluding unit uses the detection target discriminator for each of the change region candidates detected by the change region candidate determining unit, and the change region candidate is changed. Out to identify whether including the target, including the step of excluding the change area candidates does not include the changes detected.
本発明に係るプログラムは、コンピュータを、上記の変化領域検出装置を構成する各手段として機能させるためのプログラムである。 The program according to the present invention is a program for causing a computer to function as each means constituting the above-described change area detection device.
本発明の変化領域検出装置、方法、及びプログラムによれば、第１時点及び第２時点の各々の航空写真で同じ座標を持つ画素において計算された局所特徴ベクトルから画素ごとに変化量を計算し、画素ごとの変化量から変化領域候補を検出し、第１時点に対応する地図情報と第１時点の航空写真とから検出対象識別器学習用データセットを作成し、検出対象識別器学習用データセットから、変化検出対象を含むか否かを識別するための検出対象識別器を学習し、検出された変化領域候補の各々について、検出対象識別器を用いて、変化領域候補が変化検出対象を含むか否かを識別し、変化検出対象を含まない変化領域候補を除外することにより、変化領域を精度よく検出することができる、という効果が得られる。 According to the change area detection device, method, and program of the present invention, the change amount is calculated for each pixel from the local feature vector calculated in the pixels having the same coordinates in the aerial photographs at the first time point and the second time point. The change area candidate is detected from the change amount for each pixel, a detection target classifier learning data set is created from the map information corresponding to the first time point and the aerial photograph at the first time point, and the detection target classifier learning data is detected. From the set, a detection target classifier for identifying whether or not a change detection target is included is learned, and for each of the detected change area candidates, the change area candidate is determined as a change detection target by using the detection target classifier. By identifying whether or not it is included and excluding change region candidates that do not include a change detection target, it is possible to obtain an effect that the change region can be detected with high accuracy.
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、実施の形態を説明するための全図において、同一機能を有するものは同一符号をつけ、その繰り返しの説明は省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiment, and the repetitive description thereof will be omitted.
本発明の実施の形態のポイントは２点ある。 There are two points in the embodiment of the present invention.
１点目は、過去に作成された地図を参照することによって得られる、変化検出対象が存在する画像座標から教師情報を生成することにより、人手で新たに教師情報を作成するという煩雑な作業を行うことなく、高品質な教師情報を得ることができるという点である。これを利用して機械学習手法により、注目対象を分類する識別器を構築し、この識別器を用いて本来検出すべきでない対象を最終的な結果から除外することにより、最終的に精度良く変化領域を検出することができる。 The first point is the troublesome task of creating teacher information manually by generating teacher information from image coordinates where a change detection target exists obtained by referring to a map created in the past. High quality teacher information can be obtained without doing this. By using this, a classifier that classifies the target of interest is constructed by a machine learning method, and by using this classifier, an object that should not be detected is excluded from the final result, so that the final change can be made with high accuracy. A region can be detected.
２点目は、一般物体認識において用いられている特徴量を変化検出対象の分類に用いることにより、画素ごとの情報ではなく小領域の見た目に基づく情報を利用しているという点である。これにより、従来利用されてきた画素ごとに注目していた特徴量では利用できなかった形やテクスチャに基づく情報を新たに利用できるようになり、地図から得た教師情報と組み合わせることにより、正確な分類を実現することができる。 The second point is that information based on the appearance of a small area is used instead of information for each pixel by using a feature amount used in general object recognition for classification of a change detection target. This makes it possible to newly use information based on shapes and textures that could not be used with features that have been focused on for each pixel that has been used in the past. Classification can be realized.
本発明の実施の形態に係る変化領域検出装置は、撮影年月日が異なるが位置合わせがなされた同じ解像度を持つ２枚の航空写真と、電子的に記録された地図情報を組み合わせて変化検出対象を正確に識別できる識別器を学習し、学習された識別器を用いて変化検出対象を含まない変化領域候補を取り除き、最終的な変化領域を座標の集合として出力する装置である。また、本発明の実施の形態に係る変化領域検出装置は、航空写真からの変化領域検出に関し、特に統計的機械学習手法を用いて変化領域を検出する技術に関する。 The change area detection apparatus according to the embodiment of the present invention detects change by combining two aerial photographs having different resolutions but having the same resolution, and map information recorded electronically. This is an apparatus that learns a discriminator that can accurately identify an object, uses the learned discriminator, removes a change area candidate that does not include a change detection target, and outputs a final change area as a set of coordinates. Moreover, the change area detection apparatus according to the embodiment of the present invention relates to change area detection from aerial photographs, and more particularly to a technique for detecting a change area using a statistical machine learning method.
＜本発明の実施の形態に係る変化領域検出装置の構成＞ <Configuration of Change Area Detection Device According to Embodiment of the Present Invention>
図１に示すように、本発明の実施の形態に係る変化領域検出装置１は、ＣＰＵと、ＲＡＭと、後述する各処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この変化領域検出装置１は、機能的には図１に示すように入力部１０と、演算部２０と、出力部４０を備えている。 As shown in FIG. 1, a change area detection apparatus 1 according to an embodiment of the present invention includes a CPU, a RAM, and a ROM that stores programs and various data for executing processing routines to be described later. Can be configured with a computer. Functionally, the change area detection device 1 includes an input unit 10, a calculation unit 20, and an output unit 40 as shown in FIG.
本発明の実施の形態において、旧航空写真とは、入力された２枚の航空写真のうち、より過去において撮影されたものを指し、本発明の実施の形態では、旧航空写真を第１時点で撮影された航空写真と称する。また、新航空写真とは、より現在に近い時点において撮影されたものを指し、本発明の実施の形態では、新航空写真を第２時点で撮影された航空写真と称する。 In the embodiment of the present invention, the old aerial photograph refers to a photograph taken in the past among the two input aerial photographs. In the embodiment of the present invention, the old aerial photograph is the first time point. This is called an aerial photograph taken in The new aerial photograph refers to a photograph taken at a time closer to the present time. In the embodiment of the present invention, the new aerial photograph is referred to as an aerial photograph taken at the second time.
本発明の実施の形態に係る変化領域検出装置１は、異なる第１時点及び第２時点で撮影された航空写真と、第１時点に対応する地図情報とを用いて土地利用変化を検出する。また、地図情報は、旧航空写真が撮影された当時のものを想定しているが、必ずしもその限りではない。 The change area detection device 1 according to the embodiment of the present invention detects land use changes using aerial photographs taken at different first and second time points and map information corresponding to the first time points. The map information is assumed to be that at the time when the old aerial photograph was taken, but this is not necessarily the case.
入力部１０は、第１時点で撮影された航空写真と第２時点で撮影された航空写真とを受け付ける。また、入力部１０は、後述する演算部２０によって用いられる、地図情報、検出対象情報、正例閾値、及び負例閾値を受け付ける。 The input unit 10 receives an aerial photograph taken at the first time point and an aerial photograph taken at the second time point. The input unit 10 also receives map information, detection target information, a positive example threshold value, and a negative example threshold value that are used by the calculation unit 20 described later.
演算部２０は、局所特徴ベクトル計算部２２と、変化量計算部２４と、変化領域候補決定部２６と、学習用データセット構築部２８と、検出対象識別器構築部３０と、非検出対象領域除外部３２とを備えている。 The calculation unit 20 includes a local feature vector calculation unit 22, a change amount calculation unit 24, a change region candidate determination unit 26, a learning data set construction unit 28, a detection target classifier construction unit 30, and a non-detection target region. And an exclusion unit 32.
局所特徴ベクトル計算部２２は、変化領域検出を行う際に、入力部１０より入力された、第１時点の航空写真の画素を特徴づける局所特徴ベクトル、及び第２時点の航空写真の画素を特徴づける局所特徴ベクトルを計算する。 The local feature vector calculation unit 22 is characterized by the local feature vector that characterizes the pixel of the aerial photograph at the first time point and the pixel of the aerial photograph at the second time point that are input from the input unit 10 when performing the change area detection. The local feature vector to be attached is calculated.
具体的には、局所特徴ベクトル計算部２２は、入力された航空写真上で等間隔に配置された格子点を中心とする小領域を、局所特徴ベクトルと呼ばれる数値ベクトルに変換する。 Specifically, the local feature vector calculation unit 22 converts a small area centered on lattice points arranged at equal intervals on the input aerial photograph into a numerical vector called a local feature vector.
図２に、小領域を一定間隔で取り出す操作を説明するための図を示す。図２において黒点は画像上に等間隔で配置された格子点を表す。また、黒点を中心とした円は小領域を表す。図２においては見易さのために小領域を円で表したが、小領域は任意の形状でよい。局所特徴ベクトル計算部２２は、各小領域について、当該小領域に含まれる画素の色や輝度値に基づいて当該小領域を数値ベクトルに変換する。そして、局所特徴ベクトル計算部２２は、各格子点座標に対応する数値ベクトルの集合を出力する。 FIG. 2 is a diagram for explaining an operation of taking out small areas at regular intervals. In FIG. 2, black dots represent grid points arranged at equal intervals on the image. A circle centered on a black dot represents a small area. In FIG. 2, the small area is represented by a circle for ease of viewing, but the small area may have an arbitrary shape. For each small region, the local feature vector calculation unit 22 converts the small region into a numerical vector based on the color and luminance value of the pixels included in the small region. Then, the local feature vector calculation unit 22 outputs a set of numerical vectors corresponding to the respective grid point coordinates.
例えば、局所特徴ベクトル計算部２２は、第１時点の航空写真の注目画素及び注目画素の周辺の小領域の色又は輝度の情報も利用して、注目画素周辺の形又はテクスチャに関する情報を記述する局所特徴ベクトルを計算する。 For example, the local feature vector calculation unit 22 also describes information on the shape or texture around the pixel of interest using information on the color or brightness of the pixel of interest of the aerial photograph at the first time point and a small area around the pixel of interest. Compute local feature vectors.
変化量計算部２４は、局所特徴ベクトル計算部２２によって出力された、第１時点及び第２時点の各々の航空写真で同じ座標を持つ画素において計算された局所特徴ベクトルから、画素ごとに変化量を計算する。 The change amount calculation unit 24 outputs the change amount for each pixel from the local feature vector calculated by the pixels having the same coordinates in the aerial photographs at the first time point and the second time point, which are output by the local feature vector calculation unit 22. Calculate
具体的には、変化量計算部２４は、第１時点及び第２時点の各々の航空写真で同じ座標を持つ画素において計算された局所特徴ベクトルから、画素ごとに、利用する局所特徴ベクトルに合わせた距離関数から計算される距離を、変化量として計算し、航空写真の解像度と同じサイズで各要素に航空写真間の変化量が格納された二次元配列を出力する。 Specifically, the change amount calculation unit 24 matches the local feature vector to be used for each pixel from the local feature vectors calculated in the pixels having the same coordinates in the aerial photographs at the first time point and the second time point. The distance calculated from the distance function is calculated as a change amount, and a two-dimensional array in which the change amount between the aerial photographs is stored in each element with the same size as the aerial photograph resolution is output.
二次元配列を距離マップとすると、距離マップ［ｘ］［ｙ］には２つの航空写真上で座標が（ｘ，ｙ）であるような画素間の変化量が格納されている（画像左上をｘ＝０，ｙ＝０とする）。変化量を計算するに当たって、まず、格子点に相当する画素に対応した局所特徴ベクトル同士の距離を計算し、当該距離を各格子点同士の変化を表す量として、距離マップの当該箇所に格納する。 If the two-dimensional array is a distance map, the distance map [x] [y] stores the amount of change between pixels whose coordinates are (x, y) on the two aerial photographs (in the upper left of the image). x = 0, y = 0). In calculating the amount of change, first, the distance between the local feature vectors corresponding to the pixels corresponding to the grid points is calculated, and the distance is stored in the location of the distance map as an amount representing the change between the grid points. .
図３に、第１時点の航空写真と第２時点の航空写真との格子点同士での対応付けを表す図を示す。変化量計算部２４は、図３に示すように、格子点に相当する画素に対応した局所特徴ベクトル同士の距離を計算し、当該距離を各格子点同士の変化を表す量として、距離マップの当該箇所に格納する。 FIG. 3 is a diagram illustrating correspondence between lattice points of the aerial photograph at the first time point and the aerial photograph at the second time point. As shown in FIG. 3, the change amount calculation unit 24 calculates the distance between the local feature vectors corresponding to the pixels corresponding to the lattice points, and uses the distance as an amount representing the change between the lattice points. Store in the relevant location.
なお、ここでいう距離とは必ずしもユークリッド距離を指すものではなく、カーネル関数を利用するなど様々な形態が考えられる（例えば、非特許文献６参照）。ここで、ｖ１とｖ２をｄ次元ベクトル、 The distance here does not necessarily indicate the Euclidean distance, and various forms such as using a kernel function are conceivable (for example, see Non-Patent Document 6). Where v 1 and v 2 are d-dimensional vectors,
とすると、２つのベクトル間のユークリッド距離Ｌ（ｖ１，ｖ２）は、 Then, the Euclidean distance L (v 1 , v 2 ) between the two vectors is
と表される量である。 It is the quantity expressed.
［非特許文献６］赤穂昭太郎，「カーネル多変量解析 --- 非線形データ解析の新しい展開」，岩波書店，2008． [Non-patent literature 6] Shota Akaho, “Kernel multivariate analysis --- New development of nonlinear data analysis”, Iwanami Shoten, 2008.
次に、変化量計算部２４は、格子点以外の点の変化量を決定する。そのため、まず変化量計算部２４は、距離マップを、格子点を中心とする重複のない正方領域に分割し、各正方領域に含まれる座標の変化量を、正方領域の中心となっている座標の変化量と同じとする。 Next, the change amount calculation unit 24 determines the change amount of points other than the lattice points. Therefore, first, the change amount calculation unit 24 divides the distance map into square regions that do not overlap each other with a lattice point as the center, and the change amount of the coordinates included in each square region is the coordinates that are the center of the square region. Is the same as the amount of change.
図４に、格子点を３画素ごとに配置して変化量を算出する場合の例を示す。図４に示すように、黒い四角は格子点に相当する配列要素を表し、太線で囲まれた正方領域に含まれる配列要素には中心となっている配列要素と同じ変化量が格納される。 FIG. 4 shows an example in which the amount of change is calculated by arranging grid points every three pixels. As shown in FIG. 4, black squares represent array elements corresponding to lattice points, and the same amount of change as that of the central array element is stored in the array elements included in the square area surrounded by the thick lines.
変化量計算部２４は、以上のようにして作成された、入力画像と同じサイズをもち、かつ各要素が画素間の変化量であるような二次元配列を出力する。 The change amount calculation unit 24 outputs a two-dimensional array that has the same size as the input image and that has each element as a change amount between pixels, created as described above.
変化領域候補決定部２６は、変化量計算部２４によって計算された画素ごとの変化量から、変化領域候補を検出する。 The change area candidate determination unit 26 detects a change area candidate from the change amount for each pixel calculated by the change amount calculation unit 24.
具体的には、変化領域候補決定部２６は、変化量計算部２４で計算された二次元配列である距離マップを入力として受け取り、当該距離マップに対して閾値処理を施す。閾値の決定方法としては人手で与えるほかに、変化量の分布から統計的に求める方法などが考えられる。本発明の実施の形態では、閾値が人手によって予め与えられている場合を例に説明する。 Specifically, the change area candidate determination unit 26 receives a distance map that is a two-dimensional array calculated by the change amount calculation unit 24 as an input, and performs threshold processing on the distance map. As a method for determining the threshold value, in addition to the manual determination, a method of statistically obtaining from the distribution of the change amount can be considered. In the embodiment of the present invention, a case where the threshold value is given in advance by hand will be described as an example.
変化量計算部２４によって計算された画素ごとの変化量が、予め決定された閾値より大きな画素で、かつ、連続的につながっている領域を１つにまとめて得られる画像座標の集合をＳ１，Ｓ２，…，ＳＮとし、当該画像座標の集合を変化領域候補とする。ここでＮは自然数で得られた候補の数を表す。また、各Ｓｉ（ｉ＝１，…，Ｎ）は、具体的には、 S 1 is a set of image coordinates obtained by grouping continuously connected regions that are pixels whose change amount for each pixel calculated by the change amount calculation unit 24 is larger than a predetermined threshold value. , S 2 ,..., SN, and the set of image coordinates is a change area candidate. Here, N represents the number of candidates obtained as a natural number. Further, each S i (i = 1,..., N) is specifically
のように表される（ＮｉはＳｉに含まれる画像座標の総数を表す）。そして、変化領域候補決定部２６は、変化領域候補の集合Ｓ＝｛Ｓ１，Ｓ２，…，ＳＮ｝を出力する。 (N i represents the total number of image coordinates included in S i ). Then, the change area candidate determination unit 26 outputs a set of change area candidates S = {S 1 , S 2 ,..., S N }.
学習用データセット構築部２８は、入力部１０によって受け付けられた第１時点に対応する地図情報と第１時点の航空写真とから、第１時点の航空写真の小領域と、変化検出対象を含むか否かを示す情報とからなる検出対象識別器学習用データセットを作成する。具体的には、学習用データセット構築部２８は、地図情報から、変化検出対象の物体の存在する画像座標を取得し、当該画像座標に基づいて学習用データセットを作成する。
なお、地図情報としては、例えば、第１時点に対応する地図を表す画像（例えば、複数の多角形領域を含んで表される。）を用いる。また、検出対象情報としては、例えば、地図情報の多角形領域の各々が何を表すのか（例えば、家屋又は道路など）を示す情報を用いる。
The learning data set construction unit 28 includes, from the map information corresponding to the first time point received by the input unit 10 and the aerial photograph at the first time point, a small area of the aerial photograph at the first time point and a change detection target. A detection target discriminator learning data set including information indicating whether or not is generated is created. Specifically, the learning data set construction unit 28 acquires image coordinates where the change detection target object exists from the map information, and creates a learning data set based on the image coordinates.
As the map information, for example, an image (for example, represented by including a plurality of polygonal areas) representing a map corresponding to the first time point is used. Further, as the detection target information, for example, information indicating what each polygonal area of the map information represents (for example, a house or a road) is used.
具体的に、まず、学習用データセット構築部２８は、第１時点の航空写真と、第１時点の航空写真を撮影した当時の地図情報及び検出対象情報を入力として、第１時点の航空写真からランダムかつ大量に小領域を取り出す。 Specifically, first, the learning data set construction unit 28 receives the aerial photograph at the first time point, the map information and the detection target information at the time when the aerial photograph at the first time point was taken, and the aerial photograph at the first time point. A small area is taken out randomly and in large quantities.
次に、学習用データセット構築部２８は、小領域を抽出する小領域集合フィルタリング処理において、変化検出対象が、入力部１０により入力された正例閾値以上の割合で含まれている小領域を正例、入力部１０により入力された負例閾値以下の割合でしか含まれていない小領域を負例として検出対象識別器学習用データセットに追加していく。ランダムに取得された小領域に含まれる画素が変化検出対象であるかどうかは、入力された地図情報及び検出対象情報を参照することによって決定される。 Next, the learning data set construction unit 28, in the small region set filtering process for extracting the small regions, includes small regions in which the change detection targets are included at a ratio equal to or higher than the positive example threshold value input by the input unit 10. A positive region is added to the detection target classifier learning data set as a negative example, which is a small region that is included only at a rate equal to or less than the negative example threshold value input by the input unit 10. It is determined by referring to the input map information and detection target information whether or not the pixels included in the small areas acquired at random are the change detection target.
図５に、小領域に含まれる変化検出対象の領域の比率を求める操作を表す。図５において点線で表される正方領域はランダムに選択された小領域を表し、灰色の長方形の領域は変化検出対象が当該領域に存在することを示す。 FIG. 5 shows an operation for obtaining the ratio of change detection target areas included in a small area. In FIG. 5, a square area represented by a dotted line represents a small area selected at random, and a gray rectangular area indicates that a change detection target exists in the area.
図５において、Ｐ１、Ｐ４、Ｐ６は変化検出対象の領域との重複が大きいため、正例として検出対象識別器学習用データセットに加えられる。Ｐ２、Ｐ３は変化検出対象の領域との重複が十分小さいため、負例として検出対象識別器学習用データセットに加えられる。Ｐ５は変化検出対象の領域との重複が、正例となるほど大きくもなく、負例となるほど小さくも無いため、どちらにも加えられず、検出対象識別器学習用データセットには含まれない。 In FIG. 5, P1, P4, and P6 have a large overlap with the change detection target region, and are added to the detection target classifier learning data set as a positive example. Since P2 and P3 overlap with the change detection target region is sufficiently small, they are added to the detection target classifier learning data set as a negative example. Since the overlap with the change detection target region is not so large as to be a positive example and not so small as to be a negative example, P5 is not added to either, and is not included in the detection target classifier learning data set.
そして、学習用データセット構築部２８は、検出対象識別器学習用データセットが所望のサイズに到達するまで繰り返し行い、最終的に得られた画像の集合と、各画像に変化検出対象が含まれるか否かという情報とを含む検出対象識別器学習用データセットを出力とする。 Then, the learning data set construction unit 28 repeats until the detection target discriminator learning data set reaches a desired size, and a set of finally obtained images and a change detection target are included in each image. And a detection target classifier learning data set including information on whether or not.
検出対象識別器構築部３０は、変化検出対象の種類毎に、学習用データセット構築部２８によって作成された検出対象識別器学習用データセットから、変化検出対象を含むか否かを識別するための検出対象識別器を学習する。 The detection target classifier construction unit 30 identifies, for each type of change detection target, whether or not a change detection target is included from the detection target classifier learning data set created by the learning data set construction unit 28. To learn the detection target classifier.
具体的には、検出対象識別器構築部３０は、検出対象識別器学習用データセットに含まれる小領域の画素を特徴づける局所特徴ベクトルを計算し、計算された画素の局所特徴ベクトルをまとめ上げる処理によって、検出対象識別器学習用データセットに含まれる小領域の大域特徴ベクトルを計算し、大域特徴ベクトルに基づいて変化検出対象を含むか否かを識別するための、各変化検出対象に対応した検出対象識別器を学習する。 Specifically, the detection target classifier construction unit 30 calculates a local feature vector that characterizes pixels in a small area included in the detection target classifier learning data set, and collects the calculated local feature vectors of the pixels. Supports each change detection target to calculate whether or not to include a change detection target based on the global feature vector by calculating the global feature vector of the small area included in the detection target classifier learning data set by processing The detected classifier is learned.
ここで、変化検出対象をＯ１，Ｏ２，…，ＯＭとし、各変化検出対象に対応した検出対象識別器をｆ１，ｆ２，…，ｆＭとすると、ｆｊ（ｊ＝１、…、Ｍ）はＤ次元ベクトルｘを入力として受け取り数値を出力する関数で、ｆｊ（ｘ）＞０のとき入力ｘに対応する領域を変化検出対象物体Ｏｊであるとみなす。複数の識別器の出力が正であるときは最も大きな数値を出力した識別器に対応した変化検出対象物体であるとみなす。また、すべての識別器の出力が負であったときには、入力ｘに対応する領域には変化検出対象物体が含まれていないとみなす。 Here, the change detection target O 1, O 2, ..., and O M, the detection target identifier corresponding to each change detected f 1, f 2, ..., When f M, f j (j = 1 ,..., M) is a function that receives a D-dimensional vector x and outputs a numerical value. When f j (x)> 0, the region corresponding to the input x is regarded as a change detection target object O j . When the outputs of a plurality of discriminators are positive, it is regarded as a change detection target object corresponding to the discriminator that outputs the largest numerical value. Further, when the outputs of all the classifiers are negative, it is considered that the change detection target object is not included in the region corresponding to the input x.
学習に当たって、検出対象識別器学習用データセットに含まれる画像や変化検出対象が含まれるか否かという教師情報は、学習しようとする検出対象識別器の種類に応じて適切に数値ベクトルなどに変換される。また、検出対象識別器学習用データセットに含まれる画像は大域特徴ベクトルと呼ばれるベクトルに変換する。 In learning, teacher information on whether or not to include images and change detection targets included in the detection target classifier learning data set is appropriately converted into numerical vectors etc. according to the type of detection target classifiers to be learned Is done. The image included in the detection target classifier learning data set is converted into a vector called a global feature vector.
検出対象識別器構築部３０においては、入力領域として小領域全体を入力とする。また、局所特徴ベクトル統合処理としては、局所特徴ベクトルの平均を計算する、あるいは次元ごとに最大値を求めるなどの処理が考えられる。大域特徴ベクトルとしては一般物体認識などで用いられるBag-of-Visual-WordsやFisher Vectorといった様々な特徴ベクトルを利用することが考えられる。 In the detection target classifier construction unit 30, the entire small area is set as an input area. Further, as local feature vector integration processing, processing such as calculating the average of local feature vectors or obtaining a maximum value for each dimension can be considered. As global feature vectors, various feature vectors such as Bag-of-Visual-Words and Fisher Vector used in general object recognition can be considered.
検出対象識別器としては様々なものが考えられるが、具体的なものを挙げれば、パーセプトロンやニューラルネットワーク、サポートベクターマシンなどがある。 Various detection target classifiers can be considered, and specific examples include a perceptron, a neural network, and a support vector machine.
検出対象識別器構築部３０は、以上のようにして学習された検出対象識別器を出力する。 The detection target classifier construction unit 30 outputs the detection target classifier learned as described above.
非検出対象領域除外部３２は、変化領域候補決定部２６によって検出された変化領域候補の各々について、検出対象識別器構築部３０によって出力された検出対象識別器を用いて、変化領域候補が変化検出対象を含むか否かを識別し、変化検出対象を含まない変化領域候補を除外する。 The non-detection target region exclusion unit 32 uses the detection target classifier output by the detection target classifier construction unit 30 to change the change region candidate for each of the change region candidates detected by the change region candidate determination unit 26. Whether or not a detection target is included is identified, and change area candidates that do not include a change detection target are excluded.
具体的には、非検出対象領域除外部３２は、変化領域候補決定部２６によって検出された変化領域候補の各々について、第２時点の航空領域の変化領域候補の画素を特徴づける局所特徴ベクトルを計算し、計算された画素の前記局所特徴ベクトルをまとめ上げる処理によって、変化領域候補の大域特徴ベクトルを計算し、計算した大域特徴ベクトルに基づいて、検出対象識別器を用いて、変化領域候補が変化検出対象を含むか否かを識別し、最終的に出力する変化領域を決定する。 Specifically, the non-detection target region excluding unit 32 calculates, for each of the change region candidates detected by the change region candidate determining unit 26, a local feature vector that characterizes the pixels of the change region candidate of the aviation region at the second time point. By calculating and summing up the calculated local feature vectors of the pixels, a global feature vector of the change region candidate is calculated, and based on the calculated global feature vector, the change region candidate is detected using a detection target discriminator. Whether or not a change detection target is included is identified, and a change area to be finally output is determined.
まず、非検出対象領域除外部３２は、変化領域候補の集合から、各変化領域候補に相当する航空写真上の領域を検出対象識別器にかけるために、各変化領域候補に相当する航空写真上の領域を大域特徴ベクトルに変換する。変化領域候補に対応する画像の大域特徴ベクトル変換がこのプロセスにあたる。 First, the non-detection target region exclusion unit 32 applies the region on the aerial photograph corresponding to each change region candidate to the detection target classifier from the set of change region candidates on the aerial photograph corresponding to each change region candidate. Is converted into a global feature vector. The global feature vector conversion of the image corresponding to the change area candidate corresponds to this process.
検出対象識別器構築部３０においては入力領域として小領域全体を用いたが、本プロセスにおいては変化領域候補の集合Ｓに含まれるＳｉが入力となる。すなわちＳｉに含まれる画像領域から局所特徴ベクトルを計算し、局所特徴ベクトル統合処理によって抽出した局所特徴ベクトルを大域特徴ベクトルに変換する。ここで用いられる大域特徴ベクトルは検出対象識別器構築部３０において、検出対象識別器の学習に用いられたものと同じものである。 Although the detection target discriminator construction unit 30 using the entire small region as an input region, S i contained in the set S of the changing area candidate is input in this process. That local feature vectors calculated from the image area included in S i, converting the local feature vectors extracted by the local feature vector integration processing in the global feature vectors. The global feature vector used here is the same as that used for learning of the detection target classifier in the detection target classifier construction unit 30.
次に、非検出対象領域除外部３２は、大域特徴ベクトルを検出対象識別器にかけることにより、各変化領域候補に変化検出対象が含まれているかどうかを判別し、変化検出対象が含まれている変化領域候補のみを最終的に変化領域として出力する。変化領域候補Ｓｉから計算された大域特徴ベクトルをｘ（Ｓｉ）とすると、最終的に出力される領域集合Ｔは、 Next, the non-detection target region exclusion unit 32 determines whether each change region candidate includes a change detection target by applying a global feature vector to the detection target discriminator, and the change detection target is included. Only the change area candidates that are present are finally output as change areas. If the global feature vector calculated from the change area candidate S i is x (S i ), the area set T that is finally output is
となる。
このとき、本質的ではない見た目の変化に対して頑健な大域特徴ベクトルを利用することにより、撮影時点の違いから生じる建物の影の変化や季節の移り変わりによる田畑や森林の変化、自動車などの動物体の移動によるテクスチャの変化といった、本来変化領域として検出すべきではない領域を正確に出力結果から除くことができ、最終的に精度よく変化領域を把握することが可能となる。
It becomes.
At this time, by using a global feature vector that is robust against non-essential changes in appearance, changes in the shadows of buildings resulting from differences in shooting time, changes in fields and forests due to seasonal changes, animals such as cars, etc. An area that should not be detected as a change area, such as a texture change due to body movement, can be accurately excluded from the output result, and the change area can be finally grasped with high accuracy.
出力部４０は、非検出対象領域除外部３２によって出力された変化領域を結果として出力する。 The output unit 40 outputs the change region output by the non-detection target region exclusion unit 32 as a result.
＜本発明の実施の形態に係る変化領域検出装置の作用＞ <Operation of Change Area Detection Device According to Embodiment of the Present Invention>
次に、本発明の実施の形態に係る変化領域検出装置１の作用について説明する。第１時点で撮影された航空写真及び第２時点で撮影された航空写真が変化領域検出装置１に入力されると、変化領域検出装置１は、図６に示す変化領域候補生成処理ルーチンを実行する。 Next, the operation of the change area detection device 1 according to the embodiment of the present invention will be described. When the aerial photograph taken at the first time point and the aerial photograph taken at the second time point are input to the change region detection device 1, the change region detection device 1 executes a change region candidate generation processing routine shown in FIG. To do.
＜変化領域候補生成処理ルーチン＞
ステップＳ１００において、入力部１０は、第１時点で撮影された航空写真と第２時点で撮影された航空写真とを受け付ける。
<Change area candidate generation processing routine>
In step S100, the input unit 10 receives an aerial photograph taken at the first time point and an aerial photograph taken at the second time point.
次に、ステップＳ１０２において、局所特徴ベクトル計算部２２は、変化領域検出を行う際に、上記ステップＳ１００で受け付けた、第１時点の航空写真の画素を特徴づける局所特徴ベクトル、及び第２時点の航空写真の画素を特徴づける局所特徴ベクトルを計算する。ステップＳ１０２は、図７に示す局所特徴ベクトル計算処理ルーチンによって実現される。 Next, in step S102, the local feature vector calculation unit 22 performs the change area detection. The local feature vector that characterizes the pixels of the aerial photograph at the first time point received in step S100 and the second time point Compute local feature vectors that characterize aerial photo pixels. Step S102 is realized by a local feature vector calculation processing routine shown in FIG.
＜局所特徴ベクトル計算処理ルーチン＞
ステップＳ２００において、上記ステップＳ１００で受け付けた、第１時点で撮影された航空写真と第２時点で撮影された航空写真とを取得する。
<Local feature vector calculation processing routine>
In step S200, the aerial photograph taken at the first time point and the aerial photograph taken at the second time point received in step S100 are acquired.
ステップＳ２０２において、上記ステップＳ２００で取得された第１時点で撮影された航空写真及び第２時点で撮影された航空写真について、当該航空写真上で等間隔に配置された格子点を中心とする小領域をサンプリングする。 In step S202, for the aerial photograph taken at the first time point acquired in step S200 and the aerial photograph taken at the second time point, small points centered on lattice points arranged at equal intervals on the aerial photograph. Sampling the region.
ステップＳ２０４において、上記ステップＳ２０２でサンプリングされた小領域の各々について、当該小領域を局所特徴ベクトルに変換する。 In step S204, for each small region sampled in step S202, the small region is converted into a local feature vector.
ステップＳ２０６において、上記ステップＳ２０４で得られた局所特徴ベクトルの集合を結果として出力して、局所特徴ベクトル計算処理ルーチンを終了する。 In step S206, the set of local feature vectors obtained in step S204 is output as a result, and the local feature vector calculation processing routine is terminated.
次に、変化領域候補生成処理ルーチンに戻り、ステップＳ１０４において、変化量計算部２４は、上記ステップＳ１０２で出力された局所特徴ベクトルの集合について、第１時点及び第２時点の各々の航空写真で同じ座標を持つ画素において計算された局所特徴ベクトルから、画素ごとに変化量を計算する。ステップＳ１０４は、図８に示す変化量計算処理ルーチンによって実現される。 Next, returning to the change area candidate generation processing routine, in step S104, the change amount calculation unit 24 uses the aerial photographs at the first time point and the second time point for the set of local feature vectors output in step S102. The amount of change is calculated for each pixel from the local feature vector calculated for the pixel having the same coordinates. Step S104 is realized by the change amount calculation processing routine shown in FIG.
＜変化量計算処理ルーチン＞
ステップＳ３００において、上記ステップＳ１０２で出力された局所特徴ベクトルの集合を取得する。
<Change amount calculation processing routine>
In step S300, a set of local feature vectors output in step S102 is acquired.
ステップＳ３０２において、上記ステップＳ３００で取得した局所特徴ベクトルの集合に基づいて、各格子点のペアについて、当該格子点に相当する画素に対応した局所特徴ベクトル同士の距離を計算し、当該距離を各格子点同士の変化を表す量として、距離マップの当該箇所に格納する。 In step S302, based on the set of local feature vectors acquired in step S300, for each pair of lattice points, the distance between the local feature vectors corresponding to the pixels corresponding to the lattice points is calculated, and the distance is calculated for each pair. As an amount representing a change between lattice points, it is stored in the corresponding location of the distance map.
ステップＳ３０４において、上記ステップＳ３０２で格子点間の変化量が格納された距離マップを、格子点を中心とする重複のない正方領域に分割し、各正方領域に含まれる座標の変化量を正方領域の中心となっている格子点の変化量と同じとする。 In step S304, the distance map in which the amount of change between the lattice points is stored in step S302 is divided into non-overlapping square regions centered on the lattice points, and the amount of change in coordinates included in each square region is divided into square regions. It is the same as the amount of change of the lattice point that is the center of.
ステップＳ３０６において、上記ステップＳ３０４で得られた距離マップを結果として出力して、変化量計算処理ルーチンを終了する。 In step S306, the distance map obtained in step S304 is output as a result, and the change amount calculation processing routine is terminated.
次に、変化領域候補生成処理ルーチンに戻り、ステップＳ１０６において、変化領域候補決定部２６は、上記ステップＳ１０４で計算された画素ごとの変化量から、変化領域候補を検出する。ステップＳ１０６は、図９に示す変化領域候補決定処理ルーチンによって実現される。 Next, returning to the change area candidate generation processing routine, in step S106, the change area candidate determination unit 26 detects a change area candidate from the change amount for each pixel calculated in step S104. Step S106 is realized by the change area candidate determination processing routine shown in FIG.
＜変化領域候補決定処理ルーチン＞
ステップＳ４００において、上記ステップＳ１０４で出力された距離マップを取得する。
<Change area candidate determination processing routine>
In step S400, the distance map output in step S104 is acquired.
ステップＳ４０２において、上記ステップＳ４００で取得された距離マップに基づいて、距離マップの要素に対応する画素の各々について、当該画素の変化量が、予め決定された閾値より大きい画素を抽出する。 In step S402, based on the distance map acquired in step S400, for each pixel corresponding to the element of the distance map, a pixel whose pixel change amount is larger than a predetermined threshold is extracted.
ステップＳ４０４において、上記ステップＳ４０２の閾値処理によって抽出された画素の各々について、連続的につながっている領域を１つに結合し変化領域候補とする。 In step S404, for each of the pixels extracted by the threshold processing in step S402, the continuously connected regions are combined into one to be changed region candidates.
ステップＳ４０６において、上記ステップＳ４０４で得られた変化領域候補の各々を変化領域候補の集合として出力し、変化領域候補決定処理ルーチンを終了する。 In step S406, each of the change area candidates obtained in step S404 is output as a set of change area candidates, and the change area candidate determination processing routine ends.
次に、変化領域候補生成処理ルーチンに戻り、ステップＳ１０８において、上記ステップＳ１０６で出力された変化領域候補の集合を結果として出力し、変化領域候補生成処理ルーチンを終了する。 Next, the process returns to the change area candidate generation process routine. In step S108, the set of change area candidates output in step S106 is output as a result, and the change area candidate generation process routine ends.
次に、学習処理ルーチンについて説明する。 Next, the learning process routine will be described.
第１時点で撮影された航空写真と、地図情報、検出対象情報、正例閾値、及び負例閾値とが変化領域検出装置１に入力されると、変化領域検出装置１は、図１０に示す学習処理ルーチンを実行する。 When the aerial photograph taken at the first time point, the map information, the detection target information, the positive example threshold, and the negative example threshold are input to the change region detection device 1, the change region detection device 1 is shown in FIG. A learning process routine is executed.
＜学習処理ルーチン＞
ステップＳ５００において、入力部１０は、第１時点で撮影された航空写真と、地図情報、検出対象情報、正例閾値、及び負例閾値とを受け付ける。
<Learning processing routine>
In step S500, the input unit 10 receives an aerial photograph taken at the first time point, map information, detection target information, a positive example threshold, and a negative example threshold.
ステップＳ５０２において、学習用データセット構築部２８は、上記ステップＳ５００で受け付けられた第１時点に対応する地図情報と第１時点の航空写真とから、第１時点の航空写真の小領域と、変化検出対象を含むか否かを示す情報とからなる検出対象識別器学習用データセットを作成する。ステップＳ５０２は、図１１に示す学習用データセット構築処理ルーチンによって実現される。 In step S502, the learning data set construction unit 28 changes, from the map information corresponding to the first time point received in step S500 and the aerial photograph at the first time point, the small area of the aerial photograph at the first time point and the change. A detection target classifier learning data set including information indicating whether or not a detection target is included is created. Step S502 is realized by the learning data set construction processing routine shown in FIG.
＜学習用データセット構築処理ルーチン＞
ステップＳ６００において、上記ステップＳ５００で受け付けられた、第１時点で撮影された航空写真と、地図情報、検出対象情報、正例閾値、及び負例閾値とを取得する。
<Learning data set construction processing routine>
In step S600, the aerial photograph taken at the first time point, the map information, the detection target information, the positive example threshold value, and the negative example threshold value received in step S500 are acquired.
ステップＳ６０２において、上記ステップＳ６００で取得した第１時点の航空写真から、小領域をランダムに複数個取得する。 In step S602, a plurality of small regions are randomly acquired from the aerial photograph at the first time acquired in step S600.
ステップＳ６０４において、上記ステップＳ６００で取得された、地図情報、検出対象情報、正例閾値、及び負例閾値に基づいて、上記ステップＳ６０２で取得された小領域の各々について、変化検出対象が正例閾値以上の割合で含まれている当該小領域を正例、負例閾値以下の割合でしか含まれていない当該小領域を負例として検出対象識別器学習用データセットに追加する。 In step S604, based on the map information, detection target information, positive example threshold, and negative example threshold acquired in step S600, the change detection target is a positive example for each of the small regions acquired in step S602. The small area included at a ratio equal to or higher than the threshold is added to the detection target classifier learning data set as a positive example, and the small area included only at a ratio equal to or lower than the negative example threshold is set as a negative example.
ステップＳ６０６において、上記ステップＳ６０４のフィルタリング処理によって得られた検出対象識別器学習用データセットを結果として出力して、学習用データセット構築処理ルーチンを終了する。 In step S606, the detection target classifier learning data set obtained by the filtering process in step S604 is output as a result, and the learning data set construction processing routine is terminated.
次に学習処理ルーチンに戻り、ステップＳ５０４において、検出対象識別器構築部３０は、変化検出対象の種類毎に、上記ステップＳ５０２で構築された検出対象識別器学習用データセットから、変化検出対象を含むか否かを識別するための検出対象識別器を学習する。ステップＳ５０４は、図１２に示す検出対象識別器構築処理ルーチンによって実現される。 Next, returning to the learning processing routine, in step S504, the detection target classifier construction unit 30 selects a change detection target from the detection target classifier learning data set constructed in step S502 for each type of change detection target. A detection target discriminator for discriminating whether or not it is included is learned. Step S504 is realized by the detection target classifier construction processing routine shown in FIG.
＜検出対象識別器構築処理ルーチン＞
ステップＳ７００において、上記ステップＳ５０２で出力された検出対象識別器学習用データセットを取得する。
<Detection target classifier construction processing routine>
In step S700, the detection target classifier learning data set output in step S502 is acquired.
ステップＳ７０２において、検出対象識別器構築部３０は、上記ステップＳ７００で取得された検出対象識別器学習用データセットに含まれる小領域の画素を特徴づける局所特徴ベクトルを計算し、計算された画素の局所特徴ベクトルをまとめ上げる処理によって、検出対象識別器学習用データセットに含まれる小領域の大域特徴ベクトルを計算する。ステップＳ７０２は、図１３に示す大域特徴ベクトル変換処理ルーチンによって実現される。 In step S702, the detection target classifier construction unit 30 calculates a local feature vector that characterizes pixels in a small area included in the detection target classifier learning data set acquired in step S700, and calculates the calculated pixel values. A global feature vector of a small area included in the detection target classifier learning data set is calculated by a process of collecting local feature vectors. Step S702 is realized by the global feature vector conversion processing routine shown in FIG.
＜大域特徴ベクトル変換処理ルーチン＞
ステップＳ８００において、上記ステップＳ７００で取得された検出対象識別器学習用データセットに含まれる複数の小領域を取得する。
<Global feature vector conversion processing routine>
In step S800, a plurality of small regions included in the detection target classifier learning data set acquired in step S700 are acquired.
ステップＳ８０２において、上記ステップＳ８００で取得された複数の小領域の各々について、当該小領域の画素を局所特徴ベクトルに変換する。 In step S802, for each of the plurality of small regions acquired in step S800, the pixels in the small region are converted into local feature vectors.
ステップＳ８０４において、上記ステップＳ８００で取得された複数の小領域の各々について、上記ステップＳ８０２で得られた局所特徴ベクトルを統合して、大域特徴ベクトルを生成する。 In step S804, for each of the plurality of small regions acquired in step S800, the local feature vector obtained in step S802 is integrated to generate a global feature vector.
ステップＳ８０６において、上記ステップＳ８０４で得られた大域特徴ベクトルの各々を結果として出力して、大域特徴ベクトル変換処理ルーチンを終了する。 In step S806, each of the global feature vectors obtained in step S804 is output as a result, and the global feature vector conversion processing routine is terminated.
次に検出対象識別器構築処理ルーチンに戻り、ステップＳ７０４において、検出対象識別器構築部３０は、上記ステップＳ７０２で出力された大域特徴ベクトルの各々に基づいて、各変化検出対象Ｏ１，Ｏ２，…，ＯＭに対応した検出対象識別器ｆ１，ｆ２，…，ｆＭを学習する。 Next, returning to the detection target classifier construction processing routine, in step S704, the detection target classifier construction unit 30 determines each change detection target O 1 , O 2 based on each of the global feature vectors output in step S702. , ..., detected identifier corresponding to O M f 1, f 2, ..., to learn f M.
ステップＳ７０６において、検出対象識別器構築部３０は、上記ステップＳ７０４で学習された検出対象識別器ｆ１，ｆ２，…，ｆＭを結果として出力して、検出対象識別器構築処理ルーチンを終了する。 In step S706, the detection target classifier construction unit 30 outputs the detection target classifiers f 1 , f 2 ,..., F M learned in step S704 as a result, and ends the detection target classifier construction processing routine. To do.
次に、変化領域検出処理ルーチンについて説明する。 Next, the change area detection processing routine will be described.
変化領域候補生成処理ルーチンによって変化領域候補の集合が出力され、学習処理ルーチンによって検出対象識別器が出力されると、変化領域検出装置１は、図１４に示す変化領域検出処理ルーチンを実行する。 When the set of change area candidates is output by the change area candidate generation process routine and the detection target classifier is output by the learning process routine, the change area detection apparatus 1 executes the change area detection process routine shown in FIG.
＜変化領域検出処理ルーチン＞
ステップＳ８００において、非検出対象領域除外部３２は、変化領域候補生成処理ルーチンのステップＳ１００で受け付けた第２時点で撮影された航空写真と、変化領域候補生成処理ルーチンによって出力された変化領域候補の集合と、学習処理ルーチンによって出力された検出対象識別器とを取得する。
<Change area detection processing routine>
In step S800, the non-detection target area exclusion unit 32 displays the aerial photograph taken at the second time point received in step S100 of the change area candidate generation process routine and the change area candidate output by the change area candidate generation process routine. The set and the detection target classifier output by the learning processing routine are acquired.
ステップＳ８０２において、非検出対象領域除外部３２は、上記ステップＳ８００で取得された第２時点で撮影された航空写真と変化領域候補の集合とに基づいて、変化領域候補の集合に含まれる画像領域から局所特徴ベクトルを計算し、計算された局所特徴ベクトルを統合して大域特徴ベクトルに変換する。ここで用いられる大域特徴ベクトルは検出対象識別器構築部３０において、検出対象識別器の学習に用いられたものと同様のものである。 In step S802, the non-detection target area excluding unit 32 includes image areas included in the change area candidate set based on the aerial photograph taken at the second time point acquired in step S800 and the change area candidate set. Then, local feature vectors are calculated from these, and the calculated local feature vectors are integrated and converted to a global feature vector. The global feature vector used here is the same as that used for learning of the detection target classifier in the detection target classifier construction unit 30.
ステップＳ８０４において、非検出対象領域除外部３２は、上記ステップＳ８００で取得された検出対象識別器と、上記ステップＳ８０２で得られた大域特徴ベクトルとに基づいて、変化領域候補の集合に含まれる変化領域候補の各々について、検出対象識別器を用いて、変化領域候補が変化検出対象を含むか否かを識別する。 In step S804, the non-detection target region excluding unit 32 includes the change included in the set of change region candidates based on the detection target discriminator acquired in step S800 and the global feature vector obtained in step S802. For each of the region candidates, a detection target discriminator is used to identify whether or not the change region candidate includes a change detection target.
ステップＳ８０６において、非検出対象領域除外部３２は、上記ステップＳ８０４で得られた識別結果に基づいて、変化領域候補の集合から、変化検出対象を含まない変化領域候補を除外する。 In step S806, the non-detection target region excluding unit 32 excludes the change region candidate that does not include the change detection target from the set of change region candidates based on the identification result obtained in step S804.
ステップＳ８０８において、出力部４０は、上記ステップＳ８０６によって変化検出対象を含まない変化領域候補が除外された変化領域候補の集合を結果として出力して、変化領域検出処理ルーチンを終了する。 In step S808, the output unit 40 outputs the set of change area candidates from which the change area candidates not including the change detection target in step S806 are excluded, and ends the change area detection processing routine.
以上説明したように、本発明の実施の形態に係る変化領域検出装置によれば、第１時点及び第２時点の各々の航空写真で同じ座標を持つ画素において計算された局所特徴ベクトルから画素ごとに変化量を計算し、画素ごとの変化量から変化領域候補を検出し、第１時点に対応する地図情報と第１時点の航空写真とから検出対象識別器学習用データセットを作成し、検出対象識別器学習用データセットから、変化検出対象を含むか否かを識別するための検出対象識別器を学習し、検出された変化領域候補の各々について、検出対象識別器を用いて、変化領域候補が変化検出対象を含むか否かを識別し、変化検出対象を含まない変化領域候補を除外することにより、変化領域を精度よく検出することができる。 As described above, according to the change region detection device according to the embodiment of the present invention, each pixel from the local feature vector calculated in the pixels having the same coordinates in the aerial photographs at the first time point and the second time point. The change amount is calculated, the change area candidate is detected from the change amount for each pixel, and the detection target classifier learning data set is created and detected from the map information corresponding to the first time point and the aerial photograph at the first time point. A detection target classifier for identifying whether or not a change detection target is included is learned from the target classifier learning data set, and a change region is detected for each detected change region candidate using the detection target identifier. By identifying whether a candidate includes a change detection target and excluding change region candidates that do not include a change detection target, the change region can be detected with high accuracy.
また、過去にある地点において撮影された航空写真をもとに、同じ地点で新たに撮影された航空写真から、影や植生の変化がある場合でも、そのような変化に対して頑健に、かつ、新規に学習用のデータを作成するという煩雑な作業を介することなく変化領域を検出することが可能となる。 Also, based on aerial photographs taken at a certain point in the past, even if there are changes in shadows and vegetation from aerial photographs newly taken at the same point, it is robust against such changes, and Thus, it is possible to detect the change area without going through the complicated work of creating new learning data.
また、電子的に利用可能となっている地図情報を識別器の学習に利用することにより変化領域の検出精度の改善を図ることができる。 In addition, it is possible to improve the detection accuracy of the change area by using the map information that can be used electronically for learning of the discriminator.
また、検出対象を識別するための識別器を学習するための高品質なデータセットを新たな労力をかけることなく構築し、構築されたデータセットを用いて学習した識別器を利用して、検出対象を含まない変化領域候補を最終的な出力結果から除くことができる。 In addition, a high-quality data set for learning a discriminator for identifying a detection target is constructed without any additional effort, and detection is performed using a discriminator learned using the constructed data set. Candidate area changes that do not include the target can be excluded from the final output result.
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications can be made without departing from the gist of the present invention.
例えば、本発明の実施の形態では、変化領域候補の集合を生成する処理と、検出対象識別器を学習する処理と、変化領域を検出する処理とを１つの装置で行う場合を例に説明したが、変化領域候補の集合を生成する処理と、検出対象識別器を学習する処理と、変化領域を検出する処理とを、別々の装置で実行してもよい。その場合には、変化領域候補の集合を生成する装置は、局所特徴ベクトル計算部２２と、変化量計算部２４と、変化領域候補決定部２６とを含んで構成され、検出対象識別器を学習する装置は、学習用データセット構築部２８と、検出対象識別器構築部３０とを含んで構成され、変化領域を検出する処理装置は、非検出対象領域除外部３２を含んで構成される。 For example, in the embodiment of the present invention, the case where the process of generating the set of change area candidates, the process of learning the detection target classifier, and the process of detecting the change area is performed by one apparatus has been described as an example. However, the process for generating the set of change area candidates, the process for learning the detection target classifier, and the process for detecting the change area may be executed by different devices. In that case, the apparatus for generating a set of change area candidates includes a local feature vector calculation unit 22, a change amount calculation unit 24, and a change area candidate determination unit 26, and learns a detection target classifier. The apparatus that performs the learning includes the learning data set construction unit 28 and the detection target classifier construction unit 30, and the processing device that detects the change region includes the non-detection target region exclusion unit 32.
また、本発明の実施の形態において、変化領域候補決定部２６は、予め定められた閾値に基づいて閾値処理を行う場合を例に説明したが、これに限定されるものではなく、例えば変化量の分布から閾値を統計的に求めてもよい。この場合、変化領域候補決定処理ルーチンは、図１５に示すように、閾値を決定するステップＳ４０１を更に含む。 Further, in the embodiment of the present invention, the change area candidate determination unit 26 has been described as an example in which threshold processing is performed based on a predetermined threshold. However, the present invention is not limited to this. The threshold may be obtained statistically from the distribution of. In this case, the change area candidate determination processing routine further includes step S401 for determining a threshold as shown in FIG.
また、本発明の実施の形態において、学習用データセット構築部２８は、地図情報及び検出対象情報を用いて、学習用データセットを作成する場合を例に説明したが、これに限定されるものではなく、例えば、地図情報に検出対象情報が含まれており、学習用データセット構築部２８は、地図情報を用いて学習用データセットを作成してもよい。 Further, in the embodiment of the present invention, the learning data set construction unit 28 has been described by taking as an example the case of creating a learning data set using map information and detection target information. However, the present invention is not limited to this. Instead, for example, the detection target information is included in the map information, and the learning data set construction unit 28 may create the learning data set using the map information.
また、上述の変化領域検出装置は、内部にコンピュータシステムを有しているが、コンピュータシステムは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。 Moreover, although the above-mentioned change area | region detection apparatus has a computer system inside, if the computer system is using the WWW system, it shall also include a homepage provision environment (or display environment).
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読取り可能な記録媒体に格納して提供することも可能である。 In the present specification, the embodiment has been described in which the program is installed in advance. However, the program can be provided by being stored in a computer-readable recording medium.
１０ 入力部
２０ 演算部
２２ 局所特徴ベクトル計算部
２４ 変化量計算部
２６ 変化領域候補決定部
２８ 学習用データセット構築部
３０ 検出対象識別器構築部
３２ 非検出対象領域除外部
４０ 出力部
DESCRIPTION OF SYMBOLS 10 Input part 20 Calculation part 22 Local feature vector calculation part 24 Change amount calculation part 26 Change area candidate determination part 28 Data set construction part 30 for learning detection object identifier construction part 32 Non-detection object area exclusion part 40 Output part
Claims (7)
変化領域検出を行う際に、入力された前記第１時点の航空写真の画素を特徴づける局所特徴ベクトル、及び前記第２時点の航空写真の画素を特徴づける局所特徴ベクトルを計算する局所特徴ベクトル計算手段と、
前記第１時点及び第２時点の各々の航空写真で同じ座標を持つ画素において計算された局所特徴ベクトルから、前記画素ごとに変化量を計算する変化量計算手段と、
前記画素ごとの変化量から、変化領域候補を検出する変化領域候補決定手段と、
前記第１時点に対応する地図情報と前記第１時点の航空写真とから、前記第１時点の航空写真の小領域と、変化検出対象を含むか否かを示す情報とからなる検出対象識別器学習用データセットを作成する学習用データセット構築手段と、
前記検出対象識別器学習用データセットから、変化検出対象を含むか否かを識別するための検出対象識別器を学習する検出対象識別器構築手段と、
前記変化領域候補決定手段によって検出された変化領域候補の各々について、前記検出対象識別器を用いて、前記変化領域候補が前記変化検出対象を含むか否かを識別し、前記変化検出対象を含まない前記変化領域候補を除外する非検出対象領域除外手段と、
を含む変化領域検出装置。 A change area detection device that detects land use changes using aerial photographs taken at different first time points and second time points and map information corresponding to the first time points,
Local feature vector calculation that calculates a local feature vector that characterizes pixels of the input aerial photograph at the first time point and a local feature vector that characterizes pixels of the aerial photograph at the second time point when performing a change area detection Means,
Change amount calculating means for calculating a change amount for each pixel from local feature vectors calculated in pixels having the same coordinates in the aerial photographs at each of the first time point and the second time point;
Change area candidate determination means for detecting change area candidates from the amount of change for each pixel;
A detection target discriminator comprising map information corresponding to the first time point and the aerial photograph at the first time point, and a small area of the aerial photograph at the first time point and information indicating whether or not a change detection target is included. A learning data set construction means for creating a learning data set;
A detection target classifier construction means for learning a detection target classifier for identifying whether or not a change detection target is included from the detection target classifier learning data set;
For each of the change region candidates detected by the change region candidate determination means, the detection target identifier is used to identify whether or not the change region candidate includes the change detection target, and the change detection target is included. Non-detection target region exclusion means for excluding the change region candidate not present,
A change area detecting apparatus including:
前記非検出対象領域除外手段は、前記変化領域候補決定手段によって検出された変化領域候補の各々について、前記第２時点の航空領域の前記変化領域候補の画素を特徴づける局所特徴ベクトルを計算し、前記計算された画素の前記局所特徴ベクトルをまとめ上げる処理によって、前記変化領域候補の大域特徴ベクトルを計算し、前記計算した大域特徴ベクトルに基づいて、前記検出対象識別器を用いて、前記変化領域候補が前記変化検出対象を含むか否かを識別する請求項１〜請求項３の何れか１項記載の変化領域検出装置。 The detection target classifier construction means calculates a local feature vector that characterizes pixels in a small area included in the detection target classifier learning data set, and collects the calculated local feature vectors of the pixels. , Calculating a global feature vector of a small area included in the detection target classifier learning data set, and learning the detection target classifier for identifying whether a change detection target is included based on the global feature vector And
The non-detection target area exclusion unit calculates a local feature vector that characterizes pixels of the change area candidate in the aviation area at the second time point for each of the change area candidates detected by the change area candidate determination unit; By calculating the local feature vectors of the calculated pixels, a global feature vector of the change region candidate is calculated, and based on the calculated global feature vector, using the detection target discriminator, the change region The change area detection device according to claim 1, wherein a candidate identifies whether or not a candidate includes the change detection target.
前記局所特徴ベクトル計算手段が、変化領域検出を行う際に、入力された前記第１時点の航空写真の画素を特徴づける局所特徴ベクトル、及び前記第２時点の航空写真の画素を特徴づける局所特徴ベクトルを計算するステップと、
前記変化量計算手段が、前記第１時点及び第２時点の各々の航空写真で同じ座標を持つ画素において計算された局所特徴ベクトルから、前記画素ごとに変化量を計算するステップと、
前記変化領域候補決定手段が、前記画素ごとの変化量から、変化領域候補を検出するステップと、
前記学習用データセット構築手段が、前記第１時点に対応する地図情報と前記第１時点の航空写真とから、前記第１時点の航空写真の小領域と、変化検出対象を含むか否かを示す情報とからなる検出対象識別器学習用データセットを作成するステップと、
前記検出対象識別器構築手段が、前記検出対象識別器学習用データセットから、変化検出対象を含むか否かを識別するための検出対象識別器を学習するステップと、
前記非検出対象領域除外手段が、前記変化領域候補決定手段によって検出された変化領域候補の各々について、前記検出対象識別器を用いて、前記変化領域候補が前記変化検出対象を含むか否かを識別し、前記変化検出対象を含まない前記変化領域候補を除外するステップと、
を含む変化領域検出方法。 Including local feature vector calculation means, change amount calculation means, change area candidate determination means, learning data set construction means, detection target classifier construction means, and non-detection target area exclusion means, and at different first and second time points A change area detection method in a change area detection device that detects land use change using a photographed aerial photograph and map information corresponding to the first time point,
When the local feature vector calculation means performs the change area detection, the local feature vector that characterizes the input pixels of the aerial photograph at the first time point and the local feature that characterizes the pixels of the aerial photograph at the second time point. Calculating a vector;
The change amount calculating means calculates a change amount for each pixel from a local feature vector calculated in pixels having the same coordinates in the aerial photographs at each of the first time point and the second time point;
The change area candidate determining means detecting a change area candidate from a change amount for each pixel;
Whether the learning data set construction means includes a small area of the aerial photograph at the first time point and a change detection target from the map information corresponding to the first time point and the aerial photograph at the first time point. Creating a detection target discriminator training data set comprising information to indicate,
Learning the detection target classifier for identifying whether or not the detection target classifier construction means includes a change detection target from the detection target classifier learning data set;
The non-detection target region exclusion means uses the detection target discriminator for each change region candidate detected by the change region candidate determination means to determine whether the change region candidate includes the change detection target. Identifying and excluding the change region candidate not including the change detection target;
A change area detection method including:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015151284A JP6397379B2 (en) | 2015-07-30 | 2015-07-30 | CHANGE AREA DETECTION DEVICE, METHOD, AND PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015151284A JP6397379B2 (en) | 2015-07-30 | 2015-07-30 | CHANGE AREA DETECTION DEVICE, METHOD, AND PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017033197A JP2017033197A (en) | 2017-02-09 |
| JP6397379B2 true JP6397379B2 (en) | 2018-09-26 |
Family
ID=57988873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015151284A Active JP6397379B2 (en) | 2015-07-30 | 2015-07-30 | CHANGE AREA DETECTION DEVICE, METHOD, AND PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6397379B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210383546A1 (en) * | 2018-10-04 | 2021-12-09 | Nec Corporation | Learning device, image processing device, learning method, image processing method, learning program, and image processing program |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7053195B2 (en) * | 2017-09-07 | 2022-04-12 | 株式会社パスコ | House change estimation device, house change learning device, house change estimation method, parameter generation method and program of classifier |
| KR102053659B1 (en) * | 2017-09-13 | 2019-12-09 | (주)다비오 | Apparatus of manufacturing map based on machine learning and image processing |
| JP7077093B2 (en) * | 2018-03-26 | 2022-05-30 | 三菱重工業株式会社 | Area detection device, area detection method and its program |
| JP6982242B2 (en) * | 2018-04-12 | 2021-12-17 | 日本電信電話株式会社 | Learning data generator, change area detection method and computer program |
| JP7042690B2 (en) * | 2018-05-23 | 2022-03-28 | 株式会社パスコ | Data generator for learning |
| JP7294678B2 (en) * | 2018-09-28 | 2023-06-20 | Ｎｅｃソリューションイノベータ株式会社 | Learning model generation device, feature change determination device, learning model generation method, feature change determination method, and program |
| CN110197147B (en) * | 2019-05-23 | 2022-12-02 | 星际空间（天津）科技发展有限公司 | Building example extraction method, device, storage medium and equipment of remote sensing image |
| KR102374158B1 (en) * | 2020-08-10 | 2022-03-16 | (주)아이웨이 | Method for providing geographic information system and convolutional neural network based change detection service using public data |
| KR102479976B1 (en) * | 2021-11-15 | 2022-12-20 | 국방과학연구소 | Change detection apparatus and method for detecting changes between different aerial photographs |
| CN115620148B (en) * | 2022-11-30 | 2023-03-28 | 航天宏图信息技术股份有限公司 | Integrated pixel-level variation sample labeling and model optimizing method and device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5366190B2 (en) * | 2008-11-25 | 2013-12-11 | Ｎｅｃシステムテクノロジー株式会社 | BUILDING CHANGE DETECTION DEVICE, BUILDING CHANGE DETECTION METHOD, AND PROGRAM |
| JP5949484B2 (en) * | 2012-11-16 | 2016-07-06 | 富士通株式会社 | Difference detection program, difference detection method, and difference detection apparatus |
-
2015
- 2015-07-30 JP JP2015151284A patent/JP6397379B2/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210383546A1 (en) * | 2018-10-04 | 2021-12-09 | Nec Corporation | Learning device, image processing device, learning method, image processing method, learning program, and image processing program |
| EP3862967A4 (en) * | 2018-10-04 | 2022-01-19 | NEC Corporation | Learning device, image processing device, learning method, image processing method, learning program, and image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017033197A (en) | 2017-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6397379B2 (en) | CHANGE AREA DETECTION DEVICE, METHOD, AND PROGRAM | |
| CN109584248B (en) | Infrared target instance segmentation method based on feature fusion and dense connection network | |
| CN110119728B (en) | Remote sensing image cloud detection method based on multi-scale fusion semantic segmentation network | |
| CN109409263B (en) | Method for detecting urban ground feature change of remote sensing image based on Siamese convolutional network | |
| CN108399362B (en) | Rapid pedestrian detection method and device | |
| JP6771449B2 (en) | Methods and systems for automatic object detection from aerial images | |
| CN108596108B (en) | Aerial remote sensing image change detection method based on triple semantic relation learning | |
| CN109829398B (en) | Target detection method in video based on three-dimensional convolution network | |
| KR101489984B1 (en) | A stereo-image registration and change detection system and method | |
| CN110599537A (en) | Mask R-CNN-based unmanned aerial vehicle image building area calculation method and system | |
| CN104392228A (en) | Unmanned aerial vehicle image target class detection method based on conditional random field model | |
| Akey Sungheetha | Classification of remote sensing image scenes using double feature extraction hybrid deep learning approach | |
| AU2021208647A1 (en) | Systems for multiclass object detection and alerting and methods therefor | |
| CN108229418B (en) | Human body key point detection method and apparatus, electronic device, storage medium, and program | |
| Hormese et al. | Automated road extraction from high resolution satellite images | |
| Bonnet et al. | Comparison of UAS photogrammetric products for tree detection and characterization of coniferous stands | |
| US10755146B2 (en) | Network architecture for generating a labeled overhead image | |
| Chatterjee et al. | Intelligent Road Maintenance: a Machine Learning Approach for surface Defect Detection. | |
| JP2019185787A (en) | Remote determination of containers in geographical region | |
| CN108734200A (en) | Human body target visible detection method and device based on BING features | |
| CN111531546B (en) | Robot pose estimation method, device, equipment and storage medium | |
| CN104915967B (en) | The Forecasting Methodology in vehicle movement path in a kind of tunnel | |
| JP7001150B2 (en) | Identification system, model re-learning method and program | |
| Yuan et al. | Graph neural network based multi-feature fusion for building change detection | |
| Wickert et al. | Lessons Learned on Conducting Dwelling Detection on VHR Satellite Imagery for the Management of Humanitarian Operations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170823 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180806 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180828 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180831 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6397379 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |