JP4639044B2 - Contour shape extraction device - Google Patents
Contour shape extraction device Download PDFInfo
- Publication number
- JP4639044B2 JP4639044B2 JP2003412177A JP2003412177A JP4639044B2 JP 4639044 B2 JP4639044 B2 JP 4639044B2 JP 2003412177 A JP2003412177 A JP 2003412177A JP 2003412177 A JP2003412177 A JP 2003412177A JP 4639044 B2 JP4639044 B2 JP 4639044B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- map
- aerial photo
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000605 extraction Methods 0.000 title claims description 39
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 13
- 238000000034 method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
本発明は、地図作成に用いる地物の輪郭形状抽出装置に関し、特に、地図図形と空中写真（衛星写真、航空写真）画像との位置合わせを行い、空中写真画像の特徴解析結果を用いて、空中写真から地図図形中の地物の輪郭形状を抽出する輪郭形状抽出装置に関する。 The present invention relates to a contour shape extraction device for features used for creating a map, and in particular, performs alignment between a map figure and an aerial photograph (satellite photograph, aerial photograph) image, and uses a characteristic analysis result of the aerial photograph image, The present invention relates to a contour shape extraction apparatus that extracts a contour shape of a feature in a map figure from an aerial photograph.
従来、空中写真画像から地図図形中の地物の輪郭形状の抽出方法としては、地域を撮影した静止画像と、平面数値地図あるいは立体数値地図とを用いて、上記地図を上記画像が基づく座標系に座標変換して上記画像に照合し、画像における地物の形状および属性のモデルとして地図の図形を利用し、画像にける地物の形状や画素特性値（明るさ、色相、彩度）およびテクスチャを解析することにより、上記画像から図形の変化情報および新規地物情報を検出し、検出した図形変化情報および新規地物情報を上記地図に登録し地図情報を更新しすることによって、数値地図と静止画像との照合図を利用して、変化した図形や地図未記載の新規地物を検出する地図情報更新方法が提案されている（例えば、特許文献１参照）。 Conventionally, as a method for extracting the contour shape of a feature in a map figure from an aerial photograph image, a coordinate system in which the image is based on the map using a still image obtained by photographing an area and a plane numerical map or a three-dimensional numerical map is used. The coordinates are converted to the above image and collated with the above image, and the shape of the feature in the image and the pixel characteristic values (brightness, hue, saturation) By analyzing texture, figure change information and new feature information are detected from the image, and the detected figure change information and new feature information are registered in the map and the map information is updated, thereby obtaining a numerical map. There has been proposed a map information update method that detects a changed figure or a new feature that is not described in a map by using a collation diagram between a map and a still image (see, for example, Patent Document 1).
また、地図と画像との位置合わせ方法としては、ベクトル地図を構成する複数の座標点を変換パラメータを変化させつつ座標変換し、その座標点に対応する写真画像の輝度の統計量を計算する。そして統計量の分散が最小となった変換パラメータを求め、位置の一致不一致の判定処理を行なうことによって、自動的に写真画像とベクトル地図を重ね合わせて表示をする写真画像とベクトル地図の自動重ね合わせ方法が提案されている（例えば、特許文献２参照）。
前述した従来技術では、自動的に正射画像とベクトル地図との位置合わせを行い、画像の特徴を解析することによって地物の領域と形状を抽出しており、異なる撮影位置、角度、縮尺で撮影された単眼視空中写真画像から地図図形中の地物の輪郭形状の抽出に関しては考慮されていなかった。 In the above-described conventional technology, the orthographic image and the vector map are automatically aligned, and the feature region and shape are extracted by analyzing the features of the image. At different shooting positions, angles, and scales. The extraction of the contour shape of the feature in the map figure from the photographed monocular aerial photograph image was not considered.
本発明は、正射空中写真画像だけでなく、異なる撮影位置、角度、縮尺で撮影された単眼視空中写真画像であっても地図図形中の地物の輪郭形状を抽出することができる輪郭形状抽出装置を提供することを目的とする。 The present invention is not only an orthographic aerial photo image but also a contour shape that can extract the contour shape of a feature in a map figure even if it is a monocular aerial photo image taken at different shooting positions, angles, and scales. An object is to provide an extraction device.
本発明は、空中写真画像から地図図形中の地物の輪郭形状を抽出する輪郭形状抽出装置において、旧空中写真画像と新空中写真画像とを照合することによって、前記旧空中写真画像に基づいて作成された地図図形と前記新空中写真画像との位置合わせのためのパラメータを抽出するパラメータ抽出部と、前記抽出されたパラメータを用いて前記地図図形に対して幾何学的変換を行う幾何変換部と、前記新空中写真画像において、前記地図図形の地物に対応する画像領域を抽出する画像領域抽出部と、前記抽出された地物の画像領域から輪郭形状を抽出する輪郭形状抽出部と、を有し、前記パラメータ抽出部は、前記旧空中写真画像及び前記新空中写真画像の勾配強度を算出し、前記算出された勾配強度に基づいて、前記地図図形の作成で使用された旧空中写真画像と、前記新空中写真画像とから画像中の特徴点を抽出し、前記旧空中写真画像と前記新空中写真画像との間で対応する特徴点を選択し、前記選択した対応する特徴点の位置関係によって、前記地図図形と前記新空中写真画像との位置合わせのためのパラメータを抽出し、前記幾何変換部は、前記抽出されたパラメータを用いて前記地図図形と前記新空中写真画像との位置合わせを行い、前記画像領域抽出部は、前記新空中写真画像から、前記地図図形中の地物を中心とした所定の大きさの周辺範囲を、当該地物が前記新空中写真画像中に存在可能な範囲として選択し、当該存在可能な範囲中で画像特徴解析を行って、前記新空中写真画像中の前記地図図形中の地物に対応する画像領域を抽出し、前記輪郭形状抽出部は、前記抽出された地物に対応する画像領域から、当該地物の輪郭形状を示す線分を抽出する。 The present invention, in the contour shape extraction apparatus for extracting a feature of the contour shape in the map shape from aerial photograph image, by matching the old aerial photograph image and a new aerial photographic images, the old aerial photograph image A parameter extraction unit that extracts parameters for alignment between the map figure created based on the new aerial photograph image, and a geometry that performs geometric transformation on the map figure using the extracted parameter A conversion unit; an image region extraction unit for extracting an image region corresponding to the feature of the map figure in the new aerial photograph image; and a contour shape extraction unit for extracting a contour shape from the image region of the extracted feature If, have a, the parameter extraction unit, said calculating a gradient strength of old aerial photograph image and the new aerial photograph image, on the basis of the calculated gradient magnitude, used in the creation of the map graphic The feature points in the image are extracted from the old aerial photo image and the new aerial photo image, the corresponding feature points are selected between the old aerial photo image and the new aerial photo image, and the selected Parameters for alignment between the map graphic and the new aerial photograph image are extracted according to the positional relationship of corresponding feature points, and the geometric transformation unit uses the extracted parameters to extract the map graphic and the new aerial photograph image. The image area extraction unit performs alignment with an aerial photo image, and the image area extraction unit defines a peripheral range of a predetermined size centered on the feature in the map figure from the new aerial photo image. Select as a range that can exist in the aerial photo image, perform image feature analysis in the possible range to extract the image region corresponding to the features in the map figure in the new aerial photo image, The contour shape extraction unit An image area corresponding to the serial extracted feature, extracts a line segment indicating the feature of the contour shape.
本発明によると、新空中写真画像と旧空中写真画像とを照合することによって、旧空中写真画像に基づいて作成された地図図形と新空中写真画像との位置合わせのためのパラメータを算出することができ、新空中写真画像における地図図形中の地物の存在可能な範囲を選択できる。また、選択された存在可能範囲において画像の特徴を解析することによって、新空中写真画像における地物の画像領域と輪郭形状を抽出できる。 According to the present invention, by comparing the new aerial photo image with the old aerial photo image, calculating a parameter for alignment between the map figure created based on the old aerial photo image and the new aerial photo image The range in which the feature in the map figure in the new aerial photograph image can exist can be selected. Further, by analyzing the characteristics of the image within the selected possible range, the image area and contour shape of the feature in the new aerial photograph image can be extracted.
これにより、正射空中写真画像だけでなく、異なる位置、角度、縮尺で撮影された単眼視空中写真画像や正射などの空中写真画像から、容易に地図図形中の地物にの輪郭形状を抽出することができる。 As a result, not only orthographic aerial images, but also monocular aerial photo images taken at different positions, angles, and scales, and orthographic aerial photo images can be used to easily create contour shapes on features in map figures. Can be extracted.
本発明に示す空中写真（衛星写真、航空写真）画像から地図図形中の地物の輪郭形状の抽出装置では、正射空中写真画像だけでなく、異なる撮影位置、角度、縮尺で撮影された単眼視画像、カラー画像だけでなく、白黒画像から対応する地物の形状を抽出する。 In the apparatus for extracting the contour shape of a feature in a map figure from an aerial photograph (satellite photograph, aerial photograph) image shown in the present invention, not only an orthographic aerial photograph image but also a monocular photographed at different photographing positions, angles, and scales. The shape of the corresponding feature is extracted from the monochrome image as well as the visual image and the color image.
そのために、まず、地図図形の作成に利用した旧空中写真画像と新空中写真画像から代表的な画像位置（特徴点）を抽出し、新旧空中写真画像の特徴点の対応関係（マッチングペア）を選択することによって地図図形と新空中写真画像との位置合わせのためのパラメータを計算する。次に、抽出された位置合わせのためのパラメータを用いて地図図形と新空中写真画像との位置合わせを行った結果に基づいて、地図図形中の地物に対応する新空中写真画像における存在可能範囲を選択し、この存在可能範囲での画像特徴解析により新空中写真画像における地図図形中の地物の画像領域と輪郭形状を抽出する。 For that purpose, first, representative image positions (feature points) are extracted from the old aerial photo image and the new aerial photo image used to create the map figure, and the correspondence (matching pair) of the feature points of the old and new aerial photo images is determined. By selecting, a parameter for alignment between the map figure and the new aerial photograph image is calculated. Next, it can exist in the new aerial photograph image corresponding to the feature in the map figure based on the result of the registration of the map figure and the new aerial photograph image using the extracted parameters for alignment. The range is selected, and the image area and the contour shape of the feature in the map figure in the new aerial photograph image are extracted by image feature analysis in this possible range.
図１は、本発明の実施形態の輪郭形状抽出装置の機能ブロック図である。 FIG. 1 is a functional block diagram of a contour shape extraction apparatus according to an embodiment of the present invention.
本発明の実施形態の地物の輪郭形状抽出装置は、ＣＰＵ、メモリ及び入出力部を備え、ＣＰＵが動作することによって、新空中写真画像１０３、旧空中写真画像１０２、及び旧空中写真画像データに基づいて作成された地図図形１０１を入力データとし、パラメータ生成処理部１０４、幾何変換処理部１０５、画像領域抽出部１０６及び輪郭形状抽出部１０７を構成している。
The feature contour shape extraction apparatus according to the embodiment of the present invention includes a CPU, a memory, and an input / output unit. When the CPU operates, the new
パラメータ生成処理部１０４は、旧空中写真画像１０２に基づいて作成した地図図形１０１と新空中写真画像１０３との位置合わせを行うために、旧空中写真画像１０２及び新空中写真画像１０３から特徴点として代表的な画像位置を抽出し、両画像データから抽出された特徴点を一致させるために、地図図形１０１に回転、移動及び拡大・縮小による幾何学的変換するパラメータを生成する。
The parameter
幾何変換部１０５は、パラメータ生成処理部１０４によって生成された位置合わせのためのパラメータを用いて、地図図形１０１（又は、新空中写真画像１０３）に幾何変換をして地図図形１０１と新空中写真画像１０３との位置合わせを行う。
The
画像領域抽出部１０６は、幾何変換部１０５によって位置合わせのために処理された地図図形１０１と新空中写真画像１０３とに基づいて新空中写真画像１０３における地図図形１０１の地物が存在可能範囲を選択する。そして、この存在可能範囲における画像特徴を解析することによって、新空中写真画像１０３における地図図形１０１の地物に対応する画像領域を抽出する。
The image
輪郭形状抽出部１０７は、地図図形１０１から抽出された新空中写真画像１０３において地物が存在可能な画像領域から地物の輪郭形状を抽出する。
The contour
次に、空中写真画像１０３から地図図形１０１に対応する地物を抽出する処理の詳細について説明する。
Next, details of processing for extracting features corresponding to the
図２は、本発明の実施の形態のパラメータ生成処理部１０４によって行われる位置合わせのためのパラメータ抽出処理のフローチャートである。具体的には、旧空中写真画像１０２及び新空中写真画像１０３に対して、以下の処理を行う。
FIG. 2 is a flowchart of parameter extraction processing for alignment performed by the parameter
まず、元画像（旧空中写真画像１０２及び新空中写真画像１０３）を用いて異なる解像度の画像を作成する。具体的には、公知の画像処理ツールを用いて元画像を２分の１又は４分の１まで縮小して異なる解像度の画像を作成する（ステップ２０１）。
First, images with different resolutions are created using the original images (the old
次に、元画像及び作成された異なる解像度の画像において、各画素での勾配の強さを計算する（ステップ２０２）。この勾配の強さの計算は、適切なフィルタ（例えば、sobel、daub等のフィルタ）を用いて画素ごとにｘ軸の方向での勾配の強さ（数式１）と、ｙ軸の方向での勾配の強さ（数式２）を計算する。 Next, the strength of the gradient at each pixel is calculated in the original image and the created image of different resolution (step 202). The gradient strength is calculated by using an appropriate filter (for example, a filter such as sobel, daub, etc.) for each pixel, the gradient strength in the x-axis direction (Equation 1), and the y-axis direction. The gradient strength (Formula 2) is calculated.
そして、数式３によって各画素での勾配の強さを計算する。 Then, the strength of the gradient at each pixel is calculated by Equation 3.
次に、特徴点として代表的な画像位置を抽出する（ステップ２０３）。特徴点としては、例えば、建物の角や交差点を用いる。異なる解像度の各画像の中で、元画像の同一の位置に対応する画素での勾配の強さが予め決めた閾値より大きく、数式４に示すように予め決めた隣接範囲の中で勾配の強さが一番大きければ、元画像での画素位置を特徴点とする。 Next, representative image positions are extracted as feature points (step 203). As the feature points, for example, building corners or intersections are used. In each image of different resolution, the gradient strength at the pixel corresponding to the same position of the original image is larger than a predetermined threshold value, and the gradient strength in the predetermined adjacent range as shown in Equation 4 Is the largest, the pixel position in the original image is taken as the feature point.
数式４において、ｍａｘ｛Ｇ（ｘ'，ｙ'）｝は数式５で示す隣接範囲中で最大値を示す関数である。 In Equation 4, max {G (x ′, y ′)} is a function indicating the maximum value in the adjacent range shown in Equation 5.
次に、抽出された特徴点の画像特徴と傾き方向を算出する（ステップ２０４）。特徴点の画像特徴の抽出では、まず、元画像の画素ごとに、予め決めた大きさの領域の中で、輝度の平均値と分散値を計算する。次に、この領域中にある画素の輝度値、平均輝度値及び輝度の分散値を算出し、特徴点の画像特徴とする。 Next, the image feature and the inclination direction of the extracted feature point are calculated (step 204). In the extraction of image features of feature points, first, an average value of luminance and a variance value are calculated for each pixel of the original image within an area having a predetermined size. Next, the luminance value, average luminance value, and luminance variance value of the pixels in this region are calculated and used as the image feature of the feature point.
特徴点の傾き角度の算出では、まず、所定の角度に定められたテンプレートを用い、所定の方向（例えば、０°、３０°、６０°、９０°、１２０°、１５０°の方向）において勾配角度を算出する。そして、予め定められた閾値より大きな勾配となる位置を境界位置として抽出する。次に、隣接かつ勾配角度の差が３０°より小さい境界点を線分点の候補位置として選択し、選択された境界点をハフ変換によって連結して線分情報を求める。そして、特徴点との距離が予め定められた閾値より小さい直線の中から、最も長い線分を選択して特徴点の傾き角度とする。最後に、選択された最も長い線分の長さが予め定められた閾値より小さければ、この画素は特徴点として適さないので、この画素を特徴点から排除する。 In calculating the inclination angle of a feature point, first, a template defined at a predetermined angle is used, and the gradient is determined in a predetermined direction (for example, directions of 0 °, 30 °, 60 °, 90 °, 120 °, and 150 °). Calculate the angle. Then, a position having a gradient larger than a predetermined threshold is extracted as a boundary position. Next, boundary points adjacent to each other and having a gradient angle difference of less than 30 ° are selected as line segment candidate positions, and the selected boundary points are connected by Hough transform to obtain line segment information. Then, the longest line segment is selected from straight lines whose distance from the feature point is smaller than a predetermined threshold value, and is set as the inclination angle of the feature point. Finally, if the length of the selected longest line segment is smaller than a predetermined threshold value, this pixel is not suitable as a feature point, and therefore this pixel is excluded from the feature point.
次に、旧空中写真画像１０２と新空中写真画像１０３との間で、抽出された特徴点の対応関係（マッチングペア）を選択する（ステップ２０５）。旧空中写真画像の特徴点グループ（数式６）と、新空中写真画像の特徴点グループ（数式７）との間での特徴点の対応関係の選択では、まず、両画像の特徴点の間で、数式８を用いて特徴点間の類似度を計算する。
Next, the correspondence (matching pair) of the extracted feature points is selected between the old
数式８の中で、ｐ(ｘ，ｙ)とｑ(ｘ'，ｙ')それぞれは新、旧空中写真画像から抽出されたある特徴点ペアを表し、Ｍは対応関係を選択する領域（マッチングウィンド）の大きさを表す。 In Equation 8, p (x, y) and q (x ′, y ′) each represent a certain feature point pair extracted from the new and old aerial photo images, and M is a region for selecting the correspondence (matching) Window).
数式９、１０は新空中写真画像の特徴点ｐ(ｘ，ｙ) のマッチングウィンドの中に位置する画素と、旧空中写真画像の特徴点ｑ(ｘ'，ｙ')のマッチングウィンドの中に位置する画素との回転角度による位置対応関係を表す。 Equations 9 and 10 represent the pixels located in the matching window of the feature point p (x, y) of the new aerial photo image and the matching window of the feature point q (x ′, y ′) of the old aerial photo image. The position correspondence relationship by the rotation angle with the pixel located is represented.
また、数式１１は、特徴点ｐ(ｘ，ｙ)とｑ(ｘ'，ｙ')の傾き角度の差を表す。 Equation 11 represents the difference in tilt angle between the feature points p (x, y) and q (x ′, y ′).
また、数式１２はマッチングウィンドの中に位置する画素の平均輝度値を表し、数式１３はマッチングウィンドの中に位置する画素の輝度分散値を表す。 Equation 12 represents the average luminance value of the pixels located in the matching window, and Equation 13 represents the luminance dispersion value of the pixels located in the matching window.
次に、新空中写真画像の特徴点ｐ（ｘ，ｙ）が旧空中写真画像の特徴点グループの中のｑ(ｘ'，ｙ')との間で最も高い類似度を有し、逆に、旧空中写真画像の特徴点ｑ(ｘ'，ｙ')が新空中写真画像の特徴点グループの中のｐ(ｘ，ｙ)との間で最も高い類似度を有せば、この二つの特徴点を両画像間で対応関係を有する特徴点として選択する。このように選択された特徴点の対応関係を数式１４で表す。 Next, the feature point p (x, y) of the new aerial photo image has the highest similarity with q (x ′, y ′) in the feature point group of the old aerial photo image. If the feature point q (x ′, y ′) of the old aerial photo image has the highest similarity with p (x, y) in the feature point group of the new aerial photo image, A feature point is selected as a feature point having a correspondence between both images. The correspondence between the feature points selected in this way is expressed by Equation 14.
次に、位置合わせのためのパラメータを算出する（ステップ２０６）。この位置合わせのためのパラメータは、地図図形１０１に対する回転、移動及び拡大・縮小による幾何学的変換のパラメータである。 Next, parameters for alignment are calculated (step 206). The parameter for this alignment is a parameter for geometric transformation by rotation, movement, and enlargement / reduction with respect to the map graphic 101.
位置合わせのための回転角度の算出では、まず、選択された対応する特徴点間の傾き角度の差を計算する。次に、求められた全ての特徴点のマッチングペア間の傾き角度の差のヒストグラムを求める。最後に、ヒストグラム中で一番大きな値を持つ角度差を新空中写真画像と旧空中写真画像との間の位置合わせのための回転角度とする。 In calculating the rotation angle for alignment, first, the difference in inclination angle between the selected corresponding feature points is calculated. Next, a histogram of differences in tilt angles between all the obtained matching pairs of feature points is obtained. Finally, an angle difference having the largest value in the histogram is set as a rotation angle for alignment between the new aerial photo image and the old aerial photo image.
位置合わせのための移動量（シフトベクトル）の算出では、まず、選択された対応する特徴点間の全てについてシフトベクトルを計算する。次に、すべての特徴点マッチングペア間のシフトベクトルの平均（平均シフトベクトル）を算出する。そして、ｘ軸、ｙ軸それぞれの方向で、平均シフトベクトルと同じ方向であり（同じ正負値を有し）、移動距離が予め定められた倍数を乗じて計算された平均シフト距離より小さくなる特徴点のマッチングペアを選択する。そして、もう一度平均シフトベクトルを求める。最後に、この平均シフトベクトルを、新空中写真画像と旧空中写真画像との間の位置合わせのためのシフトベクトルとする。 In calculating the movement amount (shift vector) for alignment, first, shift vectors are calculated for all of the selected corresponding feature points. Next, an average (average shift vector) of shift vectors between all feature point matching pairs is calculated. In each of the x-axis and y-axis directions, the direction is the same as the average shift vector (having the same positive / negative value), and the moving distance is smaller than the average shift distance calculated by multiplying by a predetermined multiple. Select a matching pair of points. Then, an average shift vector is obtained again. Finally, this average shift vector is used as a shift vector for alignment between the new aerial photo image and the old aerial photo image.
位置合わせのための拡大・縮小量（縮尺）の算出では、まず、前記マッチングペアとして選択された特徴点を、新空中写真画像に属する特徴点グループと旧空中写真画像に属する特徴点グループとに分ける。次に、それぞれの特徴点グループにおいて特徴点の間の距離の和を計算する。そして、距離の和の比率を、新空中写真画像と旧空中写真画像との間の位置合わせのための縮尺とする。 In the calculation of the enlargement / reduction amount (scale) for alignment, first, the feature points selected as the matching pair are classified into a feature point group belonging to the new aerial photo image and a feature point group belonging to the old aerial photo image. Divide. Next, the sum of the distances between the feature points in each feature point group is calculated. Then, the ratio of the sum of the distances is set as a scale for alignment between the new aerial photo image and the old aerial photo image.
図３は、本発明の実施の形態の輪郭形状抽出部１０７によって行われる地図図形中の地物の輪郭形状抽出処理のフローチャートである。
FIG. 3 is a flowchart of the contour shape extraction processing of the feature in the map graphic performed by the contour
まず、新空中写真画像１０３から地図図形１０１中の地物の存在可能範囲を選択する（ステップ４０１）。この存在可能範囲としては、例えば、地物の大きさの２倍や、地物の周囲数メートルの範囲を用いるとよい。幾何変換部１０５で地図図形１０１と新空中写真画像１０３との位置合わせを行うことによって、新空中写真画像１０３から地図図形１０１中の地物を中心として予め定められた大きさの周辺範囲を選択して地図図形１０１中の地物の存在可能範囲とする。
First, a possible range of the feature in the map graphic 101 is selected from the new aerial photograph image 103 (step 401). As this possible range, for example, a range of twice the size of the feature or a range of several meters around the feature may be used. By selecting the position of the map graphic 101 and the new
次に、上記地図図形ごとに選択された地物の存在可能範囲から境界と線分情報を抽出する（ステップ４０２）。まず、所定の角度に定められたテンプレートを用い、所定の方向（例えば、０°、３０°、６０°、９０°、１２０°、１５０°の方向）において勾配の強さと角度を算出する。そして、予め定められた閾値より大きな勾配となる位置を境界位置として抽出する。次に、隣接する勾配角度の差が３０°より小さい境界点を線分点の候補位置として選択し、選択された境界点をハフ変換によって連結して線分情報を求める。そして、ある地図図形より選択された地物の可能存在範囲から抽出された線分を候補線分とする。 Next, boundary and line segment information is extracted from the possible range of features selected for each map figure (step 402). First, using a template defined at a predetermined angle, the strength and angle of the gradient are calculated in a predetermined direction (for example, directions of 0 °, 30 °, 60 °, 90 °, 120 °, and 150 °). Then, a position having a gradient larger than a predetermined threshold is extracted as a boundary position. Next, a boundary point whose adjacent gradient angle difference is smaller than 30 ° is selected as a candidate point of the line segment point, and the selected boundary point is connected by Hough transform to obtain line segment information. And the line segment extracted from the possible existence range of the feature selected from a certain map figure is made into a candidate line segment.
次に、候補線分として抽出された線分と地図図形の線分の特徴を抽出する（ステップ４０３）。数式１５は図形の線分集合、数式１６は候補線分の集合を表す。 Next, the line segment extracted as the candidate line segment and the line segment feature of the map figure are extracted (step 403). Equation 15 represents a set of graphic line segments, and Equation 16 represents a set of candidate line segments.
まず、それぞれの線分集合ごとに、ｉ番目の線分に対して、集合内の他の線分との相互関係を表す関係値を数式１７を用いて求め、線分の特徴とする。数式１７中で、数式１８は相互関係の種類の数を表す。本実施の形態では、３種類の相互関係を選択するので、Ｎrは３になる。具体 First, for each line segment set, a relation value representing the interrelationship with the other line segments in the set is obtained for the i-th line segment by using Equation 17 and is defined as a feature of the line segment. In Equation 17, Equation 18 represents the number of types of correlation. In the present embodiment, since three types of correlation are selected, Nr is 3. Concrete
本発明では、３種類の相互関係を選択する。具体的に、図４に示すように、ある二本の線分ａｂ、ｃｄに対して、数式１９に示すように線分間の角度θを計算する。 In the present invention, three types of correlation are selected. Specifically, as shown in FIG. 4, for a certain two line segments ab and cd, the angle θ between the line segments is calculated as shown in Equation 19.
さらに、数式２０に示すように直線ａｂの端点から直線ｃｄまでの最大距離ｄを計算する。 Further, as shown in Equation 20, the maximum distance d from the end point of the straight line ab to the straight line cd is calculated.
また、線分ａｂの端点ａから見て、線分ｃｄの頂点ｃ、ｄのうち遠い端点ｄを選択してａｄ間の距離を計算する。さらに、線分ａｂの端点ｂから見て、線分ｃｄの端点ｃ、ｄから遠い距離を持つ端点ｃを選択してｂｃ間の距離を計算し、数式２１に示すように、｜ａｂ｜＋｜ｃｄ｜と、｜ａｂ｜＋｜ｃｄ｜＋｜ａｄ｜＋｜ｂｃ｜との比の値を求める。 In addition, the distance between ad is calculated by selecting the far end point d from the vertices c and d of the line segment cd when viewed from the end point a of the line segment ab. Further, as seen from the end point b of the line segment ab, the end point c of the line segment cd is selected far from the end point c, and the distance between bc is calculated. As shown in Equation 21, | ab | + The ratio value between | cd | and | ab | + | cd | + | ad | + | bc | is obtained.
そして、ある線分に対して、同一の線分集合の中にあるすべての線分に対して数式１９、数式２０、数式２１に示す３種類の相互関係を表す値を求めてこの線分間の特徴とする。 Then, for a certain line segment, values representing the three types of interrelationships shown in Expression 19, Expression 20, and Expression 21 are obtained for all the line segments in the same line segment set. Features.
次に、図形の線分と候補線分の間の特徴を比較する特徴マッチング処理を行う（ステップ４０４）。ステップ４０３によって求めた線分の特徴を用いて、数式２２によって、図形の線分と候補線分と間の類似度を求める。
Next, a feature matching process for comparing features between the line segment of the figure and the candidate line segment is performed (step 404). Using the characteristic of the line segment obtained in
そして、数式２３によって、図形の線分の間での相互関係と候補線分の中でのある両線分の間での相互関係との類似度を計算する。 Then, the degree of similarity between the inter-relationship between the line segments of the graphic and the inter-relationship between the two line segments in the candidate line segment is calculated by Equation 23.
この類似度を計算する際に、前述した３種類の相互関係（ｒ1、ｒ2、ｒ3）を数式２４に示す重みで除することによって統一的に類似度を求める。この重みωiは、ある相互関係に対して、全ての両図形線分の関係値と、全ての両候補線分の関係値との和を計算することによって算出する。 When calculating the similarity, the similarity is obtained uniformly by dividing the above-described three types of interrelationships (r 1 , r 2 , r 3 ) by the weight shown in Formula 24. The weight ω i is calculated by calculating the sum of the relationship values of all the two line segments and the relationship values of all the two candidate line segments for a certain mutual relationship.
そして、類似度が予め定められた閾値τより小さければ０とし、その他の場合（予め定められた閾値τ以上の場合）は算出された値をそのままとする。 If the similarity is smaller than a predetermined threshold τ, the value is 0. In other cases (when the similarity is equal to or higher than the predetermined threshold τ), the calculated value is left as it is.
次に、上記抽出された候補線分から地図図形に対応する線分情報を選択する（ステップ４０５）。まず、数式２２を用いて、二つの線分集合の間で、線分間の類似度を計算する。次に、地図図形の線分と候補線分の間で、互いに一番高い類似度を持つ線分の組み合わせを選択する。 Next, line segment information corresponding to the map figure is selected from the extracted candidate line segments (step 405). First, the similarity between line segments is calculated between two line segment sets using Equation 22. Next, a combination of line segments having the highest similarity is selected between the line segment of the map figure and the candidate line segment.
このように選択された線分対を数式２５で表す。 The line segment pair selected in this way is expressed by Equation 25.
次に、地図図形１０１中の地物に対応する画像領域を抽出する（ステップ４０６）。ステップ４０５で選択された地図図形１０１に対応する線分を用いて対応する地物の画像領域を抽出する。
Next, an image area corresponding to the feature in the map graphic 101 is extracted (step 406). The image area of the corresponding feature is extracted using the line segment corresponding to the map graphic 101 selected in
まず、地図図形１０１に対応する線分により囲む閉画像領域を抽出する。次に、閉領域のすべての位置において、領域の地図図形内包含率を計算する。最も高い包含率を持つ画像位置は、地図図形に対応する地物の画像位置とする。この画像位置で地図図形に包含された画像領域は、地図図形に対応する地物の画像領域とする。 First, a closed image region surrounded by a line segment corresponding to the map graphic 101 is extracted. Next, the coverage ratio in the map figure of the area is calculated at all positions of the closed area. The image position having the highest coverage is the image position of the feature corresponding to the map figure. The image area included in the map graphic at this image position is the image area of the feature corresponding to the map graphic.
次に、地図図形１０１中の地物の輪郭形状を抽出する（ステップ４０７）。
まず、地図図形１０１中の地物に対応する画像領域の境界位置で、所定の角度間隔で定められたテンプレートを用い、所定の方向（例えば、０°、３０°、６０°、９０°、１２０°、１５０°の方向）において勾配の強さと角度を算出する。そして、予め定められた閾値より大きな勾配となる位置を境界位置として抽出する。次に、隣接する勾配角度の差が３０°より小さい境界点を線分点の候補位置として選択し、選択された境界点をハフ変換によって連結して線分情報を求める。抽出された線分の集合を対応する地物の輪郭形状情報とする。
Next, the contour shape of the feature in the map graphic 101 is extracted (step 407).
First, at a boundary position of an image area corresponding to a feature in the map graphic 101, a template defined at a predetermined angular interval is used, and a predetermined direction (for example, 0 °, 30 °, 60 °, 90 °, 120). The strength and angle of the gradient are calculated in the directions of ° and 150 °. Then, a position having a gradient larger than a predetermined threshold is extracted as a boundary position. Next, a boundary point whose adjacent gradient angle difference is smaller than 30 ° is selected as a candidate point of the line segment point, and the selected boundary point is connected by Hough transform to obtain line segment information. The set of extracted line segments is used as the contour shape information of the corresponding feature.
以上説明した輪郭形状抽出処理によると、地図図形中の地物毎に対応する地物の輪郭形状が抽出される。図５に示すように、まず、地図図形１０１中の地物３０１の新空中画像１０３における存在可能範囲３０２が選択される。次に、存在可能範囲３０２の中に存在する線分情報から地図図形１０１中の地物３０３に対応する線分が選択される。そして、抽出された地図図形１０１中の地物に対応する線分情報３０３を用いて地図図形１０１中の地物に対応する画像領域３０４が抽出される。最後に、抽出された地図図形１０１中の地物に対応する画像領域３０４から輪郭形状３０５が抽出される。
According to the contour shape extraction process described above, the contour shape of the feature corresponding to each feature in the map figure is extracted. As shown in FIG. 5, first, the
図６は、本発明の輪郭抽出処理を、地図図形１０１中の地物に適用した例を示す。 FIG. 6 shows an example in which the contour extraction process of the present invention is applied to the feature in the map graphic 101.
第１欄（図形）は、旧空中写真画像１０２から作成した図形データを示す。
The first column (graphic) shows graphic data created from the old
第２欄（候補線分）は、幾何変換処理部１０５によって、地図図形１０１と新空中写真画像１０３との位置合わせ処理により選択された、図形に対応する地物の存在可能範囲から候補線分を抽出した結果を示す。
The second column (candidate line segment) is a candidate line segment from the possible range of the feature corresponding to the graphic selected by the geometric
第３欄（選択された対応線分）は、ステップ４０４によって、新空中写真画像１０３から抽出された候補線分と図形の線分との特徴マッチングすることにより図形に対応する線分を選択した結果を示す。
In the third column (selected corresponding line segment), the line segment corresponding to the graphic is selected by performing feature matching between the candidate line segment extracted from the new
第４欄（抽出された対応地物の画像領域）は、ステップ４０６によって、図形に対応する線分により閉領域を選択して特徴抽出により、地物に対応する画像領域を抽出した結果を示す。
The fourth column (image region of the extracted corresponding feature) shows the result of extracting the image region corresponding to the feature by selecting the closed region by the line segment corresponding to the graphic and extracting the feature in
第５欄（抽出された対応地物の輪郭形状）は、ステップ４０７によって、地図図形１０１中の地物に対応する画像領域から輪郭形状を抽出した結果を示す。
The fifth column (contour shape of the extracted corresponding feature) shows the result of extracting the contour shape from the image area corresponding to the feature in the map graphic 101 in
本発明の実施の形態では、地図図形１０１の作成に利用した旧空中写真画像１０２と新空中写真画像１０３から特徴点を抽出し、旧空中写真画像１０２と新空中写真画像１０３との特徴点の対応関係（マッチングペア）を選択することによって地図図形１０１と新空中写真画像１０３との位置合わせのためのパラメータを計算する。よって、正射空中写真画像だけでなく、異なる位置、角度、縮尺で撮影された単眼視空中写真画像や正射などの空中写真画像であっても位置合わせのためのパラメータを計算することができる。
In the embodiment of the present invention, feature points are extracted from the old
また、抽出された位置合わせのためのパラメータを用いて地図図形１０１と新空中写真画像１０３との位置合わせを行った結果に基づいて、新空中写真画像１０３における地図図形１０１中の地物の存在可能範囲を選択し、この存在可能範囲において画像の特徴を解析することによって新空中写真画像１０３における地物に対応する画像領域と輪郭形状を抽出する。すなわち、予め画像領域を絞り込んでから輪郭形状を抽出するので、予め画像領域を絞り込まない場合と比較して、少ない計算量で輪郭形状を抽出にすることができる。
Further, the presence of the feature in the map figure 101 in the new
本発明は、地図作成や地図修正、及び航空、衛星画像解析システムなどにおける空中写真（衛星写真、航空写真）画像と地図データ（ベクトルデータ）とを重ね合わせる際に、空中写真画像からベクトル地図データに対応する地物の画像領域と輪郭形状とを抽出する場合に適用することができ。 The present invention provides vector map data from an aerial photograph image when overlaying an aerial photograph (satellite photograph, aerial photograph) image and map data (vector data) in map creation, map correction, aerial, satellite image analysis system, and the like. It can be applied when extracting the image area and contour shape of the feature corresponding to the.
１０１ 地図図形
１０２ 旧空中写真画像データ
１０３ 新空中写真画像データ
１０４ パラメータ生成処理部
１０５ 幾何変換処理部
１０６ 画像領域抽出部
１０７ 輪郭形状抽出部
DESCRIPTION OF
Claims (1)
旧空中写真画像と新空中写真画像とを照合することによって、前記旧空中写真画像に基づいて作成された地図図形と前記新空中写真画像との位置合わせのためのパラメータを抽出するパラメータ抽出部と、
前記抽出されたパラメータを用いて前記地図図形に対して幾何学的変換を行う幾何変換部と、
前記新空中写真画像において、前記地図図形の地物に対応する画像領域を抽出する画像領域抽出部と、
前記抽出された地物の画像領域から輪郭形状を抽出する輪郭形状抽出部と、を有し、
前記パラメータ抽出部は、
前記旧空中写真画像及び前記新空中写真画像の勾配強度を算出し、
前記算出された勾配強度に基づいて、前記地図図形の作成で使用された旧空中写真画像と、前記新空中写真画像とから画像中の特徴点を抽出し、
前記旧空中写真画像と前記新空中写真画像との間で対応する特徴点を選択し、
前記選択した対応する特徴点の位置関係によって、前記地図図形と前記新空中写真画像との位置合わせのためのパラメータを抽出し、
前記幾何変換部は、前記抽出されたパラメータを用いて前記地図図形と前記新空中写真画像との位置合わせを行い、
前記画像領域抽出部は、
前記新空中写真画像から、前記地図図形中の地物を中心とした所定の大きさの周辺範囲を、当該地物が前記新空中写真画像中に存在可能な範囲として選択し、
当該存在可能な範囲中で画像特徴解析を行って、前記新空中写真画像中の前記地図図形中の地物に対応する画像領域を抽出し、
前記輪郭形状抽出部は、前記抽出された地物に対応する画像領域から、当該地物の輪郭形状を示す線分を抽出することを特徴とする輪郭形状抽出装置。 In the contour shape extraction device for extracting the contour shape of the feature in the map figure from the aerial photo image,
By matching the old aerial photograph image and a new aerial photographic images, parameter extraction for extracting the parameters for the alignment of the map graphic and the new aerial photographic image created based on the old aerial photograph image And
A geometric conversion unit that performs geometric conversion on the map figure using the extracted parameters;
In the new aerial photograph image, an image region extraction unit that extracts an image region corresponding to the feature of the map figure,
Have a, and the contour shape extraction section for extracting a contour shape from the image region of the extracted feature,
The parameter extraction unit
Calculate the gradient strength of the old aerial photo image and the new aerial photo image,
Based on the calculated gradient strength, the feature point in the image is extracted from the old aerial photo image used in the creation of the map figure and the new aerial photo image,
Select corresponding feature points between the old aerial photo image and the new aerial photo image,
Extracting parameters for alignment between the map figure and the new aerial photo image according to the positional relationship of the selected corresponding feature points;
The geometric transformation unit performs alignment between the map figure and the new aerial photo image using the extracted parameters,
The image region extraction unit
From the new aerial photo image, a peripheral range of a predetermined size centered on the feature in the map figure is selected as a range in which the feature can exist in the new aerial photo image,
Image feature analysis is performed in the possible range to extract an image region corresponding to the feature in the map figure in the new aerial photo image,
The contour shape extraction unit extracts a line segment indicating a contour shape of a feature from an image region corresponding to the extracted feature.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003412177A JP4639044B2 (en) | 2003-12-10 | 2003-12-10 | Contour shape extraction device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003412177A JP4639044B2 (en) | 2003-12-10 | 2003-12-10 | Contour shape extraction device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005173128A JP2005173128A (en) | 2005-06-30 |
| JP4639044B2 true JP4639044B2 (en) | 2011-02-23 |
Family
ID=34732699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003412177A Expired - Lifetime JP4639044B2 (en) | 2003-12-10 | 2003-12-10 | Contour shape extraction device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4639044B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4647451B2 (en) * | 2005-09-28 | 2011-03-09 | 株式会社野村総合研究所 | Map integration apparatus and method |
| EP2034437A1 (en) * | 2007-09-06 | 2009-03-11 | Thomson Licensing | Spatial diffusion in images |
| JP5175120B2 (en) * | 2008-02-28 | 2013-04-03 | 株式会社日立ソリューションズ | Feature outline creation device |
| JP5352435B2 (en) * | 2009-11-26 | 2013-11-27 | 株式会社日立製作所 | Classification image creation device |
| JP5888043B2 (en) * | 2012-03-23 | 2016-03-16 | 富士通株式会社 | Program, information processing method and information processing apparatus |
| JP7391264B2 (en) * | 2021-03-08 | 2023-12-04 | 三菱電機株式会社 | Driving support device and driving support method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06325150A (en) * | 1993-05-12 | 1994-11-25 | Hitachi Ltd | Method for automatically superimposing photographic image and vector map |
| JP2000222565A (en) * | 1999-01-29 | 2000-08-11 | Yukio Kosugi | Method and device for extracting geographical picture change area |
| JP2000310940A (en) * | 1999-04-28 | 2000-11-07 | Hitachi Ltd | Map information updating method and map updating device |
| JP2002157576A (en) * | 2000-11-22 | 2002-05-31 | Nec Corp | Device and method for processing stereo image and recording medium for recording stereo image processing program |
-
2003
- 2003-12-10 JP JP2003412177A patent/JP4639044B2/en not_active Expired - Lifetime
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06325150A (en) * | 1993-05-12 | 1994-11-25 | Hitachi Ltd | Method for automatically superimposing photographic image and vector map |
| JP2000222565A (en) * | 1999-01-29 | 2000-08-11 | Yukio Kosugi | Method and device for extracting geographical picture change area |
| JP2000310940A (en) * | 1999-04-28 | 2000-11-07 | Hitachi Ltd | Map information updating method and map updating device |
| JP2002157576A (en) * | 2000-11-22 | 2002-05-31 | Nec Corp | Device and method for processing stereo image and recording medium for recording stereo image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005173128A (en) | 2005-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7650047B2 (en) | Change detection equipment and method of image recognition | |
| CN110599537A (en) | Mask R-CNN-based unmanned aerial vehicle image building area calculation method and system | |
| CN110866871A (en) | Text image correction method and device, computer equipment and storage medium | |
| CN108648194B (en) | Three-dimensional target identification segmentation and pose measurement method and device based on CAD model | |
| KR101261409B1 (en) | System for recognizing road markings of image | |
| CN108961286B (en) | Unmanned aerial vehicle image segmentation method considering three-dimensional and edge shape characteristics of building | |
| CN105426861A (en) | Method and device for determining lane line | |
| JP4103898B2 (en) | Map information updating method and map updating apparatus | |
| JP2007333679A (en) | Three-dimensional position correcting apparatus | |
| CN109863547A (en) | The equipment for constructing map for using machine learning and image procossing | |
| JP4521568B2 (en) | Corresponding point search method, relative orientation method, three-dimensional image measurement method, corresponding point search device, relative orientation device, three-dimensional image measurement device, corresponding point search program, and computer-readable recording medium recording the corresponding point search program | |
| KR20160088814A (en) | Conversion Method For A 2D Image to 3D Graphic Models | |
| JP4762026B2 (en) | Road sign database construction device | |
| CN117078717A (en) | Road vehicle track extraction method based on unmanned plane monocular camera | |
| JPH11328378A (en) | Method and device for updating map information | |
| CN115700796A (en) | Model generation method, model generation device, non-transitory storage medium, moving body posture estimation method, and moving body posture estimation device | |
| JP4639044B2 (en) | Contour shape extraction device | |
| JPH05181411A (en) | Map information collation and update system | |
| CN113096016A (en) | Low-altitude aerial image splicing method and system | |
| US10580208B2 (en) | Ceiling map building method, ceiling map building device, and ceiling map building program | |
| KR20050063991A (en) | Image matching method and apparatus using image pyramid | |
| JP2000310940A (en) | Map information updating method and map updating device | |
| CN114549780B (en) | Intelligent detection method for large complex component based on point cloud data | |
| CN111667429B (en) | Target positioning correction method for inspection robot | |
| CN108280815B (en) | Geometric correction method for monitoring scene structure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050311 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061019 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100506 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100621 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101102 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101129 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131203 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4639044 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |