JPWO2016151730A1 - Image correction apparatus and image correction method - Google Patents
Image correction apparatus and image correction method Download PDFInfo
- Publication number
- JPWO2016151730A1 JPWO2016151730A1 JP2017507191A JP2017507191A JPWO2016151730A1 JP WO2016151730 A1 JPWO2016151730 A1 JP WO2016151730A1 JP 2017507191 A JP2017507191 A JP 2017507191A JP 2017507191 A JP2017507191 A JP 2017507191A JP WO2016151730 A1 JPWO2016151730 A1 JP WO2016151730A1
- Authority
- JP
- Japan
- Prior art keywords
- gcp
- image
- image data
- coordinates
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
情報取得部(1)が取得したGCPの既知の3次元座標と、GCPの選択した画像データ内での座標との差分に基づき、撮影位置情報を用いてベクトルを補正する方向ベクトル補正部(3)と、画像データと補正したベクトルとに基づいて画像データをオルソ補正してオルソ画像を生成するオルソ画像生成部(4)と、生成したオルソ画像のずれ量を算出するずれ量算出部(5)と、算出したずれ量に基づいてGCPの選択した画像データ内での座標を補正するGCP情報補正部(7)とを備える。A direction vector correction unit (3) that corrects the vector using the shooting position information based on the difference between the known three-dimensional coordinates of the GCP acquired by the information acquisition unit (1) and the coordinates in the image data selected by the GCP. ) And an ortho image generation unit (4) that generates an ortho image by ortho-correcting the image data based on the image data and the corrected vector, and a shift amount calculation unit (5) that calculates a shift amount of the generated ortho image ) And a GCP information correction unit (7) that corrects the coordinates in the image data selected by the GCP based on the calculated shift amount.
Description
この発明は、上方から地上を撮影した画像内の座標値を補正する技術に関するものである。 The present invention relates to a technique for correcting a coordinate value in an image obtained by photographing the ground from above.
近年、画像取得用センサの性能が向上し、様々な高解像度の画像を撮影することが可能になっている。画像取得用センサとして、素子を二次元に配列して一度に画像を取得するエリアセンサと、素子を一次元に配列してセンサを動かしながら撮影することにより画像を構成するラインセンサとが存在する。一般的に、エリアセンサよりもラインセンサの方が、より高解像度の撮影を行うことができる。 In recent years, the performance of image acquisition sensors has improved, and it has become possible to capture various high-resolution images. As an image acquisition sensor, there are an area sensor that two-dimensionally arranges elements and acquires an image at a time, and a line sensor that forms an image by arranging elements one-dimensionally and moving the sensor while photographing. . In general, a line sensor can capture images with higher resolution than an area sensor.
上述したセンサを用いて地上を撮影した画像あるいは画像の各画素に撮影方向・撮影位置の情報を付与し、画像と組み合わせることによって様々な処理が行われる。例えば、撮影方向・撮影位置の情報と画像とを組み合わせた情報を用いることにより各画像の3次元座標を算出し、撮影された画像の詳細な位置を求めることができる。 Various processes are performed by giving information on the shooting direction and the shooting position to an image obtained by shooting the ground using the sensor described above or each pixel of the image and combining the information with the image. For example, it is possible to calculate the three-dimensional coordinates of each image by using information obtained by combining the information on the photographing direction / position and the image, and obtain the detailed position of the photographed image.
撮影された画像の位置は、例えば同一地点を含む2つの画像上で、撮影位置および撮影方向から決まる直線の交点を求めることにより算出される。実際の算出には誤差が含まれるため、2直線が交わらない場合もある。そのため、2直線が最も近接する箇所の中心位置、即ち当該2直線に共に直交する線分において当該2直線との交点を結ぶ直線が最も短い線分の中心位置を2直線の交点とみなす。 The position of the photographed image is calculated by, for example, obtaining an intersection of straight lines determined from the photographing position and the photographing direction on two images including the same point. Since the actual calculation includes an error, the two straight lines may not intersect. For this reason, the center position of the closest point of the two straight lines, that is, the center position of the shortest line connecting the intersections with the two straight lines is regarded as the intersection of the two straight lines.
撮影された画像の位置を正確に算出するためには、算出時の誤差をできる限り抑制することが望ましい。各画素の撮影方向(以下、方向ベクトルと称する)の誤差を修正する場合に、一般に地上基準点(以下、GCP(Ground Control Point)と称する)の情報が用いられる。GCPは、画像上の画素に対応付けた座標を有する地上の点であり、GPSなどの測定機器を用いて正確に測定された3次元座標である。GCPと画像上の点とを対応付けることにより、補正前の方向ベクトル用いて算出した3次元座標との差分が求まり、当該差分に基づいて方向ベクトルを補正することができる。補正データ1つを用いて方向ベクトルを平行移動するのみでも補正の効果が得られる場合もある。 In order to accurately calculate the position of the photographed image, it is desirable to suppress errors in calculation as much as possible. When correcting an error in the shooting direction (hereinafter referred to as direction vector) of each pixel, information on a ground reference point (hereinafter referred to as GCP (Ground Control Point)) is generally used. GCP is a point on the ground having coordinates associated with pixels on an image, and is three-dimensional coordinates accurately measured using a measuring device such as GPS. By associating the GCP with a point on the image, a difference from the three-dimensional coordinates calculated using the direction vector before correction can be obtained, and the direction vector can be corrected based on the difference. In some cases, the effect of correction can be obtained by simply translating the direction vector using one correction data.
ただし、GCPの情報を用いた補正を行う場合、GCPの算出精度のみではなく、GCPが対応する画像上の点を正確に求める必要がある。例えば、GCPが対応する画像上の点をユーザが目視で求める場合、画像によっては視差があり、正確に求められない場合もある。しかし、2つの画像の撮影方向が異なる場合、同一地点、同一対象物を撮影した場合であっても見え方が異なるため、同一地点を目視で指定することは困難である。 However, when correction using GCP information is performed, it is necessary to accurately obtain not only the GCP calculation accuracy but also the point on the image corresponding to the GCP. For example, when a user visually obtains a point on an image corresponding to GCP, there is a case where there is a parallax depending on the image and the point cannot be obtained accurately. However, if the shooting directions of the two images are different, the same point and the same object are captured and the way they are seen is different, so it is difficult to visually designate the same point.
GCPが対応する画像上の点を目視以外で求める方法として、例えばいずれかの手法で正確なGCPの位置を求めた画像が存在する場合に、リファレンスである当該画像のGCPおよび当該GCP周辺を部分画像として切り出し、異なる画像における当該GCPの座標を画像マッチングによる算出する方法がある。しかし、2つの画像のマッチングのみでは画像間に視差が生じる。つまり、撮影方向が異なる画像の場合、同一地点、同一対象物を撮影した場合であっても見え方が異なるため、画像マッチングを適用できない場合もある。 As a method for obtaining a point on the image corresponding to the GCP by a method other than visual observation, for example, when there is an image for which an accurate GCP position is obtained by any method, the GCP of the image as a reference and the periphery of the GCP are partially There is a method of cutting out as an image and calculating the coordinates of the GCP in different images by image matching. However, parallax occurs between images only by matching two images. In other words, in the case of images with different shooting directions, even when the same spot and the same object are shot, the way they look is different, so image matching may not be applied.
視差のある画像の幾何学的な歪みを補正するオルソ補正を適用して視差を除去したオルソ画像に変換することにより理論上は問題が解決される。地上を撮影した画像をオルソ画像に変換するためには、地上を撮影した画像の各画素の方向ベクトル・撮影位置および地上の任意の地点における正確な高度値Hが必要となる。撮影位置から方向ベクトルを延ばし、撮影位置に最も近い地点であり、且つ当該撮影位置に最も近い場所の高度が高度値Hから得られる高度値に等しくなる地点が求める3次元座標となる。 Theoretically, the problem is solved by applying an ortho correction for correcting the geometric distortion of an image with parallax to convert the image into an ortho image from which the parallax is removed. In order to convert an image obtained by photographing the ground to an ortho image, the direction vector and photographing position of each pixel of the image obtained by photographing the ground and an accurate altitude value H at any point on the ground are required. The direction vector is extended from the shooting position, and the point closest to the shooting position and the point at which the altitude of the place closest to the shooting position is equal to the height value obtained from the height value H is the three-dimensional coordinates to be obtained.
しかし、任意の地点における正確な高度値Hを求めることは不可能であることから、数メートルから数十メートルの間隔で測定された地表面高度データから概算する。地表面高度データの集合は数値高度モデル(以下、DEM(Digital Elevation Model)と称する)と呼ばれ、上述した測定間隔によって様々なものが存在する。 However, since it is impossible to obtain an accurate altitude value H at an arbitrary point, it is estimated from ground surface altitude data measured at intervals of several meters to several tens of meters. A set of ground surface altitude data is called a numerical altitude model (hereinafter referred to as DEM (Digital Elevation Model)), and various types exist depending on the above-described measurement intervals.
例えば、特許文献1には、地上を撮影した画像の幾何学的な歪みを補正するため、DEMデータを用いて、補正対象の画像の正射投影座標に合わせて地上を撮影した画像をオルソ化する第1の幾何補正を行い、幾何補正された画像が既存のオルソ化済み衛星画像と一致するように画像全域で対応点を取得して幾何補正する第2の幾何補正を行い、第1および第2の幾何補正済みの画像とをマージした画像を作成して最終的な正射投影画像を得る画像補正装置が開示されている。 For example, in Patent Document 1, in order to correct geometric distortion of an image obtained by photographing the ground, an image obtained by photographing the ground according to the orthographic projection coordinates of the image to be corrected is orthorized using DEM data. A first geometric correction is performed, and a second geometric correction is performed in which corresponding points are acquired and geometrically corrected so that the geometrically corrected image matches an existing orthorectified satellite image, An image correction apparatus is disclosed in which an image obtained by merging a second geometrically corrected image is generated to obtain a final orthographic projection image.
しかしながら、上述した特許文献1に開示された技術では、DEMを用いて任意の地表面の高度を近似することから、近似した高度値には誤差が含まれ最終的に得られた正射投影画像にも誤差が含まれる。そのため、正射投影画像内の基準点に基づいてマッチングした画像には誤差が含まれるという課題があった。また、リファレンス画像として参照するオルソ化済み衛星画像が正確な画像であることが前提であり、リファレンス画像に誤差が含まれる場合には適用できないという課題があった。 However, in the technique disclosed in Patent Document 1 described above, since the altitude of an arbitrary ground surface is approximated using DEM, the approximate altitude value includes an error and is finally obtained an orthographic projection image. Also includes errors. For this reason, there is a problem that an image that is matched based on a reference point in the orthographic projection image includes an error. Further, it is premised that the orthosatellite satellite image referred to as the reference image is an accurate image, and there is a problem that it cannot be applied when an error is included in the reference image.
この発明は、上記のような課題を解決するためになされたもので、マッチング処理を行う画像に含まれる誤差を低減し、正確な画像内座標値の補正を実現することを目的とする。また、リファレンス画像に含まれる誤差を考慮して画像内座標値の補正を行うことを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to reduce errors included in an image to be subjected to matching processing and to accurately correct in-image coordinate values. It is another object of the present invention to correct in-image coordinate values in consideration of errors included in a reference image.
この発明に係る画像補正装置は、地上を撮影した衛星画像から、共通するGCP(Grand Control Point)を含む画像データを選択し、選択した画像データの撮影位置を示す撮影位置情報と、撮影位置から画像データを構成する各ピクセルへの方向を示すベクトルと、撮影対象の高度を示す高度情報と、GCPの既知の3次元座標およびGCPの選択した画像データ内での座標とを取得する情報取得部と、情報取得部が取得したGCPの既知の3次元座標と、GCPの選択した画像データ内での座標との差分に基づき、撮影位置情報を用いてベクトルを補正するベクトル補正部と、画像データと、ベクトル補正部が補正したベクトルとに基づいて画像データをオルソ補正してオルソ画像を生成するオルソ画像生成部と、オルソ画像生成部が生成したオルソ画像のずれ量を算出するずれ量算出部と、ずれ量算出部が算出したずれ量に基づいてGCPの選択した画像データ内での座標を補正するGCP情報補正部とを備えるものである。 The image correction apparatus according to the present invention selects image data including a common GCP (Grand Control Point) from satellite images obtained by photographing the ground, and includes photographing position information indicating the photographing position of the selected image data, and the photographing position. An information acquisition unit that acquires a vector indicating the direction to each pixel constituting image data, altitude information indicating the altitude of the object to be imaged, and known three-dimensional coordinates of GCP and coordinates in the selected image data of GCP A vector correction unit that corrects a vector using shooting position information based on the difference between the known three-dimensional coordinates of the GCP acquired by the information acquisition unit and the coordinates in the image data selected by the GCP, and image data And an ortho image generation unit that generates an ortho image by ortho-correcting the image data based on the vector corrected by the vector correction unit; A deviation amount calculation unit that calculates the deviation amount of the ortho image generated by the source image generation unit, and a GCP information correction unit that corrects the coordinates in the image data selected by the GCP based on the deviation amount calculated by the deviation amount calculation unit. Are provided.
この発明によれば、マッチング処理を行う画像に含まれる誤差を低減し、正確な画像内座標値の補正を行うことができる。また、リファレンス画像に含まれる誤差を考慮して画像内座標値の補正を行うことができる。 According to the present invention, it is possible to reduce the error included in the image to be subjected to the matching process and correct the in-image coordinate value accurately. In addition, the in-image coordinate value can be corrected in consideration of an error included in the reference image.
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、実施の形態1に係る画像補正装置10の構成を示すブロック図である。
画像補正装置10は、情報取得部1、取得情報蓄積部2、方向ベクトル補正部3、オルソ画像生成部4、ずれ量算出部5、処理結果判定部6およびGCP情報補正部7で構成されている。また、画像補正装置10は、外部の蓄積領域である画像データ蓄積部100、撮影位置情報蓄積部200、方向ベクトル蓄積部300、高度情報蓄積部400およびGCP情報蓄積部500から各種情報を取得する。Hereinafter, in order to explain the present invention in more detail, modes for carrying out the present invention will be described with reference to the accompanying drawings.
Embodiment 1 FIG.
FIG. 1 is a block diagram illustrating a configuration of an
The
まず、画像補正装置10が取得する各種データを蓄積する外部の蓄積領域について説明する。
画像データ蓄積部100は、撮影手段(不図示)により上空から地上を撮影した観測画像の画像データを蓄積する。撮影位置情報蓄積部200は、撮影手段が観測画像を撮影した位置情報を示す撮影位置情報を画像データごとに蓄積する。方向ベクトル蓄積部300は、撮影地点と観測画像の画像データの各ピクセルの中心とを結んだ線、すなわち撮影手段から各ピクセルの中心への方向を示すベクトル線(以下、方向ベクトルと称する)を蓄積する。First, an external storage area that stores various data acquired by the
The image
高度情報蓄積部400は、撮影手段が撮影の対象とした撮影対象の高度を示す高度情報を蓄積する。さらに、観測画像に含まれる範囲を網羅するDEM(Digital Elevation Mode:数値高度モデル)が蓄積されているものとする。
The altitude
GCP情報蓄積部500は、画像データにおいてその画像位置を特定可能な目標物である地上基準点(GCP:Ground Control Point、以下GCPと称する)の3次元座標と、当該GCPの3次元座標を観測画像の画像データに適用した場合の画像データ内での座標(以下、画像内座標と称する)との組み合わせ情報を、観測画像ごとに蓄積している。ここで、GCPの3次元座標は、高い精度で予め予測されているGCPの座標値である。また、3次元座標とは、地表面交点座標を示す。また、GCPの画像内座標は、ユーザが観測画像を参照して目視で決定する、あるいは方向ベクトルおよび撮影位置情報およびDEMから求められる地表面座標と、GCPの3次元座標とに基づいて決定する。方向ベクトルおよびDEMの誤差が存在するため、GCPの画像内座標はユーザが観測画像を参照して目視で決定する方が、誤差が抑制される場合がある。
The GCP
上述した、撮影位置情報、方向ベクトルおよびGCPの3次元座標は、地球中心座標系で表される。地球中心座標系は、地球の重心を原点とし、X軸をグリニッジ子午線と赤道との交点の方向、Y軸を東経90度の方向、Z軸を北極の方向にとることにより定義される3次元空間を地球中心空間とする。地球中心空間における目標の位置は、地球中心Oを原点とした直交座標により表される。一方、高度情報が示す座標系は、緯度・経度・必要な場合には対応する高度で表される。 The three-dimensional coordinates of the photographing position information, the direction vector, and the GCP described above are expressed in the earth center coordinate system. The Earth Center Coordinate System is a three-dimensional definition defined by taking the center of gravity of the Earth as the origin, the X axis as the direction of the intersection of the Greenwich meridian and the equator, the Y axis as 90 degrees east longitude, and the Z axis as the North Pole direction. Let the space be the earth-centered space. The target position in the earth center space is represented by orthogonal coordinates with the earth center O as the origin. On the other hand, the coordinate system indicated by the altitude information is represented by latitude, longitude, and corresponding altitude if necessary.
次に、画像補正装置10の各構成について説明する。
情報取得部1は、画像データ蓄積部100からGCPの画像内座標を補正したい観測画像の画像データと、当該観測画像とマッチングするための観測画像の画像データを選択して取得する。なお、マッチングするための観測画像にも共通するGCPが含まれているものとする。情報取得部1は選択した2つの画像データに対応する撮影位置情報、方向ベクトルおよび高度情報を、撮影位置情報蓄積部200、方向ベクトル蓄積部300および高度情報蓄積部400から取得する。Next, each configuration of the
The information acquisition unit 1 selects and acquires from the image
また、情報取得部1は、GCP情報蓄積部500を参照し、選択した2つの画像データに含まれるGCPを選択し、選択したGCPの3次元座標と、2つの画像データの当該GCPの画像内座標を取得する。2つの画像データに含まれるGCPの選択は、2つの画像データに含まれる座標から自動で選出してもよいし、2つの画像データに含まれる座標からユーザが任意に指定してもよい。情報取得部1は、取得した全ての情報を取得情報蓄積部2に蓄積する。
Further, the information acquisition unit 1 refers to the GCP
取得情報蓄積部2は、情報取得部1が取得した画像データ、撮影位置情報、方向ベクトルおよび高度情報、GCPの3次元座標およびGCPの画像内座標を蓄積する。また、後述するGCP情報補正部7から補正した画像内座標が入力されると、対応する画像内座標を更新して蓄積する。 The acquired information storage unit 2 stores the image data acquired by the information acquisition unit 1, shooting position information, direction vector and altitude information, GCP three-dimensional coordinates, and GCP intra-image coordinates. When corrected intra-image coordinates are input from a GCP information correction unit 7 described later, the corresponding intra-image coordinates are updated and stored.
方向ベクトル補正部3は、取得情報蓄積部2から画像データ、撮影位置情報、方向ベクトルおよび高度情報、GCPの3次元座標およびGCPの画像内座標を取得する。方向ベクトル補正部3は、GCPの画像内座標(u,v)に対応した3次元座標を撮影位置情報、方向ベクトルおよび高度情報から算出する。算出したGCPの画像内座標の3次元座標と、GCPの3次元座標との差分を求め、当該差分を用いて方向ベクトルを補正する。
方向ベクトル補正部3は、補正した方向ベクトル、画像データ、撮影位置情報、高度情報、GCPの3次元座標およびGCPの画像内座標をオルソ画像生成部4に出力する。The direction vector correction unit 3 acquires image data, shooting position information, direction vector and altitude information, GCP three-dimensional coordinates, and GCP in-image coordinates from the acquisition information storage unit 2. The direction vector correction unit 3 calculates three-dimensional coordinates corresponding to the in-image coordinates (u, v) of the GCP from the shooting position information, the direction vector, and the altitude information. The difference between the calculated three-dimensional coordinates of the GCP image and the three-dimensional coordinates of the GCP is obtained, and the direction vector is corrected using the difference.
The direction vector correction unit 3 outputs the corrected direction vector, image data, shooting position information, altitude information, GCP three-dimensional coordinates, and GCP intra-image coordinates to the ortho
オルソ画像生成部4は、方向ベクトル補正部3が補正した2つの画像データの方向ベクトルおよび当該2つの画像データを用いて、オルソ補正を行い、2つのオルソ画像を生成する。オルソ画像とは、無限遠方を中心とした投影であり、真上から見たかのように正射投影して補正した画像である。また、オルソ画像は、高度以外の座標が決定すれば、高度データから高度値を取得することにより、各ピクセルの3次元座標値が決定される。オルソ画像生成部4は、2つのオルソ画像、GCPの3次元座標およびGCPの画像内座標をずれ量算出部5に出力する。
The ortho
ずれ量算出部5は、2つのオルソ画像のマッチング処理を行い、2つのオルソ画像の縦方向および横方向のずれ量(dx、dy)を算出する。マッチング処理は、正規化相関を用いる手法および位相限定相関を用いる手法など、既存のマッチング処理方法を適用する。また、ずれ量算出部5は、同一の画像データに対してずれ量を算出した回数をバッファなどに記憶する。ずれ量算出部5は、情報取得部1から入力される情報取得処理の開始情報が入力されると、当該ずれ量算出処理回数を「0」に初期化する。ずれ量算出部5は、算出したずれ量(dx、dy)、ずれ量算出処理回数、GCPデータを処理結果判定部6に出力する。
The deviation
処理結果判定部6は、ずれ量(dx、dy)が閾値以内であるか、ずれ量の処理回数が予め設定された回数以内であるかに基づいて、補正処理を終了するか否か判定を行う。ずれ量の閾値は例えば縦方向、横方向共に0.5ピクセル、ずれ量の処理回数は10回以下など適宜設定する。補正処理を終了する場合には、2つの画像データのGCPの画像内座標を出力する。出力されたGCPの画像内座標を用いてGCP情報蓄積部500に蓄積されたGCPの画像内座標を書き替えることにより、正確なデータを蓄積させることができる。一方、補正処理を継続する場合にはずれ量(dx、dy)、GCPデータをGCP情報補正部7に出力する。
The processing
GCP情報補正部7は、入力されたずれ量(dx、dy)を、GCPの画像内座標に適用して補正を行い、補正後のGCPの画像内座標を取得情報蓄積部2に格納する。 The GCP information correction unit 7 performs correction by applying the input shift amount (dx, dy) to the GCP image coordinates, and stores the corrected GCP image coordinates in the acquired information storage unit 2.
図2は、実施の形態1に係る画像補正装置10のハードウェア構成を示す図である。
画像補正装置10の情報取得部1、方向ベクトル補正部3、オルソ画像生成部4、ずれ量算出部5、処理結果判定部6およびGCP情報補正部7は、プロセッサ20がメモリ30に記憶されたプログラムを実行することにより、実現される。取得情報蓄積部2、は、メモリ30を構成する。また、複数のプロセッサ20および複数のメモリ30が連携して上述した機能を実行するように構成してもよい。FIG. 2 is a diagram illustrating a hardware configuration of the
The information acquisition unit 1, the direction vector correction unit 3, the ortho
次に、画像補正装置10の動作について説明する。
図3は、実施の形態1に係る画像補正装置10の動作を示すフローチャートである。
画像補正装置10の情報取得部1は、画像データ蓄積部100から2つの観測画像の画像データを取得する(ステップST1)。ステップST1の画像データの取得処理は、2つの観測画像に同一のGCPの撮影画像が含まれている画像データを選出し、取得するものとする。具体的には、同一地点の観測画像を含む、互いに近接する領域を撮影した2つの画像データを自動で選出してもよいし、連続した2つの画像データを選出してもよいし、ユーザが任意で2つの画像データを選択し、入力手段(不図示)を介して選択指示を入力してもよい。Next, the operation of the
FIG. 3 is a flowchart showing the operation of the
The information acquisition unit 1 of the
情報取得部1は、ステップST1で取得した2つの画像データの撮影位置情報、各ピクセルの方向ベクトルおよび高度情報を、撮影位置情報蓄積部200、方向ベクトル蓄積部300、高度情報蓄積部400からそれぞれ取得する(ステップST2)。また、情報取得部1は、GCP情報蓄積部500を参照してステップST1で取得した2つの観測画像の双方に含まれるGCPを選択し、選択したGCPの3次元座標および当該GCPの2つの画像における画像内座標を取得する(ステップST3)。なお、以下ではGCPの3次元座標および当該GCPの2つの観測画像における画像内座標の双方を示す場合、GCPデータと称する。
The information acquisition unit 1 obtains the shooting position information of the two image data acquired in step ST1, the direction vector and altitude information of each pixel from the shooting position
情報取得部1は、ステップST1、ステップST2およびステップST3で取得した画像データ、撮影位置情報、方向ベクトル、高度情報およびGCPデータを取得情報蓄積部2に蓄積する(ステップST4)。方向ベクトル補正部3は、ステップST4で取得情報蓄積部2に蓄積された撮影位置情報、方向ベクトルおよび高度情報から、GCPの画像内座標Q(u,v)に対する3次元座標Q3(gx1,gy1,gz1)を算出する(ステップST5)。なお、ステップST5の処理の詳細については後述する。The information acquisition unit 1 stores the image data, shooting position information, direction vector, altitude information, and GCP data acquired in step ST1, step ST2, and step ST3 in the acquisition information storage unit 2 (step ST4). The direction vector correction unit 3 uses the three-dimensional coordinates Q 3 (gx1, gx1, GCP in-image coordinates Q (u, v) from the shooting position information, direction vector, and altitude information stored in the acquired information storage unit 2 in step ST4. gy1, gz1) are calculated (step ST5). Details of the process in step ST5 will be described later.
方向ベクトル補正部3は、ステップST5で算出したGCPの画像内座標Q(u,v)に対する3次元座標Q3(gx1,gy1,gz1)と、GCPデータの3次元座標(gx,gy,gz)との差分(dgx,dgy,dgz)を、以下の式(1)に基づいて算出する(ステップST6)。
(dgx,dgy,dgz)=(gx1−gx,gy1−gy,gz1−gz) (1)The direction vector correction unit 3 calculates the three-dimensional coordinates Q 3 (gx1, gy1, gz1) for the in-image coordinates Q (u, v) of the GCP calculated in step ST5 and the three-dimensional coordinates (gx, gy, gz) of the GCP data. ) (Dgx, dgy, dgz) is calculated based on the following equation (1) (step ST6).
(Dgx, dgy, dgz) = (gx1-gx, gy1-gy, gz1-gz) (1)
方向ベクトル補正部3は、ステップST6で算出した差分(dgx,dgy,dgz)を用いて方向ベクトルaを補正する(ステップST7)。
具体的には、画像データ内の各ピクセルの座標R(s,t)から3次元座標R3を算出する。算出した3次元座標R3から算出した差分(dgx,dgy,dgz)を差し引いて当該3次元座標R3を平行移動させる。当該平行移動により得られた3次元座標R3mと、撮影位置Pとから視線べクトを再計算し、補正方向ベクトルacを取得する。なお、GCPの画像内座標Q(u,v)の座標値が画素と画素の間のサブピクセルの場合、GCPの画像内座標の周辺に位置する画素の3次元座標から補間して算出する。方向ベクトル補正部3は、ステップST7で補正した補正方向ベクトルac、画像データ、撮影位置情報、高度情報およびGCPデータをオルソ画像生成部4に出力する。The direction vector correction unit 3 corrects the direction vector a using the difference (dgx, dgy, dgz) calculated in step ST6 (step ST7).
Specifically, a three-dimensional coordinate R 3 is calculated from the coordinates R (s, t) of each pixel in the image data. Calculated three-dimensional coordinate difference calculated from R 3 (dgx, dgy, dgz ) by subtracting the moving parallel to the three-dimensional coordinates R 3. The line-of-sight vector is recalculated from the three-dimensional coordinate R 3m obtained by the parallel movement and the photographing position P, and the correction direction vector ac is obtained. If the coordinate value of the GCP in-image coordinates Q (u, v) is a sub-pixel between pixels, it is calculated by interpolation from the three-dimensional coordinates of the pixels located around the GCP image coordinates. The direction vector correction unit 3 outputs the corrected direction vector a c corrected in step ST7, image data, shooting position information, altitude information, and GCP data to the ortho
オルソ画像生成部4は、方向ベクトル補正部3から入力された補正方向ベクトルac、画像データ、撮影位置情報、高度情報およびGCPデータに基づいて2つの画像データに対応したオルソ画像を生成する(ステップST8)。
まず、オルソ画像生成部4は、生成するオルソ画像の大きさ(128×128ピクセル)を決定し、好適な解像度(例えば、隣接するピクセル間の距離を2.5mに設定)を決定し、オルソ画像の各ピクセルの3次元座標を決定する。The ortho
First, the ortho
オルソ画像の生成では、2つの観測画像から部分画像を取得するものとし、2つの部分画像の大きさは同一であり、GCPの画像内座標の座標値も同一であるものとする。上述のように決定された部分画像の各ピクセルの3次元座標と、ステップST7の方向ベクトルの補正で算出した各ピクセルの3次元座標R3mとから、部分画像の各ピクセルに対応する画像データのピクセルを得ることにより、オルソ画像を生成する。オルソ画像生成部4は、生成した2つのオルソ画像およびGCPデータをずれ量算出部5に出力する。In the generation of the ortho image, the partial images are acquired from the two observation images, the sizes of the two partial images are the same, and the coordinate values of the in-image coordinates of the GCP are also the same. From the three-dimensional coordinates of each pixel of the partial image determined as described above and the three-dimensional coordinates R 3m of each pixel calculated by correcting the direction vector in step ST7, the image data corresponding to each pixel of the partial image is obtained. By obtaining the pixels, an ortho image is generated. The ortho
ずれ量算出部5は、ステップST8で生成された2つのオルソ画像のマッチング処理を行い、2つのオルソ画像における縦横方向のずれ量を算出する(ステップST9)。さらにずれ量算出部5は、バッファに記憶された処理回数に「1」加算する処理を行う(ステップST10)。ずれ量算出部5は、ステップST9で算出したずれ量、ずれ量算出処理回数およびGCPデータを処理結果判定部6に出力する。
The deviation
処理結果判定部6は、ステップST9で算出されたずれ量を参照し、ずれ量が縦横方向共に閾値以下であるか否か判定を行う(ステップST11)。ずれ量が閾値以下である場合(ステップST11;YES)、処理結果判定部6は、ずれ量算出部5から入力されたGCPデータを処理結果として出力する(ステップST12)。一方、ずれ量が閾値より大きい場合(ステップST11;NO)、処理結果判定部6はずれ量算出処理回数を参照し、処理回数が規定回数を超えたか否か判定を行う(ステップST13)。処理回数が規定回数を超えた場合(ステップST13;YES)、処理結果判定部6は、ステップST12の処理に進む。一方、処理回数が規定回数以下である場合(ステップST12;NO)、処理結果判定部6はステップST9で算出されたずれ量と、GCPデータをGCP情報補正部7に出力する(ステップST14)。
The processing
GCP情報補正部7はステップST14で入力されたずれ量を、2つの画像データのGCPの画像内座標に適用し、GCPの画像内座標を補正する(ステップST15)。GCP情報補正部7は、ステップST15で補正したGCPの画像内座標を用いて取得情報蓄積部2のGCPデータを更新し(ステップST16)、ステップST6の処理に戻る。 The GCP information correcting unit 7 applies the shift amount input in step ST14 to the GCP image coordinates of the two image data, and corrects the GCP image coordinates (step ST15). The GCP information correction unit 7 updates the GCP data in the acquired information storage unit 2 using the GCP image coordinates corrected in step ST15 (step ST16), and the process returns to step ST6.
ステップST15のずれ量の適用では、例えば2つの画像データA,Bの2.5m解像度のオルソ画像Ao,Boのずれ量が(dx、dy)であって、画像データA,Bの解像度も2.5mである場合に、画像データAのGCPの画像内座標にずれ量(dx/2、dy/2)を加算し、画像データBのGCPの画像内座標にずれ量(−dx/2、−dy/2)を加算する。なお、画像データA,Bの解像度と、オルソ画像Ao,Boの解像度とが異なる場合には、画像データの解像度とオルソ画像の解像度との比kを上述したずれ量に乗算する。 In the application of the shift amount in step ST15, for example, the shift amount of the 2.5 m resolution orthoimages Ao and Bo of the two image data A and B is (dx, dy), and the resolution of the image data A and B is 2 as well. .5 m, the shift amount (dx / 2, dy / 2) is added to the GCP image coordinates of the image data A, and the shift amount (−dx / 2, -Dy / 2) is added. When the resolutions of the image data A and B are different from the resolutions of the ortho images Ao and Bo, the above-described deviation amount is multiplied by the ratio k between the resolution of the image data and the resolution of the ortho image.
また、ステップST15のずれ量の適用は、次のように構成することも可能である。オルソ画像Ao,Boのずれ量がd1である場合に、画像データAのGCPの画像内座標にf(d1)/2を適用し、画像データBのGCPの画像内座標に−f´(d1)/2を適用する。ここで、f(d1)はオルソ画像Aoに対して元の画像データの解像度に戻すための関数fをずれ量d1に適用したものであり、−f´(d1)はオルソ画像Boに対して元の画像データの解像度に戻すための関数f´をずれ量d1に適用したものである。 Also, the application of the shift amount in step ST15 can be configured as follows. When the displacement amount of the ortho images Ao and Bo is d1, f (d1) / 2 is applied to the GCP image coordinates of the image data A, and −f ′ (d1) is applied to the GCP image coordinates of the image data B. ) / 2 is applied. Here, f (d1) is obtained by applying a function f for returning to the resolution of the original image data with respect to the ortho image Ao to the shift amount d1, and −f ′ (d1) is for the ortho image Bo. A function f ′ for returning to the resolution of the original image data is applied to the shift amount d1.
次に、上述したステップST5の処理について、図4のフローチャートを参照しながらより詳細に説明する。図4は、実施の形態1に係る画像補正装置10の方向ベクトル補正部3の動作を示すフローチャートである。
方向ベクトル補正部3は、GCPの画像内座標Q(u,v)のu,vが共に整数の場合、まずGCPの画像内座標Q(u,v)に対する撮影位置P=(Xu,Yu,Zu)および方向ベクトルa=(wx,wy,wz)から、座標X(t)=P+ta(tは実数)の高度値が、ステップST4で取得情報蓄積部2に蓄積された高度情報から得られる高度値と等しくなる係数tを算出する(ステップST21)。Next, the process of step ST5 described above will be described in more detail with reference to the flowchart of FIG. FIG. 4 is a flowchart showing the operation of the direction vector correction unit 3 of the
When the u and v of the GCP in-image coordinates Q (u, v) are both integers, the direction vector correction unit 3 first captures the shooting position P = (Xu, Yu, Zu) and the direction vector a = (wx, wy, wz), the altitude value of the coordinate X (t) = P + ta (t is a real number) is obtained from the altitude information stored in the acquired information storage unit 2 in step ST4. A coefficient t equal to the altitude value is calculated (step ST21).
方向ベクトル補正部3は、ステップST21で算出した係数tにおける座標X(t)を地球中心座標で算出し(ステップST22)、さらに緯度、経度および高度値haに変換する(ステップST23)。ステップST23の地球中心座標から緯度、経度および高度値への変換は、既存の技術を適用するものとする。ステップST23で変換された高度値haと、座標X(t)の緯度および経度に基づいて高度情報から取得される高度値hbとの差分である、高度差Δhを算出する(ステップST24)。 The direction vector correction unit 3 calculates the coordinates X (t) at the coefficient t calculated in step ST21 as the earth center coordinates (step ST22), and further converts them into latitude, longitude, and altitude value ha (step ST23). It is assumed that existing technology is applied to the conversion from the earth center coordinates to the latitude, longitude, and altitude value in step ST23. An altitude difference Δh, which is the difference between the altitude value ha converted in step ST23 and the altitude value hb acquired from the altitude information based on the latitude and longitude of the coordinate X (t), is calculated (step ST24).
方向ベクトル補正部3は、ステップST24で算出した高度差Δhが予め設定した閾値の以下であるか否か判定を行う(ステップST25)。閾値以下である場合(ステップST25;YES)、方向ベクトル補正部3は現在の係数tにおける座標X(t)からGCPの画像内座標に対する3次元座標Q3(gx1,gy1,gz1)を算出し(ステップST26)、図3のフローチャートのステップST6の処理に進む。The direction vector correction unit 3 determines whether or not the altitude difference Δh calculated in step ST24 is equal to or less than a preset threshold value (step ST25). If it is equal to or less than the threshold (step ST25; YES), the direction vector correction unit 3 calculates a three-dimensional coordinate Q 3 (gx1, gy1, gz1) for the in-image coordinates of the GCP from the coordinate X (t) at the current coefficient t. (Step ST26), the process proceeds to Step ST6 of the flowchart of FIG.
一方、閾値の範囲外である場合(ステップST25;NO)、方向ベクトル補正部3はステップST24で算出した高度差Δhを用いて係数tを補正し(ステップST27)、補正後の係数tを用いて再度座標X(t)を算出する(ステップST28)。その後、方向ベクトル補正部3は予め設定された計算回数(例えば10回など)に到達したか否か判定を行う(ステップST29)。 On the other hand, when the value is outside the threshold range (step ST25; NO), the direction vector correction unit 3 corrects the coefficient t using the altitude difference Δh calculated in step ST24 (step ST27), and uses the corrected coefficient t. The coordinate X (t) is calculated again (step ST28). Thereafter, the direction vector correction unit 3 determines whether or not a preset number of calculations (for example, 10 times) has been reached (step ST29).
設定された計算回数に到達した場合(ステップST29;YES)、方向ベクトル補正部3は現在の係数tにおける座標X(t)からGCPの画像内座標に対する3次元座標Q3(gx1,gy1,gz1)を算出し(ステップST30)、図3のフローチャートのステップST6の処理に進む。一方、設定された計算回数に到達していない場合(ステップST29;NO)、ステップST21の処理に戻り、ステップST28で再度算出した座標X(t)について上述した処理を繰り返し行う。
ステップST29において、予め計算回数の上限を設定して判定処理を行うことにより、上述したステップST21からステップST30の反復の計算処理が完了することが保証される。When the set number of calculations has been reached (step ST29; YES), the direction vector correction unit 3 determines the three-dimensional coordinates Q 3 (gx1, gy1, gz1) from the coordinates X (t) at the current coefficient t to the in-image coordinates of the GCP. ) Is calculated (step ST30), and the process proceeds to step ST6 of the flowchart of FIG. On the other hand, when the set number of calculations has not been reached (step ST29; NO), the process returns to step ST21, and the above-described process is repeated for the coordinate X (t) calculated again in step ST28.
In step ST29, the upper limit of the number of calculations is set in advance and the determination process is performed, so that it is guaranteed that the repeated calculation process from step ST21 to step ST30 described above is completed.
以上のように、この実施の形態1によれば、高度情報を考慮してGCPの画像内座標に対する3次元座標を算出し、算出したGCPの画像内座標の3次元座標からGCPの3次元座標との差分を算出し、算出した差分を用いて方向ベクトルを補正する方向ベクトル補正部3と、補正した方向ベクトルに基づいて生成した2つのオルソ画像のマッチング処理を行い、2つのオルソ画像の縦方向および横方向のずれ量を算出するずれ量算出部5と、算出されたずれ量が閾値よりも大きい場合に、算出したずれ量をGCPの画像内座標に適応して補正を行うGCP情報補正部7とを備えるように構成したので、高度情報の誤差および方向ベクトルの誤差を低減させ、正確なGCPの画像内座標を算出する。 As described above, according to the first embodiment, the three-dimensional coordinates for the GCP image coordinates are calculated in consideration of altitude information, and the GCP three-dimensional coordinates are calculated from the calculated three-dimensional coordinates of the GCP image coordinates. The direction vector correction unit 3 that corrects the direction vector using the calculated difference and the matching processing of the two ortho images generated based on the corrected direction vector are performed, and the two ortho images are GCP information correction that corrects the calculated shift amount in accordance with the GCP image coordinates when the calculated shift amount is larger than a threshold value. Therefore, the error of the altitude information and the error of the direction vector are reduced, and the accurate in-image coordinates of the GCP are calculated.
また、この実施の形態1によれば、高度差に基づいて補正された座標を算出するための計算が予め設定した計算回数の上限に到達したか否か判定を行う方向ベクトル補正部3を備えるように構成したので、高度差が閾値以下となるまで、あるいは座標を再度算出するための計算回数が上限を超えるまで、高度差による補正処理を繰り返すことができる。これにより、より正確な高度情報を得ることができる。また、方向ベクトル補正部3は、より正確な高度情報を用いて方向ベクトルを補正することができ、正確な方向ベクトルを得ることができる。 Moreover, according to this Embodiment 1, the direction vector correction | amendment part 3 which determines whether the calculation for calculating the coordinate correct | amended based on the height difference has reached the preset upper limit of the frequency | count of calculation is provided. Since it comprised so, it can repeat the correction process by an altitude difference until an altitude difference becomes below a threshold value, or until the frequency | count of calculation for calculating a coordinate again exceeds an upper limit. Thereby, more accurate altitude information can be obtained. Moreover, the direction vector correction | amendment part 3 can correct | amend a direction vector using more exact altitude information, and can obtain an exact direction vector.
また、この実施の形態1によれば、ずれ量が閾値以下か、処理回数が規定回数を超えたか判定を行う処理結果判定部6を備えるように構成したので、ずれ量が一定値以内となるまで、あるいは、2つの画像データのマッチング処理回数が一定回数以上となるまでずれ量の補正処理を繰り返すことができる。これにより、GCPの画像内座標を真値に近づけることが可能になる。
In addition, according to the first embodiment, since the processing
また、この実施の形態1によれば、高度差による座標の補正処理および2つのオルソ画像のずれ量の判定処理の回数に上限を設けるように構成したので、各判定処理が完了することを保証することができる。 In addition, according to the first embodiment, since the upper limit is set for the number of times of the correction processing of the coordinate due to the altitude difference and the determination processing of the shift amount of the two ortho images, it is guaranteed that each determination processing is completed. can do.
また、この実施の形態1によれば、リファレンスである画像データについてもオルソ画像のずれ量を適用して補正を行うように構成したので、リファレンスの画像データにおける誤差を考慮した画像補正処理を行うことができる。 Further, according to the first embodiment, the image data that is the reference is also corrected by applying the shift amount of the ortho image, so that the image correction process is performed in consideration of the error in the reference image data. be able to.
なお、上述した実施の形態1において、GCPの画像内座標(u,v)のu,vの値が整数でない場合には、当該GCPの画像内座標(u,v)周辺の座標における3次元座標を算出し、算出した3次元座標から近似してGCPの画像内座標(u,v)を算出する。 In the first embodiment described above, when the u and v values of the in-image coordinates (u, v) of the GCP are not integers, the three-dimensional coordinates around the in-image coordinates (u, v) of the GCP are shown. Coordinates are calculated, and GCP in-image coordinates (u, v) are calculated by approximation from the calculated three-dimensional coordinates.
なお、上述した実施の形態1では、ずれ量算出部5が2つのオルソ画像のずれ量を算出し、処理結果判定部6がずれ量と閾値との判定を行い、GCP情報補正部7がずれ量と閾値との判定結果に基づいてGCPの画像内座標を補正する手順を示したが、補正処理に影響のない範囲で、上記各処理の間に異なる処理を追加してもよいし、処理の適用順序を変更してもよい。例えば、算出したずれ量をGCPの画像内座標に適用した後に、ずれ量と閾値との判定および処理回数の判定を行ってもよい。また、GCPの画像内座標を補正する前に、2つの画像データのマッチング処理を行ってもよい。
In the first embodiment described above, the shift
実施の形態2.
上述した実施の形態1では、2つの画像データに含まれるGCPを1点選択して補正処理を行う場合を示したが、この実施の形態2では2つの画像データに含まれるGCPを3点以上選択した場合について説明する。
なお、実施の形態2に係る画像補正装置10の構成は、実施の形態1で示した画像補正装置10と同一であるため、ブロック図の記載を省略し、各構成要素の説明を省略または簡略化する。Embodiment 2. FIG.
In the first embodiment described above, a case is shown in which one point of GCP included in two image data is selected and correction processing is performed, but in this second embodiment, three or more GCPs included in two image data are displayed. The case where it selects is demonstrated.
Since the configuration of the
情報取得部1は、GCP情報蓄積部500を参照し、2つの画像データに含まれる3点以上のGCPを選択し、選択した全てのGCPの3次元座標、2つの画像データにおける選択したGCP全ての画像内座標を取得する。方向ベクトル補正部3、オルソ画像生成部4、ずれ量算出部5、処理結果判定部6およびGCP情報補正部7は、全てのGCPデータに対して、実施の形態1と同様の処理を行う。
The information acquisition unit 1 refers to the GCP
次に、フローチャートを参照しながら画像補正装置10の動作について説明する。
図5はこの発明の実施の形態2に係る画像補正装置10の動作を示すフローチャートである。なお、以下では実施の形態1に係る画像補正装置10と同一のステップには図3で使用した符号と同一の符号を付し、説明を省略または簡略化する。Next, the operation of the
FIG. 5 is a flowchart showing the operation of the
ステップST2において情報取得部1が2つの画像データの撮影位置情報、各ピクセルの方向ベクトルおよび高度情報を取得すると、さらに情報取得部1は、GCP情報蓄積部500を参照してステップST1で取得した2つの観測画像の双方に含まれるGCPを3点以上選択し、選択した3点以上のGCPの3次元座標および当該GCPの2つの画像における画像内座標を取得する(ステップST41)。情報取得部1は、ステップST1、ステップST2およびステップST41で取得した画像データ、撮影位置情報、方向ベクトル、高度情報およびGCPデータを取得情報蓄積部2に蓄積する(ステップST4)。
When the information acquisition unit 1 acquires the shooting position information of the two image data, the direction vector of each pixel, and the altitude information in step ST2, the information acquisition unit 1 further acquires the information in step ST1 with reference to the GCP
方向ベクトル補正部3は、ステップST4で取得情報蓄積部2に蓄積された撮影位置情報、方向ベクトルおよび高度情報から、未処理の1つのGCPの画像内座標Q(u,v)に対する3次元座標(gx1,gy1,gz1)を算出する(ステップST42)。その後、図3のフローチャートで示したステップST6からステップST11と同一の処理を行い、およびステップST11の判定処理においてずれ量が閾値より大きかった場合(ステップST11;NO)、ステップST13からST16と同一の処理を行う。 The direction vector correction unit 3 uses the shooting position information, the direction vector, and the altitude information stored in the acquired information storage unit 2 in step ST4 to obtain a three-dimensional coordinate for one unprocessed GCP in-image coordinate Q (u, v). (Gx1, gy1, gz1) is calculated (step ST42). Thereafter, the same processing as in steps ST6 to ST11 shown in the flowchart of FIG. 3 is performed, and when the deviation amount is larger than the threshold value in the determination processing of step ST11 (step ST11; NO), the same as steps ST13 to ST16. Process.
一方、ステップST11の判定処理においてずれ量が閾値以下であった場合(ステップST11;YES)、処理結果判定部6は、全てのGCPについて処理を行ったか否か判定を行う(ステップST43)。全てのGCPについて処理を行っている場合(ステップST43;YES)、処理結果判定部6は、ずれ量算出部5から入力された全てのGCPデータを処理結果として出力する(ステップST44)。一方、全てのGCPについて処理を行っていない場合(ステップST43;NO)、ステップST42に戻り、上述した処理を繰り返す。
On the other hand, when the deviation amount is equal to or smaller than the threshold value in the determination process of step ST11 (step ST11; YES), the process
上述した構成では、ずれ量算出部5が3点以上のGCPについて個別に高度情報の補正、方向ベクトルの補正およびオルソ画像のずれ量の補正を行ったが、次に3点以上のGCPについて同時にずれ量を算出し、算出したずれ量に基づいて変換行列を算出する構成を示す。なお、変換行列の算出は一次変換により行われ、例えば、GCPの3次元座標が(xi,yi,zi),(i=1,2,3)であり、各GCPについての画像内座標に対する3次元座標が(x´i,y´i,z´i),(i=1,2,3)である場合、変換行列Aは以下の式(2)で表される。
式(2)において行列X−1は行列Xの変換行列を示す。In the configuration described above, the deviation
In Equation (2), the matrix X −1 represents a transformation matrix of the matrix X.
図6は、この発明の実施の形態2に係る画像補正装置10のその他の動作を示すフローチャートである。
ステップST3において情報取得部1が2つの画像データの撮影位置情報、各ピクセルの方向ベクトルおよび高度情報を取得すると、さらに情報取得部1は、GCP情報蓄積部500を参照してステップST1で取得した2つの観測画像の双方に含まれるGCPを3点以上選択し、選択した3点以上のGCPの3次元座標および当該GCPの2つの画像における画像内座標を取得する(ステップST41)。情報取得部1は、ステップST1、ステップST2およびステップST41で取得した画像データ、撮影位置情報、方向ベクトル、高度情報およびGCPデータを取得情報蓄積部2に蓄積する(ステップST4)。FIG. 6 is a flowchart showing another operation of the
When the information acquisition unit 1 acquires the shooting position information of the two image data, the direction vector of each pixel, and the altitude information in step ST3, the information acquisition unit 1 further acquires the information in step ST1 with reference to the GCP
ステップST4において情報取得部1が各種データの蓄積を行うと、方向ベクトル補正部3は、取得情報蓄積部2に蓄積されたデータを参照し、全てのGCPについての画像内座標Q(u,v)に対する3次元座標(gx1,gy1,gz1)を算出する(ステップST51)。その後、図3のフローチャートで示したステップST6からステップST9と同一の処理を行い、2つのオルソ画像の3点以上のずれ量を算出すると、算出した3点以上のずれ量に基づき変換行列を算出する(ステップST52)。 When the information acquisition unit 1 stores various data in step ST4, the direction vector correction unit 3 refers to the data stored in the acquisition information storage unit 2 and the in-image coordinates Q (u, v for all GCPs). ) Three-dimensional coordinates (gx1, gy1, gz1) are calculated (step ST51). After that, when the same processing as step ST6 to step ST9 shown in the flowchart of FIG. 3 is performed and the shift amount of three or more points of the two ortho images is calculated, a conversion matrix is calculated based on the calculated shift amount of three or more points. (Step ST52).
ずれ量算出部5は、バッファに記憶された処理回数に「1」加算し、算出した全てのずれ量、変換行列および処理回数の情報を処理結果判定部6に出力する(ステップST10)。その後、処理結果判定部6は、全てのずれ量が閾値以下であるか否か判定を行う(ステップST53)。全てのずれ量が閾値以下である場合(ステップST53;YES)、処理結果判定部6は、ずれ量算出部5から入力された全てのGCPデータを処理結果として出力する(ステップST54)。
The deviation
一方、いずれかのずれ量が閾値より大きい場合(ステップST53;NO)、処理結果判定部6はステップST10で算出された処理回数を参照し、処理回数が規定回数を超えたか否か判定を行う(ステップST13)。処理回数が規定回数を超えた場合(ステップST13;YES)、処理結果判定部6は、ステップST54の処理に進む。一方、処理回数が規定回数以下である場合(ステップST13;NO)、処理結果判定部6はステップST52で算出された変換行列と、GCPデータをGCP情報補正部7に出力する(ステップST55)。
On the other hand, when any deviation amount is larger than the threshold (step ST53; NO), the processing
GCP情報補正部7はステップST55で入力された変換行列を、2つの画像データの全てのGCPの画像内座標に適用し、全てのGCPの画像内座標を補正する(ステップST56)。GCP情報補正部7は、ステップST56で補正したGCPの画像内座標を用いて取得情報蓄積部2のGCPデータを更新し(ステップST57)、ステップST6の処理に戻る。 The GCP information correction unit 7 applies the transformation matrix input in step ST55 to the in-image coordinates of all the GCPs of the two image data, and corrects the in-image coordinates of all the GCPs (step ST56). The GCP information correction unit 7 updates the GCP data in the acquired information storage unit 2 using the GCP image coordinates corrected in step ST56 (step ST57), and the process returns to step ST6.
以上のように、この実施の形態2によれば、2つの画像データに含まれるGCPを3点以上選択する情報取得部1と、3点以上のGCPにおけるオルソ画像のずれ量を算出するずれ量算出部5と、算出したずれ量が閾値以下であるか判定を行う処理結果判定部6と、閾値より大きく、且つ処理回数が規定回数を超えていない場合にGCPの画像内座標を補正するGCP情報補正部7とを備えるように構成したので、3点以上のずれ量に基づいてGCPの画像内座標の補正を行うことができ、補正の精度を高めることができる。
As described above, according to the second embodiment, the information acquisition unit 1 that selects three or more GCPs included in two image data, and the shift amount for calculating the shift amount of the ortho image in the three or more GCPs A
また、この実施の形態2によれば、3点以上のGCPの画像内座標に基づいて高度情報および方向ベクトルの補正を行うように構成したので、3点以上のGCPの画像内座標に基づいて高度情報および方向ベクトルの補正を行うことができ、より正確に高度情報の誤差の低減および方向ベクトルの誤差の低減を行うことができる。 Further, according to the second embodiment, since the altitude information and the direction vector are corrected based on the three or more GCP image coordinates, the three or more GCP image coordinates are used. The altitude information and the direction vector can be corrected, and the altitude information error and the direction vector error can be more accurately reduced.
上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In addition to the above, within the scope of the present invention, the present invention can be freely combined with each embodiment, modified any component of each embodiment, or omitted any component in each embodiment. Is possible.
この発明に係る画像補正装置は、誤差を含む高度情報および誤差を含む方向ベクトルを用いてGCPの画像内座標を補正することが可能であり、測定誤差を含む種々の画像を補正する画像補正装置などに適用し、精度の高いGCPデータを得るのに適している。 The image correction apparatus according to the present invention is capable of correcting the in-image coordinates of the GCP using the altitude information including the error and the direction vector including the error, and corrects various images including the measurement error. And is suitable for obtaining highly accurate GCP data.
1 情報取得部、2 取得情報蓄積部、3 方向ベクトル補正部、4 オルソ画像生成部、5 ずれ量算出部、6 処理結果判定部、7 GCP情報補正部、10 画像補正装置、20 プロセッサ、30 メモリ、100 画像データ蓄積部、200 撮影位置情報蓄積部、300 方向ベクトル蓄積部、400 高度情報蓄積部、500 GCP情報蓄積部。 DESCRIPTION OF SYMBOLS 1 Information acquisition part, 2 Acquisition information storage part, 3 direction vector correction | amendment part, 4 Ortho image production | generation part, 5 Deviation amount calculation part, 6 Processing result determination part, 7 GCP information correction part, 10 Image correction apparatus, 20 Processor, 30 Memory, 100 image data storage unit, 200 shooting position information storage unit, 300 direction vector storage unit, 400 altitude information storage unit, 500 GCP information storage unit.
Claims (6)
前記情報取得部が取得した前記GCPの既知の3次元座標と、前記GCPの前記選択した画像データ内での座標との差分に基づき、前記撮影位置情報を用いて前記ベクトルを補正するベクトル補正部と、
前記画像データと、前記ベクトル補正部が補正した前記ベクトルとに基づいて前記画像データをオルソ補正してオルソ画像を生成するオルソ画像生成部と、
前記オルソ画像生成部が生成したオルソ画像のずれ量を算出するずれ量算出部と、
前記ずれ量算出部が算出したずれ量に基づいて前記GCPの前記選択した画像データ内での座標を補正するGCP情報補正部とを備えた画像補正装置。Image data including a common GCP (Grand Control Point) is selected from satellite images captured from the ground, and shooting position information indicating the shooting position of the selected image data, and each pixel constituting the image data from the shooting position An information acquisition unit for acquiring a vector indicating a direction to the altitude, altitude information indicating the altitude of the imaging target, known 3D coordinates of the GCP, and coordinates of the GCP in the selected image data,
A vector correction unit that corrects the vector using the shooting position information based on the difference between the known three-dimensional coordinates of the GCP acquired by the information acquisition unit and the coordinates of the GCP in the selected image data. When,
An ortho image generating unit that ortho-corrects the image data based on the image data and the vector corrected by the vector correcting unit to generate an ortho image;
A deviation amount calculation unit for calculating a deviation amount of the ortho image generated by the ortho image generation unit;
An image correction apparatus comprising: a GCP information correction unit that corrects coordinates of the GCP in the selected image data based on the shift amount calculated by the shift amount calculation unit.
前記GCP情報補正部は、前記ずれ量算出部が生成した変換行列を用いて前記GCPの前記選択した画像データ内での座標を補正することを特徴とする請求項4記載の画像補正装置。The shift amount calculation unit calculates the shift amount of the ortho image for the selected three or more GCPs, generates a conversion matrix from the calculated shift amount,
The image correction apparatus according to claim 4, wherein the GCP information correction unit corrects coordinates of the GCP in the selected image data using a conversion matrix generated by the deviation amount calculation unit.
ベクトル補正部が、前記取得したGCPの既知の3次元座標と、前記GCPの前記選択した画像データ内での座標との差分に基づき、前記撮影位置情報を用いて前記ベクトルを補正するステップと、
オルソ画像生成部が、前記画像データと、前記補正した前記ベクトルに基づいて前記画像データをオルソ補正してオルソ画像を生成するステップと、
ずれ量算出部が、前記生成したオルソ画像のずれ量を算出するステップと、
GCP情報補正部が、前記算出したずれ量に基づいて前記GCPの前記選択した画像データ内での座標を補正するステップとを備えた画像補正方法。An information acquisition unit selects image data including a common GCP (Grand Control Point) from satellite images obtained by photographing the ground, photographing position information indicating a photographing position of the selected image data, and the image data from the photographing position. Obtaining a vector indicating the direction to each pixel constituting the image, altitude information indicating the altitude of the object to be imaged, known three-dimensional coordinates of the GCP, and coordinates of the GCP in the selected image data; ,
A vector correction unit correcting the vector using the shooting position information based on a difference between the acquired three-dimensional coordinates of the acquired GCP and the coordinates of the GCP in the selected image data;
An ortho image generating unit ortho correcting the image data based on the image data and the corrected vector to generate an ortho image; and
A step of calculating a shift amount of the generated ortho image;
And a step of correcting a coordinate of the GCP in the selected image data based on the calculated shift amount.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/058743 WO2016151730A1 (en) | 2015-03-23 | 2015-03-23 | Image correction device and image correction method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016151730A1 true JPWO2016151730A1 (en) | 2017-06-01 |
JP6345339B2 JP6345339B2 (en) | 2018-06-20 |
Family
ID=56978091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017507191A Expired - Fee Related JP6345339B2 (en) | 2015-03-23 | 2015-03-23 | Image correction apparatus and image correction method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6345339B2 (en) |
WO (1) | WO2016151730A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108269228B (en) * | 2018-02-08 | 2019-01-29 | 重庆市地理信息中心 | The automatic detection method in unmanned plane image garland region based on GPU parallel computation |
KR102426282B1 (en) * | 2020-04-20 | 2022-07-29 | 한국국토정보공사 | 3d spatial object location correction method based on road linearity |
KR102528951B1 (en) * | 2021-03-31 | 2023-05-08 | 한국국토정보공사 | 3d model position correction method and device using building shape matching algorithm |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008090808A (en) * | 2006-12-27 | 2008-04-17 | Ntt Data Corp | Image correction apparatus, image correction method and program |
US20100284629A1 (en) * | 2009-05-06 | 2010-11-11 | University Of New Brunswick | Method for rpc refinement using ground control information |
JP2011128784A (en) * | 2009-12-16 | 2011-06-30 | Mitsubishi Electric Corp | Rpc calculation device |
-
2015
- 2015-03-23 JP JP2017507191A patent/JP6345339B2/en not_active Expired - Fee Related
- 2015-03-23 WO PCT/JP2015/058743 patent/WO2016151730A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008090808A (en) * | 2006-12-27 | 2008-04-17 | Ntt Data Corp | Image correction apparatus, image correction method and program |
US20100284629A1 (en) * | 2009-05-06 | 2010-11-11 | University Of New Brunswick | Method for rpc refinement using ground control information |
JP2011128784A (en) * | 2009-12-16 | 2011-06-30 | Mitsubishi Electric Corp | Rpc calculation device |
Also Published As
Publication number | Publication date |
---|---|
WO2016151730A1 (en) | 2016-09-29 |
JP6345339B2 (en) | 2018-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110648398B (en) | Real-time ortho image generation method and system based on unmanned aerial vehicle aerial data | |
JP6440539B2 (en) | Equipment information display system, mobile terminal, server, and equipment information display method | |
US9378585B2 (en) | System and method for automatic geometric correction using RPC | |
JP4448187B2 (en) | Image geometric correction method and apparatus | |
JP2008524684A (en) | How to process images using automatic georeferencing of images obtained from pairs of images acquired in the same focal plane | |
WO2020031950A1 (en) | Measurement calibration device, measurement calibration method, and program | |
CN107040695B (en) | satellite-borne video image stabilization method and system based on RPC positioning model | |
JP6345339B2 (en) | Image correction apparatus and image correction method | |
KR20040055510A (en) | Ikonos imagery rpc data update method using additional gcp | |
de Franchis et al. | Automatic sensor orientation refinement of Pléiades stereo images | |
KR100870894B1 (en) | Method of automatic geometric correction for linear pushbroom image | |
JP5991821B2 (en) | Photogrammetry equipment | |
JP2002063580A (en) | Inter-image expansion image matching method using indefinite shape window | |
GB2569609A (en) | Method and device for digital 3D reconstruction | |
Gong et al. | Relative orientation and modified piecewise epipolar resampling for high resolution satellite images | |
JP2017199285A (en) | Information processor, information processing method, program | |
CN115457022A (en) | Three-dimensional deformation detection method based on real-scene three-dimensional model front-view image | |
CN107146281B (en) | Lunar surface high-resolution DEM extraction method | |
KR101663642B1 (en) | Method and Apparatus for constructing Whiskbroom Sensor Model Using Direct Georeferencing and Adjustable Parameter | |
US9709395B2 (en) | Method and system for analyzing images from satellites | |
KR100473958B1 (en) | Method for Updating Rational Polynomial Coefficient Data of High Accurate Using GPS Single Control Point | |
JP2006189372A (en) | Position correction device of satellite images | |
Deltsidis et al. | Orthorectification of World View 2 stereo pair using a new rigorous orientation model | |
JP5625457B2 (en) | Topographic information display device and display method | |
US20210287351A1 (en) | Method and device for generating virtual reality data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180424 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6345339 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |