WO2016151730A1 - 画像補正装置および画像補正方法 - Google Patents

画像補正装置および画像補正方法 Download PDF

Info

Publication number
WO2016151730A1
WO2016151730A1 PCT/JP2015/058743 JP2015058743W WO2016151730A1 WO 2016151730 A1 WO2016151730 A1 WO 2016151730A1 JP 2015058743 W JP2015058743 W JP 2015058743W WO 2016151730 A1 WO2016151730 A1 WO 2016151730A1
Authority
WO
WIPO (PCT)
Prior art keywords
gcp
image
image data
coordinates
unit
Prior art date
Application number
PCT/JP2015/058743
Other languages
English (en)
French (fr)
Inventor
要介 石渡
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2017507191A priority Critical patent/JP6345339B2/ja
Priority to PCT/JP2015/058743 priority patent/WO2016151730A1/ja
Publication of WO2016151730A1 publication Critical patent/WO2016151730A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing

Definitions

  • the present invention relates to a technique for correcting a coordinate value in an image obtained by photographing the ground from above.
  • an image acquisition sensor there are an area sensor that two-dimensionally arranges elements and acquires an image at a time, and a line sensor that forms an image by arranging elements one-dimensionally and moving the sensor while photographing. .
  • a line sensor can capture images with higher resolution than an area sensor.
  • Various information processing is performed by giving information on the shooting direction and the shooting position to each pixel of the image or the image of the image shot on the ground using the above-described sensor and combining it with the image. For example, it is possible to calculate the three-dimensional coordinates of each image by using information obtained by combining the information on the photographing direction / position and the image, and obtain the detailed position of the photographed image.
  • the position of the captured image is calculated by, for example, obtaining an intersection of straight lines determined from the shooting position and the shooting direction on two images including the same point. Since the actual calculation includes an error, the two straight lines may not intersect. For this reason, the center position of the closest point of the two straight lines, that is, the center position of the shortest line connecting the intersections with the two straight lines is regarded as the intersection of the two straight lines.
  • GCP Ground Control Point
  • the problem is solved by applying an ortho correction that corrects geometric distortion of an image with parallax to convert the image into an ortho image from which the parallax is removed.
  • an ortho correction that corrects geometric distortion of an image with parallax to convert the image into an ortho image from which the parallax is removed.
  • the direction vector and photographing position of each pixel of the image obtained by photographing the ground and an accurate altitude value H at any point on the ground are required.
  • the direction vector is extended from the shooting position, and the point closest to the shooting position and the point at which the altitude of the place closest to the shooting position is equal to the height value obtained from the height value H is the three-dimensional coordinates to be obtained.
  • DEM Digital Elevation Model
  • Patent Document 1 in order to correct geometric distortion of an image obtained by photographing the ground, an image obtained by photographing the ground according to the orthographic projection coordinates of the image to be corrected is orthorized using DEM data. A first geometric correction is performed, and a second geometric correction is performed in which corresponding points are acquired and geometrically corrected so that the geometrically corrected image matches an existing orthorectified satellite image, An image correction apparatus is disclosed in which an image obtained by merging a second geometrically corrected image is generated to obtain a final orthographic projection image.
  • the present invention has been made to solve the above-described problems, and it is an object of the present invention to reduce errors included in an image to be subjected to matching processing and to accurately correct the in-image coordinate value. It is another object of the present invention to correct in-image coordinate values in consideration of errors included in a reference image.
  • the image correction apparatus selects image data including a common GCP (Grand Control Point) from satellite images obtained by photographing the ground, and includes photographing position information indicating the photographing position of the selected image data, and the photographing position.
  • An information acquisition unit that acquires a vector indicating the direction to each pixel constituting image data, altitude information indicating the altitude of the object to be imaged, and known three-dimensional coordinates of GCP and coordinates in the selected image data of GCP
  • a vector correction unit that corrects a vector using shooting position information based on the difference between the known three-dimensional coordinates of the GCP acquired by the information acquisition unit and the coordinates in the image data selected by the GCP, and image data
  • an ortho image generation unit that generates an ortho image by ortho-correcting the image data based on the vector corrected by the vector correction unit;
  • a shift amount calculation unit that calculates the shift amount of the ortho image generated by the luso image generation unit, and a GCP information correction unit that corrects the coordinates in the image data selected by the G
  • the present invention it is possible to reduce the error included in the image to be subjected to the matching process and correct the in-image coordinate value accurately.
  • the in-image coordinate value can be corrected in consideration of an error included in the reference image.
  • FIG. 1 is a block diagram illustrating a configuration of an image correction apparatus according to Embodiment 1.
  • FIG. 2 is a diagram illustrating a hardware configuration of an image correction apparatus according to Embodiment 1.
  • FIG. 3 is a flowchart illustrating an operation of the image correction apparatus according to the first embodiment.
  • 6 is a flowchart illustrating an operation of a direction vector correction unit of the image correction apparatus according to the first embodiment.
  • 10 is a flowchart illustrating an operation of the image correction apparatus according to the second embodiment. 10 is a flowchart illustrating another operation of the image correction apparatus according to the second embodiment.
  • FIG. 1 is a block diagram illustrating a configuration of an image correction apparatus 10 according to the first embodiment.
  • the image correction apparatus 10 includes an information acquisition unit 1, an acquisition information storage unit 2, a direction vector correction unit 3, an ortho image generation unit 4, a deviation amount calculation unit 5, a processing result determination unit 6, and a GCP information correction unit 7. Yes.
  • the image correction apparatus 10 acquires various types of information from the image data storage unit 100, the shooting position information storage unit 200, the direction vector storage unit 300, the altitude information storage unit 400, and the GCP information storage unit 500, which are external storage regions. .
  • the image data accumulating unit 100 accumulates image data of an observation image obtained by photographing the ground from the sky by an imaging unit (not shown).
  • the photographing position information accumulating unit 200 accumulates photographing position information indicating position information where the photographing unit has photographed the observation image for each image data.
  • the direction vector accumulation unit 300 represents a line connecting the imaging point and the center of each pixel of the image data of the observation image, that is, a vector line indicating the direction from the imaging means to the center of each pixel (hereinafter referred to as a direction vector). accumulate.
  • the altitude information accumulating unit 400 accumulates altitude information indicating the altitude of the imaging target that is taken by the imaging means. Furthermore, it is assumed that DEM (Digital Elevation Mode) that covers the range included in the observed image is accumulated.
  • DEM Digital Elevation Mode
  • the GCP information storage unit 500 observes the three-dimensional coordinates of the ground reference point (GCP: Ground Control Point, hereinafter referred to as GCP), which is a target that can specify the image position in the image data, and the three-dimensional coordinates of the GCP.
  • GCP Ground Control Point
  • Combination information with coordinates in image data hereinafter referred to as in-image coordinates
  • the GCP three-dimensional coordinates are GCP coordinate values predicted in advance with high accuracy.
  • the three-dimensional coordinates indicate the ground surface intersection coordinates.
  • the GCP intra-image coordinates are determined visually by the user referring to the observation image, or based on the ground surface coordinates obtained from the direction vector, the photographing position information and the DEM, and the three-dimensional coordinates of the GCP. . Since there are errors in the direction vector and the DEM, the error may be suppressed if the user determines the GCP in-image coordinates visually with reference to the observed image.
  • the above-described shooting position information, direction vector, and GCP three-dimensional coordinates are expressed in the earth center coordinate system.
  • the Earth Center Coordinate System is a three-dimensional definition defined by taking the center of gravity of the Earth as the origin, the X axis as the direction of the intersection of the Greenwich meridian and the equator, the Y axis as 90 degrees east longitude, and the Z axis as the North Pole direction. Let the space be the earth-centered space.
  • the target position in the earth center space is represented by orthogonal coordinates with the earth center O as the origin.
  • the coordinate system indicated by the altitude information is represented by latitude, longitude, and corresponding altitude if necessary.
  • the information acquisition unit 1 selects and acquires from the image data storage unit 100 image data of an observation image whose GCP coordinates within the image are to be corrected and image data of the observation image for matching with the observation image. It is assumed that the common GCP is also included in the observation images for matching.
  • the information acquisition unit 1 acquires shooting position information, direction vector, and altitude information corresponding to the two selected image data from the shooting position information storage unit 200, the direction vector storage unit 300, and the altitude information storage unit 400.
  • the information acquisition unit 1 refers to the GCP information storage unit 500, selects a GCP included in the two selected image data, and selects the three-dimensional coordinates of the selected GCP and the two image data in the image of the GCP. Get the coordinates.
  • the selection of the GCP included in the two image data may be automatically selected from the coordinates included in the two image data, or may be arbitrarily designated by the user from the coordinates included in the two image data.
  • the information acquisition unit 1 stores all acquired information in the acquisition information storage unit 2.
  • the acquisition information storage unit 2 stores the image data acquired by the information acquisition unit 1, shooting position information, direction vectors and altitude information, GCP three-dimensional coordinates, and GCP intra-image coordinates.
  • corrected intra-image coordinates are input from a GCP information correction unit 7 described later, the corresponding intra-image coordinates are updated and stored.
  • the direction vector correction unit 3 acquires image data, shooting position information, direction vector and altitude information, GCP three-dimensional coordinates, and GCP in-image coordinates from the acquisition information storage unit 2.
  • the direction vector correction unit 3 calculates three-dimensional coordinates corresponding to the in-image coordinates (u, v) of the GCP from the shooting position information, the direction vector, and the altitude information.
  • the difference between the calculated three-dimensional coordinates of the GCP image and the three-dimensional coordinates of the GCP is obtained, and the direction vector is corrected using the difference.
  • the direction vector correction unit 3 outputs the corrected direction vector, image data, shooting position information, altitude information, GCP three-dimensional coordinates, and GCP intra-image coordinates to the ortho image generation unit 4.
  • the ortho image generation unit 4 performs ortho correction using the direction vectors of the two image data corrected by the direction vector correction unit 3 and the two image data, and generates two ortho images.
  • An ortho image is a projection centered at infinity, and is an image corrected by orthographic projection as if viewed from directly above.
  • the altitude value is obtained from the altitude data, whereby the three-dimensional coordinate value of each pixel is determined.
  • the ortho image generation unit 4 outputs the two ortho images, the GCP three-dimensional coordinates, and the GCP in-image coordinates to the shift amount calculation unit 5.
  • the shift amount calculation unit 5 performs a matching process between the two ortho images, and calculates the shift amounts (dx, dy) in the vertical and horizontal directions of the two ortho images.
  • existing matching processing methods such as a method using normalized correlation and a method using phase-only correlation are applied.
  • the deviation amount calculation unit 5 stores the number of times the deviation amount is calculated for the same image data in a buffer or the like.
  • the deviation amount calculation unit 5 initializes the number of deviation amount calculation processes to “0”.
  • the deviation amount calculation unit 5 outputs the calculated deviation amount (dx, dy), the deviation amount calculation processing count, and the GCP data to the processing result determination unit 6.
  • the processing result determination unit 6 determines whether or not to end the correction processing based on whether the deviation amount (dx, dy) is within a threshold value or the number of deviation amount processings is within a preset number of times. Do.
  • the threshold value of the shift amount is set as appropriate, for example, 0.5 pixels in both the vertical direction and the horizontal direction, and the processing number of shift amounts is 10 times or less.
  • the GCP information correction unit 7 performs correction by applying the input shift amount (dx, dy) to the GCP image coordinates, and stores the corrected GCP image coordinates in the acquired information storage unit 2.
  • FIG. 2 is a diagram illustrating a hardware configuration of the image correction apparatus 10 according to the first embodiment.
  • the information acquisition unit 1, the direction vector correction unit 3, the ortho image generation unit 4, the deviation amount calculation unit 5, the processing result determination unit 6, and the GCP information correction unit 7 of the image correction device 10 are stored in the memory 30 by the processor 20. This is realized by executing the program.
  • the acquired information storage unit 2 constitutes a memory 30. Further, a plurality of processors 20 and a plurality of memories 30 may be configured to cooperate to execute the above-described functions.
  • FIG. 3 is a flowchart showing the operation of the image correction apparatus 10 according to the first embodiment.
  • the information acquisition unit 1 of the image correction apparatus 10 acquires image data of two observation images from the image data storage unit 100 (step ST1). It is assumed that the image data acquisition process in step ST1 selects and acquires image data in which the same GCP photographed image is included in two observation images. Specifically, two pieces of image data obtained by photographing areas close to each other including observation images at the same point may be automatically selected, two consecutive pieces of image data may be selected, or the user may select Optionally, two pieces of image data may be selected and a selection instruction may be input via input means (not shown).
  • the information acquisition unit 1 obtains the shooting position information of the two image data acquired in step ST1, the direction vector and altitude information of each pixel from the shooting position information storage unit 200, the direction vector storage unit 300, and the altitude information storage unit 400, respectively. Obtain (step ST2).
  • the information acquisition unit 1 selects the GCP included in both of the two observation images acquired in step ST1 with reference to the GCP information storage unit 500, and selects the three-dimensional coordinates of the selected GCP and the two images of the GCP.
  • the in-image coordinates at are acquired (step ST3). In the following, when both the three-dimensional coordinates of GCP and the in-image coordinates of two observation images of GCP are shown, they are referred to as GCP data.
  • the information acquisition unit 1 stores the image data, shooting position information, direction vector, altitude information, and GCP data acquired in step ST1, step ST2, and step ST3 in the acquisition information storage unit 2 (step ST4).
  • the direction vector correction unit 3 uses the three-dimensional coordinates Q 3 (gx1, gx1, GCP in-image coordinates Q (u, v) from the shooting position information, direction vector, and altitude information stored in the acquired information storage unit 2 in step ST4. gy1, gz1) are calculated (step ST5). Details of the process in step ST5 will be described later.
  • the direction vector correction unit 3 calculates the three-dimensional coordinates Q 3 (gx1, gy1, gz1) for the in-image coordinates Q (u, v) of the GCP calculated in step ST5 and the three-dimensional coordinates (gx, gy, gz) of the GCP data.
  • (Dgx, dgy, dgz) is calculated based on the following equation (1) (step ST6).
  • (Dgx, dgy, dgz) (gx1-gx, gy1-gy, gz1-gz) (1)
  • the direction vector correction unit 3 corrects the direction vector a using the difference (dgx, dgy, dgz) calculated in step ST6 (step ST7). Specifically, a three-dimensional coordinate R 3 is calculated from the coordinates R (s, t) of each pixel in the image data. Calculated three-dimensional coordinate difference calculated from R 3 (dgx, dgy, dgz ) by subtracting the moving parallel to the three-dimensional coordinates R 3. The line-of-sight vector is recalculated from the three-dimensional coordinate R 3m obtained by the parallel movement and the photographing position P, and the correction direction vector ac is obtained.
  • the direction vector correction unit 3 outputs the corrected direction vector a c corrected in step ST7, image data, shooting position information, altitude information, and GCP data to the ortho image generation unit 4.
  • the ortho image generation unit 4 generates an ortho image corresponding to two image data based on the correction direction vector a c input from the direction vector correction unit 3, image data, shooting position information, altitude information, and GCP data (Ste ST8).
  • the ortho image generation unit 4 determines the size of the ortho image to be generated (128 ⁇ 128 pixels), determines a suitable resolution (for example, sets the distance between adjacent pixels to 2.5 m), and sets the ortho image. Determine the three-dimensional coordinates of each pixel of the image.
  • the partial images are acquired from the two observation images, the sizes of the two partial images are the same, and the coordinate values of the in-image coordinates of the GCP are also the same.
  • the image data corresponding to each pixel of the partial image is obtained.
  • an ortho image is generated.
  • the ortho image generation unit 4 outputs the two generated ortho images and GCP data to the shift amount calculation unit 5.
  • the shift amount calculation unit 5 performs matching processing of the two ortho images generated in step ST8, and calculates the shift amount in the vertical and horizontal directions in the two ortho images (step ST9). Further, the deviation amount calculation unit 5 performs a process of adding “1” to the number of processes stored in the buffer (step ST10). The deviation amount calculation unit 5 outputs the deviation amount calculated in step ST9, the number of deviation amount calculation processes, and the GCP data to the processing result determination unit 6.
  • the processing result determination unit 6 refers to the shift amount calculated in step ST9 and determines whether the shift amount is equal to or less than a threshold value in both the vertical and horizontal directions (step ST11). When the deviation amount is equal to or less than the threshold (step ST11; YES), the processing result determination unit 6 outputs the GCP data input from the deviation amount calculation unit 5 as a processing result (step ST12). On the other hand, when the deviation amount is larger than the threshold value (step ST11; NO), the processing result determination unit 6 refers to the deviation amount calculation processing frequency and determines whether or not the processing frequency exceeds the specified number (step ST13). When the number of processes exceeds the specified number (step ST13; YES), the process result determination unit 6 proceeds to the process of step ST12. On the other hand, when the number of processes is equal to or less than the specified number (step ST12; NO), the process result determination unit 6 outputs the deviation amount calculated in step ST9 and the GCP data to the GCP information correction unit 7 (step ST14).
  • the GCP information correction unit 7 applies the shift amount input in step ST14 to the GCP image coordinates of the two image data, and corrects the GCP image coordinates (step ST15).
  • the GCP information correction unit 7 updates the GCP data in the acquired information storage unit 2 using the GCP image coordinates corrected in step ST15 (step ST16), and the process returns to step ST6.
  • the shift amount of the 2.5 m resolution orthoimages Ao and Bo of the two image data A and B is (dx, dy), and the resolution of the image data A and B is 2 as well. .5 m, the shift amount (dx / 2, dy / 2) is added to the GCP image coordinates of the image data A, and the shift amount ( ⁇ dx / 2, -Dy / 2) is added.
  • the above-described deviation amount is multiplied by the ratio k between the resolution of the image data and the resolution of the ortho image.
  • the application of the shift amount in step ST15 can be configured as follows.
  • f (d1) / 2 is applied to the GCP image coordinates of the image data A
  • ⁇ f ′ (d1) is applied to the GCP image coordinates of the image data B.
  • f (d1) is obtained by applying a function f for returning to the resolution of the original image data with respect to the ortho image Ao to the shift amount d1
  • ⁇ f ′ (d1) is for the ortho image Bo.
  • a function f ′ for returning to the resolution of the original image data is applied to the shift amount d1.
  • FIG. 4 is a flowchart showing the operation of the direction vector correction unit 3 of the image correction apparatus 10 according to the first embodiment.
  • a coefficient t equal to the altitude value is calculated (step ST21).
  • the direction vector correction unit 3 calculates the coordinates X (t) in the coefficient t calculated in step ST21 as the earth center coordinates (step ST22), and further converts them into latitude, longitude, and altitude value ha (step ST23). It is assumed that existing technology is applied to the conversion from the earth center coordinates to the latitude, longitude, and altitude value in step ST23.
  • An altitude difference ⁇ h which is the difference between the altitude value ha converted in step ST23 and the altitude value hb acquired from the altitude information based on the latitude and longitude of the coordinate X (t), is calculated (step ST24).
  • the direction vector correction unit 3 determines whether or not the altitude difference ⁇ h calculated in step ST24 is equal to or less than a preset threshold value (step ST25). If it is equal to or less than the threshold (step ST25; YES), the direction vector correction unit 3 calculates a three-dimensional coordinate Q 3 (gx1, gy1, gz1) for the in-image coordinates of the GCP from the coordinate X (t) at the current coefficient t. (Step ST26), the process proceeds to Step ST6 of the flowchart of FIG.
  • step ST25 when the value is outside the threshold range (step ST25; NO), the direction vector correction unit 3 corrects the coefficient t using the altitude difference ⁇ h calculated in step ST24 (step ST27), and uses the corrected coefficient t.
  • the coordinate X (t) is calculated again (step ST28). Thereafter, the direction vector correction unit 3 determines whether or not a preset number of calculations (for example, 10 times) has been reached (step ST29).
  • step ST29 When the set number of calculations has been reached (step ST29; YES), the direction vector correction unit 3 determines the three-dimensional coordinates Q 3 (gx1, gy1, gz1) from the coordinates X (t) at the current coefficient t to the in-image coordinates of the GCP. ) Is calculated (step ST30), and the process proceeds to step ST6 of the flowchart of FIG.
  • step ST29 when the set number of calculations has not been reached (step ST29; NO), the process returns to step ST21, and the above-described process is repeated for the coordinate X (t) calculated again in step ST28.
  • step ST29 the upper limit of the number of calculations is set in advance and the determination process is performed, so that it is guaranteed that the repeated calculation process from step ST21 to step ST30 described above is completed.
  • the three-dimensional coordinates for the GCP image coordinates are calculated in consideration of altitude information, and the GCP three-dimensional coordinates are calculated from the calculated three-dimensional coordinates of the GCP image coordinates.
  • the direction vector correction unit 3 that corrects the direction vector using the calculated difference and the matching processing of the two ortho images generated based on the corrected direction vector are performed, and the two ortho images are GCP information correction that corrects the calculated shift amount in accordance with the GCP image coordinates when the calculated shift amount is larger than a threshold value. Therefore, the error of the altitude information and the error of the direction vector are reduced, and the accurate in-image coordinates of the GCP are calculated.
  • amendment part 3 which determines whether the calculation for calculating the coordinate correct
  • the processing result determination unit 6 that determines whether the deviation amount is equal to or less than the threshold value or the number of processing times exceeds the prescribed number is provided, the deviation amount is within a certain value.
  • the correction process of the deviation amount can be repeated until the number of matching processes of the two image data becomes equal to or more than a certain number. This makes it possible to bring the GCP image coordinates closer to the true value.
  • the upper limit is set for the number of times of the correction processing of the coordinate due to the altitude difference and the determination processing of the shift amount of the two ortho images, it is guaranteed that each determination processing is completed. can do.
  • the image data that is the reference is also corrected by applying the shift amount of the ortho image, so that the image correction process is performed in consideration of the error in the reference image data. be able to.
  • the u and v values of the in-image coordinates (u, v) of the GCP are not integers
  • the three-dimensional coordinates around the in-image coordinates (u, v) of the GCP are shown. Coordinates are calculated, and GCP in-image coordinates (u, v) are calculated by approximation from the calculated three-dimensional coordinates.
  • the shift amount calculation unit 5 calculates the shift amount of the two ortho images
  • the processing result determination unit 6 determines the shift amount and the threshold value
  • the GCP information correction unit 7 shifts.
  • the procedure for correcting the in-image coordinates of the GCP based on the determination result of the amount and the threshold has been shown, different processes may be added between the above processes within a range that does not affect the correction process.
  • the order of application may be changed. For example, after the calculated shift amount is applied to the GCP image coordinates, determination of the shift amount and the threshold and determination of the number of processes may be performed. In addition, matching processing between two pieces of image data may be performed before correcting the in-image coordinates of the GCP.
  • Embodiment 2 FIG. In the first embodiment described above, a case is shown in which one point of GCP included in two image data is selected and correction processing is performed, but in this second embodiment, three or more GCPs included in two image data are displayed. The case where it selects is demonstrated. Since the configuration of the image correction apparatus 10 according to the second embodiment is the same as that of the image correction apparatus 10 shown in the first embodiment, the block diagram is omitted and the description of each component is omitted or simplified. Turn into.
  • the information acquisition unit 1 refers to the GCP information storage unit 500, selects three or more GCPs included in the two image data, the three-dimensional coordinates of all the selected GCPs, and all the selected GCPs in the two image data Get the coordinates in the image.
  • the direction vector correction unit 3, the ortho image generation unit 4, the deviation amount calculation unit 5, the processing result determination unit 6, and the GCP information correction unit 7 perform the same processing as that of the first embodiment on all the GCP data.
  • FIG. 5 is a flowchart showing the operation of the image correction apparatus 10 according to the second embodiment of the present invention.
  • the same steps as those of the image correction apparatus 10 according to the first embodiment are denoted by the same reference numerals as those used in FIG. 3, and the description thereof is omitted or simplified.
  • the information acquisition unit 1 When the information acquisition unit 1 acquires the shooting position information of the two image data, the direction vector of each pixel, and the altitude information in step ST2, the information acquisition unit 1 further acquires the information in step ST1 with reference to the GCP information storage unit 500. Three or more GCPs included in both of the two observation images are selected, and three-dimensional coordinates of the selected three or more GCPs and in-image coordinates in the two images of the GCPs are acquired (step ST41).
  • the information acquisition unit 1 stores the image data, shooting position information, direction vector, altitude information, and GCP data acquired in step ST1, step ST2, and step ST41 in the acquisition information storage unit 2 (step ST4).
  • the direction vector correction unit 3 uses the shooting position information, the direction vector, and the altitude information stored in the acquired information storage unit 2 in step ST4 to obtain a three-dimensional coordinate for one unprocessed GCP in-image coordinate Q (u, v). (Gx1, gy1, gz1) is calculated (step ST42). Thereafter, the same processing as in steps ST6 to ST11 shown in the flowchart of FIG. 3 is performed, and when the deviation amount is larger than the threshold value in the determination processing of step ST11 (step ST11; NO), the same as steps ST13 to ST16. Process.
  • step ST11 determines whether or not the process has been performed for all the GCPs (step ST43).
  • step ST43; YES the processing result determination unit 6 outputs all GCP data input from the deviation amount calculation unit 5 as processing results (step ST44).
  • step ST43; NO the process returns to step ST42 and the above-described processing is repeated.
  • the deviation amount calculation unit 5 individually performs altitude information correction, direction vector correction, and ortho image deviation amount correction for three or more GCPs.
  • shift amount is shown.
  • the transformation matrix is calculated by linear transformation.
  • the matrix X ⁇ 1 represents a transformation matrix of the matrix X.
  • FIG. 6 is a flowchart showing another operation of the image correction apparatus 10 according to the second embodiment of the present invention.
  • the information acquisition unit 1 acquires the shooting position information of the two image data, the direction vector of each pixel, and the altitude information in step ST3, the information acquisition unit 1 further acquires the information in step ST1 with reference to the GCP information storage unit 500.
  • Three or more GCPs included in both of the two observation images are selected, and three-dimensional coordinates of the selected three or more GCPs and in-image coordinates in the two images of the GCPs are acquired (step ST41).
  • the information acquisition unit 1 stores the image data, shooting position information, direction vector, altitude information, and GCP data acquired in step ST1, step ST2, and step ST41 in the acquisition information storage unit 2 (step ST4).
  • the direction vector correction unit 3 refers to the data stored in the acquisition information storage unit 2 and the in-image coordinates Q (u, v for all GCPs). ) Three-dimensional coordinates (gx1, gy1, gz1) are calculated (step ST51). After that, when the same processing as step ST6 to step ST9 shown in the flowchart of FIG. 3 is performed and the shift amount of three or more points of the two ortho images is calculated, a conversion matrix is calculated based on the calculated shift amount of three or more points. (Step ST52).
  • the deviation amount calculation unit 5 adds “1” to the number of processes stored in the buffer, and outputs information of all the calculated deviation amounts, conversion matrices, and number of processes to the processing result determination unit 6 (step ST10). Thereafter, the processing result determination unit 6 determines whether or not all the deviation amounts are equal to or less than a threshold value (step ST53). When all the deviation amounts are equal to or smaller than the threshold (step ST53; YES), the processing result determination unit 6 outputs all the GCP data input from the deviation amount calculation unit 5 as a processing result (step ST54).
  • step ST53 when any deviation amount is larger than the threshold (step ST53; NO), the processing result determination unit 6 refers to the number of processes calculated in step ST10 and determines whether or not the number of processes exceeds the specified number. (Step ST13). When the number of processes exceeds the specified number (step ST13; YES), the process result determination unit 6 proceeds to the process of step ST54. On the other hand, when the number of processes is equal to or less than the specified number (step ST13; NO), the process result determination unit 6 outputs the conversion matrix calculated in step ST52 and the GCP data to the GCP information correction unit 7 (step ST55).
  • the GCP information correction unit 7 applies the transformation matrix input in step ST55 to the coordinates in all the GCP images of the two image data, and corrects the coordinates in the image of all the GCPs (step ST56).
  • the GCP information correction unit 7 updates the GCP data in the acquired information storage unit 2 using the GCP image coordinates corrected in step ST56 (step ST57), and the process returns to step ST6.
  • the information acquisition unit 1 that selects three or more GCPs included in two image data, and the shift amount for calculating the shift amount of the ortho image in the three or more GCPs A calculation unit 5; a processing result determination unit 6 that determines whether the calculated deviation amount is equal to or less than a threshold; and a GCP that corrects the in-image coordinates of the GCP when the number of processing is greater than the threshold and the number of processing does not exceed the specified number. Since the information correction unit 7 is provided, it is possible to correct the in-image coordinates of the GCP based on the shift amount of three or more points, and to improve the correction accuracy.
  • the altitude information and the direction vector are corrected based on the three or more GCP image coordinates
  • the three or more GCP image coordinates are used.
  • the altitude information and the direction vector can be corrected, and the altitude information error and the direction vector error can be more accurately reduced.
  • the present invention can be freely combined with each embodiment, modified any component of each embodiment, or omitted any component in each embodiment. Is possible.
  • the image correction apparatus is capable of correcting the in-image coordinates of the GCP using the altitude information including the error and the direction vector including the error, and corrects various images including the measurement error. And is suitable for obtaining highly accurate GCP data.
  • 1 information acquisition unit 2 acquisition information storage unit, 3 direction vector correction unit, 4 ortho image generation unit, 5 shift amount calculation unit, 6 processing result determination unit, 7 GCP information correction unit, 10 image correction device, 20 processor, 30 Memory, 100 image data storage unit, 200 shooting position information storage unit, 300 direction vector storage unit, 400 altitude information storage unit, 500 GCP information storage unit.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

　情報取得部（１）が取得したＧＣＰの既知の３次元座標と、ＧＣＰの選択した画像データ内での座標との差分に基づき、撮影位置情報を用いてベクトルを補正する方向ベクトル補正部（３）と、画像データと補正したベクトルとに基づいて画像データをオルソ補正してオルソ画像を生成するオルソ画像生成部（４）と、生成したオルソ画像のずれ量を算出するずれ量算出部（５）と、算出したずれ量に基づいてＧＣＰの選択した画像データ内での座標を補正するＧＣＰ情報補正部（７）とを備える。

Description

画像補正装置および画像補正方法
　この発明は、上方から地上を撮影した画像内の座標値を補正する技術に関するものである。
　近年、画像取得用センサの性能が向上し、様々な高解像度の画像を撮影することが可能になっている。画像取得用センサとして、素子を二次元に配列して一度に画像を取得するエリアセンサと、素子を一次元に配列してセンサを動かしながら撮影することにより画像を構成するラインセンサとが存在する。一般的に、エリアセンサよりもラインセンサの方が、より高解像度の撮影を行うことができる。
　上述したセンサを用いて地上を撮影した画像あるいは画像の各画素に撮影方向・撮影位置の情報を付与し、画像と組み合わせることによって様々な処理が行われる。例えば、撮影方向・撮影位置の情報と画像とを組み合わせた情報を用いることにより各画像の３次元座標を算出し、撮影された画像の詳細な位置を求めることができる。
　撮影された画像の位置は、例えば同一地点を含む２つの画像上で、撮影位置および撮影方向から決まる直線の交点を求めることにより算出される。実際の算出には誤差が含まれるため、２直線が交わらない場合もある。そのため、２直線が最も近接する箇所の中心位置、即ち当該２直線に共に直交する線分において当該２直線との交点を結ぶ直線が最も短い線分の中心位置を２直線の交点とみなす。
　撮影された画像の位置を正確に算出するためには、算出時の誤差をできる限り抑制することが望ましい。各画素の撮影方向（以下、方向ベクトルと称する）の誤差を修正する場合に、一般に地上基準点（以下、ＧＣＰ（Ｇｒｏｕｎｄ　Ｃｏｎｔｒｏｌ　Ｐｏｉｎｔ）と称する）の情報が用いられる。ＧＣＰは、画像上の画素に対応付けた座標を有する地上の点であり、ＧＰＳなどの測定機器を用いて正確に測定された３次元座標である。ＧＣＰと画像上の点とを対応付けることにより、補正前の方向ベクトル用いて算出した３次元座標との差分が求まり、当該差分に基づいて方向ベクトルを補正することができる。補正データ１つを用いて方向ベクトルを平行移動するのみでも補正の効果が得られる場合もある。
　ただし、ＧＣＰの情報を用いた補正を行う場合、ＧＣＰの算出精度のみではなく、ＧＣＰが対応する画像上の点を正確に求める必要がある。例えば、ＧＣＰが対応する画像上の点をユーザが目視で求める場合、画像によっては視差があり、正確に求められない場合もある。しかし、２つの画像の撮影方向が異なる場合、同一地点、同一対象物を撮影した場合であっても見え方が異なるため、同一地点を目視で指定することは困難である。
　ＧＣＰが対応する画像上の点を目視以外で求める方法として、例えばいずれかの手法で正確なＧＣＰの位置を求めた画像が存在する場合に、リファレンスである当該画像のＧＣＰおよび当該ＧＣＰ周辺を部分画像として切り出し、異なる画像における当該ＧＣＰの座標を画像マッチングによる算出する方法がある。しかし、２つの画像のマッチングのみでは画像間に視差が生じる。つまり、撮影方向が異なる画像の場合、同一地点、同一対象物を撮影した場合であっても見え方が異なるため、画像マッチングを適用できない場合もある。
　視差のある画像の幾何学的な歪みを補正するオルソ補正を適用して視差を除去したオルソ画像に変換することにより理論上は問題が解決される。地上を撮影した画像をオルソ画像に変換するためには、地上を撮影した画像の各画素の方向ベクトル・撮影位置および地上の任意の地点における正確な高度値Ｈが必要となる。撮影位置から方向ベクトルを延ばし、撮影位置に最も近い地点であり、且つ当該撮影位置に最も近い場所の高度が高度値Ｈから得られる高度値に等しくなる地点が求める３次元座標となる。
　しかし、任意の地点における正確な高度値Ｈを求めることは不可能であることから、数メートルから数十メートルの間隔で測定された地表面高度データから概算する。地表面高度データの集合は数値高度モデル（以下、ＤＥＭ（Ｄｉｇｉｔａｌ　Ｅｌｅｖａｔｉｏｎ　Ｍｏｄｅｌ）と称する）と呼ばれ、上述した測定間隔によって様々なものが存在する。
　例えば、特許文献１には、地上を撮影した画像の幾何学的な歪みを補正するため、ＤＥＭデータを用いて、補正対象の画像の正射投影座標に合わせて地上を撮影した画像をオルソ化する第１の幾何補正を行い、幾何補正された画像が既存のオルソ化済み衛星画像と一致するように画像全域で対応点を取得して幾何補正する第２の幾何補正を行い、第１および第２の幾何補正済みの画像とをマージした画像を作成して最終的な正射投影画像を得る画像補正装置が開示されている。
特開２００８－９０８０８号公報
　しかしながら、上述した特許文献１に開示された技術では、ＤＥＭを用いて任意の地表面の高度を近似することから、近似した高度値には誤差が含まれ最終的に得られた正射投影画像にも誤差が含まれる。そのため、正射投影画像内の基準点に基づいてマッチングした画像には誤差が含まれるという課題があった。また、リファレンス画像として参照するオルソ化済み衛星画像が正確な画像であることが前提であり、リファレンス画像に誤差が含まれる場合には適用できないという課題があった。
　この発明は、上記のような課題を解決するためになされたもので、マッチング処理を行う画像に含まれる誤差を低減し、正確な画像内座標値の補正を実現することを目的とする。また、リファレンス画像に含まれる誤差を考慮して画像内座標値の補正を行うことを目的とする。
　この発明に係る画像補正装置は、地上を撮影した衛星画像から、共通するＧＣＰ（Ｇｒａｎｄ　Ｃｏｎｔｒｏｌ　Ｐｏｉｎｔ）を含む画像データを選択し、選択した画像データの撮影位置を示す撮影位置情報と、撮影位置から画像データを構成する各ピクセルへの方向を示すベクトルと、撮影対象の高度を示す高度情報と、ＧＣＰの既知の３次元座標およびＧＣＰの選択した画像データ内での座標とを取得する情報取得部と、情報取得部が取得したＧＣＰの既知の３次元座標と、ＧＣＰの選択した画像データ内での座標との差分に基づき、撮影位置情報を用いてベクトルを補正するベクトル補正部と、画像データと、ベクトル補正部が補正したベクトルとに基づいて画像データをオルソ補正してオルソ画像を生成するオルソ画像生成部と、オルソ画像生成部が生成したオルソ画像のずれ量を算出するずれ量算出部と、ずれ量算出部が算出したずれ量に基づいてＧＣＰの選択した画像データ内での座標を補正するＧＣＰ情報補正部とを備えるものである。
　この発明によれば、マッチング処理を行う画像に含まれる誤差を低減し、正確な画像内座標値の補正を行うことができる。また、リファレンス画像に含まれる誤差を考慮して画像内座標値の補正を行うことができる。
実施の形態１に係る画像補正装置の構成を示すブロック図である。 実施の形態１に係る画像補正装置のハードウェア構成を示す図である。 実施の形態１に係る画像補正装置の動作を示すフローチャートである。 実施の形態１に係る画像補正装置の方向ベクトル補正部の動作を示すフローチャートである。 実施の形態２に係る画像補正装置の動作を示すフローチャートである。 実施の形態２に係る画像補正装置のその他の動作を示すフローチャートである。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る画像補正装置１０の構成を示すブロック図である。
　画像補正装置１０は、情報取得部１、取得情報蓄積部２、方向ベクトル補正部３、オルソ画像生成部４、ずれ量算出部５、処理結果判定部６およびＧＣＰ情報補正部７で構成されている。また、画像補正装置１０は、外部の蓄積領域である画像データ蓄積部１００、撮影位置情報蓄積部２００、方向ベクトル蓄積部３００、高度情報蓄積部４００およびＧＣＰ情報蓄積部５００から各種情報を取得する。
　まず、画像補正装置１０が取得する各種データを蓄積する外部の蓄積領域について説明する。
　画像データ蓄積部１００は、撮影手段（不図示）により上空から地上を撮影した観測画像の画像データを蓄積する。撮影位置情報蓄積部２００は、撮影手段が観測画像を撮影した位置情報を示す撮影位置情報を画像データごとに蓄積する。方向ベクトル蓄積部３００は、撮影地点と観測画像の画像データの各ピクセルの中心とを結んだ線、すなわち撮影手段から各ピクセルの中心への方向を示すベクトル線（以下、方向ベクトルと称する）を蓄積する。
　高度情報蓄積部４００は、撮影手段が撮影の対象とした撮影対象の高度を示す高度情報を蓄積する。さらに、観測画像に含まれる範囲を網羅するＤＥＭ（Ｄｉｇｉｔａｌ　Ｅｌｅｖａｔｉｏｎ　Ｍｏｄｅ：数値高度モデル）が蓄積されているものとする。
　ＧＣＰ情報蓄積部５００は、画像データにおいてその画像位置を特定可能な目標物である地上基準点（ＧＣＰ：Ｇｒｏｕｎｄ　Ｃｏｎｔｒｏｌ　Ｐｏｉｎｔ、以下ＧＣＰと称する）の３次元座標と、当該ＧＣＰの３次元座標を観測画像の画像データに適用した場合の画像データ内での座標（以下、画像内座標と称する）との組み合わせ情報を、観測画像ごとに蓄積している。ここで、ＧＣＰの３次元座標は、高い精度で予め予測されているＧＣＰの座標値である。また、３次元座標とは、地表面交点座標を示す。また、ＧＣＰの画像内座標は、ユーザが観測画像を参照して目視で決定する、あるいは方向ベクトルおよび撮影位置情報およびＤＥＭから求められる地表面座標と、ＧＣＰの３次元座標とに基づいて決定する。方向ベクトルおよびＤＥＭの誤差が存在するため、ＧＣＰの画像内座標はユーザが観測画像を参照して目視で決定する方が、誤差が抑制される場合がある。
　上述した、撮影位置情報、方向ベクトルおよびＧＣＰの３次元座標は、地球中心座標系で表される。地球中心座標系は、地球の重心を原点とし、Ｘ軸をグリニッジ子午線と赤道との交点の方向、Ｙ軸を東経９０度の方向、Ｚ軸を北極の方向にとることにより定義される３次元空間を地球中心空間とする。地球中心空間における目標の位置は、地球中心Ｏを原点とした直交座標により表される。一方、高度情報が示す座標系は、緯度・経度・必要な場合には対応する高度で表される。
　次に、画像補正装置１０の各構成について説明する。
　情報取得部１は、画像データ蓄積部１００からＧＣＰの画像内座標を補正したい観測画像の画像データと、当該観測画像とマッチングするための観測画像の画像データを選択して取得する。なお、マッチングするための観測画像にも共通するＧＣＰが含まれているものとする。情報取得部１は選択した２つの画像データに対応する撮影位置情報、方向ベクトルおよび高度情報を、撮影位置情報蓄積部２００、方向ベクトル蓄積部３００および高度情報蓄積部４００から取得する。
　また、情報取得部１は、ＧＣＰ情報蓄積部５００を参照し、選択した２つの画像データに含まれるＧＣＰを選択し、選択したＧＣＰの３次元座標と、２つの画像データの当該ＧＣＰの画像内座標を取得する。２つの画像データに含まれるＧＣＰの選択は、２つの画像データに含まれる座標から自動で選出してもよいし、２つの画像データに含まれる座標からユーザが任意に指定してもよい。情報取得部１は、取得した全ての情報を取得情報蓄積部２に蓄積する。
　取得情報蓄積部２は、情報取得部１が取得した画像データ、撮影位置情報、方向ベクトルおよび高度情報、ＧＣＰの３次元座標およびＧＣＰの画像内座標を蓄積する。また、後述するＧＣＰ情報補正部７から補正した画像内座標が入力されると、対応する画像内座標を更新して蓄積する。
　方向ベクトル補正部３は、取得情報蓄積部２から画像データ、撮影位置情報、方向ベクトルおよび高度情報、ＧＣＰの３次元座標およびＧＣＰの画像内座標を取得する。方向ベクトル補正部３は、ＧＣＰの画像内座標（ｕ，ｖ）に対応した３次元座標を撮影位置情報、方向ベクトルおよび高度情報から算出する。算出したＧＣＰの画像内座標の３次元座標と、ＧＣＰの３次元座標との差分を求め、当該差分を用いて方向ベクトルを補正する。
　方向ベクトル補正部３は、補正した方向ベクトル、画像データ、撮影位置情報、高度情報、ＧＣＰの３次元座標およびＧＣＰの画像内座標をオルソ画像生成部４に出力する。
　オルソ画像生成部４は、方向ベクトル補正部３が補正した２つの画像データの方向ベクトルおよび当該２つの画像データを用いて、オルソ補正を行い、２つのオルソ画像を生成する。オルソ画像とは、無限遠方を中心とした投影であり、真上から見たかのように正射投影して補正した画像である。また、オルソ画像は、高度以外の座標が決定すれば、高度データから高度値を取得することにより、各ピクセルの３次元座標値が決定される。オルソ画像生成部４は、２つのオルソ画像、ＧＣＰの３次元座標およびＧＣＰの画像内座標をずれ量算出部５に出力する。
　ずれ量算出部５は、２つのオルソ画像のマッチング処理を行い、２つのオルソ画像の縦方向および横方向のずれ量（ｄｘ、ｄｙ）を算出する。マッチング処理は、正規化相関を用いる手法および位相限定相関を用いる手法など、既存のマッチング処理方法を適用する。また、ずれ量算出部５は、同一の画像データに対してずれ量を算出した回数をバッファなどに記憶する。ずれ量算出部５は、情報取得部１から入力される情報取得処理の開始情報が入力されると、当該ずれ量算出処理回数を「０」に初期化する。ずれ量算出部５は、算出したずれ量（ｄｘ、ｄｙ）、ずれ量算出処理回数、ＧＣＰデータを処理結果判定部６に出力する。
　処理結果判定部６は、ずれ量（ｄｘ、ｄｙ）が閾値以内であるか、ずれ量の処理回数が予め設定された回数以内であるかに基づいて、補正処理を終了するか否か判定を行う。ずれ量の閾値は例えば縦方向、横方向共に０．５ピクセル、ずれ量の処理回数は１０回以下など適宜設定する。補正処理を終了する場合には、２つの画像データのＧＣＰの画像内座標を出力する。出力されたＧＣＰの画像内座標を用いてＧＣＰ情報蓄積部５００に蓄積されたＧＣＰの画像内座標を書き替えることにより、正確なデータを蓄積させることができる。一方、補正処理を継続する場合にはずれ量（ｄｘ、ｄｙ）、ＧＣＰデータをＧＣＰ情報補正部７に出力する。
　ＧＣＰ情報補正部７は、入力されたずれ量（ｄｘ、ｄｙ）を、ＧＣＰの画像内座標に適用して補正を行い、補正後のＧＣＰの画像内座標を取得情報蓄積部２に格納する。
　図２は、実施の形態１に係る画像補正装置１０のハードウェア構成を示す図である。
　画像補正装置１０の情報取得部１、方向ベクトル補正部３、オルソ画像生成部４、ずれ量算出部５、処理結果判定部６およびＧＣＰ情報補正部７は、プロセッサ２０がメモリ３０に記憶されたプログラムを実行することにより、実現される。取得情報蓄積部２、は、メモリ３０を構成する。また、複数のプロセッサ２０および複数のメモリ３０が連携して上述した機能を実行するように構成してもよい。
　次に、画像補正装置１０の動作について説明する。
　図３は、実施の形態１に係る画像補正装置１０の動作を示すフローチャートである。
　画像補正装置１０の情報取得部１は、画像データ蓄積部１００から２つの観測画像の画像データを取得する（ステップＳＴ１）。ステップＳＴ１の画像データの取得処理は、２つの観測画像に同一のＧＣＰの撮影画像が含まれている画像データを選出し、取得するものとする。具体的には、同一地点の観測画像を含む、互いに近接する領域を撮影した２つの画像データを自動で選出してもよいし、連続した２つの画像データを選出してもよいし、ユーザが任意で２つの画像データを選択し、入力手段（不図示）を介して選択指示を入力してもよい。
　情報取得部１は、ステップＳＴ１で取得した２つの画像データの撮影位置情報、各ピクセルの方向ベクトルおよび高度情報を、撮影位置情報蓄積部２００、方向ベクトル蓄積部３００、高度情報蓄積部４００からそれぞれ取得する（ステップＳＴ２）。また、情報取得部１は、ＧＣＰ情報蓄積部５００を参照してステップＳＴ１で取得した２つの観測画像の双方に含まれるＧＣＰを選択し、選択したＧＣＰの３次元座標および当該ＧＣＰの２つの画像における画像内座標を取得する（ステップＳＴ３）。なお、以下ではＧＣＰの３次元座標および当該ＧＣＰの２つの観測画像における画像内座標の双方を示す場合、ＧＣＰデータと称する。
　情報取得部１は、ステップＳＴ１、ステップＳＴ２およびステップＳＴ３で取得した画像データ、撮影位置情報、方向ベクトル、高度情報およびＧＣＰデータを取得情報蓄積部２に蓄積する（ステップＳＴ４）。方向ベクトル補正部３は、ステップＳＴ４で取得情報蓄積部２に蓄積された撮影位置情報、方向ベクトルおよび高度情報から、ＧＣＰの画像内座標Ｑ（ｕ，ｖ）に対する３次元座標Ｑ３（ｇｘ１，ｇｙ１，ｇｚ１）を算出する（ステップＳＴ５）。なお、ステップＳＴ５の処理の詳細については後述する。
　方向ベクトル補正部３は、ステップＳＴ５で算出したＧＣＰの画像内座標Ｑ（ｕ，ｖ）に対する３次元座標Ｑ３（ｇｘ１，ｇｙ１，ｇｚ１）と、ＧＣＰデータの３次元座標（ｇｘ，ｇｙ，ｇｚ）との差分（ｄｇｘ，ｄｇｙ，ｄｇｚ）を、以下の式（１）に基づいて算出する（ステップＳＴ６）。
（ｄｇｘ，ｄｇｙ，ｄｇｚ）＝（ｇｘ１－ｇｘ，ｇｙ１－ｇｙ，ｇｚ１－ｇｚ）　（１）
　方向ベクトル補正部３は、ステップＳＴ６で算出した差分（ｄｇｘ，ｄｇｙ，ｄｇｚ）を用いて方向ベクトルａを補正する（ステップＳＴ７）。
　具体的には、画像データ内の各ピクセルの座標Ｒ（ｓ，ｔ）から３次元座標Ｒ３を算出する。算出した３次元座標Ｒ３から算出した差分（ｄｇｘ，ｄｇｙ，ｄｇｚ）を差し引いて当該３次元座標Ｒ３を平行移動させる。当該平行移動により得られた３次元座標Ｒ３ｍと、撮影位置Ｐとから視線べクトを再計算し、補正方向ベクトルａｃを取得する。なお、ＧＣＰの画像内座標Ｑ（ｕ，ｖ）の座標値が画素と画素の間のサブピクセルの場合、ＧＣＰの画像内座標の周辺に位置する画素の３次元座標から補間して算出する。方向ベクトル補正部３は、ステップＳＴ７で補正した補正方向ベクトルａｃ、画像データ、撮影位置情報、高度情報およびＧＣＰデータをオルソ画像生成部４に出力する。
　オルソ画像生成部４は、方向ベクトル補正部３から入力された補正方向ベクトルａｃ、画像データ、撮影位置情報、高度情報およびＧＣＰデータに基づいて２つの画像データに対応したオルソ画像を生成する（ステップＳＴ８）。
　まず、オルソ画像生成部４は、生成するオルソ画像の大きさ（１２８×１２８ピクセル）を決定し、好適な解像度（例えば、隣接するピクセル間の距離を２．５ｍに設定）を決定し、オルソ画像の各ピクセルの３次元座標を決定する。
　オルソ画像の生成では、２つの観測画像から部分画像を取得するものとし、２つの部分画像の大きさは同一であり、ＧＣＰの画像内座標の座標値も同一であるものとする。上述のように決定された部分画像の各ピクセルの３次元座標と、ステップＳＴ７の方向ベクトルの補正で算出した各ピクセルの３次元座標Ｒ３ｍとから、部分画像の各ピクセルに対応する画像データのピクセルを得ることにより、オルソ画像を生成する。オルソ画像生成部４は、生成した２つのオルソ画像およびＧＣＰデータをずれ量算出部５に出力する。
　ずれ量算出部５は、ステップＳＴ８で生成された２つのオルソ画像のマッチング処理を行い、２つのオルソ画像における縦横方向のずれ量を算出する（ステップＳＴ９）。さらにずれ量算出部５は、バッファに記憶された処理回数に「１」加算する処理を行う（ステップＳＴ１０）。ずれ量算出部５は、ステップＳＴ９で算出したずれ量、ずれ量算出処理回数およびＧＣＰデータを処理結果判定部６に出力する。
　処理結果判定部６は、ステップＳＴ９で算出されたずれ量を参照し、ずれ量が縦横方向共に閾値以下であるか否か判定を行う（ステップＳＴ１１）。ずれ量が閾値以下である場合（ステップＳＴ１１；ＹＥＳ）、処理結果判定部６は、ずれ量算出部５から入力されたＧＣＰデータを処理結果として出力する（ステップＳＴ１２）。一方、ずれ量が閾値より大きい場合（ステップＳＴ１１；ＮＯ）、処理結果判定部６はずれ量算出処理回数を参照し、処理回数が規定回数を超えたか否か判定を行う（ステップＳＴ１３）。処理回数が規定回数を超えた場合（ステップＳＴ１３；ＹＥＳ）、処理結果判定部６は、ステップＳＴ１２の処理に進む。一方、処理回数が規定回数以下である場合（ステップＳＴ１２；ＮＯ）、処理結果判定部６はステップＳＴ９で算出されたずれ量と、ＧＣＰデータをＧＣＰ情報補正部７に出力する（ステップＳＴ１４）。
　ＧＣＰ情報補正部７はステップＳＴ１４で入力されたずれ量を、２つの画像データのＧＣＰの画像内座標に適用し、ＧＣＰの画像内座標を補正する（ステップＳＴ１５）。ＧＣＰ情報補正部７は、ステップＳＴ１５で補正したＧＣＰの画像内座標を用いて取得情報蓄積部２のＧＣＰデータを更新し（ステップＳＴ１６）、ステップＳＴ６の処理に戻る。
　ステップＳＴ１５のずれ量の適用では、例えば２つの画像データＡ，Ｂの２．５ｍ解像度のオルソ画像Ａｏ，Ｂｏのずれ量が（ｄｘ、ｄｙ）であって、画像データＡ，Ｂの解像度も２．５ｍである場合に、画像データＡのＧＣＰの画像内座標にずれ量（ｄｘ／２、ｄｙ／２）を加算し、画像データＢのＧＣＰの画像内座標にずれ量（－ｄｘ／２、－ｄｙ／２）を加算する。なお、画像データＡ，Ｂの解像度と、オルソ画像Ａｏ，Ｂｏの解像度とが異なる場合には、画像データの解像度とオルソ画像の解像度との比ｋを上述したずれ量に乗算する。
　また、ステップＳＴ１５のずれ量の適用は、次のように構成することも可能である。オルソ画像Ａｏ，Ｂｏのずれ量がｄ１である場合に、画像データＡのＧＣＰの画像内座標にｆ（ｄ１）／２を適用し、画像データＢのＧＣＰの画像内座標に－ｆ´（ｄ１）／２を適用する。ここで、ｆ（ｄ１）はオルソ画像Ａｏに対して元の画像データの解像度に戻すための関数ｆをずれ量ｄ１に適用したものであり、－ｆ´（ｄ１）はオルソ画像Ｂｏに対して元の画像データの解像度に戻すための関数ｆ´をずれ量ｄ１に適用したものである。
　次に、上述したステップＳＴ５の処理について、図４のフローチャートを参照しながらより詳細に説明する。図４は、実施の形態１に係る画像補正装置１０の方向ベクトル補正部３の動作を示すフローチャートである。
　方向ベクトル補正部３は、ＧＣＰの画像内座標Ｑ（ｕ，ｖ）のｕ，ｖが共に整数の場合、まずＧＣＰの画像内座標Ｑ（ｕ，ｖ）に対する撮影位置Ｐ＝（Ｘｕ，Ｙｕ，Ｚｕ）および方向ベクトルａ＝（ｗｘ，ｗｙ，ｗｚ）から、座標Ｘ（ｔ）＝Ｐ＋ｔａ（ｔは実数）の高度値が、ステップＳＴ４で取得情報蓄積部２に蓄積された高度情報から得られる高度値と等しくなる係数ｔを算出する（ステップＳＴ２１）。
　方向ベクトル補正部３は、ステップＳＴ２１で算出した係数ｔにおける座標Ｘ（ｔ）を地球中心座標で算出し（ステップＳＴ２２）、さらに緯度、経度および高度値ｈａに変換する（ステップＳＴ２３）。ステップＳＴ２３の地球中心座標から緯度、経度および高度値への変換は、既存の技術を適用するものとする。ステップＳＴ２３で変換された高度値ｈａと、座標Ｘ（ｔ）の緯度および経度に基づいて高度情報から取得される高度値ｈｂとの差分である、高度差Δｈを算出する（ステップＳＴ２４）。
　方向ベクトル補正部３は、ステップＳＴ２４で算出した高度差Δｈが予め設定した閾値の以下であるか否か判定を行う（ステップＳＴ２５）。閾値以下である場合（ステップＳＴ２５；ＹＥＳ）、方向ベクトル補正部３は現在の係数ｔにおける座標Ｘ（ｔ）からＧＣＰの画像内座標に対する３次元座標Ｑ３（ｇｘ１，ｇｙ１，ｇｚ１）を算出し（ステップＳＴ２６）、図３のフローチャートのステップＳＴ６の処理に進む。
　一方、閾値の範囲外である場合（ステップＳＴ２５；ＮＯ）、方向ベクトル補正部３はステップＳＴ２４で算出した高度差Δｈを用いて係数ｔを補正し（ステップＳＴ２７）、補正後の係数ｔを用いて再度座標Ｘ（ｔ）を算出する（ステップＳＴ２８）。その後、方向ベクトル補正部３は予め設定された計算回数（例えば１０回など）に到達したか否か判定を行う（ステップＳＴ２９）。
　設定された計算回数に到達した場合（ステップＳＴ２９；ＹＥＳ）、方向ベクトル補正部３は現在の係数ｔにおける座標Ｘ（ｔ）からＧＣＰの画像内座標に対する３次元座標Ｑ３（ｇｘ１，ｇｙ１，ｇｚ１）を算出し（ステップＳＴ３０）、図３のフローチャートのステップＳＴ６の処理に進む。一方、設定された計算回数に到達していない場合（ステップＳＴ２９；ＮＯ）、ステップＳＴ２１の処理に戻り、ステップＳＴ２８で再度算出した座標Ｘ（ｔ）について上述した処理を繰り返し行う。
　ステップＳＴ２９において、予め計算回数の上限を設定して判定処理を行うことにより、上述したステップＳＴ２１からステップＳＴ３０の反復の計算処理が完了することが保証される。
　以上のように、この実施の形態１によれば、高度情報を考慮してＧＣＰの画像内座標に対する３次元座標を算出し、算出したＧＣＰの画像内座標の３次元座標からＧＣＰの３次元座標との差分を算出し、算出した差分を用いて方向ベクトルを補正する方向ベクトル補正部３と、補正した方向ベクトルに基づいて生成した２つのオルソ画像のマッチング処理を行い、２つのオルソ画像の縦方向および横方向のずれ量を算出するずれ量算出部５と、算出されたずれ量が閾値よりも大きい場合に、算出したずれ量をＧＣＰの画像内座標に適応して補正を行うＧＣＰ情報補正部７とを備えるように構成したので、高度情報の誤差および方向ベクトルの誤差を低減させ、正確なＧＣＰの画像内座標を算出する。
　また、この実施の形態１によれば、高度差に基づいて補正された座標を算出するための計算が予め設定した計算回数の上限に到達したか否か判定を行う方向ベクトル補正部３を備えるように構成したので、高度差が閾値以下となるまで、あるいは座標を再度算出するための計算回数が上限を超えるまで、高度差による補正処理を繰り返すことができる。これにより、より正確な高度情報を得ることができる。また、方向ベクトル補正部３は、より正確な高度情報を用いて方向ベクトルを補正することができ、正確な方向ベクトルを得ることができる。
　また、この実施の形態１によれば、ずれ量が閾値以下か、処理回数が規定回数を超えたか判定を行う処理結果判定部６を備えるように構成したので、ずれ量が一定値以内となるまで、あるいは、２つの画像データのマッチング処理回数が一定回数以上となるまでずれ量の補正処理を繰り返すことができる。これにより、ＧＣＰの画像内座標を真値に近づけることが可能になる。
　また、この実施の形態１によれば、高度差による座標の補正処理および２つのオルソ画像のずれ量の判定処理の回数に上限を設けるように構成したので、各判定処理が完了することを保証することができる。
　また、この実施の形態１によれば、リファレンスである画像データについてもオルソ画像のずれ量を適用して補正を行うように構成したので、リファレンスの画像データにおける誤差を考慮した画像補正処理を行うことができる。
　なお、上述した実施の形態１において、ＧＣＰの画像内座標（ｕ，ｖ）のｕ，ｖの値が整数でない場合には、当該ＧＣＰの画像内座標（ｕ，ｖ）周辺の座標における３次元座標を算出し、算出した３次元座標から近似してＧＣＰの画像内座標（ｕ，ｖ）を算出する。
　なお、上述した実施の形態１では、ずれ量算出部５が２つのオルソ画像のずれ量を算出し、処理結果判定部６がずれ量と閾値との判定を行い、ＧＣＰ情報補正部７がずれ量と閾値との判定結果に基づいてＧＣＰの画像内座標を補正する手順を示したが、補正処理に影響のない範囲で、上記各処理の間に異なる処理を追加してもよいし、処理の適用順序を変更してもよい。例えば、算出したずれ量をＧＣＰの画像内座標に適用した後に、ずれ量と閾値との判定および処理回数の判定を行ってもよい。また、ＧＣＰの画像内座標を補正する前に、２つの画像データのマッチング処理を行ってもよい。
実施の形態２．
　上述した実施の形態１では、２つの画像データに含まれるＧＣＰを１点選択して補正処理を行う場合を示したが、この実施の形態２では２つの画像データに含まれるＧＣＰを３点以上選択した場合について説明する。
　なお、実施の形態２に係る画像補正装置１０の構成は、実施の形態１で示した画像補正装置１０と同一であるため、ブロック図の記載を省略し、各構成要素の説明を省略または簡略化する。
　情報取得部１は、ＧＣＰ情報蓄積部５００を参照し、２つの画像データに含まれる３点以上のＧＣＰを選択し、選択した全てのＧＣＰの３次元座標、２つの画像データにおける選択したＧＣＰ全ての画像内座標を取得する。方向ベクトル補正部３、オルソ画像生成部４、ずれ量算出部５、処理結果判定部６およびＧＣＰ情報補正部７は、全てのＧＣＰデータに対して、実施の形態１と同様の処理を行う。
　次に、フローチャートを参照しながら画像補正装置１０の動作について説明する。
　図５はこの発明の実施の形態２に係る画像補正装置１０の動作を示すフローチャートである。なお、以下では実施の形態１に係る画像補正装置１０と同一のステップには図３で使用した符号と同一の符号を付し、説明を省略または簡略化する。
　ステップＳＴ２において情報取得部１が２つの画像データの撮影位置情報、各ピクセルの方向ベクトルおよび高度情報を取得すると、さらに情報取得部１は、ＧＣＰ情報蓄積部５００を参照してステップＳＴ１で取得した２つの観測画像の双方に含まれるＧＣＰを３点以上選択し、選択した３点以上のＧＣＰの３次元座標および当該ＧＣＰの２つの画像における画像内座標を取得する（ステップＳＴ４１）。情報取得部１は、ステップＳＴ１、ステップＳＴ２およびステップＳＴ４１で取得した画像データ、撮影位置情報、方向ベクトル、高度情報およびＧＣＰデータを取得情報蓄積部２に蓄積する（ステップＳＴ４）。
　方向ベクトル補正部３は、ステップＳＴ４で取得情報蓄積部２に蓄積された撮影位置情報、方向ベクトルおよび高度情報から、未処理の１つのＧＣＰの画像内座標Ｑ（ｕ，ｖ）に対する３次元座標（ｇｘ１，ｇｙ１，ｇｚ１）を算出する（ステップＳＴ４２）。その後、図３のフローチャートで示したステップＳＴ６からステップＳＴ１１と同一の処理を行い、およびステップＳＴ１１の判定処理においてずれ量が閾値より大きかった場合（ステップＳＴ１１；ＮＯ）、ステップＳＴ１３からＳＴ１６と同一の処理を行う。
　一方、ステップＳＴ１１の判定処理においてずれ量が閾値以下であった場合（ステップＳＴ１１；ＹＥＳ）、処理結果判定部６は、全てのＧＣＰについて処理を行ったか否か判定を行う（ステップＳＴ４３）。全てのＧＣＰについて処理を行っている場合（ステップＳＴ４３；ＹＥＳ）、処理結果判定部６は、ずれ量算出部５から入力された全てのＧＣＰデータを処理結果として出力する（ステップＳＴ４４）。一方、全てのＧＣＰについて処理を行っていない場合（ステップＳＴ４３；ＮＯ）、ステップＳＴ４２に戻り、上述した処理を繰り返す。
　上述した構成では、ずれ量算出部５が３点以上のＧＣＰについて個別に高度情報の補正、方向ベクトルの補正およびオルソ画像のずれ量の補正を行ったが、次に３点以上のＧＣＰについて同時にずれ量を算出し、算出したずれ量に基づいて変換行列を算出する構成を示す。なお、変換行列の算出は一次変換により行われ、例えば、ＧＣＰの３次元座標が（ｘｉ，ｙｉ，ｚｉ），（ｉ＝１，２，３）であり、各ＧＣＰについての画像内座標に対する３次元座標が（ｘ´ｉ，ｙ´ｉ，ｚ´ｉ），（ｉ＝１，２，３）である場合、変換行列Ａは以下の式（２）で表される。
Figure JPOXMLDOC01-appb-I000001
　式（２）において行列Ｘ－１は行列Ｘの変換行列を示す。
　図６は、この発明の実施の形態２に係る画像補正装置１０のその他の動作を示すフローチャートである。
　ステップＳＴ３において情報取得部１が２つの画像データの撮影位置情報、各ピクセルの方向ベクトルおよび高度情報を取得すると、さらに情報取得部１は、ＧＣＰ情報蓄積部５００を参照してステップＳＴ１で取得した２つの観測画像の双方に含まれるＧＣＰを３点以上選択し、選択した３点以上のＧＣＰの３次元座標および当該ＧＣＰの２つの画像における画像内座標を取得する（ステップＳＴ４１）。情報取得部１は、ステップＳＴ１、ステップＳＴ２およびステップＳＴ４１で取得した画像データ、撮影位置情報、方向ベクトル、高度情報およびＧＣＰデータを取得情報蓄積部２に蓄積する（ステップＳＴ４）。
　ステップＳＴ４において情報取得部１が各種データの蓄積を行うと、方向ベクトル補正部３は、取得情報蓄積部２に蓄積されたデータを参照し、全てのＧＣＰについての画像内座標Ｑ（ｕ，ｖ）に対する３次元座標（ｇｘ１，ｇｙ１，ｇｚ１）を算出する（ステップＳＴ５１）。その後、図３のフローチャートで示したステップＳＴ６からステップＳＴ９と同一の処理を行い、２つのオルソ画像の３点以上のずれ量を算出すると、算出した３点以上のずれ量に基づき変換行列を算出する（ステップＳＴ５２）。
　ずれ量算出部５は、バッファに記憶された処理回数に「１」加算し、算出した全てのずれ量、変換行列および処理回数の情報を処理結果判定部６に出力する（ステップＳＴ１０）。その後、処理結果判定部６は、全てのずれ量が閾値以下であるか否か判定を行う（ステップＳＴ５３）。全てのずれ量が閾値以下である場合（ステップＳＴ５３；ＹＥＳ）、処理結果判定部６は、ずれ量算出部５から入力された全てのＧＣＰデータを処理結果として出力する（ステップＳＴ５４）。
　一方、いずれかのずれ量が閾値より大きい場合（ステップＳＴ５３；ＮＯ）、処理結果判定部６はステップＳＴ１０で算出された処理回数を参照し、処理回数が規定回数を超えたか否か判定を行う（ステップＳＴ１３）。処理回数が規定回数を超えた場合（ステップＳＴ１３；ＹＥＳ）、処理結果判定部６は、ステップＳＴ５４の処理に進む。一方、処理回数が規定回数以下である場合（ステップＳＴ１３；ＮＯ）、処理結果判定部６はステップＳＴ５２で算出された変換行列と、ＧＣＰデータをＧＣＰ情報補正部７に出力する（ステップＳＴ５５）。
　ＧＣＰ情報補正部７はステップＳＴ５５で入力された変換行列を、２つの画像データの全てのＧＣＰの画像内座標に適用し、全てのＧＣＰの画像内座標を補正する（ステップＳＴ５６）。ＧＣＰ情報補正部７は、ステップＳＴ５６で補正したＧＣＰの画像内座標を用いて取得情報蓄積部２のＧＣＰデータを更新し（ステップＳＴ５７）、ステップＳＴ６の処理に戻る。
　以上のように、この実施の形態２によれば、２つの画像データに含まれるＧＣＰを３点以上選択する情報取得部１と、３点以上のＧＣＰにおけるオルソ画像のずれ量を算出するずれ量算出部５と、算出したずれ量が閾値以下であるか判定を行う処理結果判定部６と、閾値より大きく、且つ処理回数が規定回数を超えていない場合にＧＣＰの画像内座標を補正するＧＣＰ情報補正部７とを備えるように構成したので、３点以上のずれ量に基づいてＧＣＰの画像内座標の補正を行うことができ、補正の精度を高めることができる。
　また、この実施の形態２によれば、３点以上のＧＣＰの画像内座標に基づいて高度情報および方向ベクトルの補正を行うように構成したので、３点以上のＧＣＰの画像内座標に基づいて高度情報および方向ベクトルの補正を行うことができ、より正確に高度情報の誤差の低減および方向ベクトルの誤差の低減を行うことができる。
　上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明に係る画像補正装置は、誤差を含む高度情報および誤差を含む方向ベクトルを用いてＧＣＰの画像内座標を補正することが可能であり、測定誤差を含む種々の画像を補正する画像補正装置などに適用し、精度の高いＧＣＰデータを得るのに適している。
　１　情報取得部、２　取得情報蓄積部、３　方向ベクトル補正部、４　オルソ画像生成部、５　ずれ量算出部、６　処理結果判定部、７　ＧＣＰ情報補正部、１０　画像補正装置、２０　プロセッサ、３０　メモリ、１００　画像データ蓄積部、２００　撮影位置情報蓄積部、３００　方向ベクトル蓄積部、４００　高度情報蓄積部、５００　ＧＣＰ情報蓄積部。

Claims (6)

  1. 　地上を撮影した衛星画像から、共通するＧＣＰ（Ｇｒａｎｄ　Ｃｏｎｔｒｏｌ　Ｐｏｉｎｔ）を含む画像データを選択し、選択した画像データの撮影位置を示す撮影位置情報と、前記撮影位置から前記画像データを構成する各ピクセルへの方向を示すベクトルと、撮影対象の高度を示す高度情報と、前記ＧＣＰの既知の３次元座標および前記ＧＣＰの前記選択した画像データ内での座標とを取得する情報取得部と、
    　前記情報取得部が取得した前記ＧＣＰの既知の３次元座標と、前記ＧＣＰの前記選択した画像データ内での座標との差分に基づき、前記撮影位置情報を用いて前記ベクトルを補正するベクトル補正部と、
    　前記画像データと、前記ベクトル補正部が補正した前記ベクトルとに基づいて前記画像データをオルソ補正してオルソ画像を生成するオルソ画像生成部と、
    　前記オルソ画像生成部が生成したオルソ画像のずれ量を算出するずれ量算出部と、
    　前記ずれ量算出部が算出したずれ量に基づいて前記ＧＣＰの前記選択した画像データ内での座標を補正するＧＣＰ情報補正部とを備えた画像補正装置。
  2. 　前記ベクトル補正部は、前記ベクトルから算出される高度値と、前記高度情報から得られる高度値との差分を算出し、当該算出した高度値の差分が閾値よりも大きい場合に、当該高度値の差分に基づいて前記ＧＣＰの前記選択した画像データ内での座標を補正し、前記ＧＣＰの前記選択した画像データ内での座標または前記補正した座標と、前記ＧＣＰの既知の３次元座標との差分に基づいて前記ベクトルを補正することを特徴とする請求項１記載の画像補正装置。
  3. 　前記ずれ量算出部が算出したずれ量が閾値以下であるか、または前記ずれ量の算出処理回数が設定した上限回数を超えたか判定する判定部を備え、当該判定部が前記ずれ量が閾値以下である、または前記ずれ量の算出回数が前記上限回数を超えたと判定した場合に、前記ＧＣＰの前記選択した画像データ内での座標を出力することを特徴とする請求項１記載の画像補正装置。
  4. 　前記情報取得部は、前記選択した画像データから、前記共通するＧＣＰを３点以上選択することを特徴とする請求項１記載の画像補正装置。
  5. 　前記ずれ量算出部は、前記選択された３点以上のＧＣＰについて前記オルソ画像のずれ量を算出し、算出したずれ量から変換行列を生成し、
    　前記ＧＣＰ情報補正部は、前記ずれ量算出部が生成した変換行列を用いて前記ＧＣＰの前記選択した画像データ内での座標を補正することを特徴とする請求項４記載の画像補正装置。
  6. 　情報取得部が、地上を撮影した衛星画像から、共通するＧＣＰ（Ｇｒａｎｄ　Ｃｏｎｔｒｏｌ　Ｐｏｉｎｔ）を含む画像データを選択し、選択した画像データの撮影位置を示す撮影位置情報と、前記撮影位置から前記画像データを構成する各ピクセルへの方向を示すベクトルと、撮影対象の高度を示す高度情報と、前記ＧＣＰの既知の３次元座標および前記ＧＣＰの前記選択した画像データ内での座標とを取得するステップと、
    　ベクトル補正部が、前記取得したＧＣＰの既知の３次元座標と、前記ＧＣＰの前記選択した画像データ内での座標との差分に基づき、前記撮影位置情報を用いて前記ベクトルを補正するステップと、
    　オルソ画像生成部が、前記画像データと、前記補正した前記ベクトルに基づいて前記画像データをオルソ補正してオルソ画像を生成するステップと、
    　ずれ量算出部が、前記生成したオルソ画像のずれ量を算出するステップと、
    　ＧＣＰ情報補正部が、前記算出したずれ量に基づいて前記ＧＣＰの前記選択した画像データ内での座標を補正するステップとを備えた画像補正方法。
PCT/JP2015/058743 2015-03-23 2015-03-23 画像補正装置および画像補正方法 WO2016151730A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017507191A JP6345339B2 (ja) 2015-03-23 2015-03-23 画像補正装置および画像補正方法
PCT/JP2015/058743 WO2016151730A1 (ja) 2015-03-23 2015-03-23 画像補正装置および画像補正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/058743 WO2016151730A1 (ja) 2015-03-23 2015-03-23 画像補正装置および画像補正方法

Publications (1)

Publication Number Publication Date
WO2016151730A1 true WO2016151730A1 (ja) 2016-09-29

Family

ID=56978091

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/058743 WO2016151730A1 (ja) 2015-03-23 2015-03-23 画像補正装置および画像補正方法

Country Status (2)

Country Link
JP (1) JP6345339B2 (ja)
WO (1) WO2016151730A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269228A (zh) * 2018-02-08 2018-07-10 重庆市地理信息中心 基于gpu并行计算的无人机影像拉花区域自动探测方法
KR20210129472A (ko) * 2020-04-20 2021-10-28 한국국토정보공사 도로선형 기반의 3차원 공간객체 위치보정 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102528951B1 (ko) * 2021-03-31 2023-05-08 한국국토정보공사 건물형상정합 알고리즘을 이용한 3d 모델 위치보정 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008090808A (ja) * 2006-12-27 2008-04-17 Ntt Data Corp 画像補正装置、画像補正方法及びプログラム
US20100284629A1 (en) * 2009-05-06 2010-11-11 University Of New Brunswick Method for rpc refinement using ground control information
JP2011128784A (ja) * 2009-12-16 2011-06-30 Mitsubishi Electric Corp Ｒｐｃ計算装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008090808A (ja) * 2006-12-27 2008-04-17 Ntt Data Corp 画像補正装置、画像補正方法及びプログラム
US20100284629A1 (en) * 2009-05-06 2010-11-11 University Of New Brunswick Method for rpc refinement using ground control information
JP2011128784A (ja) * 2009-12-16 2011-06-30 Mitsubishi Electric Corp Ｒｐｃ計算装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269228A (zh) * 2018-02-08 2018-07-10 重庆市地理信息中心 基于gpu并行计算的无人机影像拉花区域自动探测方法
KR20210129472A (ko) * 2020-04-20 2021-10-28 한국국토정보공사 도로선형 기반의 3차원 공간객체 위치보정 방법
KR102426282B1 (ko) * 2020-04-20 2022-07-29 한국국토정보공사 도로선형 기반의 3차원 공간객체 위치보정 방법

Also Published As

Publication number Publication date
JPWO2016151730A1 (ja) 2017-06-01
JP6345339B2 (ja) 2018-06-20

Similar Documents

Publication Publication Date Title
CN110648398B (zh) 基于无人机航摄数据的正射影像实时生成方法及系统
US9378585B2 (en) System and method for automatic geometric correction using RPC
De Franchis et al. An automatic and modular stereo pipeline for pushbroom images
US8452123B2 (en) Distortion calibration for optical sensors
Baboo et al. An analysis of different resampling methods in Coimbatore, District
JP6440539B2 (ja) 設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法
JP4448187B2 (ja) 映像の幾何補正方法およびその装置
Bagheri et al. A framework for SAR-optical stereogrammetry over urban areas
JP2004021921A (ja) ステレオ画像を用いた地形計測システム及び記憶媒体並びにプログラム
CN112598608B (zh) 一种基于目标区域的光学卫星快速融合产品制作方法
Tang et al. Combined adjustment of multi-resolution satellite imagery for improved geo-positioning accuracy
JP6345339B2 (ja) 画像補正装置および画像補正方法
KR20040055510A (ko) 소수의 지상 기준점을 이용한 이코노스 알피씨 데이터갱신방법
de Franchis et al. Automatic sensor orientation refinement of Pléiades stereo images
CN110853140A (zh) 一种dem辅助的光学视频卫星影像稳像方法
KR100870894B1 (ko) 선형 스캐닝 영상의 자동 영상기하 보정 방법
JP5991821B2 (ja) 写真測量装置
Opsahl et al. Real-time georeferencing for an airborne hyperspectral imaging system
Kim et al. An advanced approach for navigation and image sensor integration for land vehicle navigation
KR101663642B1 (ko) Ap와 직접변환 센서 모델 기법을 이용한 휘스크 브룸 센서 모델 방법 및 장치
US9709395B2 (en) Method and system for analyzing images from satellites
JP4523422B2 (ja) 衛星画像の位置補正装置
CN117541752B (zh) 一种区域网平差模型的dem校正方法、电子设备及存储介质
JP5625457B2 (ja) 地形情報表示装置および表示方法
AU2018213100B2 (en) Apparatus and method for registering recorded images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15886285

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017507191

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15886285

Country of ref document: EP

Kind code of ref document: A1