WO2013171912A1 - 車載測量システム - Google Patents

車載測量システム Download PDF

Info

Publication number
WO2013171912A1
WO2013171912A1 PCT/JP2012/065563 JP2012065563W WO2013171912A1 WO 2013171912 A1 WO2013171912 A1 WO 2013171912A1 JP 2012065563 W JP2012065563 W JP 2012065563W WO 2013171912 A1 WO2013171912 A1 WO 2013171912A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
vehicle
camera
line
captured image
Prior art date
Application number
PCT/JP2012/065563
Other languages
English (en)
French (fr)
Inventor
明 本島
昌雄 拝崎
Original Assignee
エー・シー・エス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エー・シー・エス株式会社 filed Critical エー・シー・エス株式会社
Publication of WO2013171912A1 publication Critical patent/WO2013171912A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area

Definitions

  • the present invention relates to an in-vehicle surveying system.
  • patent document 1 The invention described in patent document 1 is known as a vehicle-mounted surveying system which mounts in a vehicle and implements surveying.
  • Patent Document 1 The on-vehicle surveying system described in Patent Document 1 has room for improvement in terms of surveying accuracy.
  • the present invention has been made in view of the above-described point, and one of its purposes is to improve the accuracy of surveying in a vehicle-mounted surveying system.
  • one aspect of the present invention is an on-vehicle surveying system mounted on a vehicle and performing surveying, comprising position information acquiring means for acquiring the position information of the vehicle, and attitude information of the vehicle Storage means for storing the relative position information and relative attitude information between the camera and the vehicle, and the imaging range information of the camera For each of the cameras, a line of sight passing through the feature is specified based on the position information, the attitude information, the relative position information, the relative attitude information, the imaging range information, and a captured image captured by the camera Calculating the three-dimensional coordinates of the feature based on the positional relationship between the feature and the line of sight of the other two cameras in the image captured by the one camera A feature coordinate calculation unit, an in-vehicle surveying system comprising a.
  • the feature coordinate calculating means may be configured to allow the line of sight of the other two cameras to pass through the feature in an image captured by the one camera It is an in-vehicle surveying system which computes the intersection of two eye gaze lines selected according to whether or not it is three-dimensional coordinates of the feature.
  • the feature coordinate calculating unit is configured to set the feature in one of the sight lines of the other two cameras in an image captured by the one camera.
  • it is a vehicle-mounted survey system which calculates the intersection of the said gaze line and the gaze line of said 1 camera as a three-dimensional coordinate of the said feature.
  • the feature coordinate calculating means is configured to set the feature in any of the sight lines of the other two cameras in an image captured by the one camera. When it does not pass, it is a vehicle-mounted survey system which calculates the intersection of the line-of-sight line of said other two cameras as a three-dimensional coordinate of said feature.
  • a line of sight passing through the feature is specified based on a captured image obtained by capturing the feature from an apical point, and a captured image obtained by imaging the same feature from a perigee And a straight line connecting the three-dimensional coordinates of the feature calculated by the feature coordinate calculating means and the three-dimensional coordinates of the camera at the far point, and identifying the specified sight line and the specified straight line.
  • an on-vehicle surveying system including posture correction means for correcting the posture information acquired by the posture information acquisition means based on the angle difference.
  • the light emitting means is lighted for a period T1 ⁇ n ⁇ T2 or a shorter period with a period T2 different from an integral multiple T1 ⁇ n of the frame period T1 of the camera
  • Synchronization management means for extracting a frame in which lighting of the light emitting means is reflected from the captured image of the camera, and specifying an imaging time of the extracted frame based on the lighting time of the light emitting means is there.
  • the other one aspect of this invention is a vehicle-mounted surveying system provided with the support means which guides the candidate of the name of the feature name which calculated the three-dimensional coordinate by the said feature coordinate calculation means in the said one aspect to an operator .
  • image coordinates in a captured image corresponding to a reference point whose relative position to the surveying vehicle is known and the reference in the captured image captured by the camera Calibration data including the image coordinates of the point is created, the point on the gaze line identified by the feature coordinate calculation means is corrected based on the calibration data, and the gaze line is corrected based on the corrected point
  • An on-board surveying system comprising calibration means for correcting
  • the first mark includes a first mark arranged in a first cycle on the circumference and a second mark arranged in a second cycle on the circumference.
  • a rotating plate attached to a wheel of the surveying vehicle, a sensor for detecting displacement of the first mark and the second mark, and the displacement of the first mark and the second mark detected by the sensor; And an odometry computing means for calculating the speed of the surveying vehicle.
  • FIG. 5 is a flowchart showing the operation of the in-vehicle surveying system 1; It is a flowchart which shows the process which calculates the three-dimensional coordinate of the terrestrial feature in in-vehicle surveying system 1.
  • FIG. It is a figure which shows the positional relationship of the survey point in a main image, and a gaze line. It is a flowchart which shows the detail of a process of step S28. It is a figure for demonstrating the process of primary calibration in the vehicle-mounted surveying system 1.
  • FIG. It is a figure for demonstrating the preparation method of secondary calibration data in the vehicle-mounted survey system 1.
  • FIG. It is a timing chart for explaining the 1st processing which specifies the image pick-up timing of camera 204 which synchronous management device 207 implements. It is a timing chart for explaining the 2nd processing which specifies the image pick-up timing of camera 204 which synchronous management device 207 implements. It is a timing chart which shows the details of lighting timing in each frame period when lighting of LED206 in the 2nd processing is performed. It is a block diagram of the rotation detection disc attached to the wheel shaft of a survey vehicle.
  • FIG. 1 is a block diagram of an on-vehicle surveying system 1 according to an embodiment of the present invention.
  • the in-vehicle surveying system 1 includes a computer 10, a GPS antenna 201, a GPS receiver 202, an attitude measuring device 203, three cameras 204A, 204B and 204C, an axle rotation sensor 205, an LED 206, and a synchronization management device. And 207.
  • the on-vehicle surveying system 1 is mounted on a vehicle (referred to as a surveying vehicle) such as a car that performs surveying while traveling.
  • the computer 10 and the synchronization management device 207 are installed in the room of the survey vehicle, and the axle rotation sensor 205 is attached near the axle of the wheel of the survey vehicle, and the GPS antenna 201, the GPS receiver 202, and the attitude measurement device 203
  • the cameras 204A, 204B, 204C, and the LED 206 are united (referred to as measurement units) and mounted on an observation platform installed on the roof of the surveying vehicle.
  • the computer 10 stores various data (measurement data) measured by the measurement unit and performs various processing related to surveying, such as calculating coordinates of an object of the survey based on the measurement data. These various processes are implemented by the CPU of the computer 10 reading out the corresponding computer program (software) from the storage medium and executing it. As a result of executing these computer programs, the CPU of the computer 10 controls the control unit 100, the position / posture calculation unit 101, the posture correction unit 102, the feature coordinate calculation unit 103, and the primary calibration unit as illustrated. The functions of the secondary calibration unit 106, the odometry calculation unit 110, the travel guidance unit 111, the device state monitoring unit 112, and the map creation support unit 113 are realized.
  • the computer 10 further includes a storage unit 104, a wireless communication unit 107, a display unit 108, and an operation unit 109.
  • the storage unit 104 is a storage device such as a hard disk drive or a USB memory, and stores measurement data, primary calibration data, secondary calibration data, camera parameters, and map data, as illustrated. . Each data will be described later.
  • the wireless communication unit 107 is a communication device that performs wireless communication with a total station (described later) (not shown) installed at a predetermined point.
  • the display unit 108 is a display device such as a liquid crystal display or an organic EL display, and is used to present various information related to surveying to an operator (operator).
  • the operation unit 109 is an input device such as a keyboard and a mouse, and is for giving various instructions to the computer 10 from the operator.
  • the computer 10 can be configured using a laptop personal computer.
  • the GPS antenna 201 is an antenna for capturing radio waves from GPS satellites.
  • the GPS receiver 202 is a receiver that receives GPS data transmitted from GPS satellites, which is included in radio waves captured by the GPS antenna 201.
  • the attitude measuring device 203 is a device that measures the attitude of the observation table on which the measurement unit is mounted.
  • the attitude of the observation platform is the rotation angle around three orthogonal axes.
  • the traveling direction of the surveying vehicle is the X axis
  • the right direction to the traveling direction is the Y axis
  • the upper direction of the surveying vehicle is Z It is an axis defined as an axis. That is, the attitude measuring device 203 measures a roll which is a rotation angle around the X axis, a pitch which is a rotation angle around the Y axis, and a yaw which is a rotation angle around the Z axis.
  • An example of the attitude measuring device 203 is a gyro sensor, a geomagnetic sensor, an acceleration sensor, or the like.
  • the cameras 204A, 204B, and 204C are imaging devices for imaging features that are objects of surveying.
  • the camera 204A will be referred to as the main camera, the camera 204B as the first sub-camera, and the camera 204C as the second sub-camera, as necessary.
  • the mounting position and mounting angle (direction) of the measurement unit and the zoom are adjusted such that the respective imaging ranges of the cameras 204 are substantially the same.
  • Data representing the mounting position, mounting angle, and zoom of each camera 204, which is the adjustment result, is stored in advance in the storage unit 104 as a camera parameter.
  • the mounting position is a relative position based on the position of the GPS antenna 201.
  • the imaging range of each camera 204 is set such that a range of 20 m wide by 10 m long (referred to as a target area) is captured at a distance of 10 m ahead of the surveying vehicle.
  • a configuration using three cameras 204A, 204B and 204C will be described, but four or more cameras may be used.
  • "wide angle” for imaging the range obtained by dividing the target area into two, "middle zoom” for imaging the area divided into four, and "large zoom” for imaging the area divided into six Set the mounting position and mounting angle of each camera so that each point in the target area can be captured by all three cameras among all cameras by setting it to any (that is, the imaging range of each camera differs for each camera)
  • a coordinated multi-camera camera system may be employed.
  • the LED 206 is a light source used to specify the imaging timing by the camera 204 with high accuracy (1 ms (millisecond) accuracy) in the synchronization management device 207.
  • the LEDs 206 are installed at positions where each camera 204 can capture the light emitted from the LEDs 206.
  • the light emission timing of the LED 206 is controlled by the synchronization management device 207.
  • the axle rotation sensor 205 is a magnetic sensor for detecting the rotation speed of the wheel of the survey vehicle.
  • the synchronization management device 207 is a device for synchronizing the data measured by the GPS receiver 202, the attitude measurement device 203, the camera 204, and the axle rotation sensor 205 and storing the data in the computer 10. In particular, the synchronization management device 207 executes processing for specifying the imaging timing by the camera 204 with high accuracy. Details of this process will be described later.
  • FIG. 2 is a flowchart showing the operation of the in-vehicle surveying system 1 and shows the flow of processing performed by the computer 10.
  • the process (steps S11 to S13) of FIG. 6A is a process of performing measurement by the measurement unit, and is performed when the surveying vehicle travels a road or the like.
  • the process (steps S14 to S17) of FIG. 7B is a process of analyzing the measurement result by the measurement unit, and after the surveying vehicle has finished traveling, that is, the timing different from the process of FIG. (For example, later).
  • the control unit 100 determines whether measurement data has been acquired from the synchronization management device 207.
  • the measurement data includes GPS data from the GPS receiver 202, posture data (roll, pitch, yaw) from the posture measurement device 203, and captured image data from each camera 204. Furthermore, the measurement data may include the rotational speed data from the axle rotation sensor 205. Each of the measurement data is attached with time information indicating the time when the measurement data is measured by the synchronization management device 207.
  • step S12 the control unit 100 stores the measurement data in the storage unit 104. On the other hand, when the measurement data is not acquired, the control unit 100 repeats step S11 again.
  • step S13 the control unit 100 determines whether to end the measurement by the measurement unit. For example, when the surveying vehicle reaches the planned end point of the route, the operator operates the operation unit 109 to instruct the end of the measurement. In this case, the control unit 100 can perform the above determination based on the instruction given from the operator to the operation unit 109.
  • control unit 100 ends the process of the flowchart of FIG. On the other hand, when it is determined that the measurement is not ended, the control unit 100 repeats step S11 again. As a result, measurement data at many times are accumulated in the storage unit 104.
  • step S14 the control unit 100 reads one piece of captured image data captured by the main camera 204A from the storage unit 104, and causes the display unit 108 to display the captured image.
  • step S15 the control unit 100 determines whether or not coordinate calculation of a feature has been instructed. For example, the control unit 100 can perform this determination based on an input given from the operator to the operation unit 109.
  • step S16 the control unit 100 indicates the position on the three-dimensional space where the feature is present (for example, where on the road the feature is located). Implement a process to calculate three-dimensional coordinates. The calculation process will be described later.
  • step S14 the control unit 100 reads, from the storage unit 104, another piece of captured image data captured by the main camera 204A (for example, one having a newer capture time), and the captured image Is displayed on the display unit 108.
  • step S17 the control unit 100 determines whether to end the coordinate calculation of the feature. For example, the control unit 100 can perform this determination based on an input given from the operator to the operation unit 109.
  • FIG. 3 is a flowchart showing the process of calculating the three-dimensional coordinates of the feature in the in-vehicle surveying system 1, and shows the details of step S16 of FIG. 2 described above. The processing of this flowchart is executed by the CPU of the computer 10.
  • step S21 the feature coordinate calculation unit 103 acquires captured image data of the main camera 204A displayed on the display unit 108 at the time when the coordinate calculation of the feature is instructed in step S15 described above (hereinafter referred to as a main image) Are read from the storage unit 104.
  • the feature coordinate calculation unit 103 takes captured image data of the first sub camera 204B (hereinafter referred to as a first sub image) and the second sub camera 204C, to which the same time information as the read main image is attached.
  • Image data (hereinafter, referred to as second sub-image) is similarly read out from the storage unit 104.
  • step S22 the position / posture calculation unit 101 reads out from the storage unit 104 GPS data and posture data to which the same time information as the main image read out in step S21 is attached.
  • step S23 the position / posture calculation unit 101 reads out from the storage unit 104 camera parameters (attachment position of each camera 204, attachment angle, zoom).
  • step S24 the position / posture calculation unit 101 specifies the optical axis and the imaging range of each camera 204 based on the GPS data and attitude data read out in step S22 and the camera parameters read out in step S23.
  • absolute coordinates of the GPS antenna 201 can be determined from the GPS data, and attitude data (roll, pitch, yaw) of the observation stand and the relative position of the camera 204 with respect to the camera mounting position (GPS antenna 201) Together with the position), absolute coordinates of the camera 204 can be obtained.
  • the optical axis and the imaging range of the camera 204 can be specified.
  • the feature coordinate calculation unit 103 acquires image coordinates of one point (hereinafter referred to as a survey point) on the feature to be surveyed in the main image.
  • Image coordinates are represented by vertical and horizontal pixel values of a captured image.
  • the operator determines a feature to be surveyed from within the main image displayed on the display unit 108, and designates one point on the image of the determined feature using the operation unit 109.
  • the feature coordinate calculation unit 103 can set the image coordinates of one point on the image designated by the operator as the image coordinates of the survey point.
  • step S26 the feature coordinate calculation unit 103 selects the same point as the above-mentioned survey point from the first sub-image and the second sub-image (the survey point on the feature subjected to the survey in step S25).
  • One point captured from the camera 204B or the second sub camera 204C is extracted, and image coordinates of the extracted point (hereinafter referred to as a reference point) are acquired.
  • step S27 the feature coordinate calculation unit 103 passes the survey point according to the optical axis and imaging range of the main camera 204A identified in step S24, and the image coordinates of the survey point acquired in step S25. Identify the line of sight of The line of sight passing through a certain point is a straight line connecting the position of the point in the three-dimensional space shown in the captured image and the camera. In addition, the feature coordinate calculation unit 103 similarly specifies a line of sight passing through the reference point for each of the first sub camera 204B and the second sub camera 204C.
  • step S28 the feature coordinate calculation unit 103 calculates three-dimensional coordinates of the survey points on the feature to be surveyed, based on the three sight lines identified in step S27.
  • the calculation method will be described with reference to FIGS. 4 and 5.
  • FIG. 4 is a diagram showing the positional relationship between survey points and sight lines in the main image.
  • the main image is an image obtained by imaging the road surface from above the road.
  • the feature to be surveyed is a center line drawn on the road surface, and one point on the center line is designated as the survey point M.
  • the line of sight L1 of the first sub camera 204B and the line of sight L2 of the second sub camera 204C both pass the survey point M on the main image.
  • the positions and orientations of the three cameras 204A, 204B and 204C are maintained in the correct state, and it is possible to use captured images of any of the cameras for calculation of three-dimensional coordinates of survey points.
  • the sight line L1 of the first sub camera 204B passes through the survey point M on the main image, but the sight line L2 of the second sub camera 204C does not pass through the survey point M.
  • at least one of the position and the attitude of the second sub-camera 204C out of the three cameras 204 deviates from the correct state, and therefore, the captured image of the second sub-camera 204C
  • an error occurs in the value of the coordinates.
  • the sight line L2 of the second sub camera 204C passes through the survey point M on the main image, but the sight line L1 of the first sub camera 204B does not pass through the survey point M.
  • at least one of the position and the attitude of the first sub-camera 204B out of the three cameras 204 deviates from the correct state, and therefore, the captured image of the first sub-camera 204B is When used for calculation of dimensional coordinates, an error occurs in the value of the coordinates.
  • the line of sight L1 of the first sub camera 204B and the line of sight L2 of the second sub camera 204C do not pass through the survey point M on the main image.
  • the main camera 204A is used to calculate the three-dimensional coordinates of the survey points, an error occurs in the values of the coordinates.
  • the feature coordinate calculation unit 103 calculates three-dimensional coordinates of the survey points as follows.
  • FIG. 5 is a flowchart showing details of the process of step S28 described above.
  • step S31 the feature coordinate calculation unit 103 determines whether the sight line L1 passes the survey point M on the main image.
  • step S32 the feature coordinate calculation unit 103 intersects the sight line of the main camera 204A and the sight line L1 of the first sub camera 204B in three-dimensional space. Is calculated, and the three-dimensional coordinates of the intersection are set as the coordinates of the feature (surveying point M) to be surveyed. This corresponds to the case of FIGS. 4 (A) and 4 (B).
  • the feature coordinate calculation unit 103 determines whether the sight line L2 passes the survey point M on the main image in step S33. In this determination, when the sight line L2 passes the survey point M on the main image, the feature coordinate calculation unit 103 executes step S34. On the other hand, in this determination, if the sight line L2 does not pass the survey point M on the main image, the feature coordinate calculation unit 103 executes step S35.
  • step S34 the feature coordinate calculation unit 103 calculates an intersection point in three-dimensional space of the sight line of the main camera 204A and the sight line L2 of the second sub camera 204C, and the three-dimensional coordinates of the intersection are used as survey targets. Coordinates of the feature (surveying point M). This corresponds to the case of FIG. 4 (C).
  • step S35 the feature coordinate calculation unit 103 calculates an intersection point in three-dimensional space of the visual line L1 of the first sub camera 204B and the visual line L2 of the second sub camera 204C, and the three-dimensional coordinates of the intersection are Coordinates of the feature to be surveyed (surveying point M). This corresponds to the case of FIG. 4 (D).
  • the in-vehicle surveying system 1 appropriately switches the combination of cameras used for calculation of the three-dimensional coordinates of the feature according to whether or not the sight line L1, L2 passes the survey point M. As a result, even if displacement occurs in the position or posture of the camera 204, it is possible to effectively prevent the measurement accuracy from being degraded.
  • the reference points on the first sub-image are further divided into two sight lines (the main camera 204A).
  • Line of sight and the line of sight of the second sub-camera 204C) and the reference point on the second sub-image is through the two lines of sight (line of sight of the main camera 204A and line of sight of the first sub-camera 204B)
  • the reference point extracted from the first sub image and the second sub image is guaranteed to be the same point (feature) as survey point M. . Therefore, by performing such confirmation, it can be verified that the calculated three-dimensional coordinates of the feature are appropriate.
  • the correct reference point is not extracted from the first sub image or the second sub image (for example, another feature similar to the survey point M is erroneously extracted as the reference point) In such a case, it is preferable to re-execute step S26 so as to re-extract an appropriate reference point.
  • the first sub camera 204B or the second sub camera 204C is not the main camera 204A.
  • the suspicion that there is a gap is also conceivable. Therefore, if the first sub image or the second sub image is used as the main image and the processing of step S27 and subsequent steps is performed again (this corresponds to considering the first sub camera 204B or the second sub camera 204C as the main camera 204A), It is possible to determine whether or not there is a shift in the one sub camera 204B or the second sub camera 204C. However, in the case where there is a deviation between the two cameras, the three-dimensional coordinates of the feature can not be calculated or the accuracy of the calculated value is low.
  • FIG. 6 is a diagram for explaining the process of primary calibration in the in-vehicle surveying system 1.
  • the primary calibration is a process of calibrating the distortion and the like of the lens of the camera 204, and is performed in advance with the camera 204 removed from the surveying vehicle, for example.
  • a calibration sheet is used for primary calibration.
  • the calibration sheet is a sheet in which a grid-like pattern is drawn on a flat plate or the like.
  • the dimensions (lengths of the vertical and horizontal sides) of each mass (quadrangle having four adjacent grid points as vertices) constituting the grid are equal. Marks such as black dots are drawn on the four central squares to distinguish them from the other squares.
  • the calibration sheet is captured by each camera 204, and the captured image is stored in the storage unit 104.
  • the captured image 61 which imaged the calibration sheet
  • the primary calibration unit 105 reads the captured image 61 obtained by capturing the calibration sheet from the storage unit 104, extracts the grid point P in the captured image 61 by image processing, and calculates the image coordinates P of each grid point P ( Get px, py). Further, the primary calibration unit 105 calculates the average value Hx of the lengths of the horizontal sides and the average value Hy of the lengths of the vertical sides for the four squares located at the center of the captured image 61, and the original grid point Q is calculated. The image coordinates Q (qx, qy) of are calculated.
  • the primary calibration unit 105 uses the primary calibration data of the storage unit 104 for the measurement points and reference points (see the above-mentioned steps S25 and S26) in the captured image captured by each camera 204. to correct.
  • the primary calibration unit 105 obtains a mass to which the image coordinates of the measurement point or the reference point belong, and linearly interpolates the correction values ⁇ x and ⁇ y of the four vertexes (grid points) of the mass.
  • the correction value of the reference point is calculated, and the image coordinate of the survey point or the reference point is corrected by this correction value. Thereby, the influence of distortion or the like of the lens of the camera 204 can be reduced.
  • FIG. 7 is a diagram for explaining a method of creating secondary calibration data in the in-vehicle surveying system 1. Generation of secondary calibration data is performed in advance while the surveying vehicle is stopped.
  • the reference point 71 is a point whose relative position to the surveying vehicle is known. Specifically, assuming that the position coordinates of the GPS antenna 201 of the surveying vehicle are (0, 0, h), grid points 72 are provided at intervals of 1 m, for example, in the range of 6 to 10 m ahead and 10 m left and right. However, the height of the GPS antenna 201 measured from the tire contact surface of the surveying vehicle is h. Reference points 71 are provided at intervals of 0.2 m above each grid point 72, for example, in a range of height 0 to 1.6 m. A plate 73 or the like on which a grid is drawn is placed so that the grid points coincide with the respective reference points 71. Each reference point 71 on the plate 73 is imaged by each camera 204, and the imaged image is stored in the storage unit 104.
  • the secondary calibration unit 106 reads this captured image from the storage unit 104, and detects image coordinates on the captured image of each reference point 71.
  • the secondary calibration unit 106 also calculates where on the captured image each reference point 71 should be captured based on the known coordinate value of each reference point 71 and the camera parameter. It is a secondary calibration that corrects the difference between the calculated image coordinates and the image coordinates detected from the captured image.
  • the secondary calibration unit 106 sets, for each reference point 71, calculated image coordinates and image coordinates detected from the captured image as a set, and stores the set of image coordinates in the storage unit 104 as secondary calibration data. .
  • a reference point with known three-dimensional coordinates is set up in the middle of the road on which the surveying vehicle travels.
  • the first implementation method of the secondary calibration is a method applied when performing surveying of features using a captured image in which the reference point is shown.
  • FIG. 8 is a diagram for describing a first implementation method of secondary calibration.
  • the secondary calibration unit 106 extracts a reference point from the captured image, and acquires three-dimensional coordinates of the reference point from the map data of the storage unit 104.
  • the secondary calibration unit 106 can extract the reference point from the captured image using image processing such as predetermined pattern recognition based on the known shape, color, and the like of the reference point.
  • the secondary calibration unit 106 extracts eight reference points P 1 to P 8 closest to the acquired three-dimensional coordinates of the reference point from the secondary calibration data of the storage unit 104.
  • the secondary calibration unit 106 calculates, for each of the extracted reference points, the difference between the two image coordinates of the secondary calibration data, that is, the difference between the calculated image coordinates and the image coordinates detected from the captured image. Let the difference be correction data.
  • the secondary calibration unit 106 proportionally distributes the correction data of the eight reference points according to the distance between each reference point and the reference point, and uses the result as correction data of the reference point.
  • the secondary calibration unit 106 corrects the captured image based on the correction data of the reference point obtained in this manner.
  • a second implementation method of secondary calibration is a method applied when calculating three-dimensional coordinates of survey points other than the reference point.
  • FIG. 9 is a diagram for describing a second implementation method of secondary calibration.
  • the second-order calibration unit 106 is a point on each of the sight line and the height is, for example, 0.0 m or 0.2 m for the sight line L passing through the measurement point or the reference point specified in step S27 of FIG. , 9 m (9 points of L 1 to L 9, where in FIG. 9 there are 5 points of L 1 to L 5), but the points are 0.4 m, 0.6 m, 0.8 m, 1.0 m, 1.2 m, 1.4 m and 1.6 m. Calculate 3D coordinates of For each of these points, the correction data of the nearest eight reference points of each point is used for each of these points, as in the case of the first implementation method of the secondary calibration described above. Calculate correction data.
  • the secondary calibration unit 106 corrects the three-dimensional coordinates of each of the points L1 to L9 according to the correction data of each point so that the total sum of squares of the distances to the respective points L1 ′ to L9 ′ after correction is minimized. Correct the gaze line.
  • FIG. 10 is a diagram for explaining the process of correcting the attitude data in the in-vehicle surveying system 1, and is a captured image 10-1 obtained by imaging the feature N used to correct the attitude data from a distant point A , A captured image 10-2 captured from a point B where the feature N is approached.
  • the correction process of posture data can be performed at any time after imaging the feature N from both the far point A and the approach point B as shown in FIG.
  • the posture correction unit 102 reads the captured image 10-1 captured at a certain point A from the storage unit 104 based on the input from the operator to the operation unit 109, and identifies the feature N in the captured image 10-1 Do.
  • the feature N is an object which is determined by an input to the operation unit 109 by the operator judging that the feature N is present in a distant place among the objects shown in the captured image 10-1.
  • the distant is, for example, around 150 m ahead of the point A.
  • the posture correction unit 102 reads GPS data at the same time as the time information attached to the captured image 10-1 read from the storage unit 104, posture data, and camera parameters from the storage unit 104, and sets it as read data. Based on the above, similarly to step S24 described above, three-dimensional coordinates C (Px, Py, Pz), an optical axis, and an imaging range of the camera 204 when the surveying vehicle is located at the point A are obtained. In addition, the posture correction unit 102 performs the above-described step S27 based on the obtained optical axis and imaging range of the camera 204 and the image coordinates N (Gx, Gy) of the feature N in the captured image 10-1. Similarly, a line of sight passing through the feature N seen from the camera 204 at the point A is specified.
  • the posture correction unit 102 specifies a point B approaching the feature N, and the captured image 10-2 (main image, first sub image, and second sub image) captured at the point B is stored from the storage unit 104. read out.
  • the posture correction unit 102 approaches the feature N by selecting, from among the captured images stored in the storage unit 104, the captured image in which the feature N is captured larger than a predetermined size.
  • the captured image 10-2 captured at the point B can be identified.
  • the approaching point is, for example, a point 10 m before the feature N.
  • the posture correction unit 102 uses the captured image 10-2 (the main image, the first sub image, and the second sub image) of the point B and follows the processing of the flowchart in FIG. Calculate Px, Py, Pz).
  • the posture correction unit 102 specifies a straight line connecting the three-dimensional coordinates C (Px, Py, Pz) of the camera 204 calculated as described above and the three-dimensional coordinates N (Px, Py, Pz) of the feature N. Thereby, the direction of the feature N seen from the camera 204 when the surveying vehicle is located at the point A is found.
  • the straight line coincides with the line of sight of the feature N at the specified point A when no error is included in the posture data, but when the posture data includes an error, the two do not match.
  • the posture correction unit 102 calculates the difference in angle between the straight line and the sight line, and corrects posture data using the calculated angle difference.
  • FIG. 11 is a timing chart for explaining a first process performed by the synchronization management device 207 for specifying an imaging timing of the camera 204.
  • the shutter of the camera 204 is controlled to be open only during a part of one frame period from the moment when the frame starts to the moment when a predetermined time elapses.
  • the time zone is controlled to be closed.
  • One frame period is, for example, 33.3667 milliseconds
  • the shutter open time is, for example, 10 milliseconds.
  • the synchronization management device 207 performs control to intermittently light the LED 206 at a frequency of once every several minutes, using GPS data as a time reference.
  • the lighting period of the LED 206 is one frame period to several frame periods of imaging by the camera 204.
  • FIG. 11 shows that the LED 206 lights up for 120 milliseconds from the middle of the shutter open state of the first frame to the middle of the shutter closed state of the fourth frame. In this case, the LED 206 lights up in the first, second, third, and fourth frames of the captured image, and the captured image before the 0th frame and after the 5th frame is captured. The LED 206 in the off state is captured.
  • the synchronization management device 207 records time information of each captured image, assuming that the imaging time T1 of the frame in which the LED 206 in the lighting state is first captured is the lighting start time T2 of the LED 206.
  • the imaging time of the captured image of the first frame is considered to be time T2.
  • the imaging time of each captured image can be specified with the precision within one frame period on the basis of the time of GPS data.
  • FIG. 12 is a timing chart for explaining a second process performed by the synchronization management device 207 for specifying the imaging timing of the camera 204.
  • the opening / closing timing of the shutter of the camera 204 is the same as the first process (FIG. 11) described above.
  • the synchronization management device 207 performs control of repeatedly lighting the LED 206 40 times for 1 millisecond every one second using GPS data as a time reference.
  • FIG. 12 shows how this lighting control is started simultaneously with the start time of the first frame of the captured image.
  • the first lighting of the LED 206 is performed simultaneously with the start of control, that is, within the first frame of a captured image.
  • the fourth lighting of the LED 206 is performed within the 90th frame of the captured image
  • the fifth lighting is performed within the 120th frame of the captured image
  • the lighting is performed within the 960th frame of the image
  • the 34th lighting is performed within the 990th frame of the captured image.
  • FIG. 13 is a timing chart showing the details of the lighting timing in each frame period in which the lighting of the LED 206 is performed in the second process described above.
  • the time described in the drawing represents the elapsed time from the start time of the lighting control (the start time of the first frame of the captured image).
  • a period of 1 millisecond from the start of the lighting control in which the LED 206 is lighted is a period in which the shutter of the frame is in the open state.
  • the LED 206 is captured.
  • the period during which the lighting of the LED 206 is performed is 32 milliseconds to 33 milliseconds from the start of the frame. Period corresponds to the period in which the shutter is closed. Therefore, the LED 206 in the unlit state is captured in the 30th frame of the captured image.
  • the period during which the LED 206 is lit that is, the period from 2.000 seconds to 2.001 seconds from the start of the lighting control, is 31 milliseconds to 32 millimeters from the start of the frame. It is a period of seconds, and corresponds to a period in which the shutter is closed. Therefore, the LED 206 in the unlit state is captured in the 60th frame of the captured image.
  • the period during which the LED 206 is lit that is, the period from 31.000 seconds to 31.001 seconds from the start of the lighting control, is 2 milliseconds to 3 milliseconds from the start of the frame. Period corresponds to the period in which the shutter is open. Therefore, the LED 206 in the lit state is captured in the 930th frame of the captured image.
  • the period during which the LED 206 is lit ie, the period from 32.000 seconds to 32.001 seconds from the start of the lighting control, is 1 millisecond to 2 millimeters from the start of the frame. It is a period of seconds and corresponds to a period in which the shutter is open. Therefore, the LED 206 in the lit state is reflected in the 960th frame of the captured image. Also, in the 990th frame of the captured image, the period during which the LED 206 is lit, that is, the period from 33.000 seconds to 33.001 seconds from the start of the lighting control, is 0 milliseconds to 1 millisecond from the start of the frame. Period corresponds to the period in which the shutter is open. Therefore, the lighted LED 206 is captured in the 990th frame of the captured image.
  • the period during which the LED 206 is lit is 32 milliseconds to 33 milliseconds from the start of the frame. Period corresponds to the period in which the shutter is closed. Therefore, the LED 206 in the light-off state is captured in the 1020th frame of the captured image.
  • the lighting start timing of the LED 206 shifts in the direction in which each of the above frame periods is advanced by 1 millisecond, and the last frame (990th frame) in which the LED 206 in the lighting state is reflected in the captured image. Then, the timing of the start of the frame and the lighting start timing of the LED 206 coincide with each other.
  • FIG. 12 shows an example in which the start of the lighting control is simultaneous with the start time of the first frame of the captured image, but the start of the lighting control and the start of the first frame of the captured image are not simultaneous but deviated. Similarly, the start of the last frame in which the LED 206 in the lighting state is reflected in the captured image coincides with the timing of the lighting start of the LED 206.
  • the synchronization management device 207 synchronizes the time of each frame, assuming that the imaging time of the frame in which the LED 206 in the lighting state is last captured is the same time as the time when the LED 206 starts lighting in the frame.
  • the time information of each captured image is recorded by this synchronized time.
  • the imaging time of each captured image can be specified with an accuracy of 1 millisecond or less with reference to the time of GPS data.
  • TS total system
  • a total system emits radio waves such as infrared rays from a reference point whose position on the ground is known, and measures the reflected wave of radio waves from a reflecting mirror placed at a measurement point (surveying vehicle) at a reference point. It is a surveying method which calculates the position of a point.
  • the roof of the surveying car is equipped with a reflector in order to conduct a survey with a total system.
  • Position information representing the position of the surveying vehicle measured at the reference point is wirelessly transmitted from the reference point to the surveying vehicle.
  • the wireless communication unit 107 receives this position information.
  • the control unit 100 causes the storage unit 104 to store the position information received by the wireless communication unit 107 instead of the GPS data. Thereby, surveying can be continued even when GPS data can not be received.
  • the travel guidance unit 111 causes the display unit 108 to display the survey route.
  • a surveying path is a start point, a passing point, an end point, etc.
  • the travel guidance unit 111 may cause the display unit 108 to display the survey route together with the map (road) display based on the map data stored in the storage unit 104.
  • the travel guidance unit 111 may also display the location of the travel route (the measurement data has been acquired) in the survey route, the current location, and the like. Thus, the operator can easily grasp the progress of the survey.
  • the device state monitoring unit 112 constantly monitors the operation states of the GPS receiver 202, the attitude measuring device 203, the camera 204, and the axle rotation sensor 205, and determines whether or not each device has an abnormality.
  • the notification result is notified.
  • the control unit 100 notifies the operator by displaying on the map displayed on the display unit 108 a mark indicating a point where the abnormality has occurred, information indicating the type of the abnormality, and the like. You may As a result, the operator can easily grasp what measurement abnormality has occurred during the survey.
  • the control unit 100 may continue to display the mark or the like that has been once displayed until a confirmation input is made from the operator.
  • the map creation support unit 113 performs processing to support the operation when the operator creates a map reflecting the survey result. For example, after the feature coordinate calculation unit 103 calculates the three-dimensional coordinates of the feature, the map creation support unit 113 causes the display unit 108 to give a candidate for the name of the feature (for example, a center line or an L-shaped ditch). In response to the operator selecting and displaying an appropriate feature from the displayed candidates and inputting the selection result to the operation unit 109, the name of the selected feature is associated with the three-dimensional coordinates. It is stored in the storage unit 104.
  • FIG. 14 is a block diagram of a rotation detection disc attached to an axle of a survey vehicle wheel.
  • a high-speed rotation detection mark M1 is disposed on the surface of the rotation detection disc and on the circumference of the first radius.
  • the low-speed rotation detection mark M2 is disposed on the circumference of a second radius different from the first radius on the plate surface of the rotation detection disc.
  • the high-speed rotation detection mark M1 is provided at N1 places on the circumference.
  • the high-speed rotation detection marks M1 are provided at two positions in the range of rotation angles of 0 ° to 90 ° on the circumference and in the range of 180 ° to 270 °.
  • the low-speed rotation detection mark M2 is provided at N2 places on the circumference. However, it is N2> N1.
  • the low-speed rotation detection marks M2 are provided at 36 locations at 10 ° intervals. Furthermore, the rotation direction detection mark M3 is disposed at one place on the circumference of the high speed rotation detection mark M1.
  • the high-speed rotation detection mark M1, the low-speed rotation detection mark M2, and the rotation direction detection mark M3 are made of, for example, a magnetic material such as an iron plate.
  • the mounting position of the rotation detection disc is preferably on the inner side of the wheel among the wheel axles of the surveying vehicle. Thereby, it is possible to prevent the rotation detection disc from being hit by an obstacle on the road and damaging it.
  • the axle rotation sensor 205 detects the variation of the magnetic field due to the displacement of the high-speed rotation detection mark M1 and the low-speed rotation detection mark M2 accompanying the rotation of the vehicle. For example, in a state where the axle rotation sensor 205 is opposed to the high speed rotation detection mark M1 or the low speed rotation detection mark M2 (when the axle rotation sensor 205 reads the mark M1 or M2), a large magnetic field is detected and the axle rotation sensor A small magnetic field is detected when 205 is opposed between the marks arranged on the circumference of high speed rotation detection mark M1 or low speed rotation detection mark M2 (when a portion without the mark is read by axle rotation sensor 205) Be done. At this time, the period of the magnetic field fluctuation by the high speed rotation detection mark M1 is longer than the period of the magnetic field fluctuation by the low speed rotation detection mark M2.
  • the odometry operation unit 110 determines the magnetic field fluctuation by the low speed rotation detection mark M2. Calculate the speed based on the cycle. Further, if the period of the magnetic field fluctuation by the low-speed rotation detection mark M2 is shorter than a predetermined cycle, that is, if the vehicle speed of the surveying vehicle is high, the odometry operation unit 110 generates a magnetic field by the high-speed rotation detection mark M1. Calculate the speed based on the period of fluctuation.
  • the odometry calculation unit 110 can detect the position of the surveying vehicle based on the measured vehicle speed. This position information can be used for calculation of three-dimensional coordinates of a feature instead of or together with GPS data from the GPS receiver 202 and position information from the wireless communication unit 107.

Abstract

 車載測量システムにおける測量の精度を向上させる。 車両に搭載され測量を実施する車載測量システム1であって、車両の位置情報を取得する位置情報取得手段202と、車両の姿勢情報を取得する姿勢情報取得手段203と、測量対象である地物を撮像する3台のカメラ204と、カメラ204と車両との相対位置情報及び相対姿勢情報並びにカメラ204の撮像範囲情報を記憶する記憶手段104と、位置情報、姿勢情報、相対位置情報、相対姿勢情報、撮像範囲情報、及びカメラ204により撮像した撮像画像に基づいて、地物を通る視線ラインを各カメラ204について特定し、1台のカメラ204による撮像画像における、地物と他の2台のカメラ204の視線ラインとの位置関係に基づいて、地物の3次元座標を算出する地物座標算出手段103と、を備える。

Description

車載測量システム
 本発明は、車載測量システムに関する。
 車両に搭載されて測量を実施する車載測量システムとして、特許文献1に記載された発明が知られている。
特開2009-139259号公報
 特許文献1に記載された車載測量システムは、測量の精度の面において改良の余地がある。
 本発明は、上記の点に鑑みてなされたものであり、その目的の1つは、車載測量システムにおける測量の精度を向上させることにある。
 上述した課題を解決するために、本発明の一態様は、車両に搭載され測量を実施する車載測量システムであって、前記車両の位置情報を取得する位置情報取得手段と、前記車両の姿勢情報を取得する姿勢情報取得手段と、測量対象である地物を撮像する3台のカメラと、前記カメラと前記車両との相対位置情報及び相対姿勢情報並びに前記カメラの撮像範囲情報を記憶する記憶手段と、前記位置情報、前記姿勢情報、前記相対位置情報、前記相対姿勢情報、前記撮像範囲情報、及び前記カメラにより撮像した撮像画像に基づいて、前記地物を通る視線ラインを前記各カメラについて特定し、1台の前記カメラによる撮像画像における、前記地物と他の2台の前記カメラの視線ラインとの位置関係に基づいて、前記地物の3次元座標を算出する地物座標算出手段と、を備える車載測量システムである。
 また、本発明の他の一態様は、上記一態様において、前記地物座標算出手段は、前記1台のカメラによる撮像画像において前記地物を前記他の2台のカメラの視線ラインが通るか否かに応じて選択した2つの視線ラインの交点を、前記地物の3次元座標として算出する、車載測量システムである。
 また、本発明の他の一態様は、上記一態様において、前記地物座標算出手段は、前記1台のカメラによる撮像画像において前記地物を前記他の2台のカメラの視線ラインの一方が通る場合、当該視線ラインと前記1台のカメラの視線ラインとの交点を、前記地物の3次元座標として算出する、車載測量システムである。
 また、本発明の他の一態様は、上記一態様において、前記地物座標算出手段は、前記1台のカメラによる撮像画像において前記地物を前記他の2台のカメラの視線ラインのいずれもが通らない場合、前記他の2台のカメラの視線ラインの交点を、前記地物の3次元座標として算出する、車載測量システムである。
 また、本発明の他の一態様は、上記一態様において、地物を遠地点から撮像した撮像画像に基づいて前記地物を通る視線ラインを特定し、同一の地物を近地点から撮像した撮像画像に基づいて前記地物座標算出手段により算出された前記地物の3次元座標と前記遠地点における前記カメラの3次元座標とを結ぶ直線を特定し、前記特定した視線ラインと前記特定した直線との角度差に基づいて、前記姿勢情報取得手段により取得された姿勢情報を補正する姿勢補正手段を備える、車載測量システムである。
 また、本発明の他の一態様は、上記一態様において、前記カメラのフレーム期間T1の整数倍T1×nと異なる周期T2で期間T1×n-T2又はそれより短い期間点灯する発光手段と、前記カメラの撮像画像から前記発光手段の点灯が写り込んだフレームを抽出し、抽出したフレームの撮像時刻を前記発光手段の点灯時刻に基づいて特定する同期管理手段と、を備える、車載測量システムである。
 また、本発明の他の一態様は、上記一態様において、前記地物座標算出手段によって3次元座標を算出した地物の名称の候補をオペレータに案内する支援手段を備える、車載測量システムである。
 また、本発明の他の一態様は、上記一態様において、前記測量車に対する相対位置が既知である基準ポイントに対応する撮像画像内の画像座標と前記カメラによって撮像された撮像画像内の前記基準ポイントの画像座標とを含むキャリブレーションデータを作成し、前記地物座標算出手段によって特定された視線ライン上の点を前記キャリブレーションデータに基づいて補正し、補正後の点に基づいて前記視線ラインを補正するキャリブレーション手段を備える、車載測量システムである。
 また、本発明の他の一態様は、上記一態様において、円周上に第1周期で配置された第1マーク及び円周上に第2周期で配置された第2マークを有し、前記測量車の車輪に取り付けられた回転板と、前記第1マーク及び前記第2マークの変位を検出するセンサと、前記センサによって検出された前記第1マーク及び前記第2マークの変位に基づいて前記測量車の速度を算出するオドメトリ演算手段と、を備える、車載測量システムである。
 本発明によれば、車載測量システムにおける測量の精度を向上させることができる。
本発明の一実施形態に係る車載測量システム1の構成図である。 車載測量システム1の動作を示すフローチャートである。 車載測量システム1における地物の3次元座標を計算する処理を示すフローチャートである。 メイン画像における測量点と視線ラインの位置関係を示す図である。 ステップS28の処理の詳細を示すフローチャートである。 車載測量システム1における1次キャリブレーションの処理を説明するための図である。 車載測量システム1における2次キャリブレーションデータの作成方法を説明するための図である。 2次キャリブレーションの第1の実施方法を説明するための図である。 2次キャリブレーションの第2の実施方法を説明するための図である。 車載測量システム1における姿勢データを補正する処理を説明するための図である。 同期管理装置207が実施するカメラ204の撮像タイミングを特定する第1の処理を説明するためのタイミングチャートである。 同期管理装置207が実施するカメラ204の撮像タイミングを特定する第2の処理を説明するためのタイミングチャートである。 第2の処理におけるLED206の点灯が行われる各フレーム期間内での点灯タイミングの詳細を示すタイミングチャートである。 測量車の車輪の車軸に取り付けられる回転検出用円板の構成図である。
 以下、図面を参照しながら本発明の実施形態について詳しく説明する。
<構成>
 図1は、本発明の一実施形態に係る車載測量システム1の構成図である。車載測量システム1は、コンピュータ10と、GPSアンテナ201と、GPS受信機202と、姿勢計測器203と、3台のカメラ204A,204B,204Cと、車軸回転センサ205と、LED206と、同期管理装置207とを備える。この車載測量システム1は、走行しながら測量を実施する自動車等の車両(測量車と称する)に搭載される。具体的には、コンピュータ10及び同期管理装置207は測量車の室内に装備され、車軸回転センサ205は測量車の車輪の車軸近傍に取り付けられ、GPSアンテナ201、GPS受信機202、姿勢計測器203、カメラ204A,204B,204C、及びLED206はユニット(計測ユニットと称する)化されて、測量車の屋根の上に設置された観測台上に搭載される。
 コンピュータ10は、計測ユニットによって計測されたデータ(計測データ)を保存するとともに、計測データに基づいて測量の対象物の座標を算出する等の、測量に関連する各種の処理を実施する。これらの各種処理は、それぞれに対応するコンピュータプログラム(ソフトウェア)をコンピュータ10のCPUが記憶媒体から読み出して実行することによって、実施される。コンピュータ10のCPUは、これらのコンピュータプログラムを実行した結果として、図示されるように、制御部100、位置・姿勢算出部101、姿勢補正部102、地物座標算出部103、1次キャリブレーション部105、2次キャリブレーション部106、オドメトリ演算部110、走行ガイダンス部111、機器状態監視部112、及び地図作成支援部113の各機能を実現する。
 また、コンピュータ10は、記憶部104、無線通信部107、表示部108、及び操作部109を備える。記憶部104は、ハードディスクドライブやUSBメモリ等の記憶装置であり、図示されるように、計測データ、1次キャリブレーションデータ、2次キャリブレーションデータ、カメラパラメータ、及び地図データの各データを記憶する。各データについては後述する。無線通信部107は、所定の地点に設置された不図示のトータルステーション(後述)と無線通信を行う通信装置である。表示部108は、液晶ディスプレイや有機ELディスプレイ等の表示装置であり、測量に関連した各種の情報をオペレータ(操作者)に提示するために用いられる。操作部109は、キーボードやマウス等の入力デバイスであり、オペレータからコンピュータ10へ各種の指示を与えるためのものである。
 一例として、コンピュータ10はノート型のパーソナルコンピュータを用いて構成することができる。
 GPSアンテナ201は、GPS衛星からの電波を捉えるアンテナである。GPS受信機202は、GPSアンテナ201によって捉えられた電波に含まれる、GPS衛星から送信されたGPSデータを受信する受信機である。
 姿勢計測器203は、計測ユニットが搭載された観測台の姿勢を計測する装置である。観測台の姿勢とは、直交する3軸周りの回転角であり、この3軸は、測量車の進行方向をX軸、進行方向に対して右方向をY軸、測量車の上方向をZ軸と定義される軸である。即ち、X軸周りの回転角であるロール、Y軸周りの回転角であるピッチ、及びZ軸周りの回転角であるヨーが、姿勢計測器203によって計測される。姿勢計測器203の一例は、ジャイロセンサ、地磁気センサ、加速度センサ等である。
 カメラ204A,204B,204C(総称してカメラ204という)は、測量の対象物である地物を撮像するための撮像装置である。以下の説明において、必要に応じ、カメラ204Aをメインカメラ、カメラ204Bを第1サブカメラ、カメラ204Cを第2サブカメラと称する。各カメラ204は、それぞれの撮像範囲がほぼ同じになるように、計測ユニットへの取付位置及び取付角度(向き)並びにズームが調整されている。この調整結果である、各カメラ204の取付位置、取付角度、及びズームを表すデータは、カメラパラメータとして予め記憶部104に記憶される。但し、取付位置は、GPSアンテナ201の位置を基準とした相対位置である。各カメラ204の撮像範囲は、一例として、測量車の前方10mの距離において横20m×縦10mの範囲(対象領域という)が撮像されるように設定される。
 なお、本実施形態では、3台のカメラ204A,204B,204Cを使用した構成を説明するが、4台以上のカメラを使用してもよい。例えば、4台以上のカメラそれぞれのズームを、対象領域を2分割した範囲を撮像する「広角」、4分割した範囲を撮像する「中ズーム」、6分割した範囲を撮像する「大ズーム」のいずれかに設定し(即ち各カメラの撮像範囲はカメラ毎に異なる)、対象領域内の各点が全カメラのうち必ず3台のカメラで捉えられるように、各カメラの取付位置及び取付角度を調整した、多数カメラによるカメラシステムを採用してもよい。この場合、測量対象の地物の位置に応じて、即ち測量対象の地物が多数カメラのうちどのカメラに写っているかに応じて、上述したカメラ204A,204B,204Cに相当する3台のカメラを決定すればよい。
 LED206は、カメラ204による撮像タイミングを同期管理装置207において高精度(1ms(ミリ秒)の精度)で特定するために用いられる光源である。LED206は、各カメラ204がLED206からの発光を捉えることができるような位置に設置される。LED206の発光タイミングは、同期管理装置207によって制御される。
 車軸回転センサ205は、測量車の車輪の回転速度を検出するための磁気センサである。
 同期管理装置207は、GPS受信機202、姿勢計測器203、カメラ204、及び車軸回転センサ205によってそれぞれ計測されたデータの同期を取ってコンピュータ10に記憶させるための装置である。特に、同期管理装置207は、カメラ204による撮像タイミングを高精度に特定する処理を実施する。この処理の詳細については後述する。
<全体の動作>
 図2は、車載測量システム1の動作を示すフローチャートであり、コンピュータ10によって実施される処理の流れを表す。同図(A)の処理(ステップS11~ステップS13)は、計測ユニットによって計測を行う処理であり、測量車が道路等を走行する際に実施される。同図(B)の処理(ステップS14~ステップS17)は、計測ユニットによる計測結果を解析する処理であり、測量車が走行を終えた後、即ち同図(A)の処理とは別のタイミング(例えば後日)で実施される。
 ステップS11において、制御部100は、同期管理装置207から計測データを取得したか否かを判定する。計測データは、GPS受信機202からのGPSデータ、姿勢計測器203からの姿勢データ(ロール、ピッチ、ヨー)、及び各カメラ204からの撮像画像データを含む。更に計測データが車軸回転センサ205からの回転速度データを含んでもよい。これらの各計測データには、同期管理装置207によって、当該各計測データが計測された時刻を示す時刻情報が付されている。
 計測データが取得された場合、ステップS12において、制御部100は、その計測データを記憶部104に記憶させる。一方、計測データが取得されなかった場合、制御部100は、再びステップS11を繰り返す。
 ステップS13において、制御部100は、計測ユニットによる計測を終了するか否かを判定する。例えば、測量車が予定していた経路の終点に到達した時に、オペレータが操作部109を操作して計測の終了を指示する。この場合、制御部100は、オペレータから操作部109へ与えられた当該指示に基づいて、上記判定を行うことができる。
 計測を終了すると判定した場合、制御部100は、図2(A)のフローチャートの処理を終了する。一方、計測を終了しないと判定した場合、制御部100は、再びステップS11を繰り返す。この結果、多数の時刻における計測データが記憶部104に蓄積される。
 ステップS14において、制御部100は、メインカメラ204Aで撮像された1枚の撮像画像データを記憶部104から読み出し、当該撮像画像を表示部108に表示させる。
 ステップS15において、制御部100は、地物の座標計算が指示されたか否かを判定する。例えば、制御部100は、オペレータから操作部109へ与えられた入力に基づいて、この判定を行うことができる。
 地物の座標計算が指示された場合、ステップS16において、制御部100は、地物が存在している3次元空間上の位置(例えば、地物が道路上のどこに位置しているか)を表す3次元座標を計算する処理を実施する。この計算処理については後述する。一方、地物の座標計算が指示されなかった場合、制御部100は、再びステップS14を繰り返す。当該再実行されるステップS14においては、制御部100は、メインカメラ204Aで撮像された別の1枚(例えば、撮像時刻がより新しいもの)の撮像画像データを記憶部104から読み出し、当該撮像画像を表示部108に表示させる。
 ステップS17において、制御部100は、地物の座標計算を終了するか否かを判定する。例えば、制御部100は、オペレータから操作部109へ与えられた入力に基づいて、この判定を行うことができる。
 地物の座標計算を終了すると判定した場合、制御部100は、図2(B)のフローチャートの処理を終了する。一方、地物の座標計算を終了しないと判定した場合、制御部100は、再びステップS14を繰り返す。上記と同様、当該再実行されるステップS14においては、別の1枚の撮像画像データが記憶部104から読み出されて表示部108に表示される。
<地物の3次元座標の計算処理>
 図3は、車載測量システム1における、地物の3次元座標を計算する処理を示すフローチャートであり、上述した図2のステップS16の詳細を表す。このフローチャートの処理は、コンピュータ10のCPUによって実行される。
 ステップS21において、地物座標算出部103は、上述のステップS15で地物の座標計算が指示された時点で表示部108に表示されていたメインカメラ204Aの撮像画像データ(以下、メイン画像という)を、記憶部104から読み出す。また、地物座標算出部103は、当該読み出したメイン画像と同じ時刻情報が付された、第1サブカメラ204Bの撮像画像データ(以下、第1サブ画像という)と第2サブカメラ204Cの撮像画像データ(以下、第2サブ画像という)を、同様に記憶部104から読み出す。
 ステップS22において、位置・姿勢算出部101は、ステップS21で読み出したメイン画像と同じ時刻情報が付されたGPSデータと姿勢データを、記憶部104から読み出す。
 ステップS23において、位置・姿勢算出部101は、カメラパラメータ(各カメラ204の取付位置、取付角度、ズーム)を記憶部104から読み出す。
 ステップS24において、位置・姿勢算出部101は、ステップS22で読み出したGPSデータ及び姿勢データ、並びにステップS23で読み出したカメラパラメータに基づいて、各カメラ204の光軸と撮像範囲を特定する。具体的には、GPSデータからGPSアンテナ201の絶対座標を求めることができ、これに姿勢データ(観測台のロール、ピッチ、ヨー)及びカメラ取付位置(GPSアンテナ201を基準としたカメラ204の相対位置)を併せると、カメラ204の絶対座標を求めることができる。更に、カメラ取付角度(向き)及びカメラズームを併せることで、カメラ204の光軸と撮像範囲を特定することができる。
 ステップS25において、地物座標算出部103は、メイン画像内に写っている測量の対象とする地物上の1点(以下、測量点と称する)の画像座標を取得する。画像座標は撮像画像の縦と横のピクセル値で表される。例えば、オペレータが、表示部108に表示されているメイン画像内から測量の対象としたい地物を決定し、操作部109を用いて当該決定した地物の画像上の1点を指定する。この場合、地物座標算出部103は、オペレータによって指定された画像上の1点の画像座標を、測量点の画像座標とすることができる。
 ステップS26において、地物座標算出部103は、第1サブ画像及び第2サブ画像内から上記の測量点と同一の点(ステップS25で測量の対象とした地物上の測量点を第1サブカメラ204B又は第2サブカメラ204Cから捉えた1点)を抽出し、当該抽出した点(以下、参照点と称する)の画像座標を取得する。
 ステップS27において、地物座標算出部103は、ステップS24で特定したメインカメラ204Aの光軸及び撮像範囲と、ステップS25で取得した測量点の画像座標とに基づいて、測量点を通るメインカメラ204Aの視線ラインを特定する。ある点を通る視線ラインとは、撮像画像に写っている当該点の3次元空間内の位置とカメラとを結んだ直線のことである。また、地物座標算出部103は、同様に第1サブカメラ204B及び第2サブカメラ204Cそれぞれについて、参照点を通る視線ラインを特定する。
 ステップS28において、地物座標算出部103は、ステップS27で特定した3つの視線ラインに基づいて、測量対象である地物上の測量点の3次元座標を算出する。以下、算出方法の詳細を図4及び図5を参照し説明する。
 図4は、メイン画像における測量点と視線ラインの位置関係を示す図である。同図の例において、メイン画像は、道路上から路面を撮像した画像である。また、測量対象の地物は路面に描かれたセンターラインであり、センターライン上の1点が測量点Mに指定されている。
 図4(A)においては、第1サブカメラ204Bの視線ラインL1と第2サブカメラ204Cの視線ラインL2は、共にメイン画像上の測量点Mを通っている。この場合は、3台のカメラ204A,204B,204Cの位置及び姿勢は正しい状態に保たれており、いずれのカメラの撮像画像も測量点の3次元座標の計算に利用することが可能である。
 図4(B)においては、第1サブカメラ204Bの視線ラインL1はメイン画像上の測量点Mを通っているが、第2サブカメラ204Cの視線ラインL2は測量点Mを通っていない。この場合は、3台のカメラ204のうち第2サブカメラ204Cの位置と姿勢の少なくとも一方が、正しい状態からずれてしまっており、そのため、この第2サブカメラ204Cの撮像画像を測量点の3次元座標の計算に利用すると、座標の値に誤差を生じさせることとなる。
 図4(C)においては、第2サブカメラ204Cの視線ラインL2はメイン画像上の測量点Mを通っているが、第1サブカメラ204Bの視線ラインL1は測量点Mを通っていない。この場合は、3台のカメラ204のうち第1サブカメラ204Bの位置と姿勢の少なくとも一方が、正しい状態からずれてしまっており、そのため、この第1サブカメラ204Bの撮像画像を測量点の3次元座標の計算に利用すると、座標の値に誤差を生じさせることとなる。
 図4(D)においては、第1サブカメラ204Bの視線ラインL1と第2サブカメラ204Cの視線ラインL2は、共にメイン画像上の測量点Mを通っていない。この場合は、3台のカメラ204のうちメインカメラ204Aの位置と姿勢の少なくとも一方が、正しい状態からずれてしまっているという可能性が考えられる。そのため、このメインカメラ204Aの撮像画像を測量点の3次元座標の計算に利用すると、座標の値に誤差を生じさせることとなる。
 したがって、地物座標算出部103は、次のようにして測量点の3次元座標の算出を行う。
 図5は、上述したステップS28の処理の詳細を示すフローチャートである。
 ステップS31において、地物座標算出部103は、メイン画像上で視線ラインL1が測量点Mを通るか否かを判定する。
 メイン画像上で視線ラインL1が測量点Mを通る場合、ステップS32において、地物座標算出部103は、メインカメラ204Aの視線ラインと第1サブカメラ204Bの視線ラインL1の、3次元空間における交点を算出し、当該交点の3次元座標を、測量対象の地物(測量点M)の座標とする。これは、図4(A)及び(B)の場合に相当する。
 メイン画像上で視線ラインL1が測量点Mを通らない場合、ステップS33において、地物座標算出部103は、メイン画像上で視線ラインL2が測量点Mを通るか否かを判定する。この判定において、メイン画像上で視線ラインL2が測量点Mを通る場合、地物座標算出部103は、ステップS34を実行する。一方、この判定において、メイン画像上で視線ラインL2が測量点Mを通らない場合、地物座標算出部103は、ステップS35を実行する。
 ステップS34において、地物座標算出部103は、メインカメラ204Aの視線ラインと第2サブカメラ204Cの視線ラインL2の、3次元空間における交点を算出し、当該交点の3次元座標を、測量対象の地物(測量点M)の座標とする。これは、図4(C)の場合に相当する。
 ステップS35において、地物座標算出部103は、第1サブカメラ204Bの視線ラインL1と第2サブカメラ204Cの視線ラインL2の、3次元空間における交点を算出し、当該交点の3次元座標を、測量対象の地物(測量点M)の座標とする。これは、図4(D)の場合に相当する。
 このように、車載測量システム1は、視線ラインL1,L2が測量点Mを通るか否かに応じて、地物の3次元座標の計算に用いるカメラの組み合わせを適切に切り替える。これにより、カメラ204の位置や姿勢に変位が発生した場合であっても、測量の精度が劣化することを効果的に防止することができる。
 なお、メイン画像上における測量点Mと視線ラインL1及びL2の関係が図4(A)の状況である場合には、更に、第1サブ画像上の参照点を2つの視線ライン(メインカメラ204Aの視線ラインと第2サブカメラ204Cの視線ライン)が通り、且つ第2サブ画像上の参照点を2つの視線ライン(メインカメラ204Aの視線ラインと第1サブカメラ204Bの視線ライン)が通るという条件が満たされていれば、第1サブ画像と第2サブ画像から抽出(ステップS26参照)された上記の参照点は、測量点Mと同一の点(地物)であることが保証される。よって、このような確認を行うことで、算出された地物の3次元座標は妥当であることを検証することができる。一方、上記条件が満たされていなければ、第1サブ画像又は第2サブ画像から正しい参照点が抽出されなかった(例えば、測量点Mに類似した他の地物を参照点として誤って抽出してしまった等)ことになるので、そのような場合には、ステップS26を再実行して、適切な参照点を抽出し直すようにすることが好ましい。
 また、メイン画像上における測量点Mと視線ラインL1及びL2の関係が図4(D)の状況である場合には、メインカメラ204Aではなく、第1サブカメラ204B又は第2サブカメラ204Cの方がずれているという疑いも考え得る。そこで、第1サブ画像又は第2サブ画像をメイン画像として改めてステップS27以降の処理を実施すれば(第1サブカメラ204B又は第2サブカメラ204Cをメインカメラ204Aとみなすことに相当する)、第1サブカメラ204B又は第2サブカメラ204Cにずれがあるのか否かを判定することが可能である。但し、2台のカメラにずれがある場合には、地物の3次元座標は算出不能、又は算出値の精度は低いものとなる。
 なお、特定の1台のカメラ204から測量対象の地物を視認できない場合には、当該カメラを使用不可とし、他の2台のカメラを用いて地物の3次元座標を計算することとしてもよい。使用不可とされたカメラは、適宜、取付位置や取付角度を調整して、再度カメラパラメータを記憶部104に記憶させることで、再び使用可能とすることができる。
<1次キャリブレーション>
 図6は、車載測量システム1における1次キャリブレーションの処理を説明するための図である。1次キャリブレーションは、カメラ204のレンズの歪み等を校正する処理であり、例えばカメラ204を測量車から取り外した状態で予め実施される。
 1次キャリブレーションには、キャリブレーションシートが使用される。キャリブレーションシートは、平らな板等に格子状の模様を描いたシートである。格子を構成する各マス(隣接する4つの格子点を頂点とする四角形)の寸法(縦横各辺の長さ)は等しい。中心の4つのマスには黒点等の目印が描かれ、他のマスと区別されている。このキャリブレーションシートを各カメラ204で撮像し、撮像画像を記憶部104に保存しておく。図6にキャリブレーションシートを撮像した撮像画像61が示されている。同図のように、この撮像画像61は、中心付近と周辺部分とで、マスの寸法が異なっている。これは、カメラ204のレンズの歪み等によって生じたものである。
 1次キャリブレーション部105は、キャリブレーションシートを撮像した撮像画像61を記憶部104から読み出し、画像処理によりこの撮像画像61内の格子点Pを抽出して、各格子点Pの画像座標P(px,py)を取得する。また、1次キャリブレーション部105は、撮像画像61の中心に位置する4つのマスについて横辺の長さの平均値Hxと縦辺の長さの平均値Hyを算出し、本来の格子点Qの画像座標Q(qx,qy)を算出する。本来の格子点Qとは、レンズに歪み等を有しない理想的なカメラ204を用いてキャリブレーションシートを撮像した場合に、撮像画像内に写る格子点のことであり、qx=m×Hx,qy=n×Hy(但し、m及びnは整数)のように求めることができる。そして、1次キャリブレーション部105は、各格子点について画像座標Pと画像座標Qの差Δx=px-qx,Δy=py-qy(以下、補正値という)を計算し、この補正値を各格子点に対応付けて1次キャリブレーションデータとして記憶部104に記憶する。
 その後、1次キャリブレーション部105は、各カメラ204で撮像した撮像画像中の測量点や参照点(前述のステップS25及びステップS26を参照)を、記憶部104の1次キャリブレーションデータを用いて補正する。例えば、1次キャリブレーション部105は、測量点又は参照点の画像座標が属するマスを求め、当該マスの4つの頂点(格子点)の補正値Δx,Δyを線形補間することにより、当該測量点又は参照点の補正値を算出して、この補正値により測量点又は参照点の画像座標を補正する。これにより、カメラ204のレンズの歪み等の影響を低減することができる。
<2次キャリブレーションデータの作成>
 図7は、車載測量システム1における2次キャリブレーションデータの作成方法を説明するための図である。2次キャリブレーションデータの作成は、測量車が停止した状態で予め実施される。
 図7において、基準ポイント71は、測量車に対する相対位置が既知である点である。具体的には、測量車のGPSアンテナ201の位置座標を(0,0,h)として、例えば前方6~10m、左右10mの範囲に1m間隔で格子点72を設ける。但し、測量車のタイヤ接地面から測ったGPSアンテナ201の高さをhとする。各格子点72の上方の、例えば高さ0~1.6mの範囲に0.2m間隔で基準ポイント71を設ける。格子を描いた板73等を、格子点が各基準ポイント71と一致するように設置する。各カメラ204で板73上の各基準ポイント71を撮像し、撮像画像を記憶部104に保存しておく。
 2次キャリブレーション部106は、この撮像画像を記憶部104から読み出し、各基準ポイント71の撮像画像上の画像座標を検出する。また、2次キャリブレーション部106は、各基準ポイント71の既知の座標値とカメラパラメータに基づいて、各基準ポイント71が撮像画像のどこに写るはずであるかを計算する。この計算上の画像座標と上記の撮像画像から検出した画像座標との差を補正するのが、2次キャリブレーションである。
 2次キャリブレーション部106は、各基準ポイント71について、計算上の画像座標と撮像画像から検出した画像座標とを組にし、この画像座標の組を2次キャリブレーションデータとして記憶部104に記憶する。
<2次キャリブレーションの第1の実施方法>
 測量車が走行する道路の途中に、3次元座標が既知の基準点を設置しておく。2次キャリブレーションの第1の実施方法は、この基準点が写っている撮像画像を用いて地物の測量を行う際に適用される方法である。なお、基準点を特別に設置するのではなく、撮像画像内から3次元座標が既知の地物を抽出して、当該抽出した地物を上記の基準点として利用してもよい。
 図8は、2次キャリブレーションの第1の実施方法を説明するための図である。
 2次キャリブレーション部106は、撮像画像中から基準点を抽出し、その基準点の3次元座標を記憶部104の地図データから取得する。例えば、2次キャリブレーション部106は、基準点の既知の形状・色等に基づいて、所定のパターン認識等の画像処理を用いて撮像画像から基準点を抽出することができる。2次キャリブレーション部106は、取得した基準点の3次元座標に最近接する8点の基準ポイントP1~P8を記憶部104の2次キャリブレーションデータから抽出する。2次キャリブレーション部106は、抽出した各基準ポイントについて、2次キャリブレーションデータの2つの画像座標の差、即ち計算上の画像座標と撮像画像から検出した画像座標との差を計算し、その差を補正データとする。2次キャリブレーション部106は、8点の基準ポイントの補正データを各基準ポイントと基準点の距離に従って比例配分し、その結果を当該基準点の補正データとする。2次キャリブレーション部106は、このように求めた基準点の補正データに基づいて、撮像画像を補正する。
 以上のような2次キャリブレーションにより、撮像画像内に写っている基準点が既知の3次元座標と一致するように、撮像画像内の各点の画像座標を補正することができる。これにより、基準点を基準として地物の3次元座標を正確に算出することができる。
<2次キャリブレーションの第2の実施方法>
 2次キャリブレーションの第2の実施方法は、基準点以外の測量点の3次元座標を計算する際に適用される方法である。
 図9は、2次キャリブレーションの第2の実施方法を説明するための図である。
 2次キャリブレーション部106は、図3のステップS27で特定された、測量点又は参照点を通る視線ラインLについて、各視線ライン上の点であって高さが例えば0.0m,0.2m,0.4m,0.6m,0.8m,1.0m,1.2m,1.4m,1.6mである点(L1~L9の9点。但し、図9ではL1~L5の5点のみ示す)の3次元座標を計算する。2次キャリブレーション部106は、これら各点について、上述した2次キャリブレーションの第1の実施方法の場合と同様に、各点の最近接の8点の基準ポイントの補正データから当該各点の補正データを算出する。2次キャリブレーション部106は、各点L1~L9の3次元座標を各点の補正データに従って補正し、補正後の各点L1’~L9’までの距離の2乗の総和が最小となるように視線ラインを補正する。
 以上のように補正された視線ラインL’を図3のステップS27で特定される視線ラインとすることで、2次キャリブレーションデータに基づき地物の3次元座標を正確に算出することができる。
<姿勢データの補正処理>
 図10は、車載測量システム1における、姿勢データを補正する処理を説明するための図であり、姿勢データを補正するために用いる地物Nを遠方の地点Aから撮像した撮像画像10-1と、当該地物Nを接近した地点Bから撮像した撮像画像10-2を表す。姿勢データの補正処理は、図10のように地物Nを遠方地点A及び接近地点Bの両方から撮像した後の、任意の時点で実施することができる。
 姿勢補正部102は、オペレータから操作部109への入力に基づいて、ある地点Aにおいて撮像された撮像画像10-1を記憶部104から読み出し、当該撮像画像10-1内の地物Nを特定する。地物Nは、撮像画像10-1に写っている物体のうち、遠方に存在しているとオペレータが判断し、操作部109への入力によって指定した物体である。遠方とは、例えば、地点Aの前方150m付近である。
 姿勢補正部102は、記憶部104から読み出した撮像画像10-1に付されている時刻情報と同時刻のGPSデータと、姿勢データと、カメラパラメータとを記憶部104から読み出し、読み出したデータに基づき、前述のステップS24と同様にして、測量車が地点Aに位置している時のカメラ204の3次元座標C(Px,Py,Pz)、光軸、及び撮像範囲を求める。また、姿勢補正部102は、当該求めたカメラ204の光軸及び撮像範囲と、当該撮像画像10-1内の地物Nの画像座標N(Gx,Gy)とに基づき、前述のステップS27と同様にして、地点Aのカメラ204から見た地物Nを通る視線ラインを特定する。
 姿勢補正部102は、地物Nに接近した地点Bを特定し、当該地点Bにおいて撮像された撮像画像10-2(メイン画像、第1サブ画像、及び第2サブ画像)を記憶部104から読み出す。例えば、姿勢補正部102は、記憶部104に蓄積されている撮像画像の中から、地物Nが所定の大きさよりも大きく撮像されている撮像画像を選択することで、地物Nに接近した地点Bで撮像された撮像画像10-2を特定することができる。接近した地点とは、例えば、地物Nから10m手前の地点である。
 姿勢補正部102は、地点Bの撮像画像10-2(メイン画像、第1サブ画像、及び第2サブ画像)を用い、前述した図3のフローチャートの処理に従って地物Nの3次元座標N(Px,Py,Pz)を算出する。
 姿勢補正部102は、上記のように算出したカメラ204の3次元座標C(Px,Py,Pz)と地物Nの3次元座標N(Px,Py,Pz)とを結ぶ直線を特定する。これにより、測量車が地点Aに位置している時のカメラ204から見た、地物Nの方向が判明する。この直線は、姿勢データに誤差が含まれない場合には、上記特定した地点Aにおける地物Nの視線ラインと一致するが、姿勢データに誤差が含まれる場合には、両者は一致しない。
 姿勢補正部102は、上記直線と視線ラインとの角度の差を算出し、算出した角度差により姿勢データを補正する。
 このように、地点Bで求めた地物Nの3次元座標を用いることで、地点Aにおけるカメラ204の光軸を精度良く特定することができる。地点Bだけの情報に基づき求められる地物Nの3次元座標自体は、姿勢データに誤差が含まれる場合には精度が良くないが、地点Bから距離が離れた地点Aから見ると、その誤差の影響は小さいためである。したがって、補正された姿勢データを利用することにより、前述の図3における地物の3次元座標の算出精度を向上させることができる。
<同期管理装置による撮像タイミングの特定処理>
 図11は、同期管理装置207が実施する、カメラ204の撮像タイミングを特定する第1の処理を説明するためのタイミングチャートである。
 同図に示されるように、カメラ204のシャッターは、1フレーム期間のうちフレームの開始の瞬間から予め定められた時間が経過する瞬間までの一部の時間帯にのみ開状態に制御され、残りの時間帯は閉状態に制御される。1フレーム期間は例えば33.3667ミリ秒であり、シャッターが開状態の時間は例えば10ミリ秒である。
 同期管理装置207は、GPSデータを時刻の基準として、数分間に一度の頻度で間欠的にLED206を点灯させる制御を行う。LED206の点灯期間は、カメラ204による撮像の1フレーム期間乃至数フレーム期間である。図11には、LED206が、1フレーム目のシャッター開状態の途中から4フレーム目のシャッター閉状態の途中までの120ミリ秒間に亘って、点灯する様子が示されている。この場合には、撮像画像の1フレーム目、2フレーム目、3フレーム目、及び4フレーム目に点灯した状態のLED206が写り込み、0フレーム目より前及び5フレーム目より後の撮像画像には消灯した状態のLED206写り込む。
 同期管理装置207は、点灯状態のLED206が最初に写り込んだフレームの撮像時刻T1がLED206の点灯開始時刻T2であるとして、各撮像画像の時刻情報を記録する。図11の例では、1フレーム目の撮像画像の撮像時刻は、時刻T2であるとみなされる。これにより、各撮像画像の撮像時刻は、GPSデータの時刻を基準として、1フレーム期間以内の精度で特定することができる。
 図12は、同期管理装置207が実施する、カメラ204の撮像タイミングを特定する第2の処理を説明するためのタイミングチャートである。同図において、カメラ204のシャッターの開閉タイミングは上記の第1の処理(図11)と同じである。
 同期管理装置207は、GPSデータを時刻の基準として、LED206を1秒毎に1ミリ秒間、40回繰り返して点灯させる制御を行う。図12には、この点灯制御が撮像画像の1フレーム目の開始時刻と同時に開始される様子が示されている。
 同図において、LED206の1回目の点灯は、制御開始と同時、即ち撮像画像の1フレーム目内に行われる。
 また、LED206の2回目の点灯は、撮像画像の30フレーム目の終了時刻が1フレーム目の開始時刻から1001.001(=33.3667×30)ミリ秒後であることから、撮像画像の30フレーム目内に行われる。
 更に、LED206の3回目の点灯は、撮像画像の60フレーム目の終了時刻が1フレーム目の開始時刻から2002.002(=33.3667×60)ミリ秒後であることから、撮像画像の60フレーム目内に行われる。
 以降同様に、LED206の4回目の点灯は撮像画像の90フレーム目内に行われ、5回目の点灯は撮像画像の120フレーム目内に行われ、…(中略)…、33回目の点灯は撮像画像の960フレーム目内に行われ、34回目の点灯は撮像画像の990フレーム目内に行われる。
 図13は、上記の第2の処理における、LED206の点灯が行われる各フレーム期間内での点灯タイミングの詳細を示すタイミングチャートである。同図中に表記した時刻は、点灯制御の開始時刻(撮像画像の1フレーム目の開始時刻)からの経過時間を表す。
 撮像画像の1フレーム目においては、LED206の点灯が行われる点灯制御開始から1ミリ秒の期間は、当該フレームのシャッターが開状態の期間であるから、撮像画像の1フレーム目には点灯状態のLED206が写り込む。
 また、撮像画像の30フレーム目においては、LED206の点灯が行われる期間、即ち点灯制御の開始から1.000秒~1.001秒の期間は、当該フレームの開始から32ミリ秒~33ミリ秒の期間であり、シャッターが閉状態の期間に相当する。よって、撮像画像の30フレーム目には、消灯状態のLED206が写り込む。
 同様に、撮像画像の60フレーム目においては、LED206の点灯が行われる期間、即ち点灯制御の開始から2.000秒~2.001秒の期間は、当該フレームの開始から31ミリ秒~32ミリ秒の期間であり、シャッターが閉状態の期間に相当する。よって、撮像画像の60フレーム目には、消灯状態のLED206が写り込む。
 一方、撮像画像の930フレーム目においては、LED206の点灯が行われる期間、即ち点灯制御の開始から31.000秒~31.001秒の期間は、当該フレームの開始から2ミリ秒~3ミリ秒の期間であり、シャッターが開状態の期間に相当する。よって、撮像画像の930フレーム目には、点灯状態のLED206が写り込む。
 同様に、撮像画像の960フレーム目においては、LED206の点灯が行われる期間、即ち点灯制御の開始から32.000秒~32.001秒の期間は、当該フレームの開始から1ミリ秒~2ミリ秒の期間であり、シャッターが開状態の期間に相当する。よって、撮像画像の960フレーム目には、点灯状態のLED206が写り込む。また、撮像画像の990フレーム目においては、LED206の点灯が行われる期間、即ち点灯制御の開始から33.000秒~33.001秒の期間は、当該フレームの開始から0ミリ秒~1ミリ秒の期間であり、シャッターが開状態の期間に相当する。よって、撮像画像の990フレーム目には、点灯状態のLED206が写り込む。
 更に、撮像画像の1020フレーム目においては、LED206の点灯が行われる期間、即ち点灯制御の開始から34.000秒~34.001秒の期間は、当該フレームの開始から32ミリ秒~33ミリ秒の期間であり、シャッターが閉状態の期間に相当する。よって、撮像画像の1020フレーム目には、消灯状態のLED206が写り込む。
 このように、LED206の点灯開始のタイミングは、上記の各フレーム期間内を1ミリ秒ずつ早まる方向にずれていき、点灯状態のLED206が撮像画像に写り込んでいる最後のフレーム(990フレーム目)では、当該フレームの開始とLED206の点灯開始のタイミングが一致する。図12は点灯制御の開始が撮像画像の1フレーム目の開始時刻と同時である場合の例であるが、点灯制御の開始と撮像画像の1フレーム目の開始が同時でなくずれている場合も、同様に、点灯状態のLED206が撮像画像に写り込んでいる最後のフレームの開始は、LED206の点灯開始のタイミングと一致する。
 したがって、同期管理装置207は、点灯状態のLED206が最後に写り込んだフレームの撮像時刻を、LED206が当該フレームで点灯を開始する時刻と同時刻であるとして、各フレームの時刻の同期をとり、この同期した時刻によって各撮像画像の時刻情報を記録する。これにより、各撮像画像の撮像時刻は、GPSデータの時刻を基準として、1ミリ秒以内の精度で特定することができる。
<GPSデータを受信できない場合の動作>
 電波環境等により、GPS受信機202がGPSデータを受信できない場合がある。そのような場合、車載測量システム1は、トータルシステム(TS:トータルステーションともいう)を利用した測量を実施する。トータルシステムとは、地上に設置した位置が既知の基準点から赤外線等の電波を発し、計測点(測量車)に設置された反射鏡による電波の反射波を基準点で測定することにより、計測点の位置を算出する測量方式である。トータルシステムによる測量を実施するために、測量車の屋根には反射鏡が備えられる。
 基準点で測定された測量車の位置を表す位置情報は、基準点から測量車へ無線送信される。無線通信部107は、この位置情報を受信する。制御部100は、GPS受信機202からGPSデータを取得できなかった場合、GPSデータに代えて、無線通信部107により受信した位置情報を記憶部104に記憶させる。これにより、GPSデータを受信できない場合においても測量を続行することができる。
<オペレータに対する操作支援処理>
 走行ガイダンス部111は、測量経路を表示部108に表示させる。測量経路とは、測量車が測量を実施する際に走行する道路の開始点、経由点、終了点等であり、オペレータが測量の実施に先立ち予め操作部109を用いて記憶部104に記憶させておいた情報である。例えば、走行ガイダンス部111は、記憶部104に記憶されている地図データに基づく地図(道路)表示と共に、測量経路を表示部108に表示させてもよい。これにより、オペレータは、測量車をどの経路に沿って走行させればよいかを容易に把握することができる。また、走行ガイダンス部111は、測量経路を表示部108に表示させる際に、測量経路のうち走行済み(計測データを取得済み)の箇所や、現在地等も併せて表示させてもよい。これにより、オペレータは、測量の進捗状況を容易に把握することができる。
 機器状態監視部112は、GPS受信機202、姿勢計測器203、カメラ204、及び車軸回転センサ205の動作状態を常時監視し、各機器に異常が生じたか否かを判定して、オペレータに対してその判定結果を報知する。例えば、制御部100は、異常が生じた場合、表示部108に表示されている地図上に異常が発生した地点を示すマークや異常の種別を表す情報等を表示することにより、オペレータへの報知を行ってもよい。これにより、オペレータは、測量実施中にどこでどのような計測の異常が発生したかを容易に把握することができる。また、制御部100は、異常地点のマーク等を表示するに当たっては、オペレータから確認入力があるまでは一旦表示したマーク等の表示をそのまま継続するようにしてもよい。これにより、異常の発生したことが継続して表示部108に表示されるため、オペレータは常に表示部108を注視している必要がなく、道路上の安全な場所に測量車を停止させてから異常の確認をすればよい。よって、測量車の走行に対する安全を確保することができる。
 地図作成支援部113は、オペレータが測量結果を反映した地図を作成する際の操作を支援する処理を行う。例えば、地図作成支援部113は、地物座標算出部103が地物の3次元座標を算出した後に、当該地物の名称の候補(例えば、センターラインやL字側溝等)を表示部108に表示させ、オペレータが表示された候補の中から適切な地物を選択し操作部109へその選択結果を入力するのを受けて、当該選択された地物の名称を3次元座標と対応付けて記憶部104に記憶させる。なお、L字側溝等の長尺の地物の場合、当該地物の始点と終点の2点(他の点を含めた3点以上でもよい)について3次元座標を算出した後に、2点の3次元座標算出であることから地物が長尺であると判定し、地物の名称の候補を長尺の地物に限定して表示部108に表示させてもよい。これにより、オペレータは、測量した地物の名称を正しく、且つ簡便な操作で入力することができ、測量実施後の地図作成に掛かる労力を軽減することができる。
<オドメトリを用いた演算処理>
 図14は、測量車の車輪の車軸に取り付けられる回転検出用円板の構成図である。回転検出用円板の板面上であって第1の半径の円周上には、高速回転検出用マークM1が配置される。また、回転検出用円板の板面上であって第1の半径と異なる第2の半径の円周上には、低速回転検出用マークM2が配置される。高速回転検出用マークM1は、円周上にN1箇所設けられる。同図の例では、高速回転検出用マークM1は、円周上の回転角0°~90°の範囲と、180°~270°の範囲の2箇所に設けられている。また、低速回転検出用マークM2は、円周上にN2箇所設けられる。但し、N2>N1である。同図の例では、低速回転検出用マークM2は、10°置きに36箇所に設けられている。更に、高速回転検出用マークM1の円周上の1箇所には、回転方向検出用マークM3が配置される。高速回転検出用マークM1、低速回転検出用マークM2、及び回転方向検出用マークM3は、例えば鉄板等の磁性材料により構成される。この回転検出用円板の取付位置は、測量車の車輪の車軸のうち特に車輪の内面側とすることが好ましい。これにより、回転検出用円板が道路の障害物に当たって損傷してしまうことを防止することができる。
 車軸回転センサ205は、車両の回転に伴う高速回転検出用マークM1及び低速回転検出用マークM2の変位による磁界の変動を検出する。例えば、車軸回転センサ205が高速回転検出用マークM1又は低速回転検出用マークM2に相対した状態(マークM1又はM2を車軸回転センサ205が読み取った場合)では、大きい磁界が検出され、車軸回転センサ205が高速回転検出用マークM1又は低速回転検出用マークM2の円周上に並んだ各マーク間に相対した状態(マークの無い部分を車軸回転センサ205が読み取った場合)では、小さい磁界が検出される。この時、高速回転検出用マークM1による磁界変動の周期は、低速回転検出用マークM2による磁界変動の周期よりも長い。
 オドメトリ演算部110は、低速回転検出用マークM2による磁界変動の周期が予め定められた周期よりも長い場合、即ち測量車の車速が低速の場合には、低速回転検出用マークM2による磁界変動の周期に基づいて、速度を演算する。また、オドメトリ演算部110は、低速回転検出用マークM2による磁界変動の周期が予め定められた周期よりも短い場合、即ち測量車の車速が高速の場合には、高速回転検出用マークM1による磁界変動の周期に基づいて、速度を演算する。これにより、低速から高速までの広い速度範囲に亘って、精度良く測量車の車速を計測することができる。オドメトリ演算部110は、計測した車速に基づいて測量車の位置を検出することができる。この位置情報は、GPS受信機202からのGPSデータや無線通信部107からの位置情報の代わりに、又はそれらと共に、地物の3次元座標の計算に用いることができる。
 以上、本発明の実施形態を説明したが、本発明はこれに限定されず、その要旨を逸脱しない範囲内において様々な変更が可能である。
1    車載測量システム
10   コンピュータ
101  位置・姿勢算出部
102  姿勢補正部
103  地物座標算出部
104  記憶部
105  1次キャリブレーション部
106  2次キャリブレーション部
107  オドメトリ演算部
108  無線通信部
109  表示部
110  操作部
111  走行ガイダンス部
112  機器状態監視部
113  地図作成支援部
201  GPSアンテナ
202  GPS受信機
203  姿勢計測器
204A,204B,204C  カメラ
205  車軸回転センサ
206  LED
207  同期管理装置

Claims (9)

  1.  車両に搭載され測量を実施する車載測量システムであって、
     前記車両の位置情報を取得する位置情報取得手段と、
     前記車両の姿勢情報を取得する姿勢情報取得手段と、
     測量対象である地物を撮像する3台のカメラと、
     前記カメラと前記車両との相対位置情報及び相対姿勢情報並びに前記カメラの撮像範囲情報を記憶する記憶手段と、
     前記位置情報、前記姿勢情報、前記相対位置情報、前記相対姿勢情報、前記撮像範囲情報、及び前記カメラにより撮像した撮像画像に基づいて、前記地物を通る視線ラインを前記各カメラについて特定し、1台の前記カメラによる撮像画像における、前記地物と他の2台の前記カメラの視線ラインとの位置関係に基づいて、前記地物の3次元座標を算出する地物座標算出手段と、
     を備える車載測量システム。
  2.  前記地物座標算出手段は、前記1台のカメラによる撮像画像において前記地物を前記他の2台のカメラの視線ラインが通るか否かに応じて選択した2つの視線ラインの交点を、前記地物の3次元座標として算出する、請求項1に記載の車載測量システム。
  3.  前記地物座標算出手段は、前記1台のカメラによる撮像画像において前記地物を前記他の2台のカメラの視線ラインの一方が通る場合、当該視線ラインと前記1台のカメラの視線ラインとの交点を、前記地物の3次元座標として算出する、請求項1又は請求項2に記載の車載測量システム。
  4.  前記地物座標算出手段は、前記1台のカメラによる撮像画像において前記地物を前記他の2台のカメラの視線ラインのいずれもが通らない場合、前記他の2台のカメラの視線ラインの交点を、前記地物の3次元座標として算出する、請求項1から請求項3のいずれか1項に記載の車載測量システム。
  5.  地物を遠地点から撮像した撮像画像に基づいて前記地物を通る視線ラインを特定し、同一の地物を近地点から撮像した撮像画像に基づいて前記地物座標算出手段により算出された前記地物の3次元座標と前記遠地点における前記カメラの3次元座標とを結ぶ直線を特定し、前記特定した視線ラインと前記特定した直線との角度差に基づいて、前記姿勢情報取得手段により取得された姿勢情報を補正する姿勢補正手段を備える、請求項1から請求項4のいずれか1項に記載の車載測量システム。
  6.  前記カメラのフレーム期間T1の整数倍T1×nと異なる周期T2で期間T1×n-T2又はそれより短い期間点灯する発光手段と、
     前記カメラの撮像画像から前記発光手段の点灯が写り込んだフレームを抽出し、抽出したフレームの撮像時刻を前記発光手段の点灯時刻に基づいて特定する同期管理手段と、
     を備える、請求項1から請求項5のいずれか1項に記載の車載測量システム。
  7.  前記地物座標算出手段によって3次元座標を算出した地物の名称の候補をオペレータに案内する支援手段を備える、請求項1から請求項6のいずれか1項に記載の車載測量システム。
  8.  前記測量車に対する相対位置が既知である基準ポイントに対応する撮像画像内の画像座標と前記カメラによって撮像された撮像画像内の前記基準ポイントの画像座標とを含むキャリブレーションデータを作成し、前記地物座標算出手段によって特定された視線ライン上の点を前記キャリブレーションデータに基づいて補正し、補正後の点に基づいて前記視線ラインを補正するキャリブレーション手段を備える、請求項1から請求項7のいずれか1項に記載の車載測量システム。
  9.  円周上に第1周期で配置された第1マーク及び円周上に第2周期で配置された第2マークを有し、前記測量車の車輪に取り付けられた回転板と、
     前記第1マーク及び前記第2マークの変位を検出するセンサと、
     前記センサによって検出された前記第1マーク及び前記第2マークの変位に基づいて前記測量車の速度を算出するオドメトリ演算手段と、
     を備える、請求項1から請求項8のいずれか1項に記載の車載測量システム。
PCT/JP2012/065563 2012-05-18 2012-06-19 車載測量システム WO2013171912A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012114462A JP5122693B1 (ja) 2012-05-18 2012-05-18 車載測量システム
JP2012-114462 2012-05-18

Publications (1)

Publication Number Publication Date
WO2013171912A1 true WO2013171912A1 (ja) 2013-11-21

Family

ID=47692879

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/065563 WO2013171912A1 (ja) 2012-05-18 2012-06-19 車載測量システム

Country Status (2)

Country Link
JP (1) JP5122693B1 (ja)
WO (1) WO2013171912A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11460299B2 (en) * 2017-09-20 2022-10-04 Topcon Corporation Survey system

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016057108A (ja) * 2014-09-08 2016-04-21 株式会社トプコン 演算装置、演算システム、演算方法およびプログラム
DE102017201669A1 (de) * 2017-02-02 2018-08-02 Robert Bosch Gmbh Verfahren und Vorrichtung zur Aktualisierung einer digitalen Karte
JP7142280B2 (ja) * 2017-10-30 2022-09-27 株式会社フジタ 検査対象物の状態評価装置
US20230184943A1 (en) 2020-05-27 2023-06-15 Nec Corporation Abnormality detection system, abnormality detection device, abnormality detection method, and computer readable medium
WO2024009749A1 (ja) * 2022-07-05 2024-01-11 ソニーグループ株式会社 信号処理装置、信号処理方法、およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01165913A (ja) * 1987-12-23 1989-06-29 Hitachi Ltd 移動物体の三次元位置測定装置
JPH04191607A (ja) * 1990-11-26 1992-07-09 Toshiba Corp 3次元計測方法
JPH07287764A (ja) * 1995-05-08 1995-10-31 Omron Corp 立体視方法およびその方法が用いられる立体認識装置
JP2001004647A (ja) * 1999-06-17 2001-01-12 Nippon Signal Co Ltd:The 回転速度検出装置
JP2004138556A (ja) * 2002-10-18 2004-05-13 Kumamoto Technology & Industry Foundation カーナビゲーションシステム
JP2005062083A (ja) * 2003-08-19 2005-03-10 Komatsu Engineering Corp 位置誤差補正機能を持つ測量システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01165913A (ja) * 1987-12-23 1989-06-29 Hitachi Ltd 移動物体の三次元位置測定装置
JPH04191607A (ja) * 1990-11-26 1992-07-09 Toshiba Corp 3次元計測方法
JPH07287764A (ja) * 1995-05-08 1995-10-31 Omron Corp 立体視方法およびその方法が用いられる立体認識装置
JP2001004647A (ja) * 1999-06-17 2001-01-12 Nippon Signal Co Ltd:The 回転速度検出装置
JP2004138556A (ja) * 2002-10-18 2004-05-13 Kumamoto Technology & Industry Foundation カーナビゲーションシステム
JP2005062083A (ja) * 2003-08-19 2005-03-10 Komatsu Engineering Corp 位置誤差補正機能を持つ測量システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11460299B2 (en) * 2017-09-20 2022-10-04 Topcon Corporation Survey system

Also Published As

Publication number Publication date
JP2013242186A (ja) 2013-12-05
JP5122693B1 (ja) 2013-01-16

Similar Documents

Publication Publication Date Title
US11865708B2 (en) Domestic robotic system
WO2013171912A1 (ja) 車載測量システム
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
JP4600357B2 (ja) 測位装置
US9013576B2 (en) Aerial photograph image pickup method and aerial photograph image pickup apparatus
JP5762483B2 (ja) 前方車両搭載プロセッサユニット及び後続車両搭載プロセッサユニット
US8239131B2 (en) Navigation device, navigation method, and navigation program
JP5227110B2 (ja) Gps付全方位カメラ及び空間データ収集装置
JP5337658B2 (ja) 広角撮像装置及び測定システム
KR20190102665A (ko) 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법
WO2010117297A1 (ru) Способ определения позиции и ориентации прицепа транспортного средства и устройство для его осуществления
US10200670B2 (en) Method and apparatus for determining the 3D coordinates of an object
CN101842660A (zh) 检查车辆姿态的装置和方法
JP6070206B2 (ja) 位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラム
US20190145769A1 (en) Surveying device, and calibration checking method and calibration checking program for surveying device
KR20130067851A (ko) 차량 위치 인식 장치 및 방법
JP7050425B2 (ja) 測量システム
CN110402368A (zh) 用在交通工具导航中的集成式的基于视觉的惯性传感器系统
JP2018146524A (ja) 測量システム
JP2021512313A (ja) 鉄道線路上の関心点または線を位置特定するための方法
JP5085230B2 (ja) 移動体システム
JP6763656B2 (ja) 走行ガイドシステム
KR20140090388A (ko) 가변형 타원 패턴을 갖는 차량용 카메라의 교정 지표 및 이를 이용한 교정방법
JP7401192B2 (ja) 車両位置提示システム、これに利用する車載器、車両位置提示方法、および車両位置提示用プログラム
KR101348801B1 (ko) 이미지 합성에 따른 도화이미지 내 지형물 변형 편집을 위한 지아이에스 기반 영상처리용 편집시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12876828

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12876828

Country of ref document: EP

Kind code of ref document: A1