WO2013145072A1 - カメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置 - Google Patents

カメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置 Download PDF

Info

Publication number
WO2013145072A1
WO2013145072A1 PCT/JP2012/057707 JP2012057707W WO2013145072A1 WO 2013145072 A1 WO2013145072 A1 WO 2013145072A1 JP 2012057707 W JP2012057707 W JP 2012057707W WO 2013145072 A1 WO2013145072 A1 WO 2013145072A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
angle value
designated
points
Prior art date
Application number
PCT/JP2012/057707
Other languages
English (en)
French (fr)
Inventor
吉田　光伸
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2012/057707 priority Critical patent/WO2013145072A1/ja
Priority to KR1020147029093A priority patent/KR101614338B1/ko
Priority to JP2014507044A priority patent/JP5844454B2/ja
Publication of WO2013145072A1 publication Critical patent/WO2013145072A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to, for example, a camera calibration method, a camera calibration program, and a camera calibration device for calibrating a posture angle value of a camera of a mobile mapping system (MMS).
  • MMS mobile mapping system
  • a mobile that runs on a road with a measuring vehicle equipped with measuring devices such as a laser scanner, camera, and positioning device, surveys the road and surroundings based on data acquired by running the measuring vehicle, and generates a three-dimensional map
  • a mapping system MMS (see, for example, Patent Documents 1 to 3).
  • An object of the present invention is to make it possible to easily calculate the attitude angle value of a camera with higher accuracy, for example.
  • the calibration method of the present invention Executed using a camera calibration device including a camera attitude angle value storage unit, an image storage unit, a point cloud data storage unit, a specified point input unit, a specified point calculation unit, a reference image display unit, and a camera attitude angle value correction unit.
  • the camera posture angle value storage unit is a storage unit that stores a camera posture angle value indicating an attachment angle of a camera attached to a moving body
  • the image storage unit has a first image obtained by imaging the ground with a straight line by the camera attached to the moving body, and the moving body is at a position different from that at the time of capturing the first image.
  • a storage unit that stores a second image obtained by imaging the ground with the camera when The camera coordinate value storage unit includes a first camera coordinate value indicating a coordinate value of the camera at the time of capturing the first image and a second camera indicating a coordinate value of the camera at the time of capturing the second image.
  • the point cloud data storage unit is a storage unit that stores point cloud data as data including a plurality of coordinate values indicating a plurality of points on the ground.
  • the designated point input unit displays the first image, and inputs a plurality of points in the first image designated along the straight line in the displayed first image as a plurality of designated points from a user.
  • the designated point calculation unit calculates a point group indicating the plurality of points on the ground based on the first camera coordinate value, the camera attitude angle value, and the plurality of coordinate values included in the point group data. Projecting on one image, calculating the coordinate value of each of the plurality of designated points based on the point group projected on the first image, The reference image display unit determines the plurality of designated points based on the coordinate values, the second camera coordinate values, and the camera attitude angle values of the plurality of designated points calculated by the designated point calculation unit.
  • the camera posture angle value correction unit Projecting to a second image, displaying the second image projected the plurality of designated points as a reference image, The camera posture angle value correction unit inputs posture angle value correction information specified to correct the camera posture angle value stored in the camera posture angle value storage unit from the user, and the posture angle value correction Based on the information, the camera posture angle value stored in the camera posture angle value storage unit is corrected.
  • the posture angle value of the camera can be easily calculated with higher accuracy.
  • FIG. 1 is an external view showing a measurement vehicle 100 of a mobile mapping system in Embodiment 1.
  • FIG. FIG. 2 is a functional configuration diagram illustrating a calibration apparatus 200 according to the first embodiment.
  • FIG. 3 is a diagram showing an outline of a calibration method of the calibration apparatus 200 in the first embodiment.
  • FIG. 3 is a diagram showing an outline of a calibration method of the calibration apparatus 200 in the first embodiment.
  • FIG. 3 is a diagram showing an outline of a calibration method of the calibration apparatus 200 in the first embodiment.
  • 5 is a flowchart showing a calibration method of the calibration apparatus 200 in the first embodiment.
  • FIG. 3 is a schematic diagram of a designated line input process (S110) in the first embodiment.
  • FIG. 3 is a schematic diagram showing a point group projection process in the first embodiment.
  • FIG. 6 shows an example of a reference image 321 (roll angle shift) in the first embodiment.
  • FIG. 6 shows an example of a reference image 321 (roll angle shift) in the first embodiment.
  • FIG. 6 shows an example of a reference image 321 (pitch angle deviation) in the first embodiment.
  • FIG. 6 shows an example of a reference image 321 (pitch angle deviation) in the first embodiment.
  • FIG. 6 shows an example of a reference image 321 (a yaw angle shift) in the first embodiment.
  • FIG. 6 shows an example of a reference image 321 (a yaw angle shift) in the first embodiment.
  • 6 is a table showing an example of correction conditions for posture angle values of the camera 111A in the first embodiment.
  • FIG. 3 is a diagram illustrating an example of hardware resources of the calibration apparatus 200 according to the first embodiment.
  • Embodiment 1 A method for calibrating (calculating, correcting or adjusting) the attitude angle value of a camera attached to a measurement vehicle of a mobile mapping system (MMS) will be described. However, the method described in the first embodiment may be used to calibrate the attitude angle value of a camera attached to a vehicle other than the measurement vehicle of the mobile mapping system.
  • MMS mobile mapping system
  • a mobile mapping system is a vehicle that travels on a road with a measuring vehicle equipped with measuring devices such as a laser scanner, camera, and positioning device, and measures the road and surroundings based on data acquired by driving the measuring vehicle.
  • measuring devices such as a laser scanner, camera, and positioning device
  • This is a system for generating an original map (see, for example, Patent Documents 1 to 3).
  • FIG. 1 is an external view showing a measurement vehicle 100 of the mobile mapping system in the first embodiment.
  • a measurement vehicle 100 of the mobile mapping system in the first embodiment will be described with reference to FIG.
  • the measurement vehicle 100 (an example of a moving body) is a vehicle (cart) equipped with a measurement unit 110 and an odometer 120.
  • the measurement unit 110 is installed on the top plate of the measurement vehicle 100, and the odometer 120 is installed on the axle of the measurement vehicle 100.
  • the measurement unit 110 includes six cameras 111A-F, four laser scanners 112A-D, three GPS receivers 113A-C (GPS: Global Positioning System), and one IMU 114 (Internal Measurement Unit). ) As a measuring instrument. However, the measurement unit 110 may include a different number of measurement devices from those in FIG.
  • the cameras 111A-F are devices that capture an image of the periphery of the measurement vehicle 100.
  • the camera 111A images the right front of the measurement vehicle 100
  • the camera 111B images the left front of the measurement vehicle 100.
  • the camera 111C images the right side of the measuring vehicle 100
  • the camera 111D images the left side of the measuring vehicle 100.
  • the camera 111E images the right rear of the measurement vehicle 100
  • the camera 111F images the left rear of the measurement vehicle 100.
  • the laser scanners 112A-D are apparatuses that irradiate laser light and measure the distance and direction to the point (measurement point) where the laser light is irradiated.
  • the laser scanner 112 ⁇ / b> A measures the front lower side of the measurement vehicle 100
  • the laser scanner 112 ⁇ / b> B measures the rear upper side of the measurement vehicle 100.
  • the laser scanner 112 ⁇ / b> C measures the upper front side of the measurement vehicle 100
  • the laser scanner 112 ⁇ / b> D measures the lower rear side of the measurement vehicle 100.
  • the GPS receivers 113A-C are devices that perform positioning based on an antenna that receives a positioning signal from a positioning satellite and a reception result.
  • GPS is an example of a positioning system (GNSS: Global Navigation Satellite Systems).
  • the GPS receivers 113A-C may be receivers that use positioning systems other than GPS (such as GLONASS: Global Navigation Satellite System, Galileo, Quasi-Zenith Satellite System, etc.).
  • the IMU 114 is a device (gyro sensor and acceleration sensor) that measures angular velocities in three axial directions (X, Y, Z).
  • the odometer 120 is a device that measures the traveling speed of the measurement vehicle 100.
  • the X axis represents the traveling direction of the measurement vehicle 100
  • the Y axis represents the height direction of the measurement vehicle 100
  • the Z axis represents the width direction of the measurement vehicle 100.
  • “ ⁇ ” represents a rotation angle (roll angle) around the X axis
  • “ ⁇ ” represents a rotation angle (yaw angle or azimuth angle) around the Y axis
  • “ ⁇ ” represents a rotation angle around the Z axis ( Pitch angle or elevation angle).
  • “O” represents the origin of the coordinate axis of the measurement vehicle 100. That is, the coordinate value of the measurement vehicle 100 means the coordinate value of the origin O.
  • the posture angle values (roll angle, yaw angle, pitch angle) of the cameras 111A-F are set in the mapping device for surveying the road and the road periphery and generating a three-dimensional map.
  • the vehicle 100 travels on the road surface (ground) on which a straight line is written, and data is collected by each measuring device provided in the measuring unit 110.
  • the calibration apparatus described below calibrates the attitude angle value of the cameras 111A-F using data collected by each measurement device of the measurement unit 110.
  • FIG. 2 is a functional configuration diagram illustrating the calibration apparatus 200 according to the first embodiment. A functional configuration of the calibration apparatus 200 according to the first embodiment will be described with reference to FIG.
  • the calibration device 200 (an example of a camera calibration device) may be mounted on the measurement vehicle 100 (see FIG. 1).
  • the calibration apparatus 200 includes a designated line input unit 210, a designated line calculation unit 220, a reference image display unit 230, a camera posture angle value correction unit 240, and a calibration storage unit 290.
  • the calibration storage unit 290 (an example of a camera posture angle value storage unit, an image storage unit, a camera coordinate value storage unit, and a point cloud data storage unit) stores data used by the calibration device 200.
  • the calibration storage unit 290 stores a plurality of road surface images 291, camera coordinate value data 292, three-dimensional point group data 293, and camera attitude angle value data 299.
  • a plurality of road surface images 291 are data obtained by taking images with the cameras 111A-F when the measurement vehicle 100 is at different positions, and roads with straight lines ( The ground).
  • a plurality of road surface images 291 obtained by the camera 111A are stored in the calibration storage unit 290 together with the imaging time.
  • a plurality of road surface images 291 obtained by the cameras 111B-F are also stored in the calibration storage unit 290 together with the imaging time.
  • the camera coordinate value data 292 (an example of the first camera coordinate value and the second camera coordinate value) is data including the three-dimensional coordinate values of the cameras 111A-F when a plurality of road surface images 291 are captured. .
  • the three-dimensional coordinate values of the cameras 111A-F are set in the camera coordinate value data 292 in association with the time.
  • the three-dimensional coordinate value of the camera 111A-F is obtained by adding the three-dimensional vector (distance) from the coordinate origin to the mounting position of the camera 111A-F to the three-dimensional coordinate value (coordinate value of the coordinate origin) of the measuring vehicle 100. Value.
  • the three-dimensional coordinate value of the measurement vehicle 100 is obtained by inertial navigation (strap down calculation, dead reckoning calculation) using the positioning result of the GPS receiver 113 and the measurement data of the IMU 114 or the odometer 120.
  • the attachment positions (x cam , y cam , z cam ) of the cameras 111A-F can be easily calculated with high accuracy by the method disclosed in Patent Document 4. Assume that the camera coordinate value data 292 is generated in advance and stored in the calibration storage unit 290.
  • the three-dimensional point group data 293 is data including three-dimensional coordinate values of a plurality of measurement points (for example, a plurality of points on the road surface) measured by the laser scanner 112A-D.
  • the three-dimensional coordinate value of each measurement point is a value obtained by adding the three-dimensional vector represented by the measurement value (distance and azimuth) of the laser scanner 112A-D to the three-dimensional coordinate value of the laser scanner 112A-D.
  • the three-dimensional coordinate value of the laser scanner 112A-D is the same as the three-dimensional coordinate value of the camera 111A-F, and the three-dimensional vector from the coordinate origin to the mounting position of the laser scanner 112A-D is the three-dimensional coordinate value of the measuring vehicle 100.
  • the mounting position (x lrf , y lrf , z lrf ) and the mounting angle ( ⁇ lrf , ⁇ lrf , ⁇ lrf ) of the laser scanner 112A-D are easily calculated with high accuracy by the method disclosed in Patent Document 4. be able to. It is assumed that the three-dimensional point group data 293 is generated in advance and stored in the calibration storage unit 290.
  • the camera attitude angle value data 299 is data including the values of the mounting angles (roll angle ⁇ cam , yaw angle ⁇ cam , pitch angle ⁇ cam ) of each of the cameras 111A-F.
  • the value of the attachment angle is referred to as “posture angle value” (an example of a camera posture angle value).
  • the design value of the measurement unit 110 (camera 111A-F attachment angle) is set as the posture angle value of the camera 111A-F.
  • the posture angle values of the cameras 111A-F set in the camera posture angle value data 299 are the actual posture angles of the cameras 111A-F.
  • the posture angle values of the cameras 111A-F set in the camera posture angle value data 299 are adjusted by the calibration device 200. Assume that the camera attitude angle value data 299 is generated in advance and stored in the calibration storage unit 290. However, the posture angle value of the camera 111A-F indicated by the camera posture angle value data 299 is not an accurate value and includes an error.
  • the designation line input unit 210, the designation line calculation unit 220, the reference image display unit 230, and the camera posture angle value correction unit 240 use the data stored in the calibration storage unit 290 to calculate the posture angle value of the camera 111A as follows. Adjust as follows. Each component also adjusts the attitude angle values of the other cameras 111B-F in the same manner.
  • the designated line input unit 210 (an example of a designated point input unit and a designated point acquisition unit) displays the first road surface image 291a obtained by the camera 111A, and the user designates it along a straight line in the road surface image 291.
  • Straight line information (an example of a plurality of designated points) is input as a designated line. Details of the processing of the designation line input unit 210 will be described later.
  • the designated line calculation unit 220 includes a three-dimensional coordinate value of the camera 111A when the first road surface image 291a is captured, a posture angle value of the camera 111A indicated by the camera posture angle value data 299, and three-dimensional point cloud data 293. Based on the three-dimensional coordinate values included in the image, a point group indicating a plurality of measurement points measured by the laser scanner 112A-D is projected onto the first road surface image 291a. The designated line calculation unit 220 calculates the three-dimensional coordinate value of the designated line based on the point group projected on the first road surface image 291a. Details of the processing of the designated line calculation unit 220 will be described later.
  • the reference image display unit 230 (an example of the reference image generation unit) captures the three-dimensional coordinate value of the designated line calculated by the designated line calculation unit 220 and the second road surface image 291b obtained by the camera 111A.
  • the designated line is projected onto the second road surface image 291b based on the three-dimensional coordinate value of the camera 111A and the posture angle value of the camera 111A indicated by the camera posture angle value data 299.
  • the reference image display unit 230 displays the second road surface image 291b on which the designated line is projected as a reference image. Details of the processing of the reference image display unit 230 will be described later.
  • the camera posture angle value correction unit 240 inputs posture angle value correction information specified by the user to correct the posture angle value of the camera 111A.
  • the camera posture angle value correcting unit 240 corrects the posture angle value of the camera 111A based on the posture angle value correction information. Details of the processing of the camera attitude angle value correction unit 240 will be described later.
  • 3, 4, and 5 are diagrams illustrating an outline of the calibration method of the calibration apparatus 200 according to the first embodiment. An outline of the calibration method of the calibration apparatus 200 according to the first embodiment will be described with reference to FIGS.
  • the calibration apparatus 200 displays a first road surface image 291 a obtained by capturing an image of a road surface with horizontal lines 301 and vertical lines 302 displayed on a display 911 (display device).
  • the user draws lines (horizontal designation line 303 and vertical designation line 304) along the horizontal line 301 and vertical line 302 of the first road surface image 291a using an input device (keyboard, mouse, etc.).
  • the calibration apparatus 200 uses the horizontal designation line 303 and the vertical designation line 304 based on the attitude angle value of the camera 111 and the three-dimensional coordinate value of the camera 111 and the three-dimensional point cloud data 293 when the first road surface image 291a is captured.
  • the three-dimensional coordinate value (point group) of is calculated.
  • the calibration device 200 displays an image (second road surface image 291 b) when the measurement vehicle 100 moves forward or backward with respect to the horizontal line 301 and the vertical line 302 on the display 911.
  • the calibration apparatus 200 applies the horizontal designation line 303 and the vertical designation line 304 (a plurality of reference points 311 described later) to the second based on the three-dimensional coordinate values (point group) of the horizontal designation line 303 and the vertical designation line 304. It is described in the road surface image 291b.
  • the horizontal designation line 303 and the vertical designation line 304 are deviated from the horizontal line 301 and the vertical line 302 (FIG. 4), the user instructs the calibration device 200 to correct the posture angle value of the camera 111 and performs calibration.
  • the apparatus 200 corrects the posture angle value of the camera 111.
  • the posture angle value of the camera 111 is correctly adjusted.
  • FIG. 6 is a flowchart illustrating a calibration method of the calibration apparatus 200 according to the first embodiment.
  • a calibration method of the calibration apparatus 200 that calibrates the attitude angle value of the camera 111A indicated by the camera attitude angle value data 299 will be described with reference to FIG.
  • the calibration apparatus 200 similarly calibrates the attitude angle values of the other cameras 111B-F.
  • the designated line input unit 210 acquires one road surface image 291 obtained by the camera 111A from the calibration storage unit 290, and displays the acquired road surface image 291 on the display 911.
  • one road surface image 291 displayed in S110 is referred to as a “first road surface image 291a”.
  • the first road surface image 291a is an image showing a road surface with a straight line (for example, a white line).
  • the designation line input unit 210 displays the first road surface image 291a as follows. (1) The calibration device 200 is mounted on the measurement vehicle 100, and the designation line input unit 210 displays on the display the road surface image 291 first obtained by the camera 111A as the first road surface image 291a when calibration is executed. indicate. (2) The designation line input unit 210 acquires a plurality of road surface images 291 obtained by the camera 111A from the calibration storage unit 290, and displays the acquired plurality of road surface images 291 on the display 911 as thumbnails. Then, the user selects one road surface image 291 by using the input device, and the designation line input unit 210 displays the selected road surface image 291 on the display 911 as the first road surface image 291a. (3) The designation line input unit 210 randomly selects one road surface image 291 from the plurality of road surface images 291 obtained by the camera 111A, and displays the selected road surface image 291 on the display as the first road surface image 291a. .
  • FIG. 7 is a schematic diagram of the designated line input process (S110) in the first embodiment. The continuation of the designated line input process (S110) will be described with reference to FIG.
  • the first road surface image 291a includes two white lines (horizontal line 301 and vertical line 302) having different directions.
  • a horizontal line 301 (an example of the first straight line) is a white line extending in the horizontal direction from the vertical direction of the image
  • a vertical line 302 (an example of the second straight line) is a white line extending in the vertical direction from the horizontal direction of the image. is there.
  • the horizontal line 301 and the vertical line 302 may be straight lines other than the white line marked on the road (for example, a line drawn on the ground for calibration).
  • the user refers to the first road surface image 291a displayed on the display 911, specifies the horizontal designation line 303 using the input device along the horizontal line 301 reflected in the first road surface image 291a, and A vertical designation line 304 is designated using the input device along the vertical line 302 shown in the road surface image 291a.
  • the horizontal designation line 303 is an example of a plurality of points designated along the horizontal line 301
  • the vertical designation line 304 is an example of a plurality of points designated along the vertical line 302.
  • the designation line input unit 210 inputs the designated horizontal designation line 303 and vertical designation line 304 from the input device.
  • the horizontal designation line 303 and the vertical designation line 304 are expressed as coordinate values of designated pixels.
  • the designated line calculation unit 220 acquires the attitude angle value of the camera 111A from the camera attitude angle value data 299, and is the same as the imaging time of the first road surface image 291a from the camera coordinate value data 292.
  • the three-dimensional coordinate value of the camera 111A at the time is acquired.
  • the designated line calculation unit 220 acquires the focal length f of the camera 111 ⁇ / b> A from the calibration storage unit 290.
  • the focal length f of the camera 111A is stored in advance in the calibration storage unit 290.
  • the designated line calculation unit 220 acquires the 3D point cloud data 293 from the calibration storage unit 290.
  • the designated line calculation unit 220 uses the acquired attitude angle value, three-dimensional coordinate value, focal length f of the camera 111A, and a plurality of three-dimensional coordinate values included in the acquired three-dimensional point cloud data 293 to perform laser scanner scanning.
  • a point group indicating a plurality of measurement points measured by 112A-D is projected onto the first road surface image 291a.
  • FIG. 8 is a schematic diagram showing point cloud projection processing in the first embodiment. The process of projecting a point cloud on the first road surface image 291a will be described with reference to FIG.
  • the designated line calculation unit 220 calculates an image plane I that is separated from the camera center point O indicated by the three-dimensional coordinate value of the camera 111A by a focal length f and orthogonal to the attitude angle vector V A indicated by the attitude angle value of the camera 111A.
  • the image plane I is a plane corresponding to the first road surface image 291a.
  • the designated line calculation unit 220 calculates a line-of-sight vector V L from the camera center point O to the measurement point M indicated by the three-dimensional coordinate value of the three-dimensional point cloud data 293, and the line-of-sight vector V L and the image plane I intersect.
  • the point M ′ is calculated as the projection point of the measurement point M.
  • Projection processing is processing for associating pixels of the road surface image 291 with measurement points indicated by the three-dimensional coordinate values of the three-dimensional point cloud data 293.
  • Patent Document 1 see FIG. 24
  • Patent Document 3 see FIG. 10
  • FIG. 9 is a diagram illustrating a point group projected on the first road surface image 291a in the first embodiment.
  • the designated line calculation unit 220 may or may not display the point cloud projected on the first road surface image 291a as shown in FIG.
  • the description of the designated line calculation process (S120) will be continued.
  • the designation line calculation unit 220 calculates the three-dimensional coordinate value of the horizontal designation line 303 based on the three-dimensional coordinate value of the point group projected on the first road surface image 291a.
  • the designated line calculation unit 220 calculates the three-dimensional coordinate value of the vertical designated line 304 in the same manner as the three-dimensional coordinate value of the horizontal designated line 303.
  • the designated line calculation unit 220 calculates the three-dimensional coordinate value of the horizontal designated line 303 as follows.
  • the designated line calculation unit 220 selects a plurality of points from the horizontal designated line 303.
  • the designated line calculation unit 220 surrounds a plurality of neighboring points (for example, surrounding the first selected point) projected in the vicinity of the first selected point of the horizontal designated line 303 from the point group projected on the first road surface image 291a. Three neighboring points) are extracted.
  • the designated line calculation unit 220 calculates the three-dimensional coordinate value of the intermediate point of the extracted plurality of neighboring points as the three-dimensional coordinate value of the first selected point of the horizontal designated line 303.
  • the designated line calculation unit 220 similarly calculates three-dimensional coordinate values for other selected points of the horizontal designated line 303.
  • the three-dimensional coordinate values of these selected points represent the three-dimensional coordinate values of the horizontal designation line 303.
  • the point cloud projected on the first road surface image 291a using the posture angle value of the camera 111A is not projected at the correct position with respect to the first road surface image 291a. .
  • the horizontal designation line 303 and the vertical designation line 304 calculated based on the point cloud projected on the first road surface image 291a are projected onto another road surface image 291, the horizontal designation line 303 and the vertical designation line 304 are different from each other. Is projected onto a portion deviated from the horizontal line 301 and the vertical line 302 shown in the road surface image 291. After S120, the process proceeds to S130.
  • the reference image display unit 230 acquires one road surface image 291 (except for the first road surface image 291a) obtained by the camera 111A from the calibration storage unit 290.
  • one road surface image 291 acquired in S130 is referred to as a “second road surface image 291b”.
  • the second road surface image 291b is an image showing the same straight line as the straight line (horizontal line 301, vertical line 302) shown in the first road surface image 291a.
  • the reference image display unit 230 acquires the second road surface image 291b as follows. (1) The measurement vehicle 100 equipped with the calibration device 200 is moved forward (or moved backward) with respect to the horizontal line 301 and the vertical line 302. Then, the reference image display unit 230 acquires a road surface image 291 obtained by the camera 111A as the second road surface image 291b when the measurement vehicle 100 moves forward (or moves backward) with respect to the horizontal line 301 and the vertical line 302. (2) The reference image display unit 230 includes the road surface image 291 or the first road surface image 291a obtained before (eg, immediately before) the first road surface image 291a based on the imaging time of each road surface image 291.
  • the road surface image 291 obtained later (for example, one after) is acquired as the second road surface image 291b.
  • the user selects the road surface image 291 and the reference image display unit 230 acquires the selected road surface image 291 as the second road surface image 291b.
  • the reference image display unit 230 acquires the posture angle value of the camera 111A from the camera posture angle value data 299, and the three-dimensional coordinate value of the camera 111A at the same time as the imaging time of the second road surface image 291b from the camera coordinate value data 292. To get. Further, the reference image display unit 230 acquires the focal length f of the camera 111 ⁇ / b> A from the calibration storage unit 290. The reference image display unit 230 uses the acquired attitude angle value, three-dimensional coordinate value, focal length f of the camera 111A, and the three-dimensional coordinate values of each measurement point projected as a plurality of reference points 311 in S120, The horizontal designation line 303 and the vertical designation line 304 are projected onto the second road surface image 291b.
  • the projection method of the horizontal designation line 303 and the vertical designation line 304 is the same as S120.
  • the reference image display unit 230 displays the second road surface image 291b on which the horizontal designation line 303 and the vertical designation line 304 are projected on the display 911.
  • the second road surface image 291b in which the horizontal designation line 303 and the vertical designation line 304 are projected is referred to as a “reference image 321”.
  • FIGS. 10 and 11 are diagrams illustrating an example of the reference image 321 (roll angle shift) in the first embodiment.
  • the horizontal designation line 303 and the vertical designation line 304 of the reference image 321 are the horizontal line 301 and the vertical designation line 304, respectively. It is displayed in a portion shifted from the line 302 in the roll angle direction (see FIGS. 10 and 11). That is, the horizontal designation line 303 is shifted in a different direction in the vertical direction with respect to the horizontal line 301 between the right side portion and the left side portion of the reference image 321. Further, the vertical designation line 304 is shifted to the left or right with respect to the vertical line 302.
  • FIGS. 12 and 13 are diagrams illustrating an example of the reference image 321 (pitch angle deviation) in the first embodiment.
  • the horizontal designation line 303 and the vertical designation line 304 of the reference image 321 are the horizontal line 301 and the vertical designation line 304, respectively. It is displayed at a portion shifted from the line 302 in the direction of the pitch angle (see FIGS. 12 and 13). That is, the horizontal designation line 303 and the vertical designation line 304 are shifted either up or down with respect to the horizontal line 301 or the vertical line 302.
  • FIGS. 14 and 15 are diagrams illustrating an example of the reference image 321 (yaw angle deviation) in the first embodiment.
  • the horizontal designation line 303 of the reference image 321 is displayed without being shifted from the horizontal line 301. (Or the shift with respect to the horizontal line 301 is small), and the vertical designation line 304 of the reference image 321 is displayed shifted to the left or right with respect to the vertical line 302.
  • the user refers to the reference image 321 (see FIGS. 10 to 15) displayed in S130 (or S160 described later), and the horizontal designation line 303 and the vertical designation line 304 are displayed. It is determined whether or not the horizontal line 301 and the vertical line 302 are deviated, and the determination result is designated using the input device.
  • the camera posture angle value correction unit 240 inputs the specified determination result from the input device.
  • the process proceeds to S150.
  • a determination result indicating that the horizontal designation line 303 and the vertical designation line 304 are not shifted from the horizontal line 301 and the vertical line 302 is input (NO)
  • the processing of the calibration method ends.
  • the user uses an attitude angle value correction amount (an example of attitude angle value correction information) for correcting the attitude angle value of the camera 111A included in the camera attitude angle value data 299. Specify using the input device.
  • the posture angle value correction amount indicates an angle to be added (or subtracted) to any of the roll angle, pitch angle, and yaw angle of the camera 111A.
  • the posture angle value correction amount may include a plurality of angles that are added (or subtracted) to a plurality of angles among the roll angle, the pitch angle, and the yaw angle.
  • the camera posture angle value correction unit 240 inputs the specified posture angle value correction amount from the input device, and adds the input posture angle value correction amount to the posture angle value of the camera 111A included in the camera posture angle value data 299 (or Subtract). Thereby, the posture angle value of the camera 111A is corrected (updated). However, the user specifies the corrected posture angle value of the camera 111A (an example of posture angle value correction information), and the camera posture angle value correction unit 240 sets the specified posture angle value of the camera 111A as camera posture angle value data. 299 may be overwritten.
  • the user shifts the horizontal designation line 303 and the vertical designation line 304 from the horizontal line 301 and the vertical line 302 indicated by the reference image 321 (see FIGS. 10 to 15) displayed in S130 (or S160 described later). Based on this, the posture angle value correction amount (or the posture angle value after correction) is determined.
  • FIG. 16 is a table illustrating an example of conditions for correcting the posture angle value of the camera 111A according to the first embodiment.
  • the user determines the orientation for correcting the posture angle value (roll angle, pitch angle or yaw angle) according to the table shown in FIG.
  • the user designates a larger correction amount as the deviation amount is larger.
  • the direction of deviation and correction shown in FIG. 16 is such that when the measurement vehicle 100 approaches the horizontal line 101 and the vertical line 302, the first road surface image 291a is captured by the camera 111A facing forward to the right, and the measurement vehicle 100 captures the horizontal line 101.
  • the direction of deviation and correction when the second road surface image 291b (reference image 321) is imaged by the camera 111A when moving away from the vertical line 302.
  • the directions of deviation or correction are different.
  • an image captured when the measuring vehicle 100 moves away from the horizontal line 101 and the vertical line 302 is used as the first road surface image 291a
  • an image captured when the measuring vehicle 100 approaches the horizontal line 101 and the vertical line 302 is When used as the second road surface image 292b, the direction of deviation or correction is different.
  • the direction of deviation or correction is opposite to the direction shown in FIG.
  • the horizontal designation line 303 is shifted downward with respect to the horizontal line 301 on the right side of the reference image 321, the horizontal designation line 303 is shifted upward with respect to the horizontal line 301 on the left side of the reference image 321, and the vertical designation line 304 is vertical.
  • the user designates a posture angle value correction amount for correcting the roll angle angle of the camera 111A in the clockwise direction.
  • the horizontal designation line 303 is shifted upward with respect to the horizontal line 301 on the right side of the reference image 321, the horizontal designation line 303 is shifted downward with respect to the horizontal line 301 on the left side of the reference image 321, and the vertical designation line 304 is vertical. If the line 302 is shifted to the left (see FIG. 11), the user designates a posture angle value correction amount that corrects the roll angle of the camera 111A in the left rotation direction.
  • the user may determine which of the roll angle and the pitch angle of the camera 111A is to be corrected and specify the posture angle value correction amount as follows.
  • the deviation of the horizontal designation line 303 with respect to the horizontal line 301 and the deviation of the vertical designation line 304 with respect to the vertical line 302 are approximately the same size (see FIGS. 10 and 11)
  • the user can determine the angle of the yaw angle of the camera 111A.
  • the horizontal designation line 303 is shifted to either the upper or lower side with respect to the horizontal line 301 on both the left and right sides of the reference image 321 (see FIGS. 14 and 15)
  • the user does not use the roll angle of the camera 111A but the yaw angle. Specifies the amount of posture angle value correction to correct the angle.
  • the reference image display unit 230 uses the attitude angle value of the camera 111A corrected in S150, by the first road surface image 291a, the second road surface image 291b, or the camera 111A. A plurality of reference points 311 are projected onto the obtained third road surface image 291c. Thereby, a reference image 321 is newly generated.
  • the projection method is the same as S120 and S130.
  • the reference image display unit 230 displays the newly generated reference image 321 on the display. After S160, the process returns to S140.
  • the posture angle value of the camera 111A can be corrected and the correct posture angle value of the camera 111A can be calculated.
  • the calibration apparatus 200 corrects the posture angle values of the cameras 111B-F in the same manner as the posture angle value of the camera 111A, and calculates the correct posture angle values of the cameras 111B-F.
  • FIG. 17 is a diagram illustrating an example of hardware resources of the calibration apparatus 200 according to the first embodiment.
  • a calibration apparatus 200 (an example of a computer) includes a CPU 901 (Central Processing Unit).
  • the CPU 901 is connected to hardware devices such as a ROM 903, a RAM 904, a communication board 905 (communication device), a display 911 (display device), a keyboard 912, a mouse 913, a drive 914, and a magnetic disk device 920 via a bus 902.
  • Control hardware devices is a device that reads and writes a storage medium such as an FD (Flexible Disk Drive), a CD (Compact Disc), and a DVD (Digital Versatile Disc).
  • FD Flexible Disk Drive
  • CD Compact Disc
  • DVD Digital Versatile Disc
  • the ROM 903, the RAM 904, the magnetic disk device 920, and the drive 914 are examples of storage devices.
  • a keyboard 912, a mouse 913, and a communication board 905 are examples of input devices.
  • the display 911 and the communication board 905 are examples of output devices.
  • the communication board 905 is wired or wirelessly connected to a communication network such as a LAN (Local Area Network), the Internet, or a telephone line.
  • a communication network such as a LAN (Local Area Network), the Internet, or a telephone line.
  • the magnetic disk device 920 stores an OS 921 (operating system), a program group 922, and a file group 923.
  • OS 921 operating system
  • program group 922 program group 922
  • file group 923 file group 923
  • the program group 922 includes a program for executing a function described as “unit” in the embodiment.
  • a program for example, a camera calibration program
  • the program causes the computer to function as “to part” and causes the computer to execute the procedures and methods of “to part”.
  • the file group 923 includes various data (input, output, determination result, calculation result, processing result, etc.) used in “ ⁇ part” described in the embodiment.
  • arrows included in the configuration diagrams and flowcharts mainly indicate input and output of data and signals.
  • the processing of the embodiment described based on the flowchart and the like is executed using hardware such as the CPU 901, a storage device, an input device, and an output device.
  • what is described as “to part” may be “to circuit”, “to apparatus”, and “to device”, and “to step”, “to procedure”, and “to processing”. May be. That is, what is described as “ ⁇ unit” may be implemented by any of firmware, software, hardware, or a combination thereof.
  • the posture angle value of the camera 111 can be easily calibrated with high accuracy.
  • the processing of the calibration method described with reference to FIG. 3 may be performed as follows.
  • the user may designate a plurality of points along each of the horizontal line 301 and the vertical line 302 instead of designating the horizontal designation line 303 and the vertical designation line 304.
  • the designation line input unit 210 calculates a straight line including a plurality of points designated along the horizontal line 301 as the horizontal designation line 303 and calculates a straight line including the plurality of points designated along the vertical line 302 as the vertical designation line. Calculated as 304.
  • the calibration apparatus 200 replaces the horizontal designation line 303 and the vertical designation line 304 with a plurality of points designated along the horizontal line 301 and a plurality of points designated along the vertical line 302 to perform processing of the calibration method. May be executed.
  • the user may designate only the horizontal designation line 303.
  • the horizontal designation line 303 is deviated from the horizontal line 301 in the camera attitude angle value correction processing (S150)
  • the user designates an attitude angle value correction amount for correcting the roll angle value or pitch angle value of the camera 111.
  • the user may designate only the vertical designation line 304.
  • the vertical designation line 304 is deviated from the vertical line 302 in the camera attitude angle value correction processing (S150)
  • the user corrects the roll angle value, the pitch angle value, or the yaw angle value of the camera 111. Specifies the angle value correction amount.
  • the calibration apparatus 200 may calculate the horizontal designation line 303 and the vertical designation line 304 instead of the user designating the horizontal designation line 303 and the vertical designation line 304.
  • the designation line input unit 210 may not display the first road surface image 291a.
  • the designated line input unit 210 performs image processing on the first road surface image 291a, and an edge portion of a straight line (for example, a white line) reflected on the first road surface image 291a based on the pixel value of the first road surface image 291a.
  • a horizontal designation line 303 and a vertical designation line 304 are calculated as a horizontal designation line 303 and a vertical designation line 304.
  • the calibration apparatus 200 determines whether the horizontal designation line 303 and the vertical designation line 304 are deviated from the horizontal line 301 and the vertical line 302, instead of being judged by the user. Also good.
  • the reference image display unit 230 may not display the reference image 321.
  • the camera attitude angle value correction unit 240 performs image processing on the reference image 321 and calculates a portion where a straight line (for example, a white line) appears based on the pixel value of the reference image 321 as a horizontal line 301 and a vertical line 302.
  • the camera posture angle value correction unit 240 compares the horizontal designation line 303 and vertical designation line 304 projected on the reference image 321 with the horizontal line 301 and vertical line 302 projected on the reference image 321. When the horizontal designation line 303 and the vertical designation line 304 are deviated from the horizontal line 301 and the vertical line 302 by a predetermined deviation amount threshold value or more, the camera posture angle value correction unit 240 displays the horizontal designation line 303 and the vertical designation line 304. Is deviated from the horizontal line 301 and the vertical line 302.
  • the calibration device 200 may calculate the posture angle value correction amount instead of the user specifying the posture angle value correction amount.
  • the camera posture angle value correction unit 240 compares the horizontal designation line 303 and the vertical designation line 304 with the horizontal line 301 and the vertical line 302 as in the above-described correction necessity determination process (S140), and the horizontal designation line 303. The direction and amount of displacement of the vertical designation line 304 with respect to the horizontal line 301 and the vertical line 302 are calculated. Then, the camera posture angle value correction unit 240 calculates the posture angle value correction amount according to the correction conditions described with reference to FIG. The camera attitude angle value correction unit 240 determines whether or not the deviation is large based on whether or not the deviation amount is larger than a predetermined deviation amount threshold value.
  • 100 measurement vehicle 110 measurement unit, 111 camera, 112 laser scanner, 113 GPS receiver, 114 IMU, 120 odometer, 200 calibration device, 210 specified line input unit, 220 specified line calculation unit, 230 reference image display unit, 240 Camera posture angle correction unit, 290 calibration storage unit, 291 road surface image, 292 camera coordinate value data, 293 three-dimensional point cloud data, 299 camera posture angle value data, 301 horizontal line, 302 vertical line, 303 horizontal designation line, 304 Vertical designation line, 321 reference image, 901 CPU, 902 bus, 903 ROM, 904 RAM, 905 communication board, 911 display, 912 keyboard, 913 mouse, 914 drive, 920 magnetic disk Location, 921 OS, 922 program group, 923 files.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　指定線入力部２１０は第一の路面画像２９１を表示し、利用者は路面画像２９１内の直線を指定する。指定線算出部２２０は、カメラ姿勢角値データ２９９が示すカメラの姿勢角値と三次元点群データ２９３に含まれる複数の三次元座標値とを用いてレーザスキャナによって計測された複数地点を示す点群を第一の路面画像２９１に投影し、第一の路面画像２９１に投影した点群に基づいて指定線の座標値を算出する。参照画像表示部２３０は、指定線をカメラの姿勢角値を用いて第二の路面画像２９１に投影し、指定線を投影した第二の路面画像２９１を参照画像として表示する。利用者は第二の路面画像２９１内の直線と第二の路面画像２９１に投影された指定線とのずれに応じてカメラの姿勢角値を修正するための修正量を指定し、カメラ姿勢角値修正部２４０は指定された修正量に基づいてカメラの姿勢角値を修正する。

Description

カメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置
　本発明は、例えば、モービルマッピングシステム（ＭＭＳ）のカメラの姿勢角値をキャリブレーションするためのカメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置に関するものである。
　レーザスキャナ、カメラ、測位装置などの計測機器を取り付けた計測車両で道路を走行し、計測車両を走行させて取得したデータに基づいて道路および道路周辺を測量し、また三次元地図を生成するモービルマッピングシステム（ＭＭＳ）がある（例えば、特許文献１から３参照）。
　モービルマッピングシステムにおいて、道路および道路周辺の測量や三次元地図の生成を高い精度に行うためには、レーザスキャナやカメラを取り付けた位置および姿勢角を高い精度で計測する必要がある。
　そこで、レーザスキャナやカメラの取り付け位置および姿勢角を容易に高い精度で算出する方法が提案されている（特許文献４参照）。
国際公開２００８／０９９９１５号パンフレット 国際公開２０１０／０２４２１２号パンフレット 特開２００９－０５３０５９号公報 特開２０１０－１７５４２３号公報
　本発明は、例えば、カメラの姿勢角値をより高い精度で容易に算出できるようにすることを目的とする。
　本発明のキャリブレーション方法は、
　カメラ姿勢角値記憶部と画像記憶部と点群データ記憶部と指定点入力部と指定点算出部と参照画像表示部とカメラ姿勢角値修正部とを備えるカメラキャリブレーション装置を用いて実行する。
　前記カメラキャリブレーション方法において、
　前記カメラ姿勢角値記憶部は、移動体に取り付けられたカメラの取り付け角度を示すカメラ姿勢角値を記憶する記憶部であり、
　前記画像記憶部は、前記移動体に取り付けられた前記カメラによって、直線が記された地面を撮像して得られる第一画像と、前記移動体が前記第一画像の撮像時とは異なる位置にいるときに前記カメラによって前記地面を撮像して得られる第二画像とを記憶する記憶部であり、
　前記カメラ座標値記憶部は、前記第一画像の撮像時の前記カメラの座標値を示す第一のカメラ座標値と、前記第二画像の撮像時の前記カメラの座標値を示す第二のカメラ座標値とを記憶する記憶部であり、
　前記点群データ記憶部は、前記地面の複数地点を示す複数の座標値を含むデータとして点群データを記憶する記憶部である。
　前記キャリブレーション方法において、
　前記指定点入力部が、前記第一画像を表示し、表示した前記第一画像内の前記直線に沿って指定される前記第一画像内の複数点を複数の指定点として利用者から入力し、
　前記指定点算出部が、前記第一のカメラ座標値と前記カメラ姿勢角値と前記点群データに含まれる前記複数の座標値とに基づいて前記地面の前記複数地点を示す点群を前記第一画像に投影し、前記第一画像に投影した前記点群に基づいて前記複数の指定点それぞれの座標値を算出し、
　前記参照画像表示部が、前記指定点算出部によって算出された前記複数の指定点それぞれの座標値と前記第二のカメラ座標値と前記カメラ姿勢角値とに基づいて前記複数の指定点を前記第二画像に投影し、前記複数の指定点を投影した前記第二画像を参照画像として表示し、
　前記カメラ姿勢角値修正部が、前記カメラ姿勢角値記憶部に記憶された前記カメラ姿勢角値を修正するために指定される姿勢角値修正情報を利用者から入力し、前記姿勢角値修正情報に基づいて前記カメラ姿勢角値記憶部に記憶された前記カメラ姿勢角値を修正する。
　本発明によれば、例えば、カメラの姿勢角値をより高い精度で容易に算出することができる。
実施の形態１におけるモービルマッピングシステムの計測車両１００を示す外観図。 実施の形態１におけるキャリブレーション装置２００を示す機能構成図。 実施の形態１におけるキャリブレーション装置２００のキャリブレーション方法の概要を示す図。 実施の形態１におけるキャリブレーション装置２００のキャリブレーション方法の概要を示す図。 実施の形態１におけるキャリブレーション装置２００のキャリブレーション方法の概要を示す図。 実施の形態１におけるキャリブレーション装置２００のキャリブレーション方法を示すフローチャート。 実施の形態１における指定線入力処理（Ｓ１１０）の概要図。 実施の形態１における点群の投影処理を示す概要図。 実施の形態１における第一の路面画像２９１ａに投影した点群を表す図。 実施の形態１における参照画像３２１（ロール角のずれ）の一例を示す図。 実施の形態１における参照画像３２１（ロール角のずれ）の一例を示す図。 実施の形態１における参照画像３２１（ピッチ角のずれ）の一例を示す図。 実施の形態１における参照画像３２１（ピッチ角のずれ）の一例を示す図。 実施の形態１における参照画像３２１（ヨー角のずれ）の一例を示す図。 実施の形態１における参照画像３２１（ヨー角のずれ）の一例を示す図。 実施の形態１におけるカメラ１１１Ａの姿勢角値の修正条件の一例を示す表。 実施の形態１におけるキャリブレーション装置２００のハードウェア資源の一例を示す図。
　実施の形態１．
　モービルマッピングシステム（ＭＭＳ）の計測車両に取り付けたカメラの姿勢角値をキャリブレーション（算出、修正または調整）する方法について説明する。
　但し、実施の形態１で説明する方法は、モービルマッピングシステムの計測車両以外の車両に取り付けられたカメラの姿勢角値をキャリブレーションするために用いても構わない。
　モービルマッピングシステムとは、レーザスキャナ、カメラ、測位装置などの計測機器を取り付けた計測車両で道路を走行し、計測車両を走行させて取得したデータに基づいて道路および道路周辺を測量し、また三次元地図を生成するシステムである（例えば、特許文献１から３参照）。
　図１は、実施の形態１におけるモービルマッピングシステムの計測車両１００を示す外観図である。
　実施の形態１におけるモービルマッピングシステムの計測車両１００について、図１に基づいて説明する。
　計測車両１００（移動体の一例）は、計測ユニット１１０やオドメータ１２０を装備した車両（台車）である。
　計測ユニット１１０は計測車両１００の天板の上に設置され、オドメータ１２０は計測車両１００の車軸に設置されている。
　計測ユニット１１０は、６台のカメラ１１１Ａ－Ｆと、４台のレーザスキャナ１１２Ａ－Ｄと、３台のＧＰＳ受信機１１３Ａ－Ｃ（ＧＰＳ：Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）と、１台のＩＭＵ１１４（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）とを計測機器として備える。
　但し、計測ユニット１１０は、図１と異なる台数の計測機器を異なる配置で備えてもよい。
　カメラ１１１Ａ－Ｆは、計測車両１００の周囲を撮像する装置である。
　カメラ１１１Ａは計測車両１００の右前方を撮像し、カメラ１１１Ｂは計測車両１００の左前方を撮像する。
　カメラ１１１Ｃは計測車両１００の右側方を撮像し、カメラ１１１Ｄは計測車両１００の左側方を撮像する。
　カメラ１１１Ｅは計測車両１００の右後方を撮像し、カメラ１１１Ｆは計測車両１００の左後方を撮像する。
　レーザスキャナ１１２Ａ－Ｄはレーザ光を照射し、レーザ光を照射した地点（計測地点）までの距離および方位を計測する装置である。
　レーザスキャナ１１２Ａは計測車両１００の前側下方を計測し、レーザスキャナ１１２Ｂは計測車両１００の後ろ側上方を計測する。
　レーザスキャナ１１２Ｃは計測車両１００の前側上方を計測し、レーザスキャナ１１２Ｄは計測車両１００の後ろ側下方を計測する。
　ＧＰＳ受信機１１３Ａ－Ｃは、測位衛星から測位信号を受信するアンテナおよび受信結果に基づいて測位する装置である。
　但し、ＧＰＳは測位システム（ＧＮＳＳ：Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍｓ）の一例である。ＧＰＳ受信機１１３Ａ－Ｃは、ＧＰＳ以外の測位システム（ＧＬＯＮＡＳＳ：Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ、Ｇａｌｉｌｅｏ、準天頂衛星システムなど）を利用する受信機であっても構わない。
　ＩＭＵ１１４は、３軸方向（Ｘ，Ｙ，Ｚ）の角速度を計測する装置（ジャイロセンサおよび加速度センサ）である。
　オドメータ１２０は、計測車両１００の走行速度を計測する装置である。
　図１において、Ｘ軸は計測車両１００の進行方向を表し、Ｙ軸は計測車両１００の高さ方向を表し、Ｚ軸は計測車両１００の幅方向を表す。
　また、「φ」はＸ軸回りの回転角（ロール角）を表し、「θ」はＹ軸回りの回転角（ヨー角または方位角）を表し、「ψ」はＺ軸周りの回転角（ピッチ角または仰角）を表している。
　「Ｏ」は計測車両１００の座標軸の原点を表す。つまり、計測車両１００の座標値は原点Ｏの座標値を意味する。
　カメラ１１１Ａ－Ｆの姿勢角値（ロール角、ヨー角、ピッチ角）は、道路および道路周辺を測量し、また三次元地図を生成するためにマッピング装置に設定される。
　マッピング装置に設定するカメラ１１１Ａ－Ｆの姿勢角値をキャリブレーションする場合、直線が記された路面（地面）を計測車両１００で走行し、計測ユニット１１０に備わる各計測機器によってデータを収集する。
　以降で説明するキャリブレーション装置は、計測ユニット１１０の各計測機器によって収集されるデータを用いて、カメラ１１１Ａ－Ｆの姿勢角値をキャリブレーションする。
　図２は、実施の形態１におけるキャリブレーション装置２００を示す機能構成図である。
　実施の形態１におけるキャリブレーション装置２００の機能構成について、図２に基づいて説明する。
　キャリブレーション装置２００（カメラキャリブレーション装置の一例）は、計測車両１００（図１参照）に搭載しても構わない。
　キャリブレーション装置２００は、指定線入力部２１０、指定線算出部２２０、参照画像表示部２３０、カメラ姿勢角値修正部２４０およびキャリブレーション記憶部２９０を備える。
　キャリブレーション記憶部２９０（カメラ姿勢角値記憶部、画像記憶部、カメラ座標値記憶部、点群データ記憶部の一例）は、キャリブレーション装置２００で使用するデータを記憶する。
　例えば、キャリブレーション記憶部２９０は、複数の路面画像２９１、カメラ座標値データ２９２、三次元点群データ２９３およびカメラ姿勢角値データ２９９を記憶する。
　複数の路面画像２９１（第一画像、第二画像の一例）は、計測車両１００が異なる位置にいるときにカメラ１１１Ａ－Ｆによって撮像して得られたデータであり、直線が記された道路（地面）を映している。
　カメラ１１１Ａによって得られた複数の路面画像２９１は、撮像時刻と共にキャリブレーション記憶部２９０に記憶する。同様に、カメラ１１１Ｂ－Ｆそれぞれによって得られた複数の路面画像２９１も撮像時刻と共にキャリブレーション記憶部２９０に記憶する。
　カメラ座標値データ２９２（第一のカメラ座標値、第二のカメラ座標値の一例）は、複数の路面画像２９１が撮像されたときのカメラ１１１Ａ－Ｆの三次元座標値を含んだデータである。カメラ１１１Ａ－Ｆの三次元座標値は時刻に対応付けてカメラ座標値データ２９２に設定されている。
　カメラ１１１Ａ－Ｆの三次元座標値は、計測車両１００の三次元座標値（座標原点の座標値）に座標原点からカメラ１１１Ａ－Ｆの取り付け位置までの三次元ベクトル（距離）を加算して得られる値である。例えば、計測車両１００の三次元座標値は、ＧＰＳ受信機１１３の測位結果およびＩＭＵ１１４またはオドメータ１２０の計測データを用いた慣性航法（ストラップダウン演算、デッドレコニング演算）によって得られる。
　カメラ１１１Ａ－Ｆの取り付け位置（ｘｃａｍ，ｙｃａｍ，ｚｃａｍ）は、特許文献４に開示されている方法によって高い精度で容易に算出することができる。
　カメラ座標値データ２９２は予め生成されてキャリブレーション記憶部２９０に記憶してあるものとする。
　三次元点群データ２９３（点群データの一例）は、レーザスキャナ１１２Ａ－Ｄが計測した複数の計測地点（例えば、路面の複数地点）それぞれの三次元座標値を含んだデータである。
　各計測地点の三次元座標値は、レーザスキャナ１１２Ａ－Ｄの三次元座標値にレーザスキャナ１１２Ａ－Ｄの計測値（距離および方位）が表す三次元ベクトルを加算して得られる値である。レーザスキャナ１１２Ａ－Ｄの三次元座標値は、カメラ１１１Ａ－Ｆの三次元座標値と同様に、計測車両１００の三次元座標値に座標原点からレーザスキャナ１１２Ａ－Ｄの取り付け位置までの三次元ベクトル（距離）を加算して得られる。
　レーザスキャナ１１２Ａ－Ｄの取り付け位置（ｘｌｒｆ，ｙｌｒｆ，ｚｌｒｆ）および取り付け角度（φｌｒｆ，θｌｒｆ，ψｌｒｆ）は、特許文献４に開示されている方法によって高い精度で容易に算出することができる。
　三次元点群データ２９３は、予め生成されてキャリブレーション記憶部２９０に記憶してあるものとする。
　カメラ姿勢角値データ２９９は、カメラ１１１Ａ－Ｆそれぞれの取り付け角度（ロール角φｃａｍ，ヨー角θｃａｍ，ピッチ角ψｃａｍ）の値を含んだデータである。以下、取り付け角度の値を「姿勢角値」という（カメラ姿勢角値の一例）。
　例えば、カメラ姿勢角値データ２９９には、計測ユニット１１０の設計値（カメラ１１１Ａ－Ｆの取り付け角度）をカメラ１１１Ａ－Ｆの姿勢角値として設定する。但し、カメラ１１１Ａ－Ｆを設計値通りに正確に取り付けることは困難であるため、カメラ姿勢角値データ２９９に設定されたカメラ１１１Ａ－Ｆの姿勢角値はカメラ１１１Ａ－Ｆの実際の姿勢角に対して誤差を含む。カメラ姿勢角値データ２９９に設定されたカメラ１１１Ａ－Ｆの姿勢角値は、キャリブレーション装置２００によって調整される。
　カメラ姿勢角値データ２９９は、予め生成されてキャリブレーション記憶部２９０に記憶してあるものとする。但し、カメラ姿勢角値データ２９９が示すカメラ１１１Ａ－Ｆの姿勢角値は正確な値ではなく、誤差を含んでいる。
　指定線入力部２１０、指定線算出部２２０、参照画像表示部２３０およびカメラ姿勢角値修正部２４０は、キャリブレーション記憶部２９０に記憶されているデータを用いてカメラ１１１Ａの姿勢角値を以下のように調整する。また、各構成要素は、他のカメラ１１１Ｂ－Ｆの姿勢角値も同様に調整する。
　指定線入力部２１０（指定点入力部、指定点取得部の一例）は、カメラ１１１Ａによって得られた第一の路面画像２９１ａを表示し、利用者が路面画像２９１内の直線に沿って指定する直線の情報（複数の指定点の一例）を指定線として入力する。
　指定線入力部２１０の処理の詳細については後述する。
　指定線算出部２２０は、第一の路面画像２９１ａが撮像されたときのカメラ１１１Ａの三次元座標値と、カメラ姿勢角値データ２９９が示すカメラ１１１Ａの姿勢角値と、三次元点群データ２９３に含まれる三次元座標値とに基づいて、レーザスキャナ１１２Ａ－Ｄが計測した複数の計測地点を示す点群を第一の路面画像２９１ａに投影する。
　指定線算出部２２０は、第一の路面画像２９１ａに投影した点群に基づいて指定線の三次元座標値を算出する。
　指定線算出部２２０の処理の詳細については後述する。
　参照画像表示部２３０（参照画像生成部の一例）は、指定線算出部２２０によって算出された指定線の三次元座標値と、カメラ１１１Ａによって得られた第二の路面画像２９１ｂが撮像されたときのカメラ１１１Ａの三次元座標値と、カメラ姿勢角値データ２９９が示すカメラ１１１Ａの姿勢角値とに基づいて、指定線を第二の路面画像２９１ｂに投影する。
　参照画像表示部２３０は、指定線を投影した第二の路面画像２９１ｂを参照画像として表示する。
　参照画像表示部２３０の処理の詳細については後述する。
　カメラ姿勢角値修正部２４０は、利用者がカメラ１１１Ａの姿勢角値を修正するために指定する姿勢角値修正情報を入力する。
　カメラ姿勢角値修正部２４０は、姿勢角値修正情報に基づいてカメラ１１１Ａの姿勢角値を修正する。
　カメラ姿勢角値修正部２４０の処理の詳細については後述する。
　図３、図４、図５は、実施の形態１におけるキャリブレーション装置２００のキャリブレーション方法の概要を示す図である。
　実施の形態１におけるキャリブレーション装置２００のキャリブレーション方法の概要について、図３から図５に基づいて説明する。
　図３において、キャリブレーション装置２００は、横線３０１と縦線３０２とが記された路面を撮像して得られた第一の路面画像２９１ａをディスプレイ９１１（表示装置）に表示する。利用者は、入力装置（キーボード、マウスなど）を用いて第一の路面画像２９１ａの横線３０１および縦線３０２に沿って線（横指定線３０３、縦指定線３０４）を引く。
　キャリブレーション装置２００は、カメラ１１１の姿勢角値と第一の路面画像２９１ａを撮像時のカメラ１１１の三次元座標値と三次元点群データ２９３とに基づいて横指定線３０３および縦指定線３０４の三次元座標値（点群）を算出する。
　図４または図５において、キャリブレーション装置２００は、計測車両１００が横線３０１および縦線３０２に対して前進または後退したときの画像（第二の路面画像２９１ｂ）をディスプレイ９１１に表示する。また、キャリブレーション装置２００は横指定線３０３および縦指定線３０４の三次元座標値（点群）に基づいて横指定線３０３および縦指定線３０４（後述する複数の参照点３１１）を第二の路面画像２９１ｂに記す。横指定線３０３および縦指定線３０４が横線３０１および縦線３０２からずれている場合（図４）、利用者はキャリブレーション装置２００に対してカメラ１１１の姿勢角値の修正を指示し、キャリブレーション装置２００はカメラ１１１の姿勢角値を修正する。横指定線３０３および縦指定線３０４が横線３０１および縦線３０２からずれていない場合（図５）、カメラ１１１の姿勢角値は正しく調整されている。
　図６は、実施の形態１におけるキャリブレーション装置２００のキャリブレーション方法を示すフローチャートである。
　カメラ姿勢角値データ２９９が示すカメラ１１１Ａの姿勢角値をキャリブレーションするキャリブレーション装置２００のキャリブレーション方法について、図６に基づいて説明する。但し、キャリブレーション装置２００は、他のカメラ１１１Ｂ－Ｆの姿勢角値も同様にキャリブレーションする。
　指定線入力処理（Ｓ１１０）において、指定線入力部２１０は、カメラ１１１Ａによって得られた一つの路面画像２９１をキャリブレーション記憶部２９０から取得し、取得した路面画像２９１をディスプレイ９１１に表示する。
　以下、Ｓ１１０で表示する一つの路面画像２９１を「第一の路面画像２９１ａ」という。但し、第一の路面画像２９１ａは、直線（例えば、白線）が記された路面を映した画像である。
　例えば、指定線入力部２１０は、以下のように第一の路面画像２９１ａを表示する。
　（１）キャリブレーション装置２００は計測車両１００に搭載され、指定線入力部２１０はキャリブレーションが実行されるときにカメラ１１１Ａによって最初に得られた路面画像２９１を第一の路面画像２９１ａとしてディスプレイに表示する。
　（２）指定線入力部２１０は、カメラ１１１Ａによって得られた複数の路面画像２９１をキャリブレーション記憶部２９０から取得し、取得した複数の路面画像２９１をサムネイルでディスプレイ９１１に表示する。そして、利用者は入力装置を用いて一つの路面画像２９１を選択し、指定線入力部２１０は選択された路面画像２９１を第一の路面画像２９１ａとしてディスプレイ９１１に表示する。
　（３）指定線入力部２１０は、カメラ１１１Ａによって得られた複数の路面画像２９１からランダムに一つの路面画像２９１を選択し、選択した路面画像２９１を第一の路面画像２９１ａとしてディスプレイに表示する。
　図７は、実施の形態１における指定線入力処理（Ｓ１１０）の概要図である。
　指定線入力処理（Ｓ１１０）の続きを図７に基づいて説明する。
　第一の路面画像２９１ａは向きが異なる２つの白線（横線３０１、縦線３０２）を含んでいる。横線３０１（第一直線の一例）は画像の縦方向よりも横方向に伸びている白線であり、縦線３０２（第二直線の一例）は画像の横方向よりも縦方向に伸びている白線である。但し、横線３０１および縦線３０２は道路に記された白線以外の直線（例えば、キャリブレーションのために地面に引いた線）であっても構わない。
　利用者は、ディスプレイ９１１に表示された第一の路面画像２９１ａを参照し、第一の路面画像２９１ａに映っている横線３０１に沿って横指定線３０３を入力装置を用いて指定し、第一の路面画像２９１ａに映っている縦線３０２に沿って縦指定線３０４を入力装置を用いて指定する。横指定線３０３は横線３０１に沿って指定する複数点の一例であり、縦指定線３０４は縦線３０２に沿って指定する複数点の一例である。
　指定線入力部２１０は、指定された横指定線３０３と縦指定線３０４とを入力装置から入力する。例えば、横指定線３０３および縦指定線３０４は指定された画素の座標値として表される。
　図６に戻り、キャリブレーション方法の説明を続ける。
　Ｓ１１０の後、処理はＳ１２０に進む。
　指定線算出処理（Ｓ１２０）において、指定線算出部２２０は、カメラ姿勢角値データ２９９からカメラ１１１Ａの姿勢角値を取得し、カメラ座標値データ２９２から第一の路面画像２９１ａの撮像時刻と同じ時刻のカメラ１１１Ａの三次元座標値を取得する。また、指定線算出部２２０は、カメラ１１１Ａの焦点距離ｆをキャリブレーション記憶部２９０から取得する。カメラ１１１Ａの焦点距離ｆはキャリブレーション記憶部２９０に予め記憶しておく。
　指定線算出部２２０は、キャリブレーション記憶部２９０から三次元点群データ２９３を取得する。
　指定線算出部２２０は、取得したカメラ１１１Ａの姿勢角値と三次元座標値と焦点距離ｆと、取得した三次元点群データ２９３に含まれる複数の三次元座標値とを用いて、レーザスキャナ１１２Ａ－Ｄが計測した複数の計測地点を示す点群を第一の路面画像２９１ａに投影する。
　図８は、実施の形態１における点群の投影処理を示す概要図である。
　第一の路面画像２９１ａに点群を投影する処理について、図８に基づいて説明する。
　指定線算出部２２０は、カメラ１１１Ａの三次元座標値が示すカメラ中心点Ｏから焦点距離ｆだけ離れてカメラ１１１Ａの姿勢角値が示す姿勢角ベクトルＶＡと直交する画像平面Ｉを算出する。画像平面Ｉは第一の路面画像２９１ａに相当する平面である。
　指定線算出部２２０は、カメラ中心点Ｏから三次元点群データ２９３の三次元座標値が示す計測地点Ｍへの視線ベクトルＶＬを算出し、視線ベクトルＶＬと画像平面Ｉとが交差する点Ｍ’を計測地点Ｍの投影点として算出する。
　投影処理は、路面画像２９１の画素と三次元点群データ２９３の三次元座標値が示す計測地点とを対応付けるための処理である。
　点群の投影処理の詳細については、特許文献１（図２４参照）や特許文献３（図１０参照）に開示されている。
　図９は、実施の形態１における第一の路面画像２９１ａに投影した点群を表す図である。
　但し、指定線算出部２２０は、図９のように第一の路面画像２９１ａに投影した点群を表示してもよいし、表示しなくてもよい。
　図６に戻り、指定線算出処理（Ｓ１２０）の説明を続ける。
　指定線算出部２２０は、第一の路面画像２９１ａに投影した点群の三次元座標値に基づいて横指定線３０３の三次元座標値を算出する。
　指定線算出部２２０は、縦指定線３０４の三次元座標値を横指定線３０３の三次元座標値と同様に算出する。
　例えば、指定線算出部２２０は、以下のようにして横指定線３０３の三次元座標値を算出する。
　指定線算出部２２０は、横指定線３０３から複数点を選択する。
　指定線算出部２２０は、第一の路面画像２９１ａに投影した点群から、横指定線３０３の第一の選択点の近傍に投影された複数の近傍点（例えば、第一の選択点を囲む三つの近傍点）を抽出する。
　指定線算出部２２０は、抽出した複数の近傍点の中間点の三次元座標値を横指定線３０３の第一の選択点の三次元座標値として算出する。
　指定線算出部２２０は、横指定線３０３の他の選択点についても同様に三次元座標値を算出する。これら選択点の三次元座標値は横指定線３０３の三次元座標値を表す。
　カメラ１１１Ａの姿勢角値に誤差が含まれる場合、カメラ１１１Ａの姿勢角値を用いて第一の路面画像２９１ａに投影した点群は第一の路面画像２９１ａに対して正しい位置に投影されていない。
　このため、第一の路面画像２９１ａに投影した点群に基づいて算出した横指定線３０３および縦指定線３０４を他の路面画像２９１に投影した場合、横指定線３０３および縦指定線３０４は他の路面画像２９１に映る横線３０１および縦線３０２からずれた部分に投影される。
　Ｓ１２０の後、処理はＳ１３０に進む。
　参照画像表示処理（Ｓ１３０）において、参照画像表示部２３０は、カメラ１１１Ａによって得られた一つの路面画像２９１（但し、第一の路面画像２９１ａを除く）をキャリブレーション記憶部２９０から取得する。
　以下、Ｓ１３０で取得する一つの路面画像２９１を「第二の路面画像２９１ｂ」という。但し、第二の路面画像２９１ｂは、第一の路面画像２９１ａに映った直線（横線３０１、縦線３０２）と同じ直線を映した画像である。
　例えば、参照画像表示部２３０は、以下のように第二の路面画像２９１ｂを取得する。
　（１）キャリブレーション装置２００を搭載した計測車両１００を横線３０１および縦線３０２に対して前進（または後退）させる。そして、参照画像表示部２３０は計測車両１００が横線３０１および縦線３０２に対して前進（または後退）したときにカメラ１１１Ａによって得られた路面画像２９１を第二の路面画像２９１ｂとして取得する。
　（２）参照画像表示部２３０は、各路面画像２９１の撮像時刻に基づいて第一の路面画像２９１ａの前（例えば、一つ前）に得られた路面画像２９１または第一の路面画像２９１ａの後（例えば、一つ後）に得られた路面画像２９１を第二の路面画像２９１ｂとして取得する。
　（３）Ｓ１１０の（２）と同様に、利用者は路面画像２９１を選択し、参照画像表示部２３０は選択された路面画像２９１を第二の路面画像２９１ｂとして取得する。
　参照画像表示部２３０は、カメラ姿勢角値データ２９９からカメラ１１１Ａの姿勢角値を取得し、カメラ座標値データ２９２から第二の路面画像２９１ｂの撮像時刻と同じ時刻のカメラ１１１Ａの三次元座標値を取得する。また、参照画像表示部２３０は、カメラ１１１Ａの焦点距離ｆをキャリブレーション記憶部２９０から取得する。
　参照画像表示部２３０は、取得したカメラ１１１Ａの姿勢角値と三次元座標値と焦点距離ｆと、Ｓ１２０で複数の参照点３１１として投影された各計測地点の三次元座標値とを用いて、横指定線３０３および縦指定線３０４を第二の路面画像２９１ｂに投影する。横指定線３０３および縦指定線３０４の投影方法はＳ１２０と同様である。
　参照画像表示部２３０は、横指定線３０３および縦指定線３０４を投影した第二の路面画像２９１ｂをディスプレイ９１１に表示する。以下、横指定線３０３および縦指定線３０４を投影した第二の路面画像２９１ｂを「参照画像３２１」という。
　図１０、図１１は、実施の形態１における参照画像３２１（ロール角のずれ）の一例を示す図である。
　カメラ姿勢角値データ２９９が示すカメラ１１１Ａのロール角の角度（姿勢角値の一つ）に誤差が含まれている場合、参照画像３２１の横指定線３０３および縦指定線３０４は横線３０１および縦線３０２からロール角の方向にずれた部分に表示される（図１０、図１１参照）。
　つまり、横指定線３０３は参照画像３２１の右側部分と左側部分とで横線３０１に対して上下異なる方向にずれる。さらに、縦指定線３０４は縦線３０２に対して左右いずれか一方にずれる。
　図１２、図１３は、実施の形態１における参照画像３２１（ピッチ角のずれ）の一例を示す図である。
　カメラ姿勢角値データ２９９が示すカメラ１１１Ａのピッチ角の角度（姿勢角値の一つ）に誤差が含まれている場合、参照画像３２１の横指定線３０３および縦指定線３０４は横線３０１および縦線３０２からピッチ角の方向にずれた部分に表示される（図１２、図１３参照）。
　つまり、横指定線３０３および縦指定線３０４は横線３０１および縦線３０２に対して上下いずれか一方にずれる。
　図１４、図１５は、実施の形態１における参照画像３２１（ヨー角のずれ）の一例を示す図である。
　カメラ姿勢角値データ２９９が示すカメラ１１１Ａのヨー角の角度（姿勢角値の一つ）に誤差が含まれている場合、参照画像３２１の横指定線３０３は横線３０１に対してずれずに表示され（または横線３０１に対するずれが小さく）、参照画像３２１の縦指定線３０４は縦線３０２に対して左右いずれか一方にずれて表示される。
　図６に戻り、キャリブレーション方法の説明を続ける。
　Ｓ１３０の後、処理はＳ１４０に進む。
　修正要否判定処理（Ｓ１４０）において、利用者は、Ｓ１３０（または後述するＳ１６０）で表示された参照画像３２１（図１０から図１５参照）を参照し、横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対してずれているか否かを判定し、入力装置を用いて判定結果を指定する。カメラ姿勢角値修正部２４０は、指定された判定結果を入力装置から入力する。
　横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対してずれていることを示す判定結果が入力された場合（ＹＥＳ）、処理はＳ１５０に進む。
　横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対してずれていないことを示す判定結果が入力された場合（ＮＯ）、キャリブレーション方法の処理は終了する。
　カメラ姿勢角値修正処理（Ｓ１５０）において、利用者は、カメラ姿勢角値データ２９９に含まれるカメラ１１１Ａの姿勢角値を修正するための姿勢角値修正量（姿勢角値修正情報の一例）を入力装置を用いて指定する。姿勢角値修正量は、カメラ１１１Ａのロール角、ピッチ角およびヨー角のいずれかに加算（または減算）する角度を示す。但し、姿勢角値修正量にロール角、ピッチ角およびヨー角のうち複数の角度に加算（または減算）する複数の角度を含んでもよい。
　カメラ姿勢角値修正部２４０は指定された姿勢角値修正量を入力装置から入力し、入力した姿勢角値修正量をカメラ姿勢角値データ２９９に含まれるカメラ１１１Ａの姿勢角値に加算（または減算）する。これにより、カメラ１１１Ａの姿勢角値は修正（更新）される。
　但し、利用者は修正後のカメラ１１１Ａの姿勢角値（姿勢角値修正情報の一例）を指定し、カメラ姿勢角値修正部２４０は指定されたカメラ１１１Ａの姿勢角値をカメラ姿勢角値データ２９９に上書きしてもよい。
　このとき、利用者は、Ｓ１３０（または後述するＳ１６０）で表示された参照画像３２１（図１０から図１５参照）が示す横指定線３０３および縦指定線３０４と横線３０１および縦線３０２とのずれに基づいて姿勢角値修正量（または修正後の姿勢角値）を判断する。
　図１６は、実施の形態１におけるカメラ１１１Ａの姿勢角値の修正条件の一例を示す表である。
　例えば、利用者は、姿勢角値（ロール角、ピッチ角またはヨー角）を修正する向きを図１６に示す表に従って判断する。また、利用者は、ずれ量が大きいほど大きな修正量を指定する。
　但し、図１６に示すずれ及び修正の向きは、計測車両１００が横線１０１および縦線３０２に近づいたときに右前向きのカメラ１１１Ａで第一の路面画像２９１ａを撮像し、計測車両１００が横線１０１および縦線３０２から遠ざかったときにカメラ１１１Ａで第二の路面画像２９１ｂ（参照画像３２１）を撮像した場合のずれ及び修正の向きである。
　左前向きのカメラ１１１Ｂや後ろ向きのカメラ１１１Ｅ・１１１Ｆで第一の路面画像２９１ａおよび第二の路面画像２９１ｂを撮像した場合、ずれまたは修正の向きが異なる。
　また、計測車両１００が横線１０１および縦線３０２から遠ざかったときに撮像した画像を第一の路面画像２９１ａとして用い、計測車両１００が横線１０１および縦線３０２に近づいたときに撮像した画像を第二の路面画像２９２ｂとして用いる場合、ずれまたは修正の向きが異なる。例えば、ずれまたは修正の向きが図１６に示す向きに対して逆向きになる。
　（１）参照画像３２１の右側で横指定線３０３が横線３０１に対して下側にずれ、参照画像３２１の左側で横指定線３０３が横線３０１に対して上側にずれ、縦指定線３０４が縦線３０２に対して右側にずれている場合（図１０参照）、利用者は、カメラ１１１Ａのロール角の角度を右回転の方向に修正するための姿勢角値修正量を指定する。
　（２）参照画像３２１の右側で横指定線３０３が横線３０１に対して上側にずれ、参照画像３２１の左側で横指定線３０３が横線３０１に対して下側にずれ、縦指定線３０４が縦線３０２に対して左側にずれている場合（図１１参照）、利用者は、カメラ１１１Ａのロール角の角度を左回転の方向に修正する姿勢角値修正量を指定する。
　（３）参照画像３２１の横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対して上側にずれている場合（図１２参照）、利用者は、カメラ１１１Ａのピッチ角の角度を上方向に修正するための姿勢角値修正量を指定する。
　（４）参照画像３２１の横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対して下側にずれている場合（図１３参照）、利用者は、カメラ１１１Ａのピッチ角の角度を下方向に修正するための姿勢角値修正量を指定する。
　（５）参照画像３２１の横指定線３０３が横線３０１に対してずれてなく（またはずれが小さく）、縦指定線３０４が縦線３０２に対して左側にずれている場合（図１４参照）、利用者は、カメラ１１１Ａのヨー角の角度を左方向に修正するための姿勢角値修正量を指定する。
　（６）参照画像３２１の横指定線３０３が横線３０１に対してずれてなく（またはずれが小さく）、縦指定線３０４が縦線３０２に対して右側にずれている場合（図１５参照）、利用者は、カメラ１１１Ａのヨー角の角度を右方向に修正するための姿勢角値修正量を指定する。
　また、利用者は、以下のようにカメラ１１１Ａのロール角とピッチ角とのいずれを修正するか判断して姿勢角値修正量を指定してもよい。
　横指定線３０３の横線３０１に対するずれと縦指定線３０４の縦線３０２に対するずれとが同程度の大きさである場合（図１０、図１１参照）、利用者は、カメラ１１１Ａのヨー角の角度ではなくロール角の角度を修正するための姿勢角値修正量を指定する。
　参照画像３２１の左右両側で横指定線３０３が横線３０１に対して上下いずれか一方にずれている場合（図１４、図１５参照）、利用者は、カメラ１１１Ａのロール角の角度ではなくヨー角の角度を修正するための姿勢角値修正量を指定する。
　図６に戻り、キャリブレーション方法の説明を続ける。
　Ｓ１５０の後、処理はＳ１６０に進む。
　カメラ姿勢角値確認処理（Ｓ１６０）において、参照画像表示部２３０は、Ｓ１５０で修正されたカメラ１１１Ａの姿勢角値を用いて、第一の路面画像２９１ａ、第二の路面画像２９１ｂまたはカメラ１１１Ａによって得られた第三の路面画像２９１ｃに複数の参照点３１１を投影する。これにより、参照画像３２１が新たに生成される。投影方法はＳ１２０およびＳ１３０と同様である。
　参照画像表示部２３０は、新たに生成した参照画像３２１をディスプレイに表示する。
　Ｓ１６０の後、処理はＳ１４０に戻る。
　図６に基づいて説明したキャリブレーション方法により、カメラ１１１Ａの姿勢角値を修正し、カメラ１１１Ａの正しい姿勢角値を算出することができる。
　キャリブレーション装置２００は、カメラ１１１Ａの姿勢角値と同様にカメラ１１１Ｂ－Ｆそれぞれの姿勢角値を修正し、カメラ１１１Ｂ－Ｆそれぞれの正しい姿勢角値を算出する。
　図１７は、実施の形態１におけるキャリブレーション装置２００のハードウェア資源の一例を示す図である。
　図１７において、キャリブレーション装置２００（コンピュータの一例）は、ＣＰＵ９０１（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を備えている。ＣＰＵ９０１は、バス９０２を介してＲＯＭ９０３、ＲＡＭ９０４、通信ボード９０５（通信装置）、ディスプレイ９１１（表示装置）、キーボード９１２、マウス９１３、ドライブ９１４、磁気ディスク装置９２０などのハードウェアデバイスと接続され、これらのハードウェアデバイスを制御する。ドライブ９１４は、ＦＤ（Ｆｌｅｘｉｂｌｅ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）などの記憶媒体を読み書きする装置である。
　ＲＯＭ９０３、ＲＡＭ９０４、磁気ディスク装置９２０およびドライブ９１４は記憶装置の一例である。キーボード９１２、マウス９１３および通信ボード９０５は入力装置の一例である。ディスプレイ９１１および通信ボード９０５は出力装置の一例である。
　通信ボード９０５は、有線または無線で、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネット、電話回線などの通信網に接続している。
　磁気ディスク装置９２０には、ＯＳ９２１（オペレーティングシステム）、プログラム群９２２、ファイル群９２３が記憶されている。
　プログラム群９２２には、実施の形態において「～部」として説明する機能を実行するプログラムが含まれる。プログラム（例えば、カメラキャリブレーションプログラム）は、ＣＰＵ９０１により読み出され実行される。すなわち、プログラムは、「～部」としてコンピュータを機能させるものであり、また「～部」の手順や方法をコンピュータに実行させるものである。
　ファイル群９２３には、実施の形態において説明する「～部」で使用される各種データ（入力、出力、判定結果、計算結果、処理結果など）が含まれる。
　実施の形態において構成図およびフローチャートに含まれている矢印は主としてデータや信号の入出力を示す。
　フローチャートなどに基づいて説明する実施の形態の処理はＣＰＵ９０１、記憶装置、入力装置、出力装置などのハードウェアを用いて実行される。
　実施の形態において「～部」として説明するものは「～回路」、「～装置」、「～機器」であってもよく、また「～ステップ」、「～手順」、「～処理」であってもよい。すなわち、「～部」として説明するものは、ファームウェア、ソフトウェア、ハードウェアまたはこれらの組み合わせのいずれで実装されても構わない。
　実施の形態１により、カメラ１１１の姿勢角値を高い精度で容易にキャリブレーションすることができる。
　以下に実施の形態１の補足説明を行う。
　図３で説明したキャリブレーション方法の処理は以下のように実施してもよい。
　指定線入力処理（Ｓ１１０）において、利用者は、横指定線３０３や縦指定線３０４を指定する代わりに、横線３０１と縦線３０２とのそれぞれに沿って複数点を指定してもよい。横線３０１に沿って複数点を指定するとき、利用者は第一の路面画像２９１ａの右側部分と左側部分とのそれぞれに点を指定する。
　この場合、指定線入力部２１０は、横線３０１に沿って指定された複数点を含む直線を横指定線３０３として算出し、縦線３０２に沿って指定された複数点を含む直線を縦指定線３０４として算出する。
　また、キャリブレーション装置２００は、横指定線３０３と縦指定線３０４とを横線３０１に沿って指定された複数点と縦線３０２に沿って指定された複数点とに置き換えてキャリブレーション方法の処理を実行しても構わない。
　指定線入力処理（Ｓ１１０）において、利用者は横指定線３０３のみを指定してもよい。カメラ姿勢角値修正処理（Ｓ１５０）において横指定線３０３が横線３０１からずれている場合、利用者はカメラ１１１のロール角の値またはピッチ角の値を修正するための姿勢角値修正量を指定する。
　指定線入力処理（Ｓ１１０）において、利用者は縦指定線３０４のみを指定してもよい。カメラ姿勢角値修正処理（Ｓ１５０）において縦指定線３０４が縦線３０２からずれている場合、利用者はカメラ１１１のロール角の値、ピッチ角の値またはヨー角の値を修正するための姿勢角値修正量を指定する。
　指定線入力処理（Ｓ１１０）において、利用者が横指定線３０３および縦指定線３０４を指定する代わりに、キャリブレーション装置２００が横指定線３０３および縦指定線３０４を算出してもよい。この場合、指定線入力部２１０は第一の路面画像２９１ａを表示しなくてもよい。
　例えば、指定線入力部２１０は、第一の路面画像２９１ａを画像処理し、第一の路面画像２９１ａの画素値に基づいて第一の路面画像２９１ａに映った直線（例えば、白線）のエッジ部分を横指定線３０３および縦指定線３０４として算出する。
　修正要否判定処理（Ｓ１４０）において、横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対してずれているか否かを利用者が判断する代わりにキャリブレーション装置２００が判定してもよい。この場合、参照画像表示部２３０は参照画像３２１を表示しなくてもよい。
　例えば、カメラ姿勢角値修正部２４０は、参照画像３２１を画像処理し、参照画像３２１の画素値に基づいて直線（例えば、白線）が映った部分を横線３０１および縦線３０２として算出する。カメラ姿勢角値修正部２４０は、参照画像３２１に投影された横指定線３０３および縦指定線３０４と参照画像３２１に映った横線３０１および縦線３０２とを比較する。そして、横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対して所定のずれ量閾値以上ずれている場合、カメラ姿勢角値修正部２４０は、横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対してずれていると判定する。
　カメラ姿勢角値修正処理（Ｓ１５０）において、利用者が姿勢角値修正量を指定する代わりにキャリブレーション装置２００が姿勢角値修正量を算出してもよい。
　例えば、カメラ姿勢角値修正部２４０は、上記の修正要否判定処理（Ｓ１４０）と同様に、横指定線３０３および縦指定線３０４と横線３０１および縦線３０２とを比較し、横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対してずれている方向およびずれ量を算出する。そして、カメラ姿勢角値修正部２４０は、図１６で説明した修正条件に従って姿勢角値修正量を算出する。カメラ姿勢角値修正部２４０は、ずれが大きいか否かをずれ量が所定のずれ量閾値より大きいか否かで判定する。
　１００　計測車両、１１０　計測ユニット、１１１　カメラ、１１２　レーザスキャナ、１１３　ＧＰＳ受信機、１１４　ＩＭＵ、１２０　オドメータ、２００　キャリブレーション装置、２１０　指定線入力部、２２０　指定線算出部、２３０　参照画像表示部、２４０　カメラ姿勢角値修正部、２９０　キャリブレーション記憶部、２９１　路面画像、２９２　カメラ座標値データ、２９３　三次元点群データ、２９９　カメラ姿勢角値データ、３０１　横線、３０２　縦線、３０３　横指定線、３０４　縦指定線、３２１　参照画像、９０１　ＣＰＵ、９０２　バス、９０３　ＲＯＭ、９０４　ＲＡＭ、９０５　通信ボード、９１１　ディスプレイ、９１２　キーボード、９１３　マウス、９１４　ドライブ、９２０　磁気ディスク装置、９２１　ＯＳ、９２２　プログラム群、９２３　ファイル群。

Claims (11)

  1. 　カメラ姿勢角値記憶部と画像記憶部と点群データ記憶部と指定点入力部と指定点算出部と参照画像表示部とカメラ姿勢角値修正部とを備えるカメラキャリブレーション装置を用いて実行するカメラキャリブレーション方法において、
    　前記カメラ姿勢角値記憶部は、移動体に取り付けられたカメラの取り付け角度を示すカメラ姿勢角値を記憶する記憶部であり、
    　前記画像記憶部は、前記移動体に取り付けられた前記カメラによって、直線が記された地面を撮像して得られる第一画像と、前記移動体が前記第一画像の撮像時とは異なる位置にいるときに前記カメラによって前記地面を撮像して得られる第二画像とを記憶する記憶部であり、
    　前記カメラ座標値記憶部は、前記第一画像の撮像時の前記カメラの座標値を示す第一のカメラ座標値と、前記第二画像の撮像時の前記カメラの座標値を示す第二のカメラ座標値とを記憶する記憶部であり、
    　前記点群データ記憶部は、前記地面の複数地点を示す複数の座標値を含むデータとして点群データを記憶する記憶部であり、
    　前記指定点入力部が、前記第一画像を表示し、表示した前記第一画像内の前記直線に沿って指定される前記第一画像内の複数点を複数の指定点として利用者から入力し、
    　前記指定点算出部が、前記第一のカメラ座標値と前記カメラ姿勢角値と前記点群データに含まれる前記複数の座標値とに基づいて前記地面の前記複数地点を示す点群を前記第一画像に投影し、前記第一画像に投影した前記点群に基づいて前記複数の指定点それぞれの座標値を算出し、
    　前記参照画像表示部が、前記指定点算出部によって算出された前記複数の指定点それぞれの座標値と前記第二のカメラ座標値と前記カメラ姿勢角値とに基づいて前記複数の指定点を前記第二画像に投影し、前記複数の指定点を投影した前記第二画像を参照画像として表示し、
    　前記カメラ姿勢角値修正部が、前記カメラ姿勢角値記憶部に記憶された前記カメラ姿勢角値を修正するために指定される姿勢角値修正情報を利用者から入力し、前記姿勢角値修正情報に基づいて前記カメラ姿勢角値記憶部に記憶された前記カメラ姿勢角値を修正する
    ことを特徴とするカメラキャリブレーション方法。
  2. 　前記第一画像および前記第二画像は、向きが異なる２本の直線として第一直線と第二直線とが映った画像であり、
    　前記指定点入力部は、前記第一画像を表示し、前記第一画像内の前記第一直線に沿って指定される前記第一画像内の第一の複数点を第一の複数の指定点として利用者から入力すると共に、前記第一画像内の前記第二直線に沿って指定される前記第一画像内の第二の複数点を第二の複数の指定点として利用者から入力し、
    　前記指定点算出部は、前記第一画像に投影した前記点群に基づいて前記第一の複数の指定点それぞれの座標値と前記第二の複数の指定点それぞれの座標値とを算出し、
    　前記参照画像表示部は、前記第一の複数の指定点と前記第二の複数の指定点とを前記第二画像に投影し、前記第一の複数の指定点と前記第二の複数の指定点とを投影した前記第二画像を前記参照画像として表示する
    ことを特徴とする請求項１記載のカメラキャリブレーション方法。
  3. 　前記第一直線は前記第一画像の横方向に伸びた直線であり、前記第二直線は前記第一画像の縦方向に伸びた直線であり、
    　前記指定点入力部は、前記第一画像内の前記第一直線に沿って前記第一画像内の右側部分と左側部分とに指定される複数点を前記第一の複数の指定点として利用者から入力し、前記第一画像内の前記第二直線に沿って指定される複数点を前記第二の複数の指定点として利用者から入力する
    ことを特徴とする請求項２記載のカメラキャリブレーション方法。
  4. 　前記カメラ姿勢角値はロール角の角度を含み、
    　前記カメラ姿勢角値修正部は、前記第一の複数の指定点が前記第二画像内の右側部分と左側部分とで前記第一直線の上下異なる方にずれて、前記第二の複数の指定点が前記第二直線の左右いずれか一方にずれている場合、前記カメラ姿勢角値に含まれるロール角の角度を修正するための情報が前記姿勢角値修正情報として利用者から入力される
    ことを特徴とする請求項３記載のカメラキャリブレーション方法。
  5. 　前記カメラ姿勢角値はピッチ角の角度を含み、
    　前記カメラ姿勢角値修正部は、前記第一の複数の指定点が前記第一直線の上下いずれか一方にずれている場合、前記カメラ姿勢角値に含まれるピッチ角の角度を修正するための情報が前記姿勢角値修正情報として利用者から入力される
    ことを特徴とする請求項３記載のカメラキャリブレーション方法。
  6. 　前記カメラ姿勢角値はヨー角の角度を含み、
    　前記カメラ姿勢角値修正部は、前記第一の複数の指定点と前記第一直線とのずれが小さく、前記第二の複数の指定点が前記第二直線の左右いずれか一方にずれている場合、前記カメラ姿勢角値に含まれるヨー角の角度を修正するための情報が前記姿勢角値修正情報として利用者から入力される
    ことを特徴とする請求項３記載のカメラキャリブレーション方法。
  7. 　請求項１から請求項６いずれかに記載のカメラキャリブレーション方法をコンピュータに実行させるためのカメラキャリブレーションプログラム。
  8. 　移動体に取り付けられたカメラの取り付け角度を示すカメラ姿勢角値を記憶するカメラ姿勢角値記憶部と、
    　前記移動体に取り付けられた前記カメラによって、直線が記された地面を撮像して得られる第一画像と、前記移動体が前記第一画像の撮像時とは異なる位置にいるときに前記カメラによって前記地面を撮像して得られる第二画像とを記憶する画像記憶部と、
    　前記第一画像の撮像時の前記カメラの座標値を示す第一のカメラ座標値と、前記第二画像の撮像時の前記カメラの座標値を示す第二のカメラ座標値とを記憶するカメラ座標値記憶部と、
    　前記地面の複数地点を示す複数の座標値を含むデータとして点群データを記憶する点群データ記憶部と、
    　前記第一画像を表示し、表示した前記第一画像内の前記直線に沿って指定される前記第一画像内の複数点を複数の指定点として入力する指定点入力部と、
    　前記第一のカメラ座標値と前記カメラ姿勢角値と前記点群データに含まれる前記複数の座標値とに基づいて前記地面の前記複数地点を示す点群を前記第一画像に投影し、前記第一画像に投影した前記点群に基づいて前記複数の指定点それぞれの座標値を算出する指定点算出部と、
    　前記指定点算出部によって算出された前記複数の指定点それぞれの座標値と前記第二のカメラ座標値と前記カメラ姿勢角値とに基づいて前記複数の指定点を前記第二画像に投影し、前記複数の指定点を投影した前記第二画像を参照画像として表示する参照画像表示部と、
    　前記カメラ姿勢角値を修正するために指定される姿勢角値修正情報を入力し、入力した前記姿勢角値修正情報に基づいて前記カメラ姿勢角値記憶部に記憶された前記カメラ姿勢角値を修正するカメラ姿勢角値修正部と
    を備えることを特徴とするカメラキャリブレーション装置。
  9. 　移動体に取り付けられたカメラの取り付け角度を示すカメラ姿勢角値を記憶するカメラ姿勢角値記憶部と、
    　前記移動体に取り付けられた前記カメラによって、直線が記された地面を撮像して得られる第一画像と、前記移動体が前記第一画像の撮像時とは異なる位置にいるときに前記カメラによって前記地面を撮像して得られる第二画像とを記憶する画像記憶部と、
    　前記第一画像の撮像時の前記カメラの座標値を示す第一のカメラ座標値と、前記第二画像の撮像時の前記カメラの座標値を示す第二のカメラ座標値とを記憶するカメラ座標値記憶部と、
    　前記地面の複数地点を示す複数の座標値を含むデータとして点群データを記憶する点群データ記憶部と、
    　前記第一画像内の前記直線に沿って前記第一画像内の複数点を複数の指定点として取得する指定点取得部と、
    　前記第一のカメラ座標値と前記カメラ姿勢角値と前記点群データに含まれる前記複数の座標値とに基づいて前記地面の前記複数地点を示す点群を前記第一画像に投影し、前記第一画像に投影した前記点群に基づいて前記複数の指定点それぞれの座標値を算出する指定点算出部と、
    　前記指定点算出部によって算出された前記複数の指定点それぞれの座標値と前記第二のカメラ座標値と前記カメラ姿勢角値とに基づいて前記複数の指定点を前記第二画像に投影し、前記複数の指定点を投影した前記第二画像を参照画像として生成する参照画像生成部と、
    　前記参照画像内の前記直線と前記複数の参照点とのずれに応じて、前記カメラ姿勢角値記憶部に記憶された前記カメラ姿勢角値を修正するカメラ姿勢角値修正部と
    を備えることを特徴とするカメラキャリブレーション装置。
  10. 　カメラ姿勢角値記憶部と画像記憶部と点群データ記憶部と指定点取得部と指定点算出部と参照画像生成部とカメラ姿勢角値修正部とを備えるカメラキャリブレーション装置を用いて実行するカメラキャリブレーション方法において、
    　前記カメラ姿勢角値記憶部は、移動体に取り付けられたカメラの取り付け角度を示すカメラ姿勢角値を記憶する記憶部であり、
    　前記画像記憶部は、前記移動体に取り付けられた前記カメラによって、直線が記された地面を撮像して得られる第一画像と、前記移動体が前記第一画像の撮像時とは異なる位置にいるときに前記カメラによって前記地面を撮像して得られる第二画像とを記憶する記憶部であり、
    　前記カメラ座標値記憶部は、前記第一画像の撮像時の前記カメラの座標値を示す第一のカメラ座標値と、前記第二画像の撮像時の前記カメラの座標値を示す第二のカメラ座標値とを記憶する記憶部であり、
    　前記点群データ記憶部は、前記地面の複数地点を示す複数の座標値を含むデータとして点群データを記憶する記憶部であり、
    　前記指定点取得部が、前記第一画像内の前記直線に沿って前記第一画像内の複数点を複数の指定点として取得し、
    　前記指定点算出部が、前記第一のカメラ座標値と前記カメラ姿勢角値と前記点群データに含まれる前記複数の座標値とに基づいて前記地面の前記複数地点を示す点群を前記第一画像に投影し、前記第一画像に投影した前記点群に基づいて前記複数の指定点それぞれの座標値を算出し、
    　前記参照画像生成部が、前記指定点算出部によって算出された前記複数の指定点それぞれの座標値と前記第二のカメラ座標値と前記カメラ姿勢角値とに基づいて前記複数の指定点を前記第二画像に投影し、前記複数の指定点を投影した前記第二画像を参照画像として生成し、
    　前記カメラ姿勢角値修正部が、前記参照画像内の前記直線と前記複数の参照点とのずれに応じて、前記カメラ姿勢角値記憶部に記憶された前記カメラ姿勢角値を修正する
    ことを特徴とするカメラキャリブレーション方法。
  11. 　請求項１０記載のカメラキャリブレーション方法をコンピュータに実行させるためのカメラキャリブレーションプログラム。
PCT/JP2012/057707 2012-03-26 2012-03-26 カメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置 WO2013145072A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2012/057707 WO2013145072A1 (ja) 2012-03-26 2012-03-26 カメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置
KR1020147029093A KR101614338B1 (ko) 2012-03-26 2012-03-26 카메라 캘리브레이션 방법, 카메라 캘리브레이션 프로그램을 기록한 컴퓨터 판독가능한 기록매체 및 카메라 캘리브레이션 장치
JP2014507044A JP5844454B2 (ja) 2012-03-26 2012-03-26 カメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/057707 WO2013145072A1 (ja) 2012-03-26 2012-03-26 カメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置

Publications (1)

Publication Number Publication Date
WO2013145072A1 true WO2013145072A1 (ja) 2013-10-03

Family

ID=49258442

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/057707 WO2013145072A1 (ja) 2012-03-26 2012-03-26 カメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置

Country Status (3)

Country Link
JP (1) JP5844454B2 (ja)
KR (1) KR101614338B1 (ja)
WO (1) WO2013145072A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105486289A (zh) * 2016-01-31 2016-04-13 山东科技大学 一种激光摄影测量系统及相机标定方法
JP2017129942A (ja) * 2016-01-19 2017-07-27 沖電気工業株式会社 情報処理装置、情報処理方法およびプログラム
CN108053375A (zh) * 2017-12-06 2018-05-18 智车优行科技（北京）有限公司 图像数据修正方法、装置及其汽车
JP2018179865A (ja) * 2017-04-19 2018-11-15 三菱電機株式会社 アンテナ位置計測装置
CN110081861A (zh) * 2019-06-03 2019-08-02 淮南矿业(集团)有限责任公司 一种基于图像识别的激光快速测绘系统及测绘方法
CN110263688A (zh) * 2014-12-01 2019-09-20 星克跃尔株式会社 驾驶相关引导提供方法及装置、计算机可读记录介质
CN110689580A (zh) * 2018-07-05 2020-01-14 杭州海康机器人技术有限公司 多相机标定方法及装置
JP2021016151A (ja) * 2019-07-11 2021-02-12 デンソー インターナショナル アメリカ インコーポレーテッド 少なくとも１つのカメラと光検出および測距センサを較正するためのシステムおよび方法
CN113420732A (zh) * 2021-08-23 2021-09-21 深圳市城市交通规划设计研究中心股份有限公司 一种路面病害检测方法、装置和存储介质
GB2612663A (en) * 2022-05-17 2023-05-10 Envisics Ltd Head-up display calibration
CN110263688B (zh) * 2014-12-01 2024-05-31 现代自动车株式会社 驾驶相关引导提供方法及装置、计算机可读记录介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102406490B1 (ko) * 2014-12-01 2022-06-10 현대자동차주식회사 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR102406489B1 (ko) * 2014-12-01 2022-06-10 현대자동차주식회사 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
JP7223238B2 (ja) * 2019-07-24 2023-02-16 日本電信電話株式会社 計測装置、及び計測方法
CN113489970B (zh) * 2021-06-30 2023-05-09 浙江大华技术股份有限公司 云台相机的校正方法和装置、存储介质及电子装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115420A (ja) * 2003-10-02 2005-04-28 Kazuo Iwane 三次元形状生成装置
JP2008009916A (ja) * 2006-06-30 2008-01-17 Toyota Central Res & Dev Lab Inc 計測装置及び計測方法
JP2010175423A (ja) * 2009-01-30 2010-08-12 Mitsubishi Electric Corp 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2974316B1 (ja) 1998-11-25 1999-11-10 有限会社 白沙堂 俯瞰写真から現地座標の２次元位置情報を復元する方法及びその２次元位置情報復元システム、並びにその方法のプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5100845B2 (ja) 2008-10-28 2012-12-19 株式会社パスコ 道路計測装置及び道路計測方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115420A (ja) * 2003-10-02 2005-04-28 Kazuo Iwane 三次元形状生成装置
JP2008009916A (ja) * 2006-06-30 2008-01-17 Toyota Central Res & Dev Lab Inc 計測装置及び計測方法
JP2010175423A (ja) * 2009-01-30 2010-08-12 Mitsubishi Electric Corp 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263688B (zh) * 2014-12-01 2024-05-31 现代自动车株式会社 驾驶相关引导提供方法及装置、计算机可读记录介质
CN110263688A (zh) * 2014-12-01 2019-09-20 星克跃尔株式会社 驾驶相关引导提供方法及装置、计算机可读记录介质
CN110260877A (zh) * 2014-12-01 2019-09-20 星克跃尔株式会社 驾驶相关引导提供方法及装置、计算机可读记录介质
JP2017129942A (ja) * 2016-01-19 2017-07-27 沖電気工業株式会社 情報処理装置、情報処理方法およびプログラム
CN105486289B (zh) * 2016-01-31 2018-03-23 山东科技大学 一种激光摄影测量系统及相机标定方法
CN105486289A (zh) * 2016-01-31 2016-04-13 山东科技大学 一种激光摄影测量系统及相机标定方法
JP2018179865A (ja) * 2017-04-19 2018-11-15 三菱電機株式会社 アンテナ位置計測装置
CN108053375B (zh) * 2017-12-06 2020-06-05 智车优行科技（北京）有限公司 图像数据修正方法、装置及其汽车
CN108053375A (zh) * 2017-12-06 2018-05-18 智车优行科技（北京）有限公司 图像数据修正方法、装置及其汽车
CN110689580A (zh) * 2018-07-05 2020-01-14 杭州海康机器人技术有限公司 多相机标定方法及装置
CN110689580B (zh) * 2018-07-05 2022-04-15 杭州海康机器人技术有限公司 多相机标定方法及装置
CN110081861B (zh) * 2019-06-03 2021-06-29 淮南矿业(集团)有限责任公司 一种基于图像识别的激光快速测绘系统及测绘方法
CN110081861A (zh) * 2019-06-03 2019-08-02 淮南矿业(集团)有限责任公司 一种基于图像识别的激光快速测绘系统及测绘方法
JP2021016151A (ja) * 2019-07-11 2021-02-12 デンソー インターナショナル アメリカ インコーポレーテッド 少なくとも１つのカメラと光検出および測距センサを較正するためのシステムおよび方法
CN113420732A (zh) * 2021-08-23 2021-09-21 深圳市城市交通规划设计研究中心股份有限公司 一种路面病害检测方法、装置和存储介质
CN113420732B (zh) * 2021-08-23 2022-02-01 深圳市城市交通规划设计研究中心股份有限公司 一种路面病害检测方法、装置和存储介质
GB2612663A (en) * 2022-05-17 2023-05-10 Envisics Ltd Head-up display calibration
GB2612663B (en) * 2022-05-17 2023-12-20 Envisics Ltd Head-up display calibration

Also Published As

Publication number Publication date
JP5844454B2 (ja) 2016-01-20
KR20140134331A (ko) 2014-11-21
KR101614338B1 (ko) 2016-04-21
JPWO2013145072A1 (ja) 2015-08-03

Similar Documents

Publication Publication Date Title
JP5844454B2 (ja) カメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置
JP5762131B2 (ja) キャリブレーション装置、キャリブレーション装置のキャリブレーション方法およびキャリブレーションプログラム
JP5361421B2 (ja) 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム
JP4619962B2 (ja) 路面標示計測システム、白線モデル計測システムおよび白線モデル計測装置
JP2016048172A (ja) 画像処理装置、画像処理方法、およびプログラム
JP6029794B1 (ja) 航法装置および測量システム
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP2015169583A (ja) 校正方法、校正装置及びプログラム
JP6433200B2 (ja) 演算装置、演算方法、およびプログラム
WO2017208424A1 (ja) 姿勢推定装置、姿勢推定方法及び観測システム
JP5716273B2 (ja) 捜索目標位置特定装置、捜索目標位置特定方法及びプログラム
JP4986883B2 (ja) 標定装置、標定方法および標定プログラム
JP6305501B2 (ja) キャリブレーション方法、プログラムおよびコンピュータ
JP5814620B2 (ja) 位置補正データ生成装置、位置標定装置、位置補正データ生成装置の位置補正データ生成方法、位置標定装置の位置標定方法、位置補正データ生成プログラムおよび位置標定プログラム
JP5355443B2 (ja) 位置補正システム
JPWO2020071117A1 (ja) 情報処理装置
JP2013015429A (ja) 移動基準点写真測量装置および方法
JP2019045319A (ja) 対応点導出方法および対応点算出装置
JP6062020B2 (ja) 指定点投影方法、プログラムおよびコンピュータ
US20190279384A1 (en) Image processing apparatus, image processing method, and driving support system
US8903163B2 (en) Using gravity measurements within a photogrammetric adjustment
JP5230354B2 (ja) 位置特定装置及び異動建物検出装置
JP6680335B2 (ja) ステレオカメラ、車両、算出方法及びプログラム
JP2021043486A (ja) 位置推定装置
JP2020046239A (ja) 画像処理方法、画像処理装置、及び地中レーダ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12872489

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014507044

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20147029093

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 12872489

Country of ref document: EP

Kind code of ref document: A1