WO2020003497A1 - 撮像装置の校正装置、監視装置、作業機械および校正方法 - Google Patents
撮像装置の校正装置、監視装置、作業機械および校正方法 Download PDFInfo
- Publication number
- WO2020003497A1 WO2020003497A1 PCT/JP2018/024832 JP2018024832W WO2020003497A1 WO 2020003497 A1 WO2020003497 A1 WO 2020003497A1 JP 2018024832 W JP2018024832 W JP 2018024832W WO 2020003497 A1 WO2020003497 A1 WO 2020003497A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- external target
- calibration
- target
- imaging device
- acquisition unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
- E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
- E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Definitions
- the present invention relates to a calibration device, a monitoring device, a work machine, and a calibration method for an imaging device.
- Patent Document 1 discloses a technique for calibrating an imaging device in a working machine having a working machine and an imaging device. Specifically, in the calibration system described in Patent Literature 1, an imaging device captures an image of a target provided in a working machine, obtains a positional relationship between the imaging device and the target from an image, and obtains a positional relationship between the working device and the image. Calibration of the imaging device is performed based on the positional relationship.
- the distance over which the working machine can be extended from the main body of the working machine is finite.
- a scale or the like is accurately measured based on an imaging device for an imaging target (before digging, during digging, a construction site after digging, etc.) within the working range of the working machine. be able to.
- the work range refers to a range that the blade edge of the bucket can reach by operating the work machine.
- An aspect of the present invention provides a calibration device, a working machine, and a calibration method of an imaging device that can calibrate an imaging device so that a scale or the like can be accurately measured for an imaging target in a region farther than a working range of a working machine.
- the purpose is to:
- the calibration device of the imaging device is provided at a known position outside the working range of the working machine, which is imaged by at least one imaging device provided in the working machine including the working machine.
- An imaging data acquisition unit that acquires imaging data of a known external target to be installed; an external target position acquisition unit that acquires a position of the known external target; and a position of the known external target acquired by the external target position acquisition unit
- a calibration unit configured to calibrate the imaging device based on the imaging data of the known external target acquired by the imaging data acquisition unit.
- the imaging device can be calibrated so that the calculation can be accurately performed on the imaging target in a region farther than the working range of the working machine.
- FIG. 2 is a schematic block diagram illustrating a configuration of a control system of the hydraulic shovel according to the first embodiment. It is a figure showing an example of a posture of a work machine.
- FIG. 4 is a diagram illustrating an example of a work implement target used for executing the calibration method according to the first embodiment. It is a figure showing the position of the work implement target picturized by a stereo camera in a 1st embodiment.
- FIG. 3 is a diagram illustrating an example of an external target used for executing the calibration method according to the first embodiment.
- FIG. 3 is a diagram illustrating a first position of an external target captured by a stereo camera in the first embodiment.
- FIG. 3 is a diagram illustrating a procedure for installing an external target according to the first embodiment.
- FIG. 3 is a diagram illustrating a second position of an external target imaged by a stereo camera in the first embodiment. It is a block diagram showing composition of a control device of a hydraulic shovel concerning a 1st embodiment.
- 4 is a flowchart illustrating a method of calibrating the stereo camera according to the first embodiment. It is a flowchart which shows the calibration method of the stereo camera which concerns on 2nd Embodiment. It is a figure showing the position of the external target picturized by a stereo camera in a 3rd embodiment.
- FIG. 11 is a flowchart illustrating a method of calibrating a stereo camera according to a third embodiment. It is a schematic diagram showing the composition of the calibration system concerning a 4th embodiment.
- FIG. 14 is a schematic block diagram illustrating a configuration of a control device according to a fourth embodiment. It is a schematic block diagram showing the composition of the terminal unit concerning a 4th embodiment.
- FIG. 14 is a sequence diagram illustrating a parameter check and calibration process according to the fourth embodiment.
- FIG. 14 is a sequence diagram illustrating a parameter check and calibration process according to the fourth embodiment. It is a figure showing the example of the confirmation screen displayed on the terminal unit concerning a 4th embodiment. It is a figure showing the example of the selection screen displayed on the terminal unit concerning a 4th embodiment. It is a schematic diagram of the composition of the position measuring system concerning other embodiments.
- FIG. 1 is a diagram illustrating a relationship between a hydraulic shovel and a coordinate system.
- a three-dimensional field coordinate system (Xg, Yg, Zg)
- a three-dimensional vehicle body coordinate system (Xm, Ym, Zm)
- a three-dimensional camera coordinate system (Xc, Yc, Zc)
- the site coordinate system is a coordinate system composed of an Xg axis extending north and south, a Yg axis extending east and west, and a Zg axis extending vertically with the position of the GNSS reference station C provided at the construction site as a reference point.
- An example of the GNSS is GPS (Global Positioning System).
- the GNSS reference station C is an example of a site reference point whose position in the site coordinate system is known.
- the vehicle body coordinate system is a coordinate system composed of an Xm axis extending forward and backward, a Ym axis extending left and right, and a Zm axis extending vertically with reference to a representative point O defined on a revolving body 120 of the excavator 100 described later.
- the front is referred to as the + Xm direction
- the rear is referred to as the ⁇ Xm direction
- the left is referred to as the + Ym direction
- the right is referred to as the ⁇ Ym direction
- the upper direction is referred to as the + Zm direction
- the lower direction is referred to as the ⁇ Zm direction with reference to the representative point O of the revolving structure 120.
- the camera coordinate system is based on the position of one camera (for example, the first camera 1251) constituting the stereo camera 125 of the excavator 100 described later, and the Xc axis extends vertically in the camera and the Yc axis extends in the width direction of the camera.
- a coordinate system composed of a Zc axis extending in the optical axis direction of the camera.
- the control device 126 of the excavator 100 described below can convert a position in one coordinate system to a position in another coordinate system by calculation.
- the control device 126 can convert a position in the camera coordinate system into a position in the vehicle body coordinate system, and can also convert the position in the opposite coordinate system.
- the control device 126 can convert a position in the site coordinate system into a position in the vehicle body coordinate system, and can also convert the position in the reverse coordinate system.
- FIG. 2 is a perspective view illustrating an appearance of a hydraulic shovel including the calibration system according to the first embodiment.
- a hydraulic excavator 100 as a working machine includes a working machine 110 operated by hydraulic pressure, a revolving unit 120 supporting the working unit 110, and a traveling unit 130 supporting the revolving unit 120.
- the work implement 110 includes a boom 111, an arm 112, a bucket 113, a boom cylinder 114, an arm cylinder 115, and a bucket cylinder 116.
- the boom 111 is a support for supporting the arm 112 and the bucket 113.
- the base end of the boom 111 is attached to the front of the revolving unit 120 via a boom pin P1.
- the arm 112 connects the boom 111 and the bucket 113.
- the proximal end of the arm 112 is attached to the distal end of the boom 111 via an arm pin P2.
- the bucket 113 is a container having a blade for excavating earth and sand.
- the proximal end of the bucket 113 is attached to the distal end of the arm 112 via a bucket pin P3.
- the boom cylinder 114 is a hydraulic cylinder for operating the boom 111.
- the base end of the boom cylinder 114 is attached to the swing body 120.
- the tip of the boom cylinder 114 is attached to the boom 111.
- the arm cylinder 115 is a hydraulic cylinder for driving the arm 112.
- the base end of the arm cylinder 115 is attached to the boom 111.
- the tip of the arm cylinder 115 is attached to the arm 112.
- the bucket cylinder 116 is a hydraulic cylinder for driving the bucket 113.
- the base end of the bucket cylinder 116 is attached to the arm 112.
- the tip of the bucket cylinder 116 is attached to the bucket 113.
- the revolving superstructure 120 is provided with a driver's cab 121 on which an operator rides.
- the cab 121 is provided in front of the revolving superstructure 120 and on the left side (+ Ym side) of the work implement 110.
- An operation device 1211 for operating the work implement 110 is provided inside the cab 121. Hydraulic oil is supplied to the boom cylinder 114, the arm cylinder 115, and the bucket cylinder 116 according to the operation amount of the operation device 1211, and the work machine 110 is driven.
- a stereo camera 125 is provided above the cab 121.
- the stereo camera 125 is installed in the front (+ Xm direction) and above (+ Zm direction) inside the cab 121.
- the stereo camera 125 captures an image of the front (+ Xm direction) of the cab 121 through a windshield on the front of the cab 121.
- Stereo camera 125 includes at least one pair of cameras. In the first embodiment, since the stereo camera 125 includes two pairs of cameras, the stereo camera 125 includes four cameras.
- the stereo camera 125 includes a first camera 1251, a second camera 1252, a third camera 1253, and a fourth camera 1254 in order from the right side ( ⁇ Ym side). Examples of each camera include, for example, a camera using a CCD (Charge Coupled Device) sensor and a CMOS (Complementary Metal Oxide Semiconductor) sensor.
- CCD Charge Coupled Device
- CMOS Complementary Metal Oxide Semiconductor
- the first camera 1251 and the third camera 1253 are paired cameras.
- the first camera 1251 and the third camera 1253 are installed at an interval in the left-right direction ( ⁇ Ym direction) such that the optical axis is substantially parallel to the floor surface of the cab 121.
- the second camera 1252 and the fourth camera 1254 are paired cameras.
- the second camera 1252 and the fourth camera 1254 have their optical axes substantially parallel to each other, and their optical axes are lower than the front of the cab 121 (+ Xm direction) with respect to the floor surface of the cab 121 ( ⁇ Zm). Direction) (i.e., in the ⁇ Ym direction).
- the stereo camera 125, the first camera 1251, the second camera 1252, the third camera 1253, and the fourth camera 1254 are examples of an imaging device.
- the distance between the stereo camera 125 and the imaging target can be calculated by using a pair of imaging data captured by at least one pair of the stereo cameras 125.
- the stereo camera 125 may be configured by a pair of cameras, or may be configured by three or more cameras.
- a sensor that can obtain both an image and a distance image representing three-dimensional data such as a TOF (Time $ Of $ Flight) camera, is used as an imaging device. You may. Further, a camera capable of obtaining a distance image may be used as the imaging device.
- FIG. 3 is a schematic block diagram illustrating a configuration of a control system of the hydraulic shovel according to the first embodiment.
- the hydraulic shovel 100 includes a work implement position detector 117, a position and orientation calculator 123, an inclination detector 124, a stereo camera 125, and a control device 126.
- Work implement position detector 117 detects the posture angle of work implement 110.
- the work implement position detector 117 according to the first embodiment is a stroke detector that detects the stroke length of each of the boom cylinder 114, the arm cylinder 115, and the bucket cylinder 116. Thereby, control device 126 described later can detect the posture angle of work implement 110 based on the respective stroke lengths of boom cylinder 114, arm cylinder 115, and bucket cylinder 116.
- an angle detector such as a rotary encoder or a horizontal detector is used as the work machine position detector 117 instead of the stroke detector or in combination with the stroke detector. You may.
- the position and orientation calculator 123 calculates the position of the revolving superstructure 120 and the direction in which the revolving superstructure 120 faces.
- the position and orientation calculator 123 includes a first receiver 1231 and a second receiver 1232 that receive a positioning signal from an artificial satellite constituting a GNSS (Global Navigation Satellite System).
- the first receiver 1231 and the second receiver 1232 are installed at different positions of the revolving unit 120, respectively.
- the position and orientation calculator 123 detects the position of the representative point O (the origin of the vehicle body coordinate system) of the revolving body 120 in the site coordinate system based on the positioning signal received by the first receiver 1231.
- the position and orientation calculator 123 uses the positioning signal received by the first receiver 1231 and the positioning signal received by the second receiver 1232 to detect the second receiver for the installation position of the first receiver 1231.
- the azimuth of the revolving superstructure 120 is calculated as the relationship of the installation position of the 1232.
- the inclination detector 124 measures the acceleration and the angular velocity of the revolving unit 120 and, based on the measurement result, the inclination of the revolving unit 120 (for example, a roll representing rotation about the Xm axis, a pitch representing rotation about the Ym axis, and a pitch representing the rotation about the Zm axis). (Yaw indicating rotation) is detected.
- the tilt detector 124 is installed on the lower surface of the cab 121, for example.
- an IMU Inertial Measurement Unit
- the control device 126 includes a processor 910, a main memory 920, a storage 930, and an interface 940.
- the storage 930 stores a program for controlling the work implement 110. Examples of the storage 930 include a hard disk drive (HDD) and a nonvolatile memory.
- the storage 930 may be an internal medium directly connected to the bus of the control device 126 or an external medium connected to the control device 126 via the interface 940 or a communication line.
- the processor 910 reads the program from the storage 930, expands the program in the main memory 920, and executes processing according to the program. Further, the processor 910 secures a storage area in the main memory 920 according to a program.
- the interface 940 is connected to the work implement position detector 117, the operating device 1211, the position and orientation calculator 123, the tilt detector 124, the stereo camera 125, and other peripheral devices, and exchanges signals.
- the control device 126 measures an imaging target such as a construction site based on an image captured by the stereo camera 125 by executing the program.
- the control device 126 generates three-dimensional data representing the shape of the imaging target from the imaging data captured by the stereo camera. Examples of the three-dimensional data include point cloud data, polygon data, and voxel data.
- the control device 126 generates three-dimensional data in a camera coordinate system including an Xc axis, a Yc axis, and a Zc axis that are orthogonal to each other based on the position of the stereo camera 125.
- the control device 126 calculates calibration (external calibration and vehicle calibration) of the stereo camera 125 by executing the program.
- the external calibration is to determine the position and orientation between a pair of cameras constituting the stereo camera 125.
- the vehicle body calibration is to obtain a positional relationship between the stereo camera 125 and the revolving unit 120. That is, the control device 126 is an example of a calibration device of the imaging device.
- FIG. 4 is a diagram illustrating an example of the posture of the working machine.
- the control device 126 calculates the attitude of the work implement 110 based on the detection result of the work implement position detector 117. Specifically, the control device 126 calculates the posture angle ⁇ of the boom 111, the posture angle ⁇ of the arm 112, the posture angle ⁇ of the bucket 113, and the position of the cutting edge E of the bucket 113 as the posture of the work implement 110.
- the posture angle ⁇ of the boom 111 is represented by an angle formed by a half line extending from the boom pin P1 in the upward direction (+ Zm direction) of the rotating body 120 and a half line extending from the boom pin P1 to the arm pin P2. Note that, due to the inclination (pitch angle) ⁇ of the swing body 120, the upward direction of the swing body 120 and the vertical upward direction do not always match.
- the posture angle ⁇ of the arm 112 is represented by an angle formed by a half line extending from the boom pin P1 to the arm pin P2 and a half line extending from the arm pin P2 to the bucket pin P3.
- the attitude angle ⁇ of the bucket 113 is represented by an angle formed by a half line extending from the arm pin P2 to the bucket pin P3 and a half line extending from the bucket pin P3 to the cutting edge E of the bucket 113.
- the sum of the posture angle ⁇ of the boom 111, the posture angle ⁇ of the arm 112, and the posture angle ⁇ of the bucket 113 is referred to as the posture angle ⁇ of the work implement 110.
- the attitude angle ⁇ of the work implement 110 is equal to the angle formed by the half line extending from the bucket pin P3 in the upward direction (+ Z direction) of the revolving unit 120 and the half line extending from the bucket pin P3 to the cutting edge E of the bucket 113.
- the position of the cutting edge E of the bucket 113 in the vehicle body coordinate system includes the dimension L1 of the boom 111, the dimension L2 of the arm 112, the dimension L3 of the bucket 113, the attitude angle ⁇ of the boom 111, the attitude angle ⁇ of the arm 112, and the attitude angle of the bucket 113.
- ⁇ the position of the representative point O of the rotating body 120, and the positional relationship between the representative point O and the boom pin P1.
- the dimension L1 of the boom 111 is a distance from the boom pin P1 to the arm pin P2.
- the dimension L2 of the arm 112 is a distance from the arm pin P2 to the bucket pin P3.
- the dimension L3 of the bucket 113 is a distance from the bucket pin P3 to the cutting edge E.
- the positional relationship between the representative point O and the boom pin P1 is represented, for example, by the position of the boom pin P1 in the vehicle body coordinate system with respect to the representative point O.
- the positional relationship between the representative point O and the boom pin P1 is expressed by, for example, the distance from the representative point O to the boom pin P1, the inclination of the semi-line extending from the representative point O to the boom pin P1, in the Xm axis direction, and the Ym axis direction. May be done.
- Rcp is a rotation matrix for converting the pitch angle of the third camera 1253 to the pitch angle of the first camera 1251.
- Rcr is a rotation matrix for converting the roll angle of the third camera 1253 to the roll angle of the first camera 1251.
- Tc is a translation sequence for converting the position Pc3 to the position Pc1.
- x1 indicates the position of the first camera 1251 in the Xc coordinate of the camera coordinate system.
- y1 indicates the position of the first camera 1251 in the Yc coordinate of the camera coordinate system.
- z1 indicates the position of the first camera 1251 in the Zc coordinate of the camera coordinate system.
- x3 indicates the position of the third camera 1253 in the Xc coordinate of the camera coordinate system.
- y3 indicates the position of the third camera 1253 in the Yc coordinate of the camera coordinate system.
- z3 indicates the position of the third camera 1253 in the Zc coordinate of the camera coordinate system.
- ⁇ y indicates a relative angle (yaw angle) of the third camera 1253 around the Xc axis with respect to the first camera 1251.
- ⁇ p indicates a relative angle (pitch angle) of the third camera 1253 around the Yc axis with respect to the first camera 1251.
- ⁇ r indicates a relative angle (roll angle) of the third camera 1253 around the Zc axis with respect to the first camera 1251.
- Tx indicates a relative position of the third camera 1253 in the Xc axis direction with respect to the first camera 1251.
- Ty indicates the relative position of the third camera 1253 in the Yc axis direction with respect to the first camera 1251.
- Tz indicates a relative position of the third camera 1253 in the Zc axis direction with respect to the first camera 1251.
- each of the cameras (first camera 1251, second camera 1252, third camera 1253, fourth camera 1254) provided in stereo camera 125 and revolving unit 120 can be expressed by the following equation (3).
- Pm1 Rmy ⁇ Rmp ⁇ Rmr ⁇ Pc1 + Tm (3)
- Pc1 indicates the position of the first camera 1251 in the camera coordinate system.
- Rmy is a rotation matrix for converting the yaw angle (angle around the Xc axis) of the first camera 1251 in the camera coordinate system into a yaw angle (angle around the Xm axis) in the vehicle body coordinate system.
- Rmp is a rotation matrix for converting the pitch angle (angle around the Yc axis) of the first camera 1251 in the camera coordinate system into a pitch angle (angle around the Ym axis) in the vehicle body coordinate system.
- Rmr is a rotation matrix for converting the roll angle (angle around the Zc axis) of the first camera 1251 in the camera coordinate system into a roll angle (angle around the Zm axis) in the vehicle body coordinate system.
- Tm is a translation sequence for converting the position Pc1 to the position Pm1.
- the matrix Rmy, the matrix Rmp, the matrix Rmr, and the matrix Tm are vehicle body parameters, and are parameters indicating position and orientation information between each camera and the revolving unit 120.
- the expression (3) is described using the first camera 1251 as an example, but the same applies to the second camera 1252, the third camera 1253, and the fourth camera 1254. That is, by applying the above equation (3) to each camera, an equation indicating the positional relationship between each of the first camera 1251, the second camera 1252, the third camera 1253, and the fourth camera 1254 with respect to the revolving body 120. Can be represented.
- matrices Rmy, Rmp, Rmr, and Tm that form the above equation (3) are obtained. When these are obtained, the control device 126 can convert the position in the camera coordinate system into the vehicle body coordinate system.
- the control device 126 of the excavator 100 calibrates the stereo camera 125 by the stereo camera 125 capturing the work implement target Tm and the external target Tg.
- the work machine target Tm is a figure attached to the work machine 110 that is clearly seen in the image captured by the stereo camera 125.
- the external target Tg is a figure provided on the construction site that is clearly seen in the image captured by the stereo camera 125.
- the work implement target Tm and the external target Tg according to the first embodiment are, for example, black spots on a white board. With such a figure, the contrast in the captured image becomes clear, and the positions of the work implement target Tm and the external target Tg can be reliably specified.
- FIG. 5 is a diagram illustrating an example of a work implement target used for executing the calibration method according to the first embodiment.
- the work implement target Tm is attached to a predetermined position on the blade of the bucket 113.
- the work implement target Tm is attached to the center blade among the blades of the bucket 113. Since the position of the cutting edge of the center blade of the bucket 113 in the vehicle body coordinate system can be calculated by the calculation of the control device 126, if the positional relationship between the cutting edge of the bucket 113 and the center position of the work implement target Tm is known. , The control device 126 can accurately calculate the center position of the work implement target Tm attached to the center blade.
- the work implement target Tm may be attached to a plurality of blades, for example, may be attached to a total of three blades, a central blade and left and right ends. Further, in another embodiment, the work implement target Tm may be attached to a position other than the blade of the bucket 113 as long as it is a position on the work implement 110 at which each camera of the stereo camera 125 can capture an image. The work implement target Tm may be attached to the tip of a rod-shaped attachment attached to the work implement.
- the position information of the work implement target Tm calculated by the operation of the control device 126 includes a GNSS error and other errors.
- the accuracy of the position information of the work implement target Tm calculated by the operation of the control device 126 is higher than the accuracy of the parameters of the stereo camera 125 before calibration. Therefore, in the present embodiment, the position information of the work implement target Tm is used for parameter calibration of the stereo camera 125.
- the work implement target Tm whose center position is known is an example of a known point target located within the work range.
- the work implement target Tm is attached to the central blade of the bucket 113.
- FIG. 6 is a diagram illustrating the position of the work implement target imaged by the stereo camera in the first embodiment.
- the operator of the excavator 100 determines that each work implement target Tm is, for example, at the position p1, the position p2, the position p3, the position p4, the position p5, the position p6, the position p7, and the position p7 shown in FIG.
- the work implement 110 is controlled to come to the position p8.
- each camera constituting the stereo camera 125 images the work implement target Tm at each position.
- the control device 126 acquires information indicating the position of the work implement from the work implement position detector 117 when the stereo camera 125 takes an image.
- the positions of the positions p1 to p8 do not necessarily have to be the positions shown in FIG. 6, and the operator of the excavator 100 may perform imaging by moving the work implement target Tm to an arbitrary position. Also, the number of positions of the work implement target Tm does not necessarily need to be eight, but may be any arbitrary number of points.
- FIG. 7 is a diagram illustrating an example of an external target used for executing the calibration method according to the first embodiment.
- the external target Tg includes a ground plate Tg1 facing the ground, and a display plate Tg2 which rises vertically from the ground plate Tg1 and has a predetermined figure drawn thereon.
- the structure of the external target Tg does not necessarily have to include the ground plate Tg1 and the display plate Tg2, and may be any structure as long as its position can be recognized from an image captured by the stereo camera 125. Is also good.
- the external target Tg according to another embodiment may include only the display panel Tg2 and be attached to the ground or a wall.
- the external target Tg may not be provided with the display panel Tg2 and may be a figure directly drawn on the ground or a wall, or may be a figure not drawn on the display panel Tg2. Good. Further, the figure drawn on the display plate Tg2 may be any shape, color, or pattern as long as its position can be recognized.
- the external target Tg includes a plurality of arbitrary positions on the construction site (that is, a plurality of positions whose positions in the site coordinate system are unknown) and a position in the site coordinate system that is known. It is installed at a certain position.
- a position whose position in a certain coordinate system is unknown is also called an unknown point
- a position whose position in a certain coordinate system is known is also called a known point
- the external target Tg located at the unknown point is also called an unknown external target
- the external target Tg located at the known point is called a known external target.
- FIG. 8 is a diagram illustrating a first position of an external target imaged by a stereo camera in the first embodiment.
- the operator of the excavator 100 moves each external target Tg to, for example, the positions p11, p12, p13, p14, p15, p16, p17, and p17 shown in FIG. It is installed at p18 and position p19.
- the positions p11 to p19 are all unknown points. That is, the installation position of each external target Tg need not be accurate, and the position in the on-site coordinate system is unknown. It should be noted that the number of external targets Tg does not necessarily need to be nine, but may be any plural unknown points.
- the positions p11 to p19 are dispersedly arranged in the imaging range of the stereo camera 125.
- the control device 126 specifies, for each camera, the center position of the work implement target Tm at the positions p1 to p8 and the center position of the work implement target Tm in the captured image of the external target Tg at the positions p11 to p19.
- the center position of the work implement target Tm in the captured image is an example of image data of the work implement target Tm.
- the control device 126 performs the work in the vehicle body coordinate system based on the cutting edge position of the bucket 113 detected by the work implement position detector 117, the posture angle ⁇ of the bucket 113, and the positional relationship between the center of the work implement target Tm and the cutting end.
- the center position of the machine target Tm (the positions of the positions p1 to p8 in the vehicle body coordinate system) is obtained.
- the control device 126 performs convergence calculation using the positions of the positions p1 to p8 and the positions p11 to p19 in the captured image of each camera and the positions of the positions p1 to p8 in the vehicle body coordinate system, thereby obtaining the convergence of each camera.
- Find parameters Specifically, the control device 126 obtains the matrices Rmy, Rmp, Rmr, and Tm constituting the above equation (3) for each camera by the above convergence calculation, thereby obtaining the matrix Rcy constituting the above equation (1). , Rcp, Rcr, and Tc.
- control device 126 calculates the convergence using the positions of the positions p1 to p8 in the images captured by the cameras and the positions p1 to p8 in the vehicle body coordinate system, and calculates each of the positions p11 to p19.
- the convergence calculation using the position in the captured image of the camera may be performed in parallel with each other to obtain the parameters of each camera.
- the control device 126 performs convergence calculation using the positions of the positions p1 to p8 in the captured image of each camera and the positions of the positions p1 to p8 in the vehicle body coordinate system, thereby enclosing at least the positions p1 to p8.
- the parameters of the camera can be determined so that the accuracy of the stereo measurement is ensured.
- the control device 126 performs convergence calculation using the positions of the positions p11 to p19 in the captured image of each camera, so that the stereo measurement is established in a range surrounded by the positions p11 to p19. Can be obtained.
- the control device 126 may perform the convergence calculation without using the positions of the unknown points (positions p11 to p19).
- control device 126 further adjusts the parameters of each camera by using the captured image of the external target Tg whose position is already known, thereby obtaining the positions p1 to p8.
- the accuracy of the distance in the range outside the range enclosed by is improved.
- FIG. 9 is a diagram illustrating a procedure for installing an external target according to the first embodiment.
- the parameters of each camera are adjusted by arranging the external target Tg at a position p20 (known point) whose position in the on-site coordinate system is known and imaging the position.
- the external target Tg is installed at a construction site such that the center of the GNSS reference station C is located immediately below the figure drawn on the display panel Tg2, for example.
- the position (Xg0, Yg0, Zg0) of the GNSS reference station C in the field coordinate system is known, and the distance h from the bottom surface of the ground plate Tg1 of the external target Tg to the center point of the figure drawn on the display plate Tg2 is known.
- the center position p20 (Xg0, Yg0, Zg0 + h) of the figure of the external target Tg in the on-site coordinate system can be accurately specified.
- the GNSS reference station C does not necessarily need to be a reference point (origin) in the on-site coordinate system. Since the position information of the known external target Tg is measured using a high-precision sensor such as a total station, the accuracy is higher than the accuracy of the parameters of the stereo camera 125 before calibration. Therefore, in the present embodiment, the accuracy of stereo measurement can be improved by using the position information of the external target Tg for parameter calibration of the stereo camera 125.
- FIG. 10 is a diagram illustrating a second position of the external target imaged by the stereo camera in the first embodiment.
- the operator of the excavator 100 calibrates using the work implement target Tm and the external target Tg which is an unknown point, and then the external target Tg which is a known point installed at the position p20 is in the work range of the work implement 110 ( The excavator 100 is moved so as to be more distant than the range including p1 to p8).
- the working range is a range in which the cutting edge E of the bucket 113 can reach by operating the work implement 110 in the vehicle body coordinate system.
- each camera constituting the stereo camera 125 captures an image of the external target Tg at the position p20.
- FIG. 10 is a diagram illustrating a second position of the external target imaged by the stereo camera in the first embodiment.
- the stereo camera 125 captures an image of the external target Tg whose position in the on-site coordinate system is known once, but is not limited thereto.
- the control device 126 changes the relative position between the stereo camera 125 and the external target Tg whose position in the site coordinate system is known, and for each relative position, the stereo camera 125 determines the external target Tg whose position in the site coordinate system is known. May be imaged a plurality of times. In this case, the parameters of the stereo camera 125 can be obtained with higher accuracy than when the external target Tg whose position in the site coordinate system is known once is imaged.
- the external target Tg which is a known point located outside the work range, is an example of a known point target located outside the work range.
- the external target Tg, which is a known point set in the work range is an example of a known point target located in the work range.
- the controller 126 calculates the center position of the external target Tg in the camera coordinate system by stereo measurement based on the captured image of the external target Tg at the position p20, and determines the position and orientation of the stereo camera 125 stored in the parameter storage unit 204. Based on the indicated parameters, this is converted into the center position (first position) of the external target Tg in the vehicle body coordinate system. Further, the control device 126 performs coordinate conversion of the center position of the external target Tg in the site coordinate system, and obtains the center position (second position) of the external target Tg in the vehicle body coordinate system. Then, the controller 126 adjusts the parameters of each camera so that the difference (distance) between the first position and the second position is minimized.
- the positional relationship between the camera and the external target Tg is calculated by calculating the first position and the second position.
- the combination of the first position and the parameters stored in the parameter storage unit 204 is an example of a first positional relationship that is a positional relationship between the camera and the external target Tg.
- the combination of the second position and the parameters stored in the parameter storage unit 204 is an example of a second positional relationship that is a positional relationship between the camera and the external target Tg.
- control device 126 may adjust the parameters of each camera based on the distance between the stereo camera 125 and the external target Tg instead of the center position of the external target Tg in the camera coordinate system.
- the control device 126 may adjust the parameters of the camera in the following procedure.
- the control device 126 obtains the distance (first distance) between the stereo camera 125 and the center position of the external target Tg by stereo measurement based on the captured image of the external target Tg at the position p20. Further, the control device 126 converts the coordinate system between the stereo camera 125 and the center position of the external target Tg based on the center position of the external target Tg in the site coordinate system and the position of the stereo camera 125 in the vehicle body coordinate system.
- Each of the first distance and the second distance is a value representing the positional relationship between the stereo camera 125 and the external target Tg.
- FIG. 11 is a block diagram illustrating a configuration of a control device for the hydraulic shovel according to the first embodiment.
- the control device 126 includes an imaging data acquisition unit 200, a work machine information storage unit 201, a work machine position identification unit 202, a first calibration unit 203, a parameter storage unit 204, a conversion parameter calculation unit 205, an external target position calculation unit 206, an external A target position acquisition unit 207, an external target position conversion unit 208, and a second calibration unit 209 are provided.
- the imaging data acquisition unit 200 acquires an image captured by each camera of the stereo camera 125, and generates three-dimensional data of an imaging target by stereo measurement. Images and three-dimensional data are examples of image data.
- the work machine information storage unit 201 stores the dimension L1 of the boom 111, the dimension L2 of the arm 112, the dimension L3 of the bucket 113, the contour shape of the bucket 113, the positional relationship between the position of the representative point O of the revolving unit 120 and the boom pin P1, and the like. Is stored.
- the work machine position identification unit 202 determines the bucket based on the stroke amounts of the boom cylinder 114, the arm cylinder 115, and the bucket cylinder 116 detected by the work machine position detector 117, and the values of the specifications stored in the work machine information storage unit 201. The position and orientation of 113 are specified. Thereby, the work implement position specifying unit 202 specifies the position of the work implement target Tm in the vehicle body coordinate system.
- the first calibration unit 203 determines the positions (positions p1 to p8) of the work implement target Tm in the vehicle body coordinate system identified by the work implement position identification unit 202 and the images of the cameras of the work implement target Tm at the positions p1 to p8.
- the convergence calculation based on the position and the position of the external target Tg at the positions p11 to p18, which are unknown points, in the captured image of each camera, calculates and updates the parameters of the stereo camera 125, that is, performs calibration.
- the first calibration unit 203 records the parameters (for example, the respective matrices of Expressions (1) and (3)) obtained by the calculation in the parameter storage unit 204.
- the parameter storage unit 204 stores the parameters of the stereo camera 125.
- the conversion parameter calculation unit 205 calculates the position and orientation of the revolving unit 120 calculated by the position and orientation calculator 123, and the tilt angle of the revolving unit 120 detected by the tilt detector 124, based on the on-site coordinate system and the vehicle body coordinate system. Calculate the conversion parameters between them. Thus, by converting the parameters indicating the position and orientation of the stereo camera 125 in the vehicle body coordinate system stored in the parameter storage unit 204, the position and orientation of the stereo camera 125 in the site coordinate system can be specified. .
- the conversion parameter calculation unit 205 is an example of an imaging device position acquisition unit that acquires the position of the imaging device.
- the external target position calculation unit 206 performs coordinate conversion on the position of the external target Tg in the camera coordinate system obtained by the imaging data acquisition unit 200 by stereo measurement using the parameters of the stereo camera 125 stored in the parameter storage unit 204. , The position of the external target Tg in the vehicle body coordinate system is calculated.
- the external target position calculating unit 206 is an example of a first positional relation specifying unit that specifies a first positional relation that is a positional relation between the stereo camera 125 and the external target Tg based on an image captured by the stereo camera 125.
- the external target position acquisition unit 207 calculates the position p20 of the external target Tg in the field coordinate system by adding the height h of the external target Tg to the center of the figure to the known position of the GNSS reference station C in the field coordinate system. I do.
- the position of the known GNSS reference station C in the field coordinate system and the height h of the external target Tg to the center of the figure are incorporated in a program for operating the control device 126 in advance.
- the position and height h of the GNSS reference station C in the site coordinate system are input via the interface 940 by an operator or the like, and the input values are recorded in the storage 930, and the external target position The acquisition unit 207 may read this.
- the external target position acquisition unit 207 may include: Instead of the height h, the position p20 is calculated using information indicating the relative position between the point whose position in the site coordinate system is known and the center of the figure.
- the external target position conversion unit 208 converts the position of the external target Tg calculated by the external target position acquisition unit 207 in the site coordinate system into a position in the vehicle body coordinate system. . That is, the external target position conversion unit 208 can specify the positional relationship between the stereo camera 125 and the external target Tg in the vehicle body coordinate system. The external target position conversion unit 208 specifies a second positional relationship between the stereo camera 125 and the external target Tg based on the position of the stereo camera 125 and the position of the external target Tg. This is an example.
- the second calibration unit 209 includes a first positional relationship that is a positional relationship between the stereo camera 125 and the external target Tg calculated by the external target position calculating unit 206, and a stereo camera 125 and an external target obtained by the external target position converting unit 208.
- the calculation for correcting the parameters (the position and orientation in the body coordinate system) of the stereo camera 125 so that the difference between the second positional relationship with the Tg and the second positional relationship is minimized is based on the first positional relationship and the second positional relationship.
- the parameter stored in the parameter storage unit 204 is updated by repeatedly executing the calculation (convergence calculation) until the difference becomes equal to or less than a predetermined value.
- FIG. 12 is a flowchart illustrating a calibration method of the stereo camera according to the first embodiment.
- various dimensions of the work machine 110 are stored in the work machine information storage unit 201 in advance (step S0).
- the operator of the excavator 100 operates the operating device 1211 so that the work implement target Tm comes to a predetermined position, for example, each of the positions p1 to p8 shown in FIG.
- the operator operates the operation device 1211 when the work implement target Tm reaches each of the positions p1 to p8, and outputs an imaging instruction to the stereo camera 125.
- the imaging data acquisition unit 200 of the control device 126 acquires an image captured by each camera of the stereo camera 125 at each position (positions p1 to p8) of the work implement target Tm (step S1).
- the work machine position identification unit 202 determines the stroke amounts of the boom cylinder 114, the arm cylinder 115, and the bucket cylinder 116 detected by the work machine position detector 117 and the values of the specifications stored in the work machine information storage unit 201. Based on the position, the position of the work implement target Tm in the vehicle body coordinate system is specified for each position of the work implement target Tm (step S2).
- the worker at the construction site installs the external target Tg at an arbitrary position, for example, at each of the positions p11 to p19 shown in FIG. At this time, the position where the external target Tg is set is an unknown point. That is, the operator does not need to know the exact positions of the positions p11 to p19.
- the operator operates the operation device 1211 to output an imaging instruction to the stereo camera 125.
- the imaging data acquisition unit 200 of the control device 126 acquires an image captured by each camera of the stereo camera 125 (Step S3).
- the first calibration unit 203 calculates the parameters of the stereo camera 125 by convergence calculation based on the center positions of the positions p1 to p8 and p11 to p19 in each captured image and the positions of the positions p1 to p8 in the vehicle body coordinate system. (Step S4). After obtaining the parameters, the first calibration unit 203 records and updates the obtained parameters in the parameter storage unit 204 (step S5).
- the operator operates the operating device 1211 such that the external target Tg provided immediately above (known point) the GNSS reference station C is located outside the working range of the working machine 110 as shown in FIG.
- the excavator 100 is moved.
- the operator determines that the external target Tg is located outside the working range of the working machine 110
- the operator operates the operating device 1211 and outputs an imaging instruction to the stereo camera 125.
- the imaging data acquisition unit 200 of the control device 126 acquires the image captured by each camera of the stereo camera 125, performs stereo measurement based on the image, and calculates the position of the external target Tg in the camera coordinate system ( Step S6).
- the conversion parameter calculation unit 205 calculates the on-site coordinate system and the vehicle body coordinates based on the position and orientation of the revolving unit 120 calculated by the position and orientation calculator 123 and the inclination angle of the revolving unit 120 detected by the inclination detector 124.
- a conversion parameter for the system is calculated (step S7).
- the external target position calculation unit 206 uses the parameters of the stereo camera 125 stored in the parameter storage unit 204 to determine the position of the external target Tg in the camera coordinate system obtained by the imaging data acquisition unit 200 through the stereo measurement in step S8. The position of the external target Tg in the coordinate system is converted and calculated (step S8).
- the external target position acquisition unit 207 calculates the center position of the external target Tg in the site coordinate system by adding the height of the external target Tg to the center of the figure to the known position of the GNSS reference station C in the site coordinate system. (Step S9).
- the external target position conversion unit 208 uses the conversion parameter between the site coordinate system and the vehicle body coordinate system calculated by the conversion parameter calculation unit 205 to calculate the site of the external target Tg calculated by the external target position acquisition unit 207.
- the position in the coordinate system is converted into a position in the vehicle body coordinate system (step S10).
- the second calibration unit 209 controls the stereo camera parameters so that the difference between the position of the external target Tg calculated by the external target position calculation unit 206 and the position of the external target Tg obtained by the external target position conversion unit 208 is minimized. Is converged, and the parameters stored in the parameter storage unit 204 are updated (step S11).
- the second calibration unit 209 may update at least parameters related to the scale in the stereo measurement among the parameters stored in the parameter storage unit 204.
- the control device 126 can calibrate the stereo camera 125 so that the distance can be calculated more accurately for a point farther than the working range of the work implement 110.
- the second calibration unit 209 calibrates the camera parameters in step S11 so that the difference between the distance between the camera and the external target Tg (the first distance and the second distance) is minimized. You may.
- the control device 126 controls the first positional relationship between the stereo camera 125 and the external target Tg specified by the stereo measurement based on the captured image of the stereo camera 125, and the stereo camera The stereo camera 125 is calibrated based on the second positional relationship specified based on the position of the external target Tg and the position of the external target Tg. Since the external target Tg is provided not at the work implement 110 but at the construction site, the distance between the stereo camera 125 and the external target Tg can be set arbitrarily to calibrate the stereo camera 125.
- control device 126 sets the distance between the stereo camera 125 and the external target Tg outside the working range of the work implement 110 so that the measurement accuracy of the scale at a point farther than the work range of the work implement 110 is increased.
- the stereo camera 125 can be calibrated.
- the external target Tg is provided immediately above the GNSS reference station C. Accordingly, the control device 126 can reliably specify the position of the external target Tg in the site coordinate system.
- the control device 126 first calibrates the parameters of the stereo camera 125 based on the work implement target Tm provided on the work implement 110 and the external target Tg at the unknown point, and thereafter, The parameters of the stereo camera 125 are updated based on the external target Tg at the known point.
- the parameters of the stereo camera 125 are obtained so that the accuracy is high at least in the working range of the work implement 110.
- the control device 126 can update the parameters of the stereo camera 125 so as to increase the accuracy even outside the working range of the work implement 110 by performing calibration based on the external target Tg of the known point.
- the present invention is not limited to this.
- control device 126 may calibrate the parameters of the stereo camera 125 based on the work implement target Tm and the external target Tg at the unknown point, and perform stereo based on the external target Tg at the known point.
- the calibration of the parameters of the camera 125 may be performed at the same time.
- the work implement target Tm is attached to the center blade, and the control device 126 performs the convergence calculation based on the work implement target Tm, but is not limited thereto.
- the work implement target Tm may be attached to a plurality of blades, for example, may be attached to a total of three blades, a central blade and left and right ends.
- the position in the vehicle body coordinate system of the work implement target Tm provided other than the center blade does not need to be known accurately. That is, as long as at least one of the work implement targets Tm is installed at a known point, another work implement target Tm may be installed at an unknown point.
- the work implement target Tm may be attached to a plurality of blades.
- the control device 126 of the hydraulic excavator 100 according to the first embodiment uses the external target Tg whose position in the site coordinate system is known after the calibration using the work implement target Tm and the external target Tg which is an unknown point. Calibration is performed in two steps.
- the control device 126 according to the second embodiment uses the work implement target Tm, the external target Tg that is an unknown point, and the external target Tg whose position in the site coordinate system is known at a time using the stereo camera.
- the calibration of 125 is performed.
- FIG. 13 is a flowchart illustrating a stereo camera calibration method according to the second embodiment.
- various dimensions of the work machine 110 are stored in the work machine information storage unit 201 in advance (step S100).
- the operator of the excavator 100 operates the operating device 1211 so that the work implement target Tm comes to a predetermined position, for example, each of the positions p1 to p8 shown in FIG.
- the operator operates the operation device 1211 when the operator reaches each of the positions p1 to p8 of the work machine target Tm, and outputs an imaging instruction to the stereo camera 125.
- the imaging data acquisition unit 200 of the control device 126 acquires an image captured by each camera of the stereo camera 125 at each position (positions p1 to p8) (step S101).
- the work machine position identification unit 202 determines the stroke amounts of the boom cylinder 114, the arm cylinder 115, and the bucket cylinder 116 detected by the work machine position detector 117 and the values of the specifications stored in the work machine information storage unit 201. Based on each position, the position of the work implement target Tm in the vehicle body coordinate system is specified (step S102).
- the worker at the construction site sets the external target Tg at an arbitrary position (unknown point), for example, at each of the positions p11 to p19 shown in FIG.
- the imaging data acquisition unit 200 of the control device 126 acquires an image captured by each camera of the stereo camera 125 at each position (positions p11 to p19) (step S103).
- the operator operates the operating device 1211 such that the external target Tg provided immediately above (known point) the GNSS reference station C is located outside the working range of the working machine 110 as shown in FIG.
- the excavator 100 is moved.
- the operator determines that the external target Tg is out of the working range of the work implement 110
- the operator operates the operation device 1211 and outputs an imaging instruction to the stereo camera 125.
- the imaging data acquisition unit 200 of the control device 126 acquires an image captured by each camera of the stereo camera 125, and obtains the center position of the external target Tg in the captured image (Step S104).
- the center position of the external target Tg in the captured image is an example of image data of the external target Tg.
- the conversion parameter calculation unit 205 calculates the on-site coordinate system and the vehicle body coordinates based on the position and orientation of the revolving unit 120 calculated by the position and orientation calculator 123 and the inclination angle of the revolving unit 120 detected by the inclination detector 124.
- a conversion parameter for the system is calculated (step S105).
- the external target position acquisition unit 207 calculates the center position of the external target Tg in the site coordinate system by adding the height of the external target Tg to the center of the figure to the known position of the GNSS reference station C in the site coordinate system. (Step S106).
- the external target position conversion unit 208 uses the conversion parameter between the site coordinate system and the vehicle body coordinate system calculated by the conversion parameter calculation unit 205 to calculate the site of the external target Tg calculated by the external target position acquisition unit 207.
- the position in the coordinate system is converted into a position in the vehicle body coordinate system (step S107).
- the first calibration unit 203 performs the convergence calculation based on the center positions of the positions p1 to p8, p11 to p19, and p20 in the captured image and the positions of the positions p1 to p8 and the position p20 in the vehicle body coordinate system, and performs the convergence calculation. Are calculated (step S108).
- the first calibration unit 203 records the obtained parameters in the parameter storage unit 204 (Step S109).
- the convergence calculation based on the center positions of the positions p1 to p8, p11 to p19, and p20 in the captured image and the positions of the positions p1 to p8 and the position p20 in the vehicle body coordinate system is performed.
- control device 126 specifies the position of the work implement target Tm in the vehicle body coordinate system, and performs the convergence calculation using the specified position.
- the present invention is not limited to this.
- the control device 126 uses the position of the known external target Tg in the vehicle body coordinate system and the position of the known work target Tm and the external The convergence calculation may be performed based on the center position of the target Tg.
- a third embodiment will be described.
- the control device 126 of the excavator 100 according to the first and second embodiments performs calibration using the work implement target Tm.
- the control device 126 according to the third embodiment calibrates the stereo camera 125 without using the work implement target Tm.
- FIG. 14 is a diagram illustrating a position of an external target Tg at a known point captured by a stereo camera in the third embodiment.
- the operator of the excavator 100 when performing calibration of the stereo camera 125 using the external target Tg of a known point installed outside the working range of the working machine 110, the operator of the excavator 100, as shown in FIG.
- the revolving body 120 is swiveled with respect to the external target Tg, and images of the external target Tg located at different angles when viewed from the stereo camera 125 are captured. That is, the operator controls the revolving superstructure 120 so that the revolving superstructure 120 comes to the position p101, the position p102, and the position p103.
- the operator of the excavator 100 may drive the traveling body 130 and image the external target Tg a plurality of times from different distances. Then, each camera constituting the stereo camera 125 images the external target Tg at each position. Then, control device 126 calculates the parameters of stereo camera 125 by convergence calculation based on the center positions of positions p101 to p103 in the captured image of each camera and the positions of positions p101 to p103 in the body coordinate system. That is, the control device 126 calibrates the stereo camera 125 using a plurality of relative positions of the stereo camera 125 and the external target Tg at a known point.
- FIG. 15 is a flowchart illustrating a method of calibrating a stereo camera according to the third embodiment.
- the external target position acquisition unit 207 calculates the position of the external target Tg in the field coordinate system by adding the height h of the external target Tg to the center of the figure to the known position of the GNSS reference station C in the field coordinate system. (Step S201).
- the operator of the excavator 100 travels on the excavator 100 such that the relative position between the excavator 100 and the external target Tg is out of the working range of the work implement 110, and then the revolving body 120 is moved to an arbitrary position.
- the operating device 1211 is operated so as to come to each of the positions p101 to p103 shown in FIG.
- the operator moves the revolving superstructure 120 from the position p101 to the respective positions p103, the operator operates the operation device 1211 and outputs an imaging instruction to the stereo camera 125.
- the imaging data acquisition unit 200 of the control device 126 acquires images captured by the respective cameras of the stereo camera 125 at the respective positions (positions p101 to p103), and determines the center position of the external target Tg in the captured images. It is determined (step S202).
- the conversion parameter calculation unit 205 calculates A conversion parameter between the coordinate system and the vehicle body coordinate system is calculated (step S203).
- the external target position conversion unit 208 uses the conversion parameters calculated by the conversion parameter calculation unit 205 to calculate the position of the external target Tg in the site coordinate system calculated by the external target position acquisition unit 207 for each position.
- the position is converted to a position in the vehicle body coordinate system (step S204).
- the first calibration unit 203 calculates the parameters of the stereo camera 125 based on the image center positions of the positions p101 to p103 in the captured image and the positions of the positions p101 to p103 in the vehicle body coordinate system (step S205). Upon obtaining the parameters, the first calibration unit 203 records the obtained parameters in the parameter storage unit 204 (Step S206).
- the control device 126 sets the distance between the stereo camera 125 and the external target Tg to be farther than the working range of the work implement 110, so that the work range of the work implement 110 is
- the stereo camera 125 can be calibrated so that the distance can be calculated more accurately for a distant point.
- the control device 126 determines, for each relative position between the stereo camera 125 and the external target Tg, the center position in the captured image of the external target Tg and the position of the external target Tg in the field coordinate system. Then, the position in the vehicle body coordinate system converted from is specified, and the stereo camera 125 is calibrated based on these. Thereby, the control device 126 can obtain the parameters of the stereo camera 125 with higher accuracy.
- the calibration using the work implement target Tm can be omitted, and the stereo camera 125 can be directly calibrated using the external target Tg.
- the control device 126 acquires captured images for each of relative positions of the stereo camera 125 and the external target Tg by turning the hydraulic excavator 100, but is not limited thereto. I can't.
- the traveling image of the excavator 100 may acquire a captured image for each of a plurality of relative positions.
- the hydraulic excavator 100 is caused to travel such that the external target Tg is located within the working range of the work implement 110 (short distance) and the external target Tg is located outside the work range of the work implement 110 (long distance), A captured image may be obtained at each position.
- an external target Tg may be installed at each of a plurality of known points, and a captured image may be obtained for each relative position of the stereo camera 125 and the external targets Tg.
- the control device 126 calibrates the imaging device based on the positions of the plurality of external targets Tg and the imaging data of the plurality of external targets Tg.
- an external target Tg may be installed at a plurality of arbitrary positions, and the position of each external target Tg may be measured by a high-precision sensor and used as a known point external target Tg.
- control device 126 may change the relative positions of the stereo camera 125 and the plurality of external targets Tg by turning or traveling of the excavator 100, and may acquire a captured image for each relative position. .
- the control device 126 calibrates the imaging device based on the positions of the plurality of external targets Tg for each positional relationship and the imaging data of the plurality of external targets Tg for each positional relationship. That is, the number of external targets Tg may be one or more, and the number of relative positions between the stereo camera 125 and the external target Tg at the time of imaging may be one or more.
- the stereo camera 125 may image one external target Tg once without changing the attitude of the excavator 100, or may capture a plurality of external targets Tg once without changing the attitude of the excavator 100. Imaging may be performed, one external target Tg may be imaged a plurality of times while changing the attitude of the excavator 100, or a plurality of external targets Tg may be imaged multiple times while changing the attitude of the excavator 100. You may.
- control device 126 performs the convergence calculation based on the center position of the external target Tg at the known point in the captured image and the position of the external target Tg at the in-situ coordinate system at the known point.
- the control device 126 includes a center position in the captured image of the external target Tg related to the known point, a center position in the captured image of the external target Tg related to the unknown point, and the external target Tg related to the known point. Convergence calculation may be performed based on the position of the site coordinate system.
- the calibration processing according to the first to third embodiments can be performed as initial calibration or calibration processing performed when the stereo camera 125 is displaced.
- the control device 126 of the excavator 100 it is preferable that the parameters of the stereo camera 125 be appropriately maintained.
- the stereo camera 125 is not displaced, performing the calibration process is complicated. Therefore, in the fourth embodiment, after performing the calibration processing by the method described in any one of the first to third embodiments, it is periodically checked whether or not the stereo camera 125 is displaced.
- a calibration system capable of performing a calibration process when the error occurs.
- FIG. 16 is a schematic diagram illustrating a configuration of a calibration system according to the fourth embodiment.
- the calibration system 500 according to the fourth embodiment includes the excavator 100 and the terminal device 503.
- Examples of the terminal device 503 include a portable terminal operated by an operator, a PC, a vehicle-mounted monitor, and the like.
- the control device 126 of the excavator 100 can communicate with the terminal device 503 by wired communication or short-range wireless communication such as a wireless LAN.
- the terminal device 503 provides a user interface for assisting a parameter check process and a calibration process by an operator.
- FIG. 17 is a schematic block diagram illustrating a configuration of a control device according to the fourth embodiment.
- the control device 126 according to the fourth embodiment further includes a parameter check unit 210 and a communication unit 211 in addition to the configuration of the control device 126 according to the first to third embodiments. The description of the processing according to any of the first to third embodiments will be omitted.
- the parameter check unit 210 determines whether calibration of the parameters stored in the parameter storage unit 204 is necessary. Specifically, the parameter check unit 210 determines whether calibration is necessary based on the difference between the acquired position of the known target and the position of the external target specified by stereo measurement. That is, the control device 126 is an example of a monitoring device of the imaging device.
- the communication unit 211 exchanges data by communication with the terminal device 503.
- the communication unit 211 is an example of an output unit that outputs a result of determining whether calibration is necessary.
- FIG. 18 is a schematic block diagram illustrating a configuration of a terminal device according to the fourth embodiment.
- the terminal device 503 includes a processor 610, a main memory 620, a storage 630, an interface 640, an input device 650, and a display device 660.
- the storage 630 stores a program for assisting parameter check processing and calibration processing. Examples of the storage 630 include an HDD (Hard Disk Drive), a nonvolatile memory, and the like.
- the storage 630 may be an internal medium directly connected to the bus of the terminal device 503, or may be an external medium connected to the terminal device 503 via the interface 640 or a communication line.
- the processor 610 reads the program from the storage 630, expands the program in the main memory 620, and executes processing according to the program.
- the processor 610 secures a storage area in the main memory 620 according to a program.
- the interface 640 is connected to the control device 126 of the excavator 100 by short-range wireless communication, and exchanges signals.
- the input device 650 and the display device 660 are connected to the processor 610 via the interface 640. Examples of the input device 650 and the display device 660 include a touch panel.
- the processor 610 includes a display control unit 611, a reference station selection unit 612, an instruction transmission unit 613, an imaging data reception unit 614, a check result reception unit 615, and a calibration result reception unit 616 by reading a program from the storage 630.
- the storage area of the reference station storage unit 631 is secured in the storage 630.
- the position information of the GNSS reference station C may be stored in the control device 126.
- the reference station storage unit 631 is installed on the GNSS reference station C from the position of the GNSS reference station C in the site coordinate system and the position of the GNSS reference station C in association with each of the plurality of GNSS reference stations C provided at the construction site.
- the height of the external target Tg to the center of the figure (height h in FIG. 9) is stored.
- the display control unit 611 outputs display information to the display device 660.
- the reference station selection unit 612 receives a selection of the GNSS reference station C used for parameter check from the plurality of GNSS reference stations C stored in the reference station storage unit 631 from the operator via the input device 650.
- the reference station selection unit 612 receives the position information of the external target Tg obtained by the stereo measurement of the image captured by the stereo camera 125 from the control device 126, and stores the information stored in the reference station storage unit 631.
- the GNSS reference station C closest to the position indicated by the position information may be selected.
- the terminal device 503 may include a reference station input unit that can directly input the coordinate position of the reference station, instead of the reference station selection unit 612.
- the instruction transmitting unit 613 transmits, to the control device 126, a parameter check start instruction and a calibration start instruction received from the operator via the input device 650.
- the image data receiving unit 614 receives image data captured by the stereo camera 125 from the control device 126.
- Check result receiving section 615 receives the result of the parameter check process from control device 126.
- the result of the parameter check process is information indicating whether or not the calibration of the stereo camera 125 is necessary.
- the calibration result receiving unit 616 receives the result of the calibration process from the control device 126.
- the result of the calibration process is information indicating whether or not the calibration process was successful.
- FIG. 19 and FIG. 20 are sequence diagrams illustrating a parameter check and calibration process according to the fourth embodiment.
- the operator determines whether or not to use the stereo camera 125 in the work of the day.
- the stereo camera 125 may be used in the work of the day, the following will be described. Perform parameter check.
- the distance (check distance) between the excavator 100 and the external target Tg for setting the external target Tg outside the working range of the work implement 110 is set in advance.
- the operator runs and stops the excavator 100 so that the distance between the excavator 100 and the external target Tg approaches the check distance.
- FIG. 21 is a diagram illustrating an example of a confirmation screen displayed on the terminal device according to the fourth embodiment.
- the confirmation screen includes images G11 captured by each of the stereo cameras 125.
- the captured image G11 is a moving image or a frame-by-frame image showing an instantaneous image captured by each camera before the imaging button of the stereo camera 125 is pressed.
- the captured image G11 is transmitted from the control device 126 of the excavator 100.
- the confirmation screen may not include the captured images G11 of all the cameras of the stereo camera 125.
- the confirmation screen may include a captured image G11 captured by one of the paired cameras (for example, the first camera 1251 and the fourth camera 1254).
- the control device 126 calculates the distance from the stereo camera 125 to the external target Tg by recognizing the external target Tg in the captured image G11 captured by each camera of the stereo camera 125 and performing stereo measurement. By transmitting the distance to the terminal device 503, the terminal device 503 may display the calculated distance on the confirmation screen.
- the operator can run the excavator 100 so that the distance between the stereo camera 125 and the external target Tg becomes a preset check distance.
- the operator can make the excavator 100 travel so that the external target Tg is captured by all the stereo cameras 125 by visually recognizing the captured image G11 displayed on the confirmation screen. Then, the operator can stop the excavator 100 at a position where the external target Tg appears in all the captured images G11 on the confirmation screen (step S302).
- FIG. 22 is a diagram illustrating an example of a selection screen displayed on the terminal device according to the fourth embodiment. As shown in FIG. 22, the selection screen includes a list showing the positions of the plurality of GNSS reference stations C and the height from the positions of the GNSS reference stations C to the center of the figure of the external target Tg (height h in FIG. 9). G21 is included.
- the operator operates the input device 650 to select the GNSS reference station C to be used for parameter check from the displayed list G21 (step S304).
- the reference station selection unit 612 of the terminal device 503 receives the selection of the GNSS reference station C.
- the instruction transmission unit 613 transmits information related to the selected GNSS reference station C to the control device 126 (Step S305).
- the control device 126 or the terminal device 503 determines whether or not the distance between the selected GNSS reference station C and the excavator 100 is within a predetermined range for parameter check.
- the control device 126 proceeds with the parameter check process.
- the terminal device 503 outputs a display signal for displaying a screen for instructing the operator to reset the GNSS reference station C to the display device 660. I do.
- the operator operates the operating device 1211 so that the revolving unit 120 comes to an arbitrary position, for example, each of the positions p101 to p103 shown in FIG.
- the operator moves the revolving superstructure 120 from the position p101 to each of the positions p103, the operator operates the operation device 1211 to output an imaging instruction to the stereo camera 125 (step S306).
- the imaging data acquisition unit 200 of the control device 126 acquires images captured by the respective cameras of the stereo camera 125 at the respective positions (positions p101 to p103), and determines the center position of the external target Tg in the captured images. It is determined (step S307). That is, the imaging data acquisition unit 200 specifies the position of the external target Tg in the vehicle body coordinate system by stereo measurement.
- the imaging data acquisition unit 200 determines the position of the external target Tg in the camera coordinate system using the external parameters (the matrix Rcy, the matrix Rcp, the matrix Rcr, and the matrix Tc in Equation (1)) stored in the parameter storage unit 204. Then, it is converted to the position of the external target Tg in the vehicle body coordinate system using the vehicle body parameters (the matrix Rmy, the matrix Rmp, the matrix Rmr, and the matrix Tm in the equation (3)).
- the control device 126 transmits to the terminal device 503 a display instruction of a screen for instructing imaging in the next posture. Further, when the calculation of the center position of the external target Tg fails, the control device 126 transmits to the terminal device 503 a display instruction of a screen for instructing the imaging again.
- the information of the GNSS reference station C received by the external target position acquisition unit 207 in step S305 and the conversion parameter between the on-site coordinate system and the vehicle body coordinate system calculated for each position at the time of imaging by the conversion parameter calculation unit 205 are included. Based on this, the position of the external target Tg in the vehicle body coordinate system is obtained (step S308).
- the position of the external target Tg in the vehicle body coordinate system acquired in step S308 is a known position of the external target Tg.
- the parameter checking unit 210 determines whether or not the difference between the position of the external target Tg measured in stereo in step S307 and the known position of the external target Tg acquired in step S308 is within an allowable error range (step S309). ). That is, the parameter check unit 210 determines whether the deviation between the position of the external target Tg measured in stereo and the known position of the external target Tg is within an allowable error range. If the difference between the position of the external target Tg measured in stereo and the known position of the external target Tg is within the allowable error range (step S309: YES), the parameter check unit 210 does not need to calibrate the parameters in the terminal device 503. Is transmitted (step S310).
- step S309 NO
- the parameter check unit 210 needs to calibrate the parameters of the terminal device 503.
- Check result information indicating the presence is transmitted (step S311).
- the display control unit 611 outputs a display signal of a check result screen displaying the check result information to the display device 660 (step S312). .
- the second calibration unit 209 changes the pitch angle ( ⁇ p in the equation (1)) of the external parameter stored in the parameter storage unit 204 by a small angle. For each of the changed pitch angles ⁇ p, stereo measurement is performed on a stereo image captured by the paired camera of the stereo camera 125 acquired in step S307, and the stereo ratio of the stereo image is calculated.
- the stereo ratio refers to a ratio of pixels for which stereo measurement has been successful among a plurality of pixels of a stereo image to be measured in stereo.
- the second calibration unit 209 searches for a corresponding point from a plurality of pixels existing on the epipolar line of the other image, and determines the number of corresponding points by the number of pixels. Calculate the stereo ratio by dividing by. The success or failure of the search for the corresponding point is greatly affected by the deviation of the pitch angle ⁇ p of the paired cameras.
- the second calibration unit 209 rewrites the pitch angle ⁇ p stored in the parameter storage unit 204 to the pitch angle ⁇ p at which the obtained stereo ratio is the highest among the pitch angles changed by a small angle (step S313).
- the second calibration unit 209 stores the parameter in the parameter storage unit 204 based on the known position of the acquired external target Tg in the vehicle body coordinate system in step S308 and the position of the external target Tg measured in stereo in step S307.
- the external parameter yaw angle ⁇ y to be corrected is calibrated (step S314). That is, the second calibrating unit 209 calibrates the yaw angle ⁇ y so that the difference in the distance between the camera and the external target Tg is minimized.
- the yaw angle ⁇ y is a parameter that affects the distance (scale) from the stereo camera 125 to the imaging target.
- the second calibration unit 209 calculates the vehicle body parameters (the matrices Rmy, Rmp, Rmr, and the matrix constituting the equation (3) so that the position of the external target Tg obtained by the calculation matches the position obtained in step S314. Tm) (step S315).
- the second calibration unit 209 obtains matrices Rmy, Rmp, Rmr, and Tm by the following processing.
- the second calibration unit 209 specifies the position of a pixel (first pixel) where the external target Tg is captured in an image actually captured by one camera (for example, the first camera 1251) according to each posture.
- the second calibration unit 209 uses the known position of the selected external target Tg, the position and orientation information of the excavator 100 at the time of imaging, and the vehicle body parameters for one camera stored in the parameter storage unit 204. By simulation, the position of a pixel (second pixel) at which the external target Tg is projected on one camera pixel in each posture is calculated and specified. Then, the second calibration unit 209 compares the position of the first pixel of the external target Tg actually photographed with the position of the second pixel of the external target Tg specified by the simulation, and minimizes the error. The vehicle parameters are calibrated by performing the convergence calculation as follows. In this case, the second calibration unit 209 is an example of a first pixel acquisition unit and a second pixel acquisition unit.
- the second calibration unit 209 determines that the difference between the calculated position of the external target Tg and the position of the external target Tg specified by the stereo measurement in step S308 is within the allowable error range. It is determined whether or not it has been performed (step S316). If the difference between the calculated position of the external target Tg and the position of the external target Tg specified by the stereo measurement in step S308 is within the allowable error range (step S316: YES), the second calibration unit 209 sets the terminal device 503 Is transmitted, the calibration result information indicating that the parameter calibration was successful (step S317).
- step S316 NO
- the second calibration unit 209 transmits the parameter to the terminal device 503.
- the calibration result information indicating that the calibration has failed has been transmitted (step S318).
- the display control unit 611 outputs a display signal of a calibration result screen displaying the calibration result information to the display device 660 (step S319).
- the operator can easily check whether or not the calibration of the stereo camera 125 is necessary before daily work.
- the terminal device 503 assists the parameter check and the calibration process. Thereby, the operator can easily perform the parameter check and the calibration processing.
- control device 126 performs calibration of the vehicle body parameters (matrices Rmy, Rmp, Rmr, Tm) after calibration of the pitch angle and the yaw angle of the external parameters, but is not limited thereto. .
- the control device 126 according to another embodiment may perform only the calibration of the pitch angle and the yaw angle, may perform only the calibration of the vehicle body parameter, or may perform the calibration of the pitch angle and the yaw angle after the calibration of the vehicle body parameter. Calibration of the corner may be performed.
- the control device 126 according to another embodiment may calibrate vehicle parameters for each camera included in the stereo camera 125.
- control device 126 obtains captured images for each of the three relative positions of the stereo camera 125 and the external target Tg by turning the excavator 100, but is not limited thereto. I can't.
- a captured image may be obtained for one, two, or four or more relative positions.
- control device 126 performs the calibration process according to any of the first to third embodiments, and then performs the parameter check and calibration of the stereo camera, but is not limited thereto.
- control device 126 according to another embodiment may perform the above-described parameter check and calibration of the stereo camera instead of the calibration processing according to any of the first to third embodiments.
- the control device 126 does not necessarily need to include the first calibration unit 203.
- the positions of the plurality of external targets Tg are obtained by changing the imaging position or posture of the excavator 100, but the present invention is not limited to this.
- the positions of the multiple external targets Tg may be obtained by the hydraulic excavator 100 capturing the multiple external targets Tg at one imaging position and posture. In this case, the position of each external target Tg shown in FIG. 8 needs to be known.
- control device 126 performs the processing of step S307, step S309, and steps S313 to S315, but is not limited thereto.
- these processes may be performed by the terminal device 503 or a server 501 described later.
- a part or all of the components in the control device 126 may be provided in the terminal device 503 or a server 501 described later, and the terminal device 503 or the server 501 may perform some or all of the processes.
- the control device 126 itself may be provided in the terminal device 503 or the server 501.
- the communication unit 211 outputs the check result of the parameter check unit 210 to the terminal device 503, but the present invention is not limited to this.
- the communication unit 211 may output the check result to the second calibration unit 209, and the second calibration unit 209 that receives the result may automatically calibrate the external parameter or the vehicle body parameter.
- the terminal device 503 does not necessarily need to display the check result.
- the communication unit 211 outputs the check result to the server device 501, and the server device 501 that has received the check result calibrates the external parameters or the vehicle body parameters. You may.
- the external target Tg is imaged after the work implement target Tm is imaged.
- the present invention is not limited to this.
- the control device 126 may image the work implement target Tm after imaging the external target Tg, or may capture both the work implement target Tm and the external target Tg in one image.
- the work implement target Tm and the external target Tg may be imaged simultaneously.
- a wheel loader or bulldozer may include the stereo camera 125 and perform the above-described calibration.
- control device 126 obtains the parameters (so-called external parameters) shown in the equation (1) and the parameters shown in the equation (3).
- the present invention is not limited to this.
- the control device 126 may calibrate the stereo camera 125 by changing an internal parameter of each camera.
- the internal parameters include the focal length of the optical system of the camera, the position (x, y) of the intersection between the optical axis of the optical system of the camera and the imaging surface of the image sensor, and the distortion coefficient in the radial direction of the camera lens. .
- the external target Tg at a known point is installed on the GNSS reference station C at the construction site, but is not limited to this.
- the position of the external target Tg in the field coordinate system may be known by installing the external target Tg near the GNSS antenna.
- the external target Tg does not necessarily need to be installed at a construction site, and may be installed, for example, at a factory or the like, or may be installed indoors.
- the control device 126 converts the positions of the camera coordinate system and the site coordinate system into the vehicle body coordinate system, thereby specifying the positional relationship between the stereo camera 125 and the work implement target Tm or the external target Tg. Yes, but not limited to this.
- the positional relationship between the stereo camera 125 and the work implement target Tm or the external target Tg may be specified by converting the position of the vehicle body coordinate system into the camera coordinate system or the site coordinate system. .
- the control device 126 captures an image of the external target Tg at a known point once, and determines the captured image and the positional relationship between the stereo camera 125 and the external target Tg at the known point at this time.
- the parameters of the stereo camera 125 are updated based on this, the present invention is not limited to this.
- the control device 126 takes an image of the external target Tg at a known point a plurality of times, and obtains each captured image and the positional relationship between the stereo camera 125 and the external target Tg at a known point at each imaging timing.
- the parameters of the stereo camera 125 may be updated based on this. In this case, the processing from step S6 to step S11 in the flowchart shown in FIG.
- FIG. 22 is a schematic diagram illustrating a configuration of a calibration system according to another embodiment.
- the control device 126 independently calibrates the stereo camera 125, but is not limited thereto.
- the control device 126 when the calibration system 500 includes the excavator 100, the server 501, the communication line 502, and the terminal device 503, the control device 126 performs calibration of the stereo camera 125 in cooperation with other devices. May be.
- the control device 126 can perform data communication with the server 501 and the terminal device 503 provided remotely from the excavator 100 via the communication line 502.
- An example of the server 501 is a computer system.
- Examples of the terminal device 503 include a personal computer and a portable terminal.
- the communication line 502 include the Internet, a local area network, a mobile phone communication network, and a satellite communication network.
- the terminal device 503 may be provided in a remote control room of the excavator 100 (not shown).
- the server 501 may have some or all functions of the control device 126. That is, the server 501 includes the imaging data acquisition unit 200, the work machine information storage unit 201, the work machine position identification unit 202, the first calibration unit 203, the parameter storage unit 204, the conversion parameter calculation unit 205, the external target position calculation unit 206, It has at least one of an external target position acquisition unit 207, an external target position conversion unit 208, and a second calibration unit 209. In this case, data detected by the position / azimuth calculator 123, the tilt detector 124, the stereo camera 125, and the work implement position detector 117 are supplied to the server 501 via the communication line 502. For example, the server 501 receives the captured image and the position of each target in the site coordinate system from the control device 126 and performs convergence calculation based on these to calculate camera parameters, and converts the calculated parameters to the control device 126. Send to
- the terminal device 503 may have some or all of the functions of the control device 126. That is, the terminal device 503 includes the imaging data acquisition unit 200, the work machine information storage unit 201, the work machine position identification unit 202, the first calibration unit 203, the parameter storage unit 204, the conversion parameter calculation unit 205, and the external target position calculation unit 206. , An external target position acquisition unit 207, an external target position conversion unit 208, and a second calibration unit 209.
- the imaging device can be calibrated so that the calculation can be accurately performed on the imaging target in a region farther than the working range of the working machine.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Component Parts Of Construction Machinery (AREA)
- Operation Control Of Excavators (AREA)
Abstract
撮像装置の校正装置は、作業機を備える作業機械に設けられた少なくとも(1)つの撮像装置によって撮像された、前記作業機の作業範囲外における既知の位置に設置される既知外部ターゲットの撮像データを取得する撮像データ取得部と、前記既知外部ターゲットの位置を取得する外部ターゲット位置取得部と、前記外部ターゲット位置取得部により取得された前記既知外部ターゲットの位置と、前記撮像データ取得部により取得された前記既知外部ターゲットの撮像データとに基づいて前記撮像装置を校正する校正部とを備える。
Description
本発明は、撮像装置の校正装置、監視装置、作業機械、および校正方法に関する。
特許文献1には、作業機と撮像装置とを有する作業機械における撮像装置の校正を行う技術が開示されている。具体的には、特許文献1に記載の校正システムは、撮像装置が作業機に設けられたターゲットを撮像し、画像から撮像装置とターゲットとの位置関係を求め、作業機の姿勢と画像から求めた位置関係とに基づいて、撮像装置の校正を行う。
一方で、作業機械の本体から作業機を伸ばすことができる距離は有限である。つまり、特許文献1に記載の技術によれば、作業機の作業範囲内における撮像対象(掘削前、掘削中、掘削後の施工現場など)について、撮像装置に基づいてスケール等を精度よく計測することができる。作業範囲とは、作業機の操作によりバケットの刃先が到達し得る範囲をいう。一方で、特許文献1に記載の技術によれば、校正において作業機の作業範囲より遠い点の位置情報を用いることができないため、作業機の作業範囲より遠い領域における撮像対象について撮像装置に基づいて計測した場合、スケール等を精度よく計測することが困難である。そこで、作業機の作業範囲より遠い点についてスケール等を精度よく計測したいという要望がある。
本発明の態様は、作業機の作業範囲より遠い領域における撮像対象についてスケール等を精度よく計測できるように撮像装置を校正することができる撮像装置の校正装置、作業機械、および校正方法を提供することを目的とする。
本発明の態様は、作業機の作業範囲より遠い領域における撮像対象についてスケール等を精度よく計測できるように撮像装置を校正することができる撮像装置の校正装置、作業機械、および校正方法を提供することを目的とする。
本発明の第1の態様によれば、撮像装置の校正装置は、作業機を備える作業機械に設けられた少なくとも1つの撮像装置によって撮像された、前記作業機の作業範囲外における既知の位置に設置される既知外部ターゲットの撮像データを取得する撮像データ取得部と、前記既知外部ターゲットの位置を取得する外部ターゲット位置取得部と、前記外部ターゲット位置取得部により取得された前記既知外部ターゲットの位置と、前記撮像データ取得部により取得された前記既知外部ターゲットの撮像データとに基づいて前記撮像装置を校正する校正部とを備える。
上記態様によれば、作業機の作業範囲より遠い領域における撮像対象について精度よく計算できるように撮像装置を校正することができる。
〈座標系〉
図1は、油圧ショベルと座標系との関係を示す図である。
以下の説明においては、三次元の現場座標系(Xg、Yg、Zg)、三次元の車体座標系(Xm、Ym、Zm)、および三次元のカメラ座標系(Xc、Yc、Zc)を規定して、これらに基づいて位置関係を説明する。
図1は、油圧ショベルと座標系との関係を示す図である。
以下の説明においては、三次元の現場座標系(Xg、Yg、Zg)、三次元の車体座標系(Xm、Ym、Zm)、および三次元のカメラ座標系(Xc、Yc、Zc)を規定して、これらに基づいて位置関係を説明する。
現場座標系は、施工現場に設けられたGNSS基準局Cの位置を基準点として南北に伸びるXg軸、東西に伸びるYg軸、上下に伸びるZg軸から構成される座標系である。GNSSの例としては、GPS(Global Positioning System)が挙げられる。GNSS基準局Cは、現場座標系における位置が既知な現場基準点の一例である。
車体座標系は、後述する油圧ショベル100の旋回体120に規定された代表点Oを基準として前後に伸びるXm軸、左右に伸びるYm軸、上下に伸びるZm軸から構成される座標系である。旋回体120の代表点Oを基準として前方を+Xm方向、後方を-Xm方向、左方を+Ym方向、右方を-Ym方向、上方向を+Zm方向、下方向を-Zm方向とよぶ。
カメラ座標系は、後述する油圧ショベル100のステレオカメラ125を構成する1つのカメラ(例えば第1カメラ1251)の位置を基準として、カメラの上下方向に伸びるXc軸、カメラの幅方向に伸びるYc軸、カメラの光軸方向に伸びるZc軸から構成される座標系である。
後述する油圧ショベル100の制御装置126は、演算により、ある座標系における位置を、他の座標系における位置に変換することができる。例えば、制御装置126は、カメラ座標系における位置を車体座標系における位置に変換することができ、その逆の座標系にも変換することができる。また制御装置126は、現場座標系における位置を車体座標系における位置に変換することができ、その逆の座標系にも変換することができる。
〈第1の実施形態〉
《油圧ショベルの構成》
図2は、第1の実施形態に係る校正システムを備えた油圧ショベルの外観を示す斜視図である。
作業機械である油圧ショベル100は、油圧により作動する作業機110と、作業機110を支持する旋回体120と、旋回体120を支持する走行体130とを備える。
《油圧ショベルの構成》
図2は、第1の実施形態に係る校正システムを備えた油圧ショベルの外観を示す斜視図である。
作業機械である油圧ショベル100は、油圧により作動する作業機110と、作業機110を支持する旋回体120と、旋回体120を支持する走行体130とを備える。
《油圧ショベルの作業機》
作業機110は、ブーム111と、アーム112と、バケット113と、ブームシリンダ114と、アームシリンダ115と、バケットシリンダ116とを備える。
作業機110は、ブーム111と、アーム112と、バケット113と、ブームシリンダ114と、アームシリンダ115と、バケットシリンダ116とを備える。
ブーム111は、アーム112およびバケット113を支える支柱である。ブーム111の基端部は、旋回体120の前部にブームピンP1を介して取り付けられる。
アーム112は、ブーム111とバケット113とを連結する。アーム112の基端部は、ブーム111の先端部にアームピンP2を介して取り付けられる。
バケット113は、土砂などを掘削するための刃を有する容器である。バケット113の基端部は、アーム112の先端部にバケットピンP3を介して取り付けられる。
アーム112は、ブーム111とバケット113とを連結する。アーム112の基端部は、ブーム111の先端部にアームピンP2を介して取り付けられる。
バケット113は、土砂などを掘削するための刃を有する容器である。バケット113の基端部は、アーム112の先端部にバケットピンP3を介して取り付けられる。
ブームシリンダ114は、ブーム111を作動させるための油圧シリンダである。ブームシリンダ114の基端部は、旋回体120に取り付けられる。ブームシリンダ114の先端部は、ブーム111に取り付けられる。
アームシリンダ115は、アーム112を駆動するための油圧シリンダである。アームシリンダ115の基端部は、ブーム111に取り付けられる。アームシリンダ115の先端部は、アーム112に取り付けられる。
バケットシリンダ116は、バケット113を駆動するための油圧シリンダである。バケットシリンダ116の基端部は、アーム112に取り付けられる。バケットシリンダ116の先端部は、バケット113に取り付けられる。
アームシリンダ115は、アーム112を駆動するための油圧シリンダである。アームシリンダ115の基端部は、ブーム111に取り付けられる。アームシリンダ115の先端部は、アーム112に取り付けられる。
バケットシリンダ116は、バケット113を駆動するための油圧シリンダである。バケットシリンダ116の基端部は、アーム112に取り付けられる。バケットシリンダ116の先端部は、バケット113に取り付けられる。
《油圧ショベルの車体》
旋回体120には、オペレータが搭乗する運転室121が備えられる。運転室121は、旋回体120の前方かつ作業機110の左側(+Ym側)に備えられる。
旋回体120には、オペレータが搭乗する運転室121が備えられる。運転室121は、旋回体120の前方かつ作業機110の左側(+Ym側)に備えられる。
運転室121の内部には、作業機110を操作するための操作装置1211が設けられる。操作装置1211の操作量に応じて、ブームシリンダ114、アームシリンダ115、およびバケットシリンダ116に作動油が供給され、作業機110が駆動する。
運転室121の上部には、ステレオカメラ125が設けられる。ステレオカメラ125は、運転室121内の前方(+Xm方向)かつ上方(+Zm方向)に設置される。ステレオカメラ125は、運転室121前面のフロントガラスを通して、運転室121の前方(+Xm方向)を撮像する。ステレオカメラ125は、少なくとも1対のカメラを備える。第1の実施形態においては、ステレオカメラ125は、2対のカメラを備えるため、ステレオカメラ125は、4個のカメラを備えることとなる。具体的には、ステレオカメラ125は、右側(-Ym側)から順に、第1カメラ1251、第2カメラ1252、第3カメラ1253、および第4カメラ1254を備える。各カメラの例としては、例えばCCD(Charge Coupled Device)センサ、およびCMOS(Complementary Metal Oxide Semiconductor)センサを用いたカメラが挙げられる。
第1カメラ1251と第3カメラ1253は、対をなすカメラである。第1カメラ1251と第3カメラ1253は、それぞれ光軸が運転室121の床面に対して略平行となるように、左右方向(±Ym方向)に間隔を空けて設置される。第2カメラ1252と第4カメラ1254は、対をなすカメラである。第2カメラ1252と第4カメラ1254は、それぞれ光軸が略平行となるように、かつその光軸が運転室121の床面に対して運転室121前方(+Xm方向)より下方向(-Zm方向)に傾くように、左右方向(±Ym方向)に間隔を空けて設置される。
ステレオカメラ125及び第1カメラ1251、第2カメラ1252、第3カメラ1253、第4カメラ1254は、撮像装置の一例である。ステレオカメラ125のうち少なくとも1対のカメラが撮像した1対の撮像データを用いることで、ステレオカメラ125と撮像対象との距離を算出することができる。なお、他の実施形態においては、ステレオカメラ125は、1対のカメラによって構成されてもよいし、3対以上のカメラによって構成されてもよい。また他の実施形態においては、ステレオカメラ125に代えて、撮像装置として、例えば、TOF(Time Of Flight)カメラのような、画像と三次元データを表す距離画像との両方が得られるセンサを用いてもよい。また、撮像装置として、距離画像を得ることができるカメラを用いてもよい。
《油圧ショベルの制御系》
図3は、第1の実施形態に係る油圧ショベルの制御系の構成を示す概略ブロック図である。
油圧ショベル100は、作業機位置検出器117、位置方位演算器123、傾斜検出器124、ステレオカメラ125、制御装置126を備える。
図3は、第1の実施形態に係る油圧ショベルの制御系の構成を示す概略ブロック図である。
油圧ショベル100は、作業機位置検出器117、位置方位演算器123、傾斜検出器124、ステレオカメラ125、制御装置126を備える。
作業機位置検出器117は、作業機110の姿勢角を検出する。第1の実施形態に係る作業機位置検出器117は、ブームシリンダ114、アームシリンダ115、およびバケットシリンダ116のそれぞれのストローク長を検出するストローク検出器である。これにより、後述する制御装置126は、ブームシリンダ114、アームシリンダ115、およびバケットシリンダ116のそれぞれのストローク長に基づいて作業機110の姿勢角を検出することができる。他方、他の実施形態においては、これに限られず、作業機位置検出器117として、ストローク検出器に代えて、またはストローク検出器と併用して、ロータリーエンコーダや水平器等の角度検出器を用いてもよい。
位置方位演算器123は、旋回体120の位置および旋回体120が向く方位を演算する。位置方位演算器123は、GNSS(Global Navigation Satellite System)を構成する人工衛星から測位信号を受信する第1受信器1231および第2受信器1232を備える。第1受信器1231および第2受信器1232は、それぞれ旋回体120の異なる位置に設置される。位置方位演算器123は、第1受信器1231が受信した測位信号に基づいて、現場座標系における旋回体120の代表点O(車体座標系の原点)の位置を検出する。
位置方位演算器123は、第1受信器1231が受信した測位信号と、第2受信器1232が受信した測位信号とを用いて、検出された第1受信器1231の設置位置に対する第2受信器1232の設置位置の関係として、旋回体120の方位を演算する。
位置方位演算器123は、第1受信器1231が受信した測位信号と、第2受信器1232が受信した測位信号とを用いて、検出された第1受信器1231の設置位置に対する第2受信器1232の設置位置の関係として、旋回体120の方位を演算する。
傾斜検出器124は、旋回体120の加速度および角速度を計測し、計測結果に基づいて旋回体120の傾き(例えば、Xm軸に対する回転を表すロール、Ym軸に対する回転を表すピッチ、およびZm軸に対する回転を表すヨー)を検出する。傾斜検出器124は、例えば運転室121の下面に設置される。傾斜検出器124は、例えば、慣性計測装置であるIMU(Inertial Measurement Unit)を用いることができる。
制御装置126は、プロセッサ910、メインメモリ920、ストレージ930、インタフェース940を備える。
ストレージ930には、作業機110を制御するためのプログラムが記憶されている。ストレージ930の例としては、HDD(Hard Disk Drive)、不揮発性メモリ等が挙げられる。ストレージ930は、制御装置126のバスに直接接続された内部メディアであってもよいし、インタフェース940または通信回線を介して制御装置126に接続される外部メディアであってもよい。
プロセッサ910は、ストレージ930からプログラムを読み出してメインメモリ920に展開し、プログラムに従って処理を実行する。またプロセッサ910は、プログラムに従ってメインメモリ920に記憶領域を確保する。インタフェース940は、作業機位置検出器117、操作装置1211、位置方位演算器123、傾斜検出器124、ステレオカメラ125およびその他の周辺機器と接続され、信号の授受を行う。
制御装置126は、プログラムの実行によりステレオカメラ125が撮像した撮像画像に基づいて施工現場等の撮像対象の計測を行う。制御装置126は、ステレオカメラが撮像した撮像データから撮像対象の形状を表す三次元データを生成する。三次元データの例としては、点群データ、ポリゴンデータ、およびボクセルデータが挙げられる。制御装置126は、ステレオカメラ125の位置を基準として互いに直交するXc軸、Yc軸、Zc軸から構成されるカメラ座標系における三次元データを生成する。また制御装置126は、プログラムの実行によりステレオカメラ125の校正(外部校正および車体校正)の計算を行う。外部校正とは、ステレオカメラ125を構成する1対のカメラ間の位置及び姿勢を求めることである。また車体校正とは、ステレオカメラ125と旋回体120との位置関係を求めることである。つまり、制御装置126は、撮像装置の校正装置の一例である。
《作業機の姿勢》
図4は、作業機の姿勢の例を示す図である。
制御装置126は、作業機位置検出器117の検出結果に基づいて、作業機110の姿勢を算出する。具体的には、制御装置126は、作業機110の姿勢として、ブーム111の姿勢角α、アーム112の姿勢角β、バケット113の姿勢角γ、およびバケット113の刃先Eの位置を算出する。
図4は、作業機の姿勢の例を示す図である。
制御装置126は、作業機位置検出器117の検出結果に基づいて、作業機110の姿勢を算出する。具体的には、制御装置126は、作業機110の姿勢として、ブーム111の姿勢角α、アーム112の姿勢角β、バケット113の姿勢角γ、およびバケット113の刃先Eの位置を算出する。
ブーム111の姿勢角αは、ブームピンP1から旋回体120の上方向(+Zm方向)に伸びる半直線と、ブームピンP1からアームピンP2へ伸びる半直線とがなす角によって表される。なお、旋回体120の傾き(ピッチ角)θによって、旋回体120の上方向と鉛直上方向は必ずしも一致しない。
アーム112の姿勢角βは、ブームピンP1からアームピンP2へ伸びる半直線と、アームピンP2からバケットピンP3へ伸びる半直線とがなす角によって表される。
バケット113の姿勢角γは、アームピンP2からバケットピンP3へ伸びる半直線と、バケットピンP3からバケット113の刃先Eへ伸びる半直線とがなす角によって表される。
ここで、ブーム111の姿勢角α、アーム112の姿勢角β、およびバケット113の姿勢角γの和を、作業機110の姿勢角ηとよぶ。作業機110の姿勢角ηは、バケットピンP3から旋回体120の上方向(+Z方向)に伸びる半直線と、バケットピンP3からバケット113の刃先Eへ伸びる半直線とがなす角に等しい。
アーム112の姿勢角βは、ブームピンP1からアームピンP2へ伸びる半直線と、アームピンP2からバケットピンP3へ伸びる半直線とがなす角によって表される。
バケット113の姿勢角γは、アームピンP2からバケットピンP3へ伸びる半直線と、バケットピンP3からバケット113の刃先Eへ伸びる半直線とがなす角によって表される。
ここで、ブーム111の姿勢角α、アーム112の姿勢角β、およびバケット113の姿勢角γの和を、作業機110の姿勢角ηとよぶ。作業機110の姿勢角ηは、バケットピンP3から旋回体120の上方向(+Z方向)に伸びる半直線と、バケットピンP3からバケット113の刃先Eへ伸びる半直線とがなす角に等しい。
車体座標系におけるバケット113の刃先Eの位置は、ブーム111の寸法L1、アーム112の寸法L2、バケット113の寸法L3、ブーム111の姿勢角α、アーム112の姿勢角β、バケット113の姿勢角γ、旋回体120の代表点Oの位置、および代表点OとブームピンP1との位置関係から求められる。ブーム111の寸法L1は、ブームピンP1からアームピンP2までの距離である。アーム112の寸法L2は、アームピンP2からバケットピンP3までの距離である。バケット113の寸法L3は、バケットピンP3から刃先Eまでの距離である。代表点OとブームピンP1との位置関係は、例えば、代表点Oを基準としたブームピンP1の車体座標系の位置で表される。また代表点OとブームピンP1との位置関係は、例えば、代表点OからブームピンP1までの距離、代表点OからブームピンP1へ伸びる半直線のXm軸方向の傾き、およびYm軸方向の傾きによって表されてもよい。
《ステレオカメラの校正》
ステレオカメラ125が備える1対のカメラ(第1カメラ1251と第3カメラ1253、または第2カメラ1252と第4カメラ1254)のカメラ座標系における姿勢の関係は、以下の式(1)で表すことができる。
Pc1=Rcy・Rcp・Rcr・Pc3+Tc ・・・ (1)
ここで、Pc1は第1カメラ1251のカメラ座標系における位置、Pc3は第3カメラ1253のカメラ座標系における位置を示す。Rcyは、第3カメラ1253のヨー角を第1カメラ1251のヨー角に変換するための回転行列である。Rcpは、第3カメラ1253のピッチ角を第1カメラ1251のピッチ角に変換するための回転行列である。Rcrは、第3カメラ1253のロール角を第1カメラ1251のロール角に変換するための回転行列である。Tcは位置Pc3を位置Pc1に変換するための並進行列である。
式(1)の各行列の要素を明示すると、以下の式(2)のようになる。
ステレオカメラ125が備える1対のカメラ(第1カメラ1251と第3カメラ1253、または第2カメラ1252と第4カメラ1254)のカメラ座標系における姿勢の関係は、以下の式(1)で表すことができる。
Pc1=Rcy・Rcp・Rcr・Pc3+Tc ・・・ (1)
ここで、Pc1は第1カメラ1251のカメラ座標系における位置、Pc3は第3カメラ1253のカメラ座標系における位置を示す。Rcyは、第3カメラ1253のヨー角を第1カメラ1251のヨー角に変換するための回転行列である。Rcpは、第3カメラ1253のピッチ角を第1カメラ1251のピッチ角に変換するための回転行列である。Rcrは、第3カメラ1253のロール角を第1カメラ1251のロール角に変換するための回転行列である。Tcは位置Pc3を位置Pc1に変換するための並進行列である。
式(1)の各行列の要素を明示すると、以下の式(2)のようになる。
ここで、x1は、第1カメラ1251のカメラ座標系のXc座標における位置を示す。
y1は、第1カメラ1251のカメラ座標系のYc座標における位置を示す。z1は、第1カメラ1251のカメラ座標系のZc座標における位置を示す。x3は、第3カメラ1253のカメラ座標系のXc座標における位置を示す。y3は、第3カメラ1253のカメラ座標系のYc座標における位置を示す。z3は、第3カメラ1253のカメラ座標系のZc座標における位置を示す。θyは、第1カメラ1251に対するXc軸回りの第3カメラ1253の相対角度(ヨー角)を示す。θpは、第1カメラ1251に対するYc軸回りの第3カメラ1253の相対角度(ピッチ角)を示す。θrは、第1カメラ1251に対するZc軸回りの第3カメラ1253の相対角度(ロール角)を示す。Txは、第1カメラ1251に対するXc軸方向の第3カメラ1253の相対位置を示す。Tyは、第1カメラ1251に対するYc軸方向の第3カメラ1253の相対位置を示す。Tzは、第1カメラ1251に対するZc軸方向の第3カメラ1253の相対位置を示す。
y1は、第1カメラ1251のカメラ座標系のYc座標における位置を示す。z1は、第1カメラ1251のカメラ座標系のZc座標における位置を示す。x3は、第3カメラ1253のカメラ座標系のXc座標における位置を示す。y3は、第3カメラ1253のカメラ座標系のYc座標における位置を示す。z3は、第3カメラ1253のカメラ座標系のZc座標における位置を示す。θyは、第1カメラ1251に対するXc軸回りの第3カメラ1253の相対角度(ヨー角)を示す。θpは、第1カメラ1251に対するYc軸回りの第3カメラ1253の相対角度(ピッチ角)を示す。θrは、第1カメラ1251に対するZc軸回りの第3カメラ1253の相対角度(ロール角)を示す。Txは、第1カメラ1251に対するXc軸方向の第3カメラ1253の相対位置を示す。Tyは、第1カメラ1251に対するYc軸方向の第3カメラ1253の相対位置を示す。Tzは、第1カメラ1251に対するZc軸方向の第3カメラ1253の相対位置を示す。
なお、上記説明では第1カメラ1251と第3カメラ1253の対を例に式(1)、式(2)について説明したが、第2カメラ1252と第4カメラ1254の対の姿勢の関係についても同様である。
第1の実施形態に係る校正では、上記式(1)を構成する行列Rcy、Rcp、Rcr、Tcを求める。すなわち、第1の実施形態に係る校正では、上記式(2)を構成するパラメータθy、θp、θr、Tx、Ty、Tzを求める。
第1の実施形態に係る校正では、上記式(1)を構成する行列Rcy、Rcp、Rcr、Tcを求める。すなわち、第1の実施形態に係る校正では、上記式(2)を構成するパラメータθy、θp、θr、Tx、Ty、Tzを求める。
またステレオカメラ125が備える各カメラ(第1カメラ1251、第2カメラ1252、第3カメラ1253、第4カメラ1254)と旋回体120との位置関係は、以下の式(3)で表すことができる。
Pm1=Rmy・Rmp・Rmr・Pc1+Tm ・・・ (3)
ここで、Pc1は第1カメラ1251のカメラ座標系における位置を示す。Rmyは、カメラ座標系における第1カメラ1251のヨー角(Xc軸回りの角度)を車体座標系におけるヨー角(Xm軸回りの角度)に変換するための回転行列である。Rmpは、カメラ座標系における第1カメラ1251のピッチ角(Yc軸回りの角度)を車体座標系におけるピッチ角(Ym軸回りの角度)に変換するための回転行列である。Rmrは、カメラ座標系における第1カメラ1251のロール角(Zc軸回りの角度)を車体座標系におけるロール角(Zm軸回りの角度)に変換するための回転行列である。Tmは位置Pc1を位置Pm1に変換するための並進行列である。行列Rmy、行列Rmp、行列Rmr、および行列Tmは、車体パラメータであり、各カメラと旋回体120との位置および姿勢情報を示すパラメータである。
なお、上記説明では第1カメラ1251を例に上記式(3)について説明したが、第2カメラ1252、第3カメラ1253、および第4カメラ1254についても同様である。つまり、上記式(3)を各カメラに適用することで、第1カメラ1251、第2カメラ1252、第3カメラ1253、および第4カメラ1254のそれぞれについて、旋回体120との位置関係を示す式を表すことができる。
第1の実施形態に係る校正では、上記式(3)を構成する行列Rmy、Rmp、Rmr、Tmを求める。これらが求められると、制御装置126は、カメラ座標系における位置を車体座標系に変換することができる。
Pm1=Rmy・Rmp・Rmr・Pc1+Tm ・・・ (3)
ここで、Pc1は第1カメラ1251のカメラ座標系における位置を示す。Rmyは、カメラ座標系における第1カメラ1251のヨー角(Xc軸回りの角度)を車体座標系におけるヨー角(Xm軸回りの角度)に変換するための回転行列である。Rmpは、カメラ座標系における第1カメラ1251のピッチ角(Yc軸回りの角度)を車体座標系におけるピッチ角(Ym軸回りの角度)に変換するための回転行列である。Rmrは、カメラ座標系における第1カメラ1251のロール角(Zc軸回りの角度)を車体座標系におけるロール角(Zm軸回りの角度)に変換するための回転行列である。Tmは位置Pc1を位置Pm1に変換するための並進行列である。行列Rmy、行列Rmp、行列Rmr、および行列Tmは、車体パラメータであり、各カメラと旋回体120との位置および姿勢情報を示すパラメータである。
なお、上記説明では第1カメラ1251を例に上記式(3)について説明したが、第2カメラ1252、第3カメラ1253、および第4カメラ1254についても同様である。つまり、上記式(3)を各カメラに適用することで、第1カメラ1251、第2カメラ1252、第3カメラ1253、および第4カメラ1254のそれぞれについて、旋回体120との位置関係を示す式を表すことができる。
第1の実施形態に係る校正では、上記式(3)を構成する行列Rmy、Rmp、Rmr、Tmを求める。これらが求められると、制御装置126は、カメラ座標系における位置を車体座標系に変換することができる。
第1の実施形態に係る油圧ショベル100の制御装置126は、ステレオカメラ125が作業機ターゲットTmおよび外部ターゲットTgを撮像することで、ステレオカメラ125の校正を行う。作業機ターゲットTmとは、ステレオカメラ125の撮像画像に明瞭に写る作業機110に付された図形である。外部ターゲットTgとは、ステレオカメラ125の撮像画像に明瞭に写る施工現場に設けられた図形である。第1の実施形態に係る作業機ターゲットTmおよび外部ターゲットTgは、例えば、白地の板に黒点が記されたものである。このような図形であることで、撮像画像においてコントラストが明瞭になり、作業機ターゲットTmおよび外部ターゲットTgの位置を確実に特定することができる。
図5は、第1の実施形態に係る校正方法の実行に用いられる作業機ターゲットの例を示す図である。
作業機ターゲットTmは、バケット113の刃における所定の位置に取り付けられる。第1の実施形態においては、作業機ターゲットTmは、バケット113の刃のうち、中央の刃に取り付けられる。制御装置126の演算により、車体座標系におけるバケット113の中央の刃の刃先の位置を算出することができるため、バケット113の刃先と作業機ターゲットTmの中心位置との位置関係が既知であれば、制御装置126は、中央の刃に取り付けられた作業機ターゲットTmの中心位置を正確に算出することができる。なお、他の実施形態においては、作業機ターゲットTmは、複数の刃に取り付けられてもよく、例えば中央の刃および左右両端の刃の計3つの刃に取り付けられてもよい。また、他の実施形態においては、作業機ターゲットTmは、ステレオカメラ125の各カメラが撮像可能な作業機110上の位置であれば、バケット113の刃以外の箇所に取り付けられてもよく、例えば作業機に取り付けられた棒状のアタッチメントの先に作業機ターゲットTmが取り付けられてもよい。なお、制御装置126の演算によって算出される作業機ターゲットTmの位置情報には、GNSSの誤差およびその他誤差が含まれる。一方で制御装置126の演算によって算出される作業機ターゲットTmの位置情報の精度は、ステレオカメラ125の校正前におけるパラメータの精度より高い。そのため、本実施形態ではステレオカメラ125のパラメータ校正に作業機ターゲットTmの位置情報を用いている。なお、中心位置が既知である作業機ターゲットTmは、作業範囲内に位置する既知点ターゲットの一例である。
作業機ターゲットTmは、バケット113の刃における所定の位置に取り付けられる。第1の実施形態においては、作業機ターゲットTmは、バケット113の刃のうち、中央の刃に取り付けられる。制御装置126の演算により、車体座標系におけるバケット113の中央の刃の刃先の位置を算出することができるため、バケット113の刃先と作業機ターゲットTmの中心位置との位置関係が既知であれば、制御装置126は、中央の刃に取り付けられた作業機ターゲットTmの中心位置を正確に算出することができる。なお、他の実施形態においては、作業機ターゲットTmは、複数の刃に取り付けられてもよく、例えば中央の刃および左右両端の刃の計3つの刃に取り付けられてもよい。また、他の実施形態においては、作業機ターゲットTmは、ステレオカメラ125の各カメラが撮像可能な作業機110上の位置であれば、バケット113の刃以外の箇所に取り付けられてもよく、例えば作業機に取り付けられた棒状のアタッチメントの先に作業機ターゲットTmが取り付けられてもよい。なお、制御装置126の演算によって算出される作業機ターゲットTmの位置情報には、GNSSの誤差およびその他誤差が含まれる。一方で制御装置126の演算によって算出される作業機ターゲットTmの位置情報の精度は、ステレオカメラ125の校正前におけるパラメータの精度より高い。そのため、本実施形態ではステレオカメラ125のパラメータ校正に作業機ターゲットTmの位置情報を用いている。なお、中心位置が既知である作業機ターゲットTmは、作業範囲内に位置する既知点ターゲットの一例である。
ここで、作業機ターゲットTmは、バケット113の中央の刃に取り付けられる。
図6は、第1の実施形態においてステレオカメラによって撮像される作業機ターゲットの位置を示す図である。
ステレオカメラ125の校正を実行する際、油圧ショベル100のオペレータは、各作業機ターゲットTmが、例えば図6に示す位置p1、位置p2、位置p3、位置p4、位置p5、位置p6、位置p7、位置p8に来るように作業機110を制御する。そして、ステレオカメラ125を構成する各カメラは、各位置において作業機ターゲットTmを撮像する。このとき、制御装置126は、ステレオカメラ125による撮像の際に、作業機位置検出器117から作業機の位置を示す情報を取得する。
なお、位置p1からp8の位置は必ずしも図6に示す位置である必要はなく油圧ショベル100のオペレータは、作業機ターゲットTmを任意の位置に移動させて撮像を行ってもよい。また作業機ターゲットTmの位置の数も必ず8点である必要はなく任意の複数点であればよい。
ステレオカメラ125の校正を実行する際、油圧ショベル100のオペレータは、各作業機ターゲットTmが、例えば図6に示す位置p1、位置p2、位置p3、位置p4、位置p5、位置p6、位置p7、位置p8に来るように作業機110を制御する。そして、ステレオカメラ125を構成する各カメラは、各位置において作業機ターゲットTmを撮像する。このとき、制御装置126は、ステレオカメラ125による撮像の際に、作業機位置検出器117から作業機の位置を示す情報を取得する。
なお、位置p1からp8の位置は必ずしも図6に示す位置である必要はなく油圧ショベル100のオペレータは、作業機ターゲットTmを任意の位置に移動させて撮像を行ってもよい。また作業機ターゲットTmの位置の数も必ず8点である必要はなく任意の複数点であればよい。
図7は、第1の実施形態に係る校正方法の実行に用いられる外部ターゲットの例を示す図である。
外部ターゲットTgは、図7に示すように、地面に面する接地板Tg1と、接地板Tg1から垂直に立ち上がり既定の図形が描かれた表示板Tg2とを備える。なお、外部ターゲットTgの構造は、必ずしも接地板Tg1と表示板Tg2とを備えるものでなくてもよく、ステレオカメラ125の撮像画像からその位置を認識できるものであればどのようなものであってもよい。例えば、他の実施形態に係る外部ターゲットTgは、表示板Tg2のみを備え、地面や壁などに取り付けられるものであってもよい。また、他の実施形態に係る外部ターゲットTgは、表示板Tg2を備えず、地面や壁に直接描かれた図形であってもよいし、表示板Tg2に図形が描かれないものであってもよい。また、表示板Tg2に描かれる図形も位置を認識できるものであればどのような形状、色、模様の図形であってもよい。第1の実施形態に係る校正においては、外部ターゲットTgは、施工現場の任意の複数の位置(すなわち、現場座標系における位置が未知である複数の位置)と、現場座標系における位置が既知である位置とに設置される。以下、ある座標系における位置が未知である位置を未知点、ある座標系における位置が既知である位置を既知点ともいう。また、未知点に配置された外部ターゲットTgを未知外部ターゲット、既知点に配置された外部ターゲットTgを既知外部ターゲットともいう。
外部ターゲットTgは、図7に示すように、地面に面する接地板Tg1と、接地板Tg1から垂直に立ち上がり既定の図形が描かれた表示板Tg2とを備える。なお、外部ターゲットTgの構造は、必ずしも接地板Tg1と表示板Tg2とを備えるものでなくてもよく、ステレオカメラ125の撮像画像からその位置を認識できるものであればどのようなものであってもよい。例えば、他の実施形態に係る外部ターゲットTgは、表示板Tg2のみを備え、地面や壁などに取り付けられるものであってもよい。また、他の実施形態に係る外部ターゲットTgは、表示板Tg2を備えず、地面や壁に直接描かれた図形であってもよいし、表示板Tg2に図形が描かれないものであってもよい。また、表示板Tg2に描かれる図形も位置を認識できるものであればどのような形状、色、模様の図形であってもよい。第1の実施形態に係る校正においては、外部ターゲットTgは、施工現場の任意の複数の位置(すなわち、現場座標系における位置が未知である複数の位置)と、現場座標系における位置が既知である位置とに設置される。以下、ある座標系における位置が未知である位置を未知点、ある座標系における位置が既知である位置を既知点ともいう。また、未知点に配置された外部ターゲットTgを未知外部ターゲット、既知点に配置された外部ターゲットTgを既知外部ターゲットともいう。
図8は、第1の実施形態においてステレオカメラによって撮像される外部ターゲットの第1の位置を示す図である。
ステレオカメラ125の校正を実行する際、油圧ショベル100のオペレータは、各外部ターゲットTgを、例えば図8に示す位置p11、位置p12、位置p13、位置p14、位置p15、位置p16、位置p17、位置p18、位置p19に設置する。位置p11~p19は、いずれも未知点である。つまり、各外部ターゲットTgの設置位置は正確でなくてよく、また現場座標系における位置が未知である。なお、外部ターゲットTgの数は必ず9点である必要はなく任意の複数の未知点であればよい。
このとき、位置p11~p19は、ステレオカメラ125の撮像範囲において分散して配置されることが好ましい。
ステレオカメラ125の校正を実行する際、油圧ショベル100のオペレータは、各外部ターゲットTgを、例えば図8に示す位置p11、位置p12、位置p13、位置p14、位置p15、位置p16、位置p17、位置p18、位置p19に設置する。位置p11~p19は、いずれも未知点である。つまり、各外部ターゲットTgの設置位置は正確でなくてよく、また現場座標系における位置が未知である。なお、外部ターゲットTgの数は必ず9点である必要はなく任意の複数の未知点であればよい。
このとき、位置p11~p19は、ステレオカメラ125の撮像範囲において分散して配置されることが好ましい。
制御装置126は、各カメラについて、位置p1~p8における作業機ターゲットTmおよび、位置p11~p19における外部ターゲットTgを撮像した撮像画像における作業機ターゲットTmの中心位置を特定する。なお、撮像画像における作業機ターゲットTmの中心位置は、作業機ターゲットTmの撮像データの一例である。また制御装置126は、作業機位置検出器117が検出したバケット113の刃先位置、バケット113の姿勢角η、および作業機ターゲットTmの中心と刃先との位置関係に基づいて、車体座標系における作業機ターゲットTmの中心位置(位置p1~p8の車体座標系における位置)を求める。そして、制御装置126は、位置p1~p8および位置p11~p19の各カメラの撮像画像における位置と、位置p1~p8の車体座標系における位置とを用いて収束計算をすることで、各カメラのパラメータを求める。具体的には、制御装置126は、上記収束計算により、各カメラについて上記式(3)を構成する行列Rmy、Rmp、Rmr、Tmをそれぞれ求めることで、上記式(1)を構成する行列Rcy、Rcp、Rcr、Tcを得ることができる。
なお、他の実施形態においては、制御装置126は、位置p1~p8の各カメラの撮像画像における位置および位置p1~p8の車体座標系における位置を用いた収束計算と、位置p11~p19の各カメラの撮像画像における位置を用いた収束計算とをそれぞれ並列に計算して、各カメラのパラメータを求めてもよい。
なお、他の実施形態においては、制御装置126は、位置p1~p8の各カメラの撮像画像における位置および位置p1~p8の車体座標系における位置を用いた収束計算と、位置p11~p19の各カメラの撮像画像における位置を用いた収束計算とをそれぞれ並列に計算して、各カメラのパラメータを求めてもよい。
ここで、制御装置126は、位置p1~p8の各カメラの撮像画像における位置と、位置p1~p8の車体座標系における位置とを用いて収束計算を行うことで、少なくとも位置p1~p8で囲われる範囲において、ステレオ計測の精度が担保されるようにカメラのパラメータを求めることができる。また、制御装置126は、位置p11~p19の各カメラの撮像画像における位置を用いた収束計算を行うことで、位置p11~p19で囲われる範囲において、ステレオ計測の成立が担保されるようにカメラのパラメータを求めることができる。一方、位置p11~p19の車体座標系における位置は不明であるため、位置p11~p19で囲われる範囲においてステレオ計測の精度は担保されない。つまり、位置p11~p19で囲われる範囲内の任意の位置について、ステレオ計測により距離を算出することはできる一方で、その距離の精度が低い可能性がある。なお、他の実施形態においては、制御装置126は、未知点の位置(位置p11~p19)を用いずに収束計算を行ってもよい。
そこで、制御装置126は、上記手順によって各カメラのパラメータを求めた後に、さらに位置が既知である外部ターゲットTgの撮像画像を用いて、さらに各カメラのパラメータを調整することで、位置p1~p8で囲われる範囲より外側の範囲における距離の精度を向上させる。
図9は、第1の実施形態における外部ターゲットの設置要領を示す図である。
第1の実施形態においては、上記外部ターゲットTgを現場座標系における位置が既知の位置p20(既知点)に配置し、これを撮像することで、各カメラのパラメータを調整する。第1の実施形態では、外部ターゲットTgは、例えば表示板Tg2に描かれた図形の直下にGNSS基準局Cの中心がくるように、施工現場に設置される。GNSS基準局Cの現場座標系における位置(Xg0,Yg0,Zg0)は既知であり、また外部ターゲットTgの接地板Tg1の底面から表示板Tg2に描かれた図形の中心点までの距離hが既知であることから、現場座標系における外部ターゲットTgの図形の中心位置p20(Xg0,Yg0,Zg0+h)を正確に特定することができる。なお、他の実施形態においてGNSS基準局Cは、必ずしも現場座標系における基準点(原点)である必要はない。なお、既知の外部ターゲットTgの位置情報は、トータルステーション等の高精度のセンサを用いて計測されるため、その精度はステレオカメラ125の校正前におけるパラメータの精度より高い。そのため、本実施形態ではステレオカメラ125のパラメータ校正に外部ターゲットTgの位置情報を用いることで、ステレオ計測の精度を向上させることができる。
第1の実施形態においては、上記外部ターゲットTgを現場座標系における位置が既知の位置p20(既知点)に配置し、これを撮像することで、各カメラのパラメータを調整する。第1の実施形態では、外部ターゲットTgは、例えば表示板Tg2に描かれた図形の直下にGNSS基準局Cの中心がくるように、施工現場に設置される。GNSS基準局Cの現場座標系における位置(Xg0,Yg0,Zg0)は既知であり、また外部ターゲットTgの接地板Tg1の底面から表示板Tg2に描かれた図形の中心点までの距離hが既知であることから、現場座標系における外部ターゲットTgの図形の中心位置p20(Xg0,Yg0,Zg0+h)を正確に特定することができる。なお、他の実施形態においてGNSS基準局Cは、必ずしも現場座標系における基準点(原点)である必要はない。なお、既知の外部ターゲットTgの位置情報は、トータルステーション等の高精度のセンサを用いて計測されるため、その精度はステレオカメラ125の校正前におけるパラメータの精度より高い。そのため、本実施形態ではステレオカメラ125のパラメータ校正に外部ターゲットTgの位置情報を用いることで、ステレオ計測の精度を向上させることができる。
図10は、第1の実施形態においてステレオカメラによって撮像される外部ターゲットの第2の位置を示す図である。
また、油圧ショベル100のオペレータは、作業機ターゲットTm、および未知点である外部ターゲットTgを用いた校正の後に、位置p20に設置された既知点である外部ターゲットTgが作業機110の作業範囲(p1~p8を含む範囲)より遠方になるように油圧ショベル100を移動させる。なお、作業範囲とは、車体座標系において作業機110の操作によりバケット113の刃先Eが到達し得る範囲をいう。そして、ステレオカメラ125を構成する各カメラは、位置p20の外部ターゲットTgを撮像する。なお、図10に示す例では、ステレオカメラ125は現場座標系における位置が既知の外部ターゲットTgを1回撮像するが、これに限られない。制御装置126は、ステレオカメラ125と現場座標系における位置が既知の外部ターゲットTgとの相対位置を異ならせながら、当該相対位置ごとに、ステレオカメラ125に現場座標系における位置が既知の外部ターゲットTgを複数回撮像させてもよい。この場合、現場座標系における位置が既知の外部ターゲットTgを1回撮像する場合より、より精度よくステレオカメラ125のパラメータを求めることができる。なお、作業範囲外に設置された既知点である外部ターゲットTgは、作業範囲外に位置する既知点ターゲットの一例である。また、作業範囲内に設置された既知点である外部ターゲットTgは、作業範囲内に位置する既知点ターゲットの一例である。
また、油圧ショベル100のオペレータは、作業機ターゲットTm、および未知点である外部ターゲットTgを用いた校正の後に、位置p20に設置された既知点である外部ターゲットTgが作業機110の作業範囲(p1~p8を含む範囲)より遠方になるように油圧ショベル100を移動させる。なお、作業範囲とは、車体座標系において作業機110の操作によりバケット113の刃先Eが到達し得る範囲をいう。そして、ステレオカメラ125を構成する各カメラは、位置p20の外部ターゲットTgを撮像する。なお、図10に示す例では、ステレオカメラ125は現場座標系における位置が既知の外部ターゲットTgを1回撮像するが、これに限られない。制御装置126は、ステレオカメラ125と現場座標系における位置が既知の外部ターゲットTgとの相対位置を異ならせながら、当該相対位置ごとに、ステレオカメラ125に現場座標系における位置が既知の外部ターゲットTgを複数回撮像させてもよい。この場合、現場座標系における位置が既知の外部ターゲットTgを1回撮像する場合より、より精度よくステレオカメラ125のパラメータを求めることができる。なお、作業範囲外に設置された既知点である外部ターゲットTgは、作業範囲外に位置する既知点ターゲットの一例である。また、作業範囲内に設置された既知点である外部ターゲットTgは、作業範囲内に位置する既知点ターゲットの一例である。
制御装置126は、位置p20における外部ターゲットTgを撮像した撮像画像に基づくステレオ計測によってカメラ座標系における外部ターゲットTgの中心位置を算出し、パラメータ記憶部204が記憶するステレオカメラ125の位置および姿勢を示すパラメータに基づいて、これを車体座標系における外部ターゲットTgの中心位置(第1位置)に変換する。また制御装置126は、現場座標系における外部ターゲットTgの中心位置を座標変換し、車体座標系における外部ターゲットTgの中心位置(第2位置)を求める。そして、制御装置126は、第1位置と第2位置との位置の差(距離)が最小となるように、各カメラのパラメータを調整する。
なお、パラメータ記憶部204には車体座標系における各カメラの位置および姿勢を示すパラメータが記憶されているため、第1位置および第2位置を算出することで、カメラと外部ターゲットTgとの位置関係が分かる。つまり、第1位置とパラメータ記憶部204が記憶するパラメータとの組み合わせは、カメラと外部ターゲットTgとの位置関係である第1位置関係の一例である。また第2位置とパラメータ記憶部204が記憶するパラメータとの組み合わせは、カメラと外部ターゲットTgとの位置関係である第2位置関係の一例である。
なお、パラメータ記憶部204には車体座標系における各カメラの位置および姿勢を示すパラメータが記憶されているため、第1位置および第2位置を算出することで、カメラと外部ターゲットTgとの位置関係が分かる。つまり、第1位置とパラメータ記憶部204が記憶するパラメータとの組み合わせは、カメラと外部ターゲットTgとの位置関係である第1位置関係の一例である。また第2位置とパラメータ記憶部204が記憶するパラメータとの組み合わせは、カメラと外部ターゲットTgとの位置関係である第2位置関係の一例である。
なお、他の実施形態においては、制御装置126は、カメラ座標系における外部ターゲットTgの中心位置でなく、ステレオカメラ125と外部ターゲットTgの間の距離に基づいて各カメラのパラメータを調整してもよい。具体的には、制御装置126は、以下の手順でカメラのパラメータを調整してもよい。制御装置126は、位置p20における外部ターゲットTgを撮像した撮像画像に基づくステレオ計測によってステレオカメラ125と外部ターゲットTgの中心位置との間の距離(第1距離)を求める。また制御装置126は、現場座標系における外部ターゲットTgの中心位置と車体座標系におけるステレオカメラ125の位置とに基づいて、座標系の変換により、ステレオカメラ125と外部ターゲットTgの中心位置との間の距離(第2距離)を求める。そして、制御装置126は、第1距離と第2距離との差が最小となるように、各カメラのパラメータを調整する。第1距離および第2距離は、いずれもステレオカメラ125と外部ターゲットTgの位置関係を表す値である。
《油圧ショベルの制御装置》
図11は、第1の実施形態に係る油圧ショベルの制御装置の構成を示すブロック図である。
制御装置126は、撮像データ取得部200、作業機械情報記憶部201、作業機位置特定部202、第1校正部203、パラメータ記憶部204、変換パラメータ算出部205、外部ターゲット位置算出部206、外部ターゲット位置取得部207、外部ターゲット位置変換部208、第2校正部209を備える。
図11は、第1の実施形態に係る油圧ショベルの制御装置の構成を示すブロック図である。
制御装置126は、撮像データ取得部200、作業機械情報記憶部201、作業機位置特定部202、第1校正部203、パラメータ記憶部204、変換パラメータ算出部205、外部ターゲット位置算出部206、外部ターゲット位置取得部207、外部ターゲット位置変換部208、第2校正部209を備える。
撮像データ取得部200は、ステレオカメラ125の各カメラが撮像した画像を取得し、ステレオ計測により撮像対象の三次元データを生成する。画像および三次元データは撮像データの一例である。
作業機械情報記憶部201は、ブーム111の寸法L1、アーム112の寸法L2、バケット113の寸法L3、バケット113の輪郭形状、および旋回体120の代表点Oの位置とブームピンP1との位置関係等を記憶する。
作業機位置特定部202は、作業機位置検出器117が検出したブームシリンダ114、アームシリンダ115およびバケットシリンダ116のストローク量と、作業機械情報記憶部201が記憶する諸元の値に基づいてバケット113の位置及び姿勢を特定する。これにより、作業機位置特定部202は、車体座標系における作業機ターゲットTmの位置を特定する。
第1校正部203は、作業機位置特定部202が特定した車体座標系における作業機ターゲットTmの位置(位置p1~p8)と、位置p1~p8における作業機ターゲットTmの各カメラの撮像画像における位置と、未知点である位置p11~p18における外部ターゲットTgの各カメラの撮像画像における位置に基づく収束計算により、ステレオカメラ125のパラメータを計算し更新、すなわち校正を行う。第1校正部203は、計算により得られたパラメータ(例えば、式(1)、式(3)の各行列)をパラメータ記憶部204に記録する。
パラメータ記憶部204は、ステレオカメラ125のパラメータを記憶する。
変換パラメータ算出部205は、位置方位演算器123が演算した旋回体120の位置および方位、ならびに傾斜検出器124が検出した旋回体120の傾斜角に基づいて、現場座標系と車体座標系との間の変換パラメータを算出する。これにより、パラメータ記憶部204に記憶されている車体座標系におけるステレオカメラ125の位置および姿勢を示すパラメータを座標変換することにより、現場座標系におけるステレオカメラ125の位置及び姿勢を特定することができる。変換パラメータ算出部205は、撮像装置の位置を取得する撮像装置位置取得部の一例である。
外部ターゲット位置算出部206は、撮像データ取得部200がステレオ計測によって得たカメラ座標系における外部ターゲットTgの位置を、パラメータ記憶部204が記憶するステレオカメラ125のパラメータを用いて座標変換することで、車体座標系における外部ターゲットTgの位置を算出する。外部ターゲット位置算出部206は、ステレオカメラ125の撮像画像に基づいて、ステレオカメラ125と外部ターゲットTgとの位置関係である第1位置関係を特定する第1位置関係特定部の一例である。
外部ターゲット位置取得部207は、既知のGNSS基準局Cの現場座標系における位置に、外部ターゲットTgの図形中心までの高さhを加算することで、外部ターゲットTgの現場座標系における位置p20を算出する。第1の実施形態において、既知のGNSS基準局Cの現場座標系における位置および外部ターゲットTgの図形中心までの高さhは予め制御装置126を動作させるためのプログラムに組み込まれている。なお、他の実施形態においては、GNSS基準局Cの現場座標系における位置および高さhがオペレータの操作等によりインタフェース940を介して入力され、入力された値がストレージ930に記録され、外部ターゲット位置取得部207がこれを読み出すものであってもよい。また他の実施形態において、図形中心の直下に現場座標系における位置が既知の点がこない場合(例えば、表示板Tg2の左下をGNSS基準局Cに合わせる場合など)、外部ターゲット位置取得部207は、高さhに代えて、現場座標系における位置が既知の点と図形中心との相対位置を示す情報を用いて位置p20を算出する。
外部ターゲット位置変換部208は、変換パラメータ算出部205が算出した変換パラメータを用いて、外部ターゲット位置取得部207が算出した外部ターゲットTgの現場座標系における位置を、車体座標系の位置に変換する。つまり、外部ターゲット位置変換部208は、車体座標系におけるステレオカメラ125と外部ターゲットTgの位置関係を特定することができる。外部ターゲット位置変換部208は、ステレオカメラ125の位置と外部ターゲットTgの位置とに基づいて、ステレオカメラ125と外部ターゲットTgとの位置関係である第2位置関係を特定する第2位置関係特定部の一例である。
第2校正部209は、外部ターゲット位置算出部206が算出したステレオカメラ125と外部ターゲットTgとの位置関係である第1位置関係と、外部ターゲット位置変換部208が得たステレオカメラ125と外部ターゲットTgとの位置関係である第2位置関係との差が最小になるようにステレオカメラ125のパラメータ(車体座標系における位置および姿勢)を修正する計算を、第1位置関係と第2位置関係との差が所定値以下になるまで繰り返し実行する(収束計算する)ことで、パラメータ記憶部204が記憶するパラメータを更新する。
《ステレオカメラの校正方法》
図12は、第1の実施形態に係るステレオカメラの校正方法を示すフローチャートである。
ステレオカメラ125の校正を開始する前に、予め作業機械情報記憶部201には、作業機110の各種寸法が記憶される(ステップS0)。
油圧ショベル100のオペレータは、作業機ターゲットTmが所定の位置、例えば図6に示す位置p1からp8のそれぞれの位置に来るように操作装置1211を操作し、作業機110を駆動させる。
図12は、第1の実施形態に係るステレオカメラの校正方法を示すフローチャートである。
ステレオカメラ125の校正を開始する前に、予め作業機械情報記憶部201には、作業機110の各種寸法が記憶される(ステップS0)。
油圧ショベル100のオペレータは、作業機ターゲットTmが所定の位置、例えば図6に示す位置p1からp8のそれぞれの位置に来るように操作装置1211を操作し、作業機110を駆動させる。
オペレータは、作業機ターゲットTmが位置p1からp8のそれぞれの位置に来たときに、操作装置1211を操作し、ステレオカメラ125に撮像指示を出力する。これにより、制御装置126の撮像データ取得部200は、作業機ターゲットTmのそれぞれの位置(位置p1からp8)について、ステレオカメラ125の各カメラが撮像した画像を取得する(ステップS1)。このとき、作業機位置特定部202は、作業機位置検出器117が検出したブームシリンダ114、アームシリンダ115およびバケットシリンダ116のストローク量と、作業機械情報記憶部201が記憶する諸元の値に基づいて、作業機ターゲットTmのそれぞれの位置について、車体座標系における作業機ターゲットTmの位置を特定する(ステップS2)。
また、施工現場の作業者は、外部ターゲットTgを任意の位置、例えば図8に示す位置p11からp19のそれぞれの位置に設置する。このとき、外部ターゲットTgが設置される位置は未知点である。すなわち、作業者は位置p11からp19の正確な位置を知らなくてよい。
オペレータは、外部ターゲットTgが任意の位置に設置された後に、操作装置1211を操作し、ステレオカメラ125に撮像指示を出力する。制御装置126の撮像データ取得部200は、ステレオカメラ125の各カメラが撮像した画像を取得する(ステップS3)。
第1校正部203は、各撮像画像における位置p1~p8、p11~p19の中心位置と、各位置p1~p8の車体座標系における位置とに基づく収束計算により、ステレオカメラ125のパラメータを算出する(ステップS4)。第1校正部203は、パラメータを求めると、得られたパラメータをパラメータ記憶部204に記録・更新する(ステップS5)。
次に、オペレータは、GNSS基準局Cの直上(既知点)に設けられた外部ターゲットTgが図10に示すように、作業機110の作業範囲外に位置するように、操作装置1211を操作し、油圧ショベル100を移動させる。オペレータは、外部ターゲットTgが作業機110の作業範囲外に位置すると判断したときに、操作装置1211を操作し、ステレオカメラ125に撮像指示を出力する。制御装置126の撮像データ取得部200は、ステレオカメラ125の各カメラが撮像した画像を取得し、当該画像に基づいてステレオ計測をすることで、カメラ座標系における外部ターゲットTgの位置を算出する(ステップS6)。
次に、変換パラメータ算出部205は、位置方位演算器123が演算した旋回体120の位置および方位、ならびに傾斜検出器124が検出した旋回体120の傾斜角に基づいて、現場座標系と車体座標系との間の変換パラメータを算出する(ステップS7)。
外部ターゲット位置算出部206は、パラメータ記憶部204が記憶するステレオカメラ125のパラメータを用いて、ステップS8で撮像データ取得部200がステレオ計測によって得たカメラ座標系における外部ターゲットTgの位置を、車体座標系における外部ターゲットTgの位置に変換算出する(ステップS8)。
外部ターゲット位置取得部207は、既知のGNSS基準局Cの現場座標系における位置に、外部ターゲットTgの図形中心までの高さを加算することで、外部ターゲットTgの現場座標系における中心位置を算出する(ステップS9)。次に、外部ターゲット位置変換部208は、変換パラメータ算出部205が算出した現場座標系と車体座標系との間の変換パラメータを用いて、外部ターゲット位置取得部207が算出した外部ターゲットTgの現場座標系における位置を、車体座標系の位置に変換する(ステップS10)。
第2校正部209は、外部ターゲット位置算出部206が算出した外部ターゲットTgの位置と、外部ターゲット位置変換部208が得た外部ターゲットTgの位置との差が最小になるようにステレオカメラのパラメータを収束計算し、パラメータ記憶部204が記憶するパラメータを更新する(ステップS11)。なお、第2校正部209は、少なくともパラメータ記憶部204が記憶するパラメータのうちステレオ計測におけるスケールに係るものを更新してもよい。これにより、制御装置126は、作業機110の作業範囲より遠い点についてより精度よく距離を計算できるようにステレオカメラ125を校正することができる。なお、上述したように、第2校正部209は、ステップS11においてカメラと外部ターゲットTgとの距離(第1距離と第2距離)の差が最小となるようにカメラのパラメータを校正するようにしてもよい。
《作用・効果》
このように、第1の実施形態によれば、制御装置126は、ステレオカメラ125の撮像画像に基づいたステレオ計測によって特定されたステレオカメラ125と外部ターゲットTgとの第1位置関係と、ステレオカメラ125の位置と外部ターゲットTgの位置とに基づいて特定された第2位置関係とに基づいてステレオカメラ125を校正する。外部ターゲットTgが作業機110上に設けられるものでなく施工現場に設けられるため、ステレオカメラ125と外部ターゲットTgとの距離を任意に設定してステレオカメラ125を校正することができる。したがって、制御装置126は、ステレオカメラ125と外部ターゲットTgとの距離を作業機110の作業範囲外に設定することで、作業機110の作業範囲より遠い点におけるスケールの計測精度が高くなるようにステレオカメラ125を校正することができる。
このように、第1の実施形態によれば、制御装置126は、ステレオカメラ125の撮像画像に基づいたステレオ計測によって特定されたステレオカメラ125と外部ターゲットTgとの第1位置関係と、ステレオカメラ125の位置と外部ターゲットTgの位置とに基づいて特定された第2位置関係とに基づいてステレオカメラ125を校正する。外部ターゲットTgが作業機110上に設けられるものでなく施工現場に設けられるため、ステレオカメラ125と外部ターゲットTgとの距離を任意に設定してステレオカメラ125を校正することができる。したがって、制御装置126は、ステレオカメラ125と外部ターゲットTgとの距離を作業機110の作業範囲外に設定することで、作業機110の作業範囲より遠い点におけるスケールの計測精度が高くなるようにステレオカメラ125を校正することができる。
また、第1の実施形態によれば、外部ターゲットTgは、GNSS基準局Cの直上に設けられる。これにより、制御装置126は、外部ターゲットTgの現場座標系における位置を確実に特定することができる。
また、第1の実施形態によれば、制御装置126は、まず作業機110に設けられた作業機ターゲットTm、及び未知点の外部ターゲットTgに基づいてステレオカメラ125のパラメータを校正し、その後、既知点の外部ターゲットTgに基づいてステレオカメラ125のパラメータを更新する。これにより、既知点の外部ターゲットTgを用いた校正の前に、少なくとも作業機110の作業範囲において精度が高くなるようにステレオカメラ125のパラメータを求められた状態となる。その後、制御装置126は、既知点の外部ターゲットTgに基づく校正を行うことで、作業機110の作業範囲外においても精度が高くなるようにステレオカメラ125のパラメータを更新することができる。なお、他の実施形態においてはこれに限られず、制御装置126は、例えば作業機ターゲットTmおよび未知点の外部ターゲットTgに基づくステレオカメラ125のパラメータの校正と、既知点の外部ターゲットTgに基づくステレオカメラ125のパラメータの校正とを同時に行ってもよい。
また、第1の実施形態においては、作業機ターゲットTmが、中央の刃に取り付けられ、制御装置126がこれに基づいて収束計算を行うが、これに限られない。例えば、他の実施形態においては、作業機ターゲットTmが複数の刃に取り付けられてもよく、例えば中央の刃および左右両端の刃の計3つの刃に取り付けられてもよい。ここで、中央の刃以外に設けられた作業機ターゲットTmの車体座標系における位置は正確に分かっていなくてもよい。つまり作業機ターゲットTmの少なくとも1つが既知点に設置されていれば、他の作業機ターゲットTmは未知点に設置されていてもよい。以下の第2実施形態においても同様に、作業機ターゲットTmが複数の刃に取り付けられてもよい。
〈第2の実施形態〉
第2の実施形態について説明する。
第1の実施形態に係る油圧ショベル100の制御装置126は、作業機ターゲットTm、及び未知点である外部ターゲットTgを用いた校正の後に、現場座標系の位置が既知の外部ターゲットTgを用いた校正を行うという、2段階の校正を行う。これに対し、第2の実施形態に係る制御装置126は、作業機ターゲットTmと、未知点である外部ターゲットTgと、現場座標系の位置が既知の外部ターゲットTgとを用いて一度にステレオカメラ125の校正を行う。
第2の実施形態について説明する。
第1の実施形態に係る油圧ショベル100の制御装置126は、作業機ターゲットTm、及び未知点である外部ターゲットTgを用いた校正の後に、現場座標系の位置が既知の外部ターゲットTgを用いた校正を行うという、2段階の校正を行う。これに対し、第2の実施形態に係る制御装置126は、作業機ターゲットTmと、未知点である外部ターゲットTgと、現場座標系の位置が既知の外部ターゲットTgとを用いて一度にステレオカメラ125の校正を行う。
《ステレオカメラの校正方法》
図13は、第2の実施形態に係るステレオカメラの校正方法を示すフローチャートである。
ステレオカメラ125の校正を開始する前に、予め作業機械情報記憶部201には、作業機110の各種寸法が記憶される(ステップS100)。
油圧ショベル100のオペレータは、作業機ターゲットTmが所定の位置、例えば図6に示す位置p1からp8のそれぞれの位置に来るように操作装置1211を操作し、作業機110を駆動させる。
図13は、第2の実施形態に係るステレオカメラの校正方法を示すフローチャートである。
ステレオカメラ125の校正を開始する前に、予め作業機械情報記憶部201には、作業機110の各種寸法が記憶される(ステップS100)。
油圧ショベル100のオペレータは、作業機ターゲットTmが所定の位置、例えば図6に示す位置p1からp8のそれぞれの位置に来るように操作装置1211を操作し、作業機110を駆動させる。
オペレータは、作業機ターゲットTmの位置p1からp8のそれぞれの位置に来たときに、操作装置1211を操作し、ステレオカメラ125に撮像指示を出力する。これにより制御装置126の撮像データ取得部200は、それぞれの位置(位置p1からp8)について、ステレオカメラ125の各カメラが撮像した画像を取得する(ステップS101)。このとき、作業機位置特定部202は、作業機位置検出器117が検出したブームシリンダ114、アームシリンダ115およびバケットシリンダ116のストローク量と、作業機械情報記憶部201が記憶する諸元の値に基づいて、それぞれの位置について、車体座標系における作業機ターゲットTmの位置を特定する(ステップS102)。
また、施工現場の作業者は、外部ターゲットTgを任意の位置(未知点)、例えば図8に示す位置p11からp19のそれぞれの位置に設置する。
オペレータは、外部ターゲットTgが位置p11からp19のいずれかの位置に設置されたと判断するたびに、操作装置1211を操作し、ステレオカメラ125に撮像指示を出力する。制御装置126の撮像データ取得部200は、それぞれの位置(位置p11からp19)について、ステレオカメラ125の各カメラが撮像した画像を取得する(ステップS103)。
次に、オペレータは、GNSS基準局Cの直上(既知点)に設けられた外部ターゲットTgが図10に示すように、作業機110の作業範囲外に位置するように、操作装置1211を操作し、油圧ショベル100を移動させる。オペレータは、外部ターゲットTgが作業機110の作業範囲外になったと判断したときに、操作装置1211を操作し、ステレオカメラ125に撮像指示を出力する。制御装置126の撮像データ取得部200は、ステレオカメラ125の各カメラが撮像した画像を取得し、当該撮像画像における外部ターゲットTgの中心位置を求める(ステップS104)。なお、撮像画像における外部ターゲットTgの中心位置は、外部ターゲットTgの撮像データの一例である。
次に、変換パラメータ算出部205は、位置方位演算器123が演算した旋回体120の位置および方位、ならびに傾斜検出器124が検出した旋回体120の傾斜角に基づいて、現場座標系と車体座標系との間の変換パラメータを算出する(ステップS105)。
外部ターゲット位置取得部207は、既知のGNSS基準局Cの現場座標系における位置に、外部ターゲットTgの図形中心までの高さを加算することで、外部ターゲットTgの現場座標系における中心位置を算出する(ステップS106)。次に、外部ターゲット位置変換部208は、変換パラメータ算出部205が算出した現場座標系と車体座標系との間の変換パラメータを用いて、外部ターゲット位置取得部207が算出した外部ターゲットTgの現場座標系における位置を、車体座標系の位置に変換する(ステップS107)。
そして、第1校正部203は、撮像画像における位置p1~p8、p11~p19、p20の中心位置と、位置p1~p8および位置p20の車体座標系における位置とに基づく収束計算により、ステレオカメラ125のパラメータを算出する(ステップS108)。第1校正部203は、得られたパラメータをパラメータ記憶部204に記録する(ステップS109)。
このように、第2の実施形態によれば、撮像画像における位置p1~p8、p11~p19、p20の中心位置と、位置p1~p8および位置p20の車体座標系における位置とに基づく収束計算をすることで、1段階のステレオカメラ125の校正作業にて、作業機110の作業範囲内におけるステレオ計測の精度および作業機110の作業範囲より遠方の領域におけるステレオ計測の精度を担保することができる。
なお、第2の実施形態において、制御装置126は、車体座標系における作業機ターゲットTmの位置を特定し、これを用いて収束計算を行うが、これに限られない。例えば、他の実施形態に係る制御装置126は、車体座標系における作業機ターゲットTmの位置を用いずに、既知の外部ターゲットTgの車体座標系における位置と、撮像画像における作業機ターゲットTmおよび外部ターゲットTgの中心位置と、に基づいて収束計算を行ってもよい。
〈第3の実施形態〉
第3の実施形態について説明する。
第1、第2の実施形態に係る油圧ショベル100の制御装置126は、作業機ターゲットTmを用いて校正を行う。これに対し、第3の実施形態に係る制御装置126は、作業機ターゲットTmを用いずにステレオカメラ125の校正を行う。
第3の実施形態について説明する。
第1、第2の実施形態に係る油圧ショベル100の制御装置126は、作業機ターゲットTmを用いて校正を行う。これに対し、第3の実施形態に係る制御装置126は、作業機ターゲットTmを用いずにステレオカメラ125の校正を行う。
図14は、第3の実施形態においてステレオカメラによって撮像される既知点の外部ターゲットTgの位置を示す図である。
第3の実施形態において、作業機110の作業範囲外に設置した既知点の外部ターゲットTgを用いてステレオカメラ125の校正を実行する際、油圧ショベル100のオペレータは、図14に示すように、外部ターゲットTgに対して旋回体120を旋回させ、ステレオカメラ125から見て異なる角度に位置する外部ターゲットTgを撮像する。つまり、オペレータは、旋回体120が位置p101、位置p102、位置p103に来るように旋回体120を制御する。このとき、油圧ショベル100のオペレータは、走行体130を駆動させ、異なる距離から複数回外部ターゲットTgを撮像してもよい。そして、ステレオカメラ125を構成する各カメラは、各位置において外部ターゲットTgを撮像する。
そして、制御装置126は、各カメラの撮像画像における位置p101~p103の中心位置と、位置p101~p103の車体座標系における位置とに基づく収束計算により、ステレオカメラ125のパラメータを算出する。つまり、制御装置126は、ステレオカメラ125と既知点の外部ターゲットTgとの複数の相対位置を用いてステレオカメラ125の校正を行う。
第3の実施形態において、作業機110の作業範囲外に設置した既知点の外部ターゲットTgを用いてステレオカメラ125の校正を実行する際、油圧ショベル100のオペレータは、図14に示すように、外部ターゲットTgに対して旋回体120を旋回させ、ステレオカメラ125から見て異なる角度に位置する外部ターゲットTgを撮像する。つまり、オペレータは、旋回体120が位置p101、位置p102、位置p103に来るように旋回体120を制御する。このとき、油圧ショベル100のオペレータは、走行体130を駆動させ、異なる距離から複数回外部ターゲットTgを撮像してもよい。そして、ステレオカメラ125を構成する各カメラは、各位置において外部ターゲットTgを撮像する。
そして、制御装置126は、各カメラの撮像画像における位置p101~p103の中心位置と、位置p101~p103の車体座標系における位置とに基づく収束計算により、ステレオカメラ125のパラメータを算出する。つまり、制御装置126は、ステレオカメラ125と既知点の外部ターゲットTgとの複数の相対位置を用いてステレオカメラ125の校正を行う。
《ステレオカメラの校正方法》
図15は、第3の実施形態に係るステレオカメラの校正方法を示すフローチャートである。
パラメータ記憶部204には、ステレオカメラ125の校正を開始する前に、予め作業機械情報記憶部201には、作業機110の各種寸法が記憶される(ステップS200)。まず外部ターゲット位置取得部207は、既知のGNSS基準局Cの現場座標系における位置に、外部ターゲットTgの図形中心までの高さhを加算することで、外部ターゲットTgの現場座標系における位置を算出する(ステップS201)。
次に、油圧ショベル100のオペレータは、油圧ショベル100と外部ターゲットTgとの相対位置が作業機110の作業範囲外になるように油圧ショベル100を走行した上で、旋回体120が任意の位置、例えば図14に示す位置p101からp103のそれぞれの位置に来るように操作装置1211を操作し、旋回体120を旋回させる。
図15は、第3の実施形態に係るステレオカメラの校正方法を示すフローチャートである。
パラメータ記憶部204には、ステレオカメラ125の校正を開始する前に、予め作業機械情報記憶部201には、作業機110の各種寸法が記憶される(ステップS200)。まず外部ターゲット位置取得部207は、既知のGNSS基準局Cの現場座標系における位置に、外部ターゲットTgの図形中心までの高さhを加算することで、外部ターゲットTgの現場座標系における位置を算出する(ステップS201)。
次に、油圧ショベル100のオペレータは、油圧ショベル100と外部ターゲットTgとの相対位置が作業機110の作業範囲外になるように油圧ショベル100を走行した上で、旋回体120が任意の位置、例えば図14に示す位置p101からp103のそれぞれの位置に来るように操作装置1211を操作し、旋回体120を旋回させる。
オペレータは、旋回体120を位置p101からp103のそれぞれの位置に移動させると、操作装置1211を操作し、ステレオカメラ125に撮像指示を出力する。これにより、制御装置126の撮像データ取得部200は、それぞれの位置(位置p101からp103)について、ステレオカメラ125の各カメラが撮像した画像を取得し、当該撮像画像における外部ターゲットTgの中心位置を求める(ステップS202)。
次に、変換パラメータ算出部205は、位置方位演算器123が演算した旋回体120の位置および方位、ならびに傾斜検出器124が検出した旋回体120の傾斜角に基づいて、それぞれの位置について、現場座標系と車体座標系との間の変換パラメータを算出する(ステップS203)。
次に、外部ターゲット位置変換部208は、変換パラメータ算出部205が算出した変換パラメータを用いて、外部ターゲット位置取得部207が算出した外部ターゲットTgの現場座標系における位置を、それぞれの位置について、車体座標系の位置に変換する(ステップS204)。
第1校正部203は、位置p101~p103の撮像画像における画像中心位置と、位置p101~p103の車体座標系における位置とに基づいてステレオカメラ125のパラメータを算出する(ステップS205)。第1校正部203は、パラメータを求めると、得られたパラメータをパラメータ記憶部204に記録する(ステップS206)。
《作用・効果》
このように、第3の実施形態によれば、制御装置126は、ステレオカメラ125と外部ターゲットTgとの距離を作業機110の作業範囲より遠くに設定することで、作業機110の作業範囲より遠い点についてより精度よく距離を計算できるようにステレオカメラ125を校正することができる。
このように、第3の実施形態によれば、制御装置126は、ステレオカメラ125と外部ターゲットTgとの距離を作業機110の作業範囲より遠くに設定することで、作業機110の作業範囲より遠い点についてより精度よく距離を計算できるようにステレオカメラ125を校正することができる。
また、第3の実施形態によれば、制御装置126は、ステレオカメラ125と外部ターゲットTgとの相対位置ごとに、外部ターゲットTgの撮像画像における中心位置と、外部ターゲットTgの現場座標系の位置から変換された車体座標系における位置とを特定し、これらに基づいてステレオカメラ125を校正する。これにより、制御装置126は、ステレオカメラ125のパラメータをより精度よく求めることができる。また、これにより、作業機ターゲットTmを用いた校正を省略して、外部ターゲットTgを用いて直接ステレオカメラ125を校正することができる。
なお、第3の実施形態に係る制御装置126は、油圧ショベル100の旋回により、ステレオカメラ125と外部ターゲットTgとの複数の相対位置について、相対位置ごとに撮像画像を取得するが、これに限られない。例えば、他の実施形態においては、油圧ショベル100の走行により、複数の相対位置について、相対位置ごとに撮像画像を取得してもよい。例えば、外部ターゲットTgが作業機110の作業範囲内となる位置(近距離)と、外部ターゲットTgが作業機110の作業範囲外となる位置(遠距離)となるよう油圧ショベル100を走行させ、それぞれの位置において撮像画像を取得するようにしてもよい。
また、他の実施形態においては、複数の既知点のそれぞれに外部ターゲットTgを設置することで、ステレオカメラ125と複数の外部ターゲットTgのそれぞれの相対位置について撮像画像を取得してもよい。この場合、制御装置126は、複数の外部ターゲットTgの位置と、複数の外部ターゲットTgの撮像データとに基づいて撮像装置を校正する。また、他の実施形態においては、複数の任意の位置に外部ターゲットTgを設置し、それぞれの外部ターゲットTgの位置を高精度のセンサにより計測して既知点の外部ターゲットTgとして用いてもよい。また、他の実施形態において制御装置126は、油圧ショベル100の旋回または走行により、ステレオカメラ125と複数の外部ターゲットTgとの相対位置を異ならせ、相対位置ごとに撮像画像を取得してもよい。この場合、制御装置126は、位置関係ごとの複数の外部ターゲットTgの位置と、位置関係ごとの複数の外部ターゲットTgの撮像データとに基づいて撮像装置を校正する。すなわち、外部ターゲットTgの数は1つでも複数でもよく、撮像時におけるステレオカメラ125と外部ターゲットTgとの相対位置の数は1つでも複数でもよい。つまり、ステレオカメラ125は、1つの外部ターゲットTgを、油圧ショベル100の姿勢を変えずに1回撮像してもよいし、複数の外部ターゲットTgを、油圧ショベル100の姿勢を変えずに1回撮像してもよいし、1つの外部ターゲットTgを、油圧ショベル100の姿勢を変えて複数回撮像してもよいし、複数の外部ターゲットTgを、油圧ショベル100の姿勢を変えて複数回撮像してもよい。
また、第3の実施形態に係る制御装置126は、既知点の外部ターゲットTgの撮像画像における中心位置、および既知点に係る外部ターゲットTgの現場座標系の位置に基づいて収束計算を行を行うが、これに限られない。例えば、他の実施形態に係る制御装置126は、既知点に係る外部ターゲットTgの撮像画像における中心位置、未知点に係る外部ターゲットTgの撮像画像における中心位置、および既知点に係る外部ターゲットTgの現場座標系の位置に基づいて収束計算を行ってもよい。
〈第4の実施形態〉
第4の実施形態について説明する。
第1の実施形態から第3の実施形態における校正処理は、初期校正またはステレオカメラ125にずれが生じたときに行う校正処理として実施することができる。油圧ショベル100の制御装置126に正確に地形を認識させるためには、ステレオカメラ125のパラメータが適切に保たれていることが好ましい。一方で、ステレオカメラ125にずれが生じていないときに、校正処理を行うことは煩雑である。
そこで、第4の実施形態では、第1から第3のいずれかの実施形態に示す方法で校正処理を行った後に、定期的にステレオカメラ125にずれが生じているか否かをチェックし、ずれが生じている場合に校正処理を行うことができる校正システムを提供する。
第4の実施形態について説明する。
第1の実施形態から第3の実施形態における校正処理は、初期校正またはステレオカメラ125にずれが生じたときに行う校正処理として実施することができる。油圧ショベル100の制御装置126に正確に地形を認識させるためには、ステレオカメラ125のパラメータが適切に保たれていることが好ましい。一方で、ステレオカメラ125にずれが生じていないときに、校正処理を行うことは煩雑である。
そこで、第4の実施形態では、第1から第3のいずれかの実施形態に示す方法で校正処理を行った後に、定期的にステレオカメラ125にずれが生じているか否かをチェックし、ずれが生じている場合に校正処理を行うことができる校正システムを提供する。
《校正システム》
図16は、第4の実施形態に係る校正システムの構成を示す概略図である。
第4の実施形態に係る校正システム500は、油圧ショベル100と端末装置503とを備える。端末装置503の例としては、オペレータによって操作される携帯端末、PC、車載モニタなどが挙げられる。油圧ショベル100の制御装置126は、有線通信または無線LANなどの近距離無線通信により端末装置503と通信することができる。端末装置503は、オペレータによるパラメータチェック処理および校正処理を補助するためのユーザインタフェースを提供する。
図16は、第4の実施形態に係る校正システムの構成を示す概略図である。
第4の実施形態に係る校正システム500は、油圧ショベル100と端末装置503とを備える。端末装置503の例としては、オペレータによって操作される携帯端末、PC、車載モニタなどが挙げられる。油圧ショベル100の制御装置126は、有線通信または無線LANなどの近距離無線通信により端末装置503と通信することができる。端末装置503は、オペレータによるパラメータチェック処理および校正処理を補助するためのユーザインタフェースを提供する。
《制御装置の構成》
図17は、第4の実施形態に係る制御装置の構成を示す概略ブロック図である。
第4の実施形態に係る制御装置126は、第1から第3の実施形態に係る制御装置126の構成に加え、さらにパラメータチェック部210および通信部211を備える。なお、第1から第3の何れかの実施形態に係る処理については、説明を省略する。
パラメータチェック部210は、パラメータ記憶部204が記憶するパラメータの校正が必要か否かを判定する。具体的には、パラメータチェック部210は、取得した既知のターゲットの位置と ステレオ計測により特定した外部ターゲットの位置との差に基づいて、校正の要否を判定する。つまり、制御装置126は、撮像装置の監視装置の一例である。
通信部211は、端末装置503との通信によりデータの授受を行う。通信部211は、校正の要否の判定結果を出力する出力部の一例である。
図17は、第4の実施形態に係る制御装置の構成を示す概略ブロック図である。
第4の実施形態に係る制御装置126は、第1から第3の実施形態に係る制御装置126の構成に加え、さらにパラメータチェック部210および通信部211を備える。なお、第1から第3の何れかの実施形態に係る処理については、説明を省略する。
パラメータチェック部210は、パラメータ記憶部204が記憶するパラメータの校正が必要か否かを判定する。具体的には、パラメータチェック部210は、取得した既知のターゲットの位置と ステレオ計測により特定した外部ターゲットの位置との差に基づいて、校正の要否を判定する。つまり、制御装置126は、撮像装置の監視装置の一例である。
通信部211は、端末装置503との通信によりデータの授受を行う。通信部211は、校正の要否の判定結果を出力する出力部の一例である。
《端末装置の構成》
図18は、第4の実施形態に係る端末装置の構成を示す概略ブロック図である。
端末装置503は、プロセッサ610、メインメモリ620、ストレージ630、インタフェース640、入力装置650、表示装置660を備える。
図18は、第4の実施形態に係る端末装置の構成を示す概略ブロック図である。
端末装置503は、プロセッサ610、メインメモリ620、ストレージ630、インタフェース640、入力装置650、表示装置660を備える。
ストレージ630には、パラメータチェック処理および校正処理を補助するためのプログラムが記憶されている。ストレージ630の例としては、HDD(Hard Disk Drive)、不揮発性メモリ等が挙げられる。ストレージ630は、端末装置503のバスに直接接続された内部メディアであってもよいし、インタフェース640または通信回線を介して端末装置503に接続される外部メディアであってもよい。
プロセッサ610は、ストレージ630からプログラムを読み出してメインメモリ620に展開し、プログラムに従って処理を実行する。またプロセッサ610は、プログラムに従ってメインメモリ620に記憶領域を確保する。インタフェース640は、近距離無線通信により油圧ショベル100の制御装置126と接続され、信号の授受を行う。また入力装置650および表示装置660は、インタフェース640を介してプロセッサ610に接続される。入力装置650および表示装置660の例としては、タッチパネルなどが挙げられる。
プロセッサ610は、ストレージ630からプログラムを読み出すことで、表示制御部611、基準局選択部612、、指示送信部613、撮像データ受信部614、チェック結果受信部615、校正結果受信部616を備える。なお、ストレージ630には、基準局記憶部631の記憶領域が確保されている。他の実施形態においては、GNSS基準局Cの位置情報が制御装置126に記憶されていてもよい。
基準局記憶部631は、施工現場に設けられた複数のGNSS基準局Cのそれぞれに関連付けて、当該GNSS基準局Cの現場座標系における位置と、GNSS基準局Cに係る位置から当該GNSS基準局C上に設置された外部ターゲットTgの図形中心までの高さ(図9の高さh)とを記憶する。
表示制御部611は、表示装置660に表示情報を出力する。
基準局選択部612は、入力装置650を介してオペレータから基準局記憶部631が記憶する複数のGNSS基準局Cのうち、パラメータチェックに用いるGNSS基準局Cの選択を受け付ける。なお、他の実施形態においては、基準局選択部612は、制御装置126からステレオカメラ125に写る画像のステレオ計測によって得られた外部ターゲットTgの位置情報を受信し、基準局記憶部631が記憶する複数のGNSS基準局Cのうち、当該位置情報が示す位置に最も近いGNSS基準局Cを選択してもよい。また他の実施形態においては、端末装置503は、基準局選択部612に代えて、基準局の座標位置を直接入力可能な基準局入力部を備えてもよい。
指示送信部613は、入力装置650を介してオペレータから受け付けたパラメータチェックの開始指示、および校正の開始指示を制御装置126に送信する。
基準局選択部612は、入力装置650を介してオペレータから基準局記憶部631が記憶する複数のGNSS基準局Cのうち、パラメータチェックに用いるGNSS基準局Cの選択を受け付ける。なお、他の実施形態においては、基準局選択部612は、制御装置126からステレオカメラ125に写る画像のステレオ計測によって得られた外部ターゲットTgの位置情報を受信し、基準局記憶部631が記憶する複数のGNSS基準局Cのうち、当該位置情報が示す位置に最も近いGNSS基準局Cを選択してもよい。また他の実施形態においては、端末装置503は、基準局選択部612に代えて、基準局の座標位置を直接入力可能な基準局入力部を備えてもよい。
指示送信部613は、入力装置650を介してオペレータから受け付けたパラメータチェックの開始指示、および校正の開始指示を制御装置126に送信する。
撮像データ受信部614は、制御装置126からステレオカメラ125が撮像した撮像データを受信する。
チェック結果受信部615は、制御装置126からパラメータチェック処理の結果を受信する。パラメータチェック処理の結果は、ステレオカメラ125の校正が必要であるか否かを示す情報である。
校正結果受信部616は、制御装置126から校正処理の結果を受信する。校正処理の結果は、校正処理に成功したか否かを示す情報である。
チェック結果受信部615は、制御装置126からパラメータチェック処理の結果を受信する。パラメータチェック処理の結果は、ステレオカメラ125の校正が必要であるか否かを示す情報である。
校正結果受信部616は、制御装置126から校正処理の結果を受信する。校正処理の結果は、校正処理に成功したか否かを示す情報である。
《ステレオカメラのパラメータチェックおよび校正方法》
図19、図20は、第4の実施形態に係るパラメータチェックおよび校正処理を示すシーケンス図である。オペレータは、油圧ショベル100を用いる作業の開始時に、その日の作業においてステレオカメラ125を使用するか否かを判断し、その日の作業においてステレオカメラ125を使用する可能性がある場合に、以下に示すパラメータチェックを実行する。
図19、図20は、第4の実施形態に係るパラメータチェックおよび校正処理を示すシーケンス図である。オペレータは、油圧ショベル100を用いる作業の開始時に、その日の作業においてステレオカメラ125を使用するか否かを判断し、その日の作業においてステレオカメラ125を使用する可能性がある場合に、以下に示すパラメータチェックを実行する。
外部ターゲットTgが作業機110の作業範囲外に位置する状態とするための、油圧ショベル100と外部ターゲットTgとの距離(チェック距離)は、予め設定されている。オペレータは、油圧ショベル100と外部ターゲットTgとの距離がチェック距離に近づくように油圧ショベル100を走行させ、停止させる。
このとき、端末装置503は、油圧ショベル100を外部ターゲットTgに対して適切な位置へ走行させることを補助するための確認画面を表示させる(ステップS301)。
図21は、第4の実施形態に係る端末装置に表示される確認画面の例を示す図である。確認画面には、図21に示すように、ステレオカメラ125の各カメラによる撮像画像G11が含まれる。撮像画像G11は、ステレオカメラ125の撮像ボタンの押下より前に各カメラに写る瞬時的な画像を示す動画像またはコマ送り画像である。撮像画像G11は油圧ショベル100の制御装置126から送信される。なお、他の実施形態においては、確認画面はステレオカメラ125のすべてのカメラの撮像画像G11を含まなくてもよい。例えば確認画面は、対をなすカメラの一方(例えば、第1カメラ1251と第4カメラ1254)が撮像した撮像画像G11を含むものであってもよい。また、制御装置126が、ステレオカメラ125の各カメラが撮像した撮像画像G11内に映る外部ターゲットTgを認識してステレオ計測することで、ステレオカメラ125から外部ターゲットTgまでの距離を算出し、当該距離を端末装置503に送信することで、端末装置503は、確認画面上に算出した距離を表示させるようにしてもよい。オペレータは、確認画面に表示される距離を参照することで、ステレオカメラ125と外部ターゲットTgとの距離が、予め設定されたチェック距離になるよう油圧ショベル100を走行させることができる。
図21は、第4の実施形態に係る端末装置に表示される確認画面の例を示す図である。確認画面には、図21に示すように、ステレオカメラ125の各カメラによる撮像画像G11が含まれる。撮像画像G11は、ステレオカメラ125の撮像ボタンの押下より前に各カメラに写る瞬時的な画像を示す動画像またはコマ送り画像である。撮像画像G11は油圧ショベル100の制御装置126から送信される。なお、他の実施形態においては、確認画面はステレオカメラ125のすべてのカメラの撮像画像G11を含まなくてもよい。例えば確認画面は、対をなすカメラの一方(例えば、第1カメラ1251と第4カメラ1254)が撮像した撮像画像G11を含むものであってもよい。また、制御装置126が、ステレオカメラ125の各カメラが撮像した撮像画像G11内に映る外部ターゲットTgを認識してステレオ計測することで、ステレオカメラ125から外部ターゲットTgまでの距離を算出し、当該距離を端末装置503に送信することで、端末装置503は、確認画面上に算出した距離を表示させるようにしてもよい。オペレータは、確認画面に表示される距離を参照することで、ステレオカメラ125と外部ターゲットTgとの距離が、予め設定されたチェック距離になるよう油圧ショベル100を走行させることができる。
オペレータは、確認画面に表示された撮像画像G11を視認することで外部ターゲットTgがすべてのステレオカメラ125に写るように油圧ショベル100を走行させることができる。そしてオペレータは、確認画面のすべての撮像画像G11に外部ターゲットTgが写る位置で、油圧ショベル100を停止させることができる(ステップS302)。
オペレータは、入力装置650を操作し、表示装置660の表示画面の切り替えを指示する。端末装置503の表示制御部611は、基準局記憶部631が記憶する複数のGNSS基準局Cの情報に基づいて、複数のGNSS基準局Cから1つのGNSS基準局Cを選択させる選択画面の表示信号を表示装置660に出力する(ステップS303)。図22は、第4の実施形態に係る端末装置に表示される選択画面の例を示す図である。図22に示すように、選択画面には、複数のGNSS基準局Cに係る位置と、GNSS基準局Cに係る位置から外部ターゲットTgの図形中心までの高さ(図9の高さh)を表すリストG21が含まれる。
オペレータは、入力装置650を操作し、表示されたリストG21から、パラメータチェックに用いるGNSS基準局Cを選択する(ステップS304)。これにより、端末装置503の基準局選択部612は、GNSS基準局Cの選択を受け付ける。基準局選択部612がGNSS基準局Cの選択を受け付けると、指示送信部613は、選択されたGNSS基準局Cに係る情報を、制御装置126に送信する(ステップS305)。このとき、制御装置126または端末装置503は、選択されたGNSS基準局Cと油圧ショベル100との距離がパラメータチェックのための所定範囲内にあるか否かを判定する。選択されたGNSS基準局Cと油圧ショベル100との距離が所定範囲内にある場合、制御装置126はパラメータチェックの処理を進める。他方、選択されたGNSS基準局Cと油圧ショベル100との距離が所定範囲内にある場合、端末装置503はオペレータにGNSS基準局Cの再設定を指示する画面を表示させる表示信号を表示装置660に出力する。
オペレータは、旋回体120が任意の位置、例えば図14に示す位置p101からp103のそれぞれの位置に来るように操作装置1211を操作し、旋回体120を旋回させる。
オペレータは、旋回体120を位置p101からp103のそれぞれの位置に移動させると、操作装置1211を操作し、ステレオカメラ125に撮像指示を出力する(ステップS306)。これにより、制御装置126の撮像データ取得部200は、それぞれの位置(位置p101からp103)について、ステレオカメラ125の各カメラが撮像した画像を取得し、当該撮像画像における外部ターゲットTgの中心位置を求める(ステップS307)。つまり、撮像データ取得部200は、ステレオ計測により車体座標系における外部ターゲットTgの位置を特定する。例えば、撮像データ取得部200は、パラメータ記憶部204が記憶する外部パラメータ(式(1)の行列Rcy、行列Rcp、行列Rcr、および行列Tc)を用いてカメラ座標系における外部ターゲットTgの位置を特定し、これを車体パラメータ(式(3)の行列Rmy、行列Rmp、行列Rmr、および行列Tm)を用いて車体座標系における外部ターゲットTgの位置に変換する。
なお、制御装置126は外部ターゲットTgの中心位置を求めるたびに、次の姿勢での撮像を指示する画面の表示指示を端末装置503に送信する。また、制御装置126は外部ターゲットTgの中心位置の算出に失敗した場合、再度の撮像を指示する画面の表示指示を端末装置503に送信する。
なお、制御装置126は外部ターゲットTgの中心位置を求めるたびに、次の姿勢での撮像を指示する画面の表示指示を端末装置503に送信する。また、制御装置126は外部ターゲットTgの中心位置の算出に失敗した場合、再度の撮像を指示する画面の表示指示を端末装置503に送信する。
また、外部ターゲット位置取得部207がステップS305で受信したGNSS基準局Cの情報、変換パラメータ算出部205が撮像したときのそれぞれの位置について算出した現場座標系と車体座標系との間の変換パラメータに基づいて、外部ターゲットTgの車体座標系における位置を取得する(ステップS308)。ステップS308で取得される外部ターゲットTgの車体座標系における位置は、外部ターゲットTgの既知の位置である。
パラメータチェック部210は、ステップS307でステレオ計測された外部ターゲットTgの位置とステップS308で取得した外部ターゲットTgの既知の位置との差が許容誤差範囲内であるか否かを判定する(ステップS309)。つまり、パラメータチェック部210は、ステレオ計測された外部ターゲットTgの位置と外部ターゲットTgの既知の位置とのずれが許容誤差範囲内であるか否かを判定する。
ステレオ計測された外部ターゲットTgの位置と外部ターゲットTgの既知の位置との差が許容誤差範囲内である場合(ステップS309:YES)、パラメータチェック部210は、端末装置503にパラメータの校正が不要であることを示すチェック結果情報を送信する(ステップS310)。
ステレオ計測された外部ターゲットTgの位置と外部ターゲットTgの既知の位置との差が許容誤差範囲内である場合(ステップS309:YES)、パラメータチェック部210は、端末装置503にパラメータの校正が不要であることを示すチェック結果情報を送信する(ステップS310)。
ステレオ計測された外部ターゲットTgの位置と外部ターゲットTgの既知の位置との差が許容誤差範囲より大きい場合(ステップS309:NO)、パラメータチェック部210は、端末装置503にパラメータの校正が必要であることを示すチェック結果情報を送信する(ステップS311)。
端末装置503のチェック結果受信部615が制御装置126からチェック結果情報を受信すると、表示制御部611は、チェック結果情報を表示するチェック結果画面の表示信号を表示装置660に出力する(ステップS312)。
端末装置503のチェック結果受信部615が制御装置126からチェック結果情報を受信すると、表示制御部611は、チェック結果情報を表示するチェック結果画面の表示信号を表示装置660に出力する(ステップS312)。
パラメータチェック部210によって校正が必要であると判定されると、第2校正部209は、パラメータ記憶部204が記憶する外部パラメータのピッチ角(式(1)におけるθp)を微小角度ずつ変化させながら、変化させたピッチ角θpごとに、ステップS307で取得したステレオカメラ125の対をなすカメラによって撮像されたステレオ画像についてステレオ計測を行い、ステレオ画像のステレオ率を算出する。ステレオ率とは、ステレオ計測されるステレオ画像の複数の画素のうちステレオ計測が成功した画素の割合をいう。具体的には、第2校正部209は、ステレオ画像のうち一方の画像の各画素について、他方の画像のエピポーラ線上に存在する複数の画素の中から対応点を探索し、対応点数を画素数で除算することでステレオ率を算出する。対応点の探索の成否は、対をなすカメラのピッチ角θpのずれに大きく影響を受ける。第2校正部209は、パラメータ記憶部204が記憶するピッチ角θpを、微小角度ずつ変化させたピッチ角のうち得られたステレオ率が最もが高くなるピッチ角θpに書き換える(ステップS313)。
次に、第2校正部209は、ステップS308で取得外部ターゲットTgの車体座標系における既知の位置と、ステップS307でステレオ計測された外部ターゲットTgの位置とに基づいて、パラメータ記憶部204が記憶する外部パラメータのヨー角θyを校正する(ステップS314)。すなわち第2校正部209は、カメラと外部ターゲットTgとの距離の差が最小となるようにヨー角θyを校正する。ヨー角θyは、ステレオカメラ125から撮像対象までの距離(スケール)に影響を与えるパラメータである。
そして、第2校正部209は、計算によって得られる外部ターゲットTgの位置がステップS314で取得した位置に一致するように、車体パラメータ(上記式(3)を構成する行列Rmy、Rmp、Rmr、およびTm)を求める(ステップS315)。例えば、第2校正部209は、以下に示す処理により行列Rmy、Rmp、Rmr、Tmを求める。まず第2校正部209は、各姿勢によって1つのカメラ(たとえば第1カメラ1251)で実際に撮影した画像において外部ターゲットTgが写る画素(第1画素)の位置を特定する。次に、第2校正部209は、選択された外部ターゲットTgの既知の位置、撮像時点における油圧ショベル100の位置および姿勢情報、並びにパラメータ記憶部204が記憶する1つのカメラに対する車体パラメータを用いて、シミュレーションにより、各姿勢で1つのカメラの画素上に外部ターゲットTgが投影される画素(第2画素)の位置を演算して特定する。そして、第2校正部209は、実際に撮影された外部ターゲットTgの第1画素の位置と、シミュレーションにより特定された外部ターゲットTgの第2画素の位置とを比較して、誤差が最小となるよう収束演算することで、車体パラメータを校正する。この場合、第2校正部209は、第1画素取得部および第2画素取得部の一例である。
第2校正部209は、ステップS313からステップS315の校正処理の結果、算出された外部ターゲットTgの位置とステップS308でステレオ計測により特定した外部ターゲットTgの位置との差が許容誤差範囲内になったか否かを判定する(ステップS316)。算出された外部ターゲットTgの位置とステップS308でステレオ計測により特定した外部ターゲットTgの位置との差が許容誤差範囲内である場合(ステップS316:YES)、第2校正部209は、端末装置503にパラメータの校正が成功したことを示す校正結果情報を送信する(ステップS317)。他方、算出された外部ターゲットTgの位置とステップS313で特定した外部ターゲットTgの位置との差が許容誤差範囲を超える場合(ステップS316:NO)、第2校正部209は、端末装置503にパラメータの校正が失敗したことを示す校正結果情報を送信する(ステップS318)。
端末装置503の校正結果受信部616が制御装置126から校正結果情報を受信すると、表示制御部611は、校正結果情報を表示する校正結果画面の表示信号を表示装置660に出力する(ステップS319)。
端末装置503の校正結果受信部616が制御装置126から校正結果情報を受信すると、表示制御部611は、校正結果情報を表示する校正結果画面の表示信号を表示装置660に出力する(ステップS319)。
このように、第4の実施形態によれば、オペレータが日々の業務の前に、ステレオカメラ125の校正が必要であるか否かを容易にチェックすることができる。これにより、ステレオカメラ125のパラメータを適切に保ちつつ、オペレータの作業効率の低下を防ぐことができる。
また、第4の実施形態によれば、端末装置503がパラメータチェックおよび校正処理の補助を行う。これにより、オペレータは、容易にパラメータチェックおよび校正処理を行うことができる。
また、第4の実施形態によれば、端末装置503がパラメータチェックおよび校正処理の補助を行う。これにより、オペレータは、容易にパラメータチェックおよび校正処理を行うことができる。
なお、第4の実施形態に係る制御装置126は、外部パラメータのピッチ角およびヨー角の校正の後に、車体パラメータ(行列Rmy、Rmp、Rmr、Tm)の校正を行うが、これに限られない。例えば、他の実施形態に係る制御装置126は、ピッチ角およびヨー角の校正のみを行ってもよいし、または車体パラメータ校正のみを行ってもよいし、車体パラメータ校正の後に、ピッチ角およびヨー角の校正を行ってもよい。また、他の実施形態に係る制御装置126は、ステレオカメラ125が備える各カメラについて、車体パラメータの校正を行ってもよい。
なお、第4の実施形態に係る制御装置126は、油圧ショベル100の旋回により、ステレオカメラ125と外部ターゲットTgとの3つの相対位置について、相対位置ごとに撮像画像を取得するが、これに限られない。例えば、他の実施形態においては、1つもしくは2つ、または4つ以上の相対位置について撮像画像を取得してもよい。
なお、第4の実施形態に係る制御装置126は、第1から第3のいずれかの実施形態による校正処理を行った後に、ステレオカメラのパラメータチェックおよび校正を行うが、これに限られない。例えば、他の実施形態に係る制御装置126は、第1から第3のいずれかの実施形態による校正処理に代えて、上記のステレオカメラのパラメータチェックおよび校正を行ってもよい。この場合、制御装置126は、必ずしも第1校正部203を備えなくてもよい。
なお、第4の実施形態では、図14に示すように油圧ショベル100の撮像位置または姿勢を変えることで複数の外部ターゲットTgの位置を得るが、これに限られない。例えば、他の実施形態においては、図8に示すように油圧ショベル100が1つの撮像位置および姿勢で複数の外部ターゲットTgを撮影することで、複数の外部ターゲットTgの位置を得てもよい。この場合、図8に示す各外部ターゲットTgの位置は既知である必要がある。
なお、第4の実施形態では、制御装置126が、ステップS307、ステップS309、ステップS313~ステップS315の処理を行ったが、これに限られない。例えばこれらの処理を端末装置503や、後述するサーバ501が行ってもよい。また、制御装置126における各構成の一部、またはすべてが端末装置503や、後述するサーバ501に設けられて、端末装置503やサーバ501において一部またはすべての処理を行ってもよい。また、制御装置126自体が端末装置503内やサーバ501内に設けられてもよい。
なお、第4の実施形態では、通信部211が、パラメータチェック部210のチェック結果を端末装置503に出力していたが、これに限られない。例えば、他の実施形態において、通信部211は、チェック結果を第2校正部209に出力し、それを受けた第2校正部209が自動的に外部パラメータまたは車体パラメータを校正するようにしてもよい。つまり、他の実施形態においては、端末装置503は必ずしもチェック結果を表示しなくてもよい。なお、後述するサーバ501が、ステップS323~S326の校正処理を行う場合、通信部211は、チェック結果をサーバ装置501に出力し、それを受けたサーバ装置501が外部パラメータまたは車体パラメータを校正してもよい。
〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、第1の実施形態によれば、作業機ターゲットTmを撮像した後に外部ターゲットTgを撮像するが、これに限られない。例えば、他の実施形態に係る制御装置126は、外部ターゲットTgを撮像した後に作業機ターゲットTmを撮像してもよいし、一の画像に作業機ターゲットTmと外部ターゲットTgの両方を写すことで、作業機ターゲットTmと外部ターゲットTgとを同時に撮像してもよい。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、第1の実施形態によれば、作業機ターゲットTmを撮像した後に外部ターゲットTgを撮像するが、これに限られない。例えば、他の実施形態に係る制御装置126は、外部ターゲットTgを撮像した後に作業機ターゲットTmを撮像してもよいし、一の画像に作業機ターゲットTmと外部ターゲットTgの両方を写すことで、作業機ターゲットTmと外部ターゲットTgとを同時に撮像してもよい。
また、上述した実施形態においては作業機械が油圧ショベル100である場合について説明したが、これに限られない。例えば、他の実施形態においては、ホイルローダやブルドーザがステレオカメラ125を備え、上述の校正を行うものであってもよい。
また、上述した実施形態においては、制御装置126が、式(1)に示すパラメータ(いわゆる外部パラメータ)および式(3)に示すパラメータを求める場合について説明したが、これに限られない。例えば、制御装置126は、各カメラの内部パラメータを変化させることで、ステレオカメラ125の校正を行ってもよい。内部パラメータの例としては、カメラの光学系の焦点距離、カメラの光学系の光軸とイメージセンサの撮像面との交点の位置(x、y)、カメラレンズの半径方向の歪係数が挙げられる。
また、上述した実施形態においては、既知点の外部ターゲットTgが施工現場のGNSS基準局C上に設置されるが、これに限られない。例えば、他の実施形態においては、GNSSアンテナの近傍に外部ターゲットTgが設置されることで、外部ターゲットTgの現場座標系における位置を既知としてもよい。また例えば、外部ターゲットTgを他の油圧ショベル100に設け、当該他の油圧ショベル100が外部ターゲットTgの位置を現場座標系に変換することで、外部ターゲットTgの現場座標系における位置を既知としてもよい。また、外部ターゲットTgは、必ずしも施工現場に設置される必要はなく、例えば工場などに設置されてもよいし、屋内に設置されてもよい。
また、上述した実施形態においては、制御装置126がカメラ座標系および現場座標系の位置を車体座標系に変換することで、ステレオカメラ125と作業機ターゲットTmまたは外部ターゲットTgとの位置関係を特定するが、これに限られない。例えば、他の実施形態においては、車体座標系の位置をカメラ座標系または現場座標系に変換することで、ステレオカメラ125と作業機ターゲットTmまたは外部ターゲットTgとの位置関係を特定してもよい。
なお、第1、第2の実施形態では、制御装置126は既知点の外部ターゲットTgを1回撮像し、撮像画像と、このときのステレオカメラ125と既知点の外部ターゲットTgの位置関係とに基づいてステレオカメラ125のパラメータを更新するが、これに限られない。例えば、他の実施形態では、制御装置126は、既知点の外部ターゲットTgを複数回撮像し、各撮像画像と、それぞれの撮像タイミングにおけるステレオカメラ125と既知点の外部ターゲットTgの位置関係とに基づいてステレオカメラ125のパラメータを更新してもよい。この場合、図12に示すフローチャートのステップS6からステップS11の処理、または図13に示すフローチャートのステップS104からステップS109の処理を、図15に示すフローチャートのステップS201からステップS206に置き換えることで実現できる。既知点の外部ターゲットTgを複数回撮像することで、ステレオカメラ125と既知点の外部ターゲットTgの位置関係の算出結果に含まれるGNSSやIMUの誤差による影響を小さくすることができ、より精度よくステレオカメラ125のパラメータを求めることができる。
図22は、他の実施形態に係る校正システムの構成を概略図である。
上述した実施形態においては、制御装置126が単独でステレオカメラ125の校正を行うが、これに限られない。例えば、他の実施形態において、校正システム500が油圧ショベル100、サーバ501、通信回線502、端末装置503を備える場合に、制御装置126が他の装置と共働してステレオカメラ125の校正を行ってもよい。図22に示す例では、制御装置126は、通信回線502を介して、油圧ショベル100の遠隔に設けられているサーバ501および端末装置503とデータ通信することができる。サーバ501の例としては、コンピュータシステムが挙げられる。端末装置503の例としては、パーソナルコンピュータや携帯端末が挙げられる。通信回線502の例としては、インターネット、ローカルエリアネットワーク、携帯電話通信網、および衛星通信網が挙げられる。また、端末装置503は、図示しない油圧ショベル100の遠隔操作室に設けられてもよい。
上述した実施形態においては、制御装置126が単独でステレオカメラ125の校正を行うが、これに限られない。例えば、他の実施形態において、校正システム500が油圧ショベル100、サーバ501、通信回線502、端末装置503を備える場合に、制御装置126が他の装置と共働してステレオカメラ125の校正を行ってもよい。図22に示す例では、制御装置126は、通信回線502を介して、油圧ショベル100の遠隔に設けられているサーバ501および端末装置503とデータ通信することができる。サーバ501の例としては、コンピュータシステムが挙げられる。端末装置503の例としては、パーソナルコンピュータや携帯端末が挙げられる。通信回線502の例としては、インターネット、ローカルエリアネットワーク、携帯電話通信網、および衛星通信網が挙げられる。また、端末装置503は、図示しない油圧ショベル100の遠隔操作室に設けられてもよい。
このような実施形態において、サーバ501は、制御装置126の一部又は全部の機能を有していてよい。すなわち、サーバ501は、撮像データ取得部200、作業機械情報記憶部201、作業機位置特定部202、第1校正部203、パラメータ記憶部204、変換パラメータ算出部205、外部ターゲット位置算出部206、外部ターゲット位置取得部207、外部ターゲット位置変換部208、第2校正部209の少なくとも1つを有する。この場合、位置方位演算器123、傾斜検出器124、ステレオカメラ125、および作業機位置検出器117が検出したデータが、通信回線502を介してサーバ501に供給される。例えば、サーバ501は、制御装置126から撮像画像、現場座標系における各ターゲットの位置を受信し、これらに基づく収束計算を行うことで、カメラのパラメータを算出し、算出されたパラメータを制御装置126に送信する。
また、このような実施形態において、端末装置503が、制御装置126の一部又は全部の機能を有していてよい。すなわち、端末装置503は、撮像データ取得部200、作業機械情報記憶部201、作業機位置特定部202、第1校正部203、パラメータ記憶部204、変換パラメータ算出部205、外部ターゲット位置算出部206、外部ターゲット位置取得部207、外部ターゲット位置変換部208、第2校正部209の少なくとも1つを有する。
上記態様によれば、作業機の作業範囲より遠い領域における撮像対象について精度よく計算できるように撮像装置を校正することができる。
100 油圧ショベル
110 作業機
120 旋回体
125 ステレオカメラ
1251 第1カメラ
1252 第2カメラ
1253 第3カメラ
1254 第4カメラ
126 制御装置
200 撮像データ取得部
201 作業機械情報記憶部
202 作業機位置特定部
203 第1校正部
204 パラメータ記憶部
205 変換パラメータ算出部
206 外部ターゲット位置算出部
207 外部ターゲット位置取得部
208 外部ターゲット位置変換部
209 第2校正部
Tm 作業機ターゲット
Tg 外部ターゲット
110 作業機
120 旋回体
125 ステレオカメラ
1251 第1カメラ
1252 第2カメラ
1253 第3カメラ
1254 第4カメラ
126 制御装置
200 撮像データ取得部
201 作業機械情報記憶部
202 作業機位置特定部
203 第1校正部
204 パラメータ記憶部
205 変換パラメータ算出部
206 外部ターゲット位置算出部
207 外部ターゲット位置取得部
208 外部ターゲット位置変換部
209 第2校正部
Tm 作業機ターゲット
Tg 外部ターゲット
Claims (18)
- 作業機を備える作業機械に設けられた少なくとも1つの撮像装置によって撮像された、前記作業機の作業範囲外における既知の位置に設置される既知外部ターゲットの撮像データを取得する撮像データ取得部と、
前記既知外部ターゲットの位置を取得する外部ターゲット位置取得部と、
前記外部ターゲット位置取得部により取得された前記既知外部ターゲットの位置と、前記撮像データ取得部により取得された前記既知外部ターゲットの撮像データとに基づいて前記撮像装置を校正する校正部と、
を備える撮像装置の校正装置。 - 前記撮像データ取得部は、少なくとも1対の撮像装置から前記既知外部ターゲットの撮像データを取得し、
前記校正部は、前記外部ターゲット位置取得部により取得された前記既知外部ターゲットの位置と、前記撮像データ取得部により取得された前記撮像データに基づいてステレオ計測された前記既知外部ターゲットの位置とに基づいて前記撮像装置を校正する、
請求項1に記載の撮像装置の校正装置。 - 前記既知外部ターゲットのステレオ計測結果に基づいて、前記撮像装置と前記既知外部ターゲットとの位置関係である第1位置関係を特定する第1位置関係特定部と、
前記外部ターゲット位置取得部により取得された前記既知外部ターゲットの位置に基づいて、前記撮像装置と前記既知外部ターゲットとの位置関係である第2位置関係を特定する第2位置関係特定部と、
を備え、
前記校正部は、前記第1位置関係と前記第2位置関係とに基づいて前記撮像装置を校正する、
請求項2に記載の撮像装置の校正装置。 - 前記作業機の位置を特定し、前記作業機に設けられた作業機ターゲットの位置を算出する作業機位置特定部を備え、
前記撮像データ取得部は、前記撮像装置によって撮像された前記作業機ターゲットの撮像データを取得し、
前記校正部は、前記撮像データ取得部が取得した前記作業機ターゲットの撮像データと、前記作業機位置特定部により算出された前記作業機ターゲットの位置とに基づく前記撮像装置の校正と、前記第1位置関係と前記第2位置関係とに基づく前記撮像装置の校正を行う、
請求項3に記載の撮像装置の校正装置。 - 前記校正部は、前記外部ターゲット位置取得部により取得された前記既知外部ターゲットの位置と、前記撮像データ取得部が取得した撮像データである画像における前記既知外部ターゲットの位置とに基づいて前記撮像装置を校正する、
請求項1に記載の撮像装置の校正装置。 - 前記作業機の位置を特定し、前記作業機に設けられた作業機ターゲットの位置を算出する作業機位置特定部を備え、
前記撮像データ取得部は、前記撮像装置によって撮像された、前記作業機ターゲットの撮像データを取得し、
前記校正部は、前記撮像データ取得部が取得した前記作業機ターゲットの撮像データと、前記作業機位置特定部により算出された前記作業機ターゲットの位置と、前記外部ターゲット位置取得部により取得された前記既知外部ターゲットの位置と、前記撮像装置が撮像した画像における前記既知外部ターゲットの位置とに基づいて前記撮像装置を校正する、
請求項5に記載の撮像装置の校正装置。 - 前記撮像データ取得部は、前記撮像装置によって撮像された、未知の位置に設置される未知外部ターゲットの撮像データを取得し、
前記校正部は、前記撮像データ取得部が取得した撮像データである画像における前記未知外部ターゲットの位置を用いて前記撮像装置を校正する、
請求項1から請求項6の何れか1項に記載の撮像装置の校正装置。 - 前記撮像データ取得部は、前記撮像装置によって撮像された複数の既知外部ターゲットの撮像データを取得し、
前記外部ターゲット位置取得部は、前記複数の既知外部ターゲットそれぞれの位置を取得し、
前記校正部は、前記外部ターゲット位置取得部により取得された前記複数の既知外部ターゲットの位置と、前記撮像データ取得部により取得された前記複数の既知外部ターゲットの撮像データとに基づいて前記撮像装置を校正する、
請求項1から請求項7の何れか1項に記載の撮像装置の校正装置。 - 前記撮像データ取得部は、前記撮像装置と前記既知外部ターゲットとの相対位置ごとに撮像データを取得し、
前記外部ターゲット位置取得部は、前記相対位置ごとに前記既知外部ターゲットの位置を取得し、
前記校正部は、前記外部ターゲット位置取得部により取得された前記相対位置ごとの既知外部ターゲットの位置と、前記撮像データ取得部により取得された前記相対位置ごとの前記既知外部ターゲットの撮像データとに基づいて前記撮像装置を校正する、
請求項1から請求項8の何れか1項に記載の撮像装置の校正装置。 - 前記撮像データ取得部は、前記作業機の作業範囲内の既知の位置に設けられた既知点ターゲットの撮像データを取得し、
前記校正部は、前記既知外部ターゲットおよび前記既知点ターゲットの位置と、前記撮像装置による前記既知外部ターゲットおよび前記既知点ターゲットの撮像データとに基づいて前記撮像装置を校正する、
請求項1から請求項9の何れか1項に記載の撮像装置の校正装置。 - 前記校正部は、前記撮像装置の前記作業機械における設置位置および姿勢を規定するパラメータを校正する、
請求項1から請求項10の何れか1項に記載の撮像装置の校正装置。 - 前記外部ターゲット位置取得部により取得された前記既知外部ターゲットの位置と、前記撮像データ取得部により取得された前記既知外部ターゲットの撮像データとに基づいて前記撮像装置の校正処理の要否を判定するパラメータチェック部と、
前記校正処理の要否の判定結果を出力する出力部と、
を備え、
前記校正部は、前記パラメータチェック部からの監視の結果、前記撮像装置の校正が必要である旨の判定結果を受けた場合に、前記撮像装置を校正する、
請求項1から請求項11の何れか1項記載の撮像装置の校正装置。 - 前記校正部は、前記外部ターゲット位置取得部により取得された複数の前記既知外部ターゲットの位置と、前記撮像データ取得部により取得された複数の前記既知外部ターゲットの撮像データとに基づいて、前記撮像装置の車体パラメータを校正する
請求項1から請求項12の何れか1項に記載の撮像装置の校正装置。 - 前記撮像装置により撮像された撮像データにおいて複数の既知外部ターゲットが写る画素である第1画素の位置を取得する第1画素取得部と、
前記外部ターゲット位置取得部により取得された前記複数の既知外部ターゲットの位置と前記撮像装置の車体パラメータとに基づいて、前記撮像装置の画素上に前記複数の既知外部ターゲットが投影される画素である第2画素の位置を演算する第2画素取得部と、
を備え、
前記校正部は、前記第1画素の位置と前記第2画素の位置とに基づいて前記車体パラメータを校正する
請求項1から請求項13の何れか1項に記載の撮像装置の校正装置。 - 作業機を備える作業機械に設けられた少なくとも1つの撮像装置によって撮像された、前記作業機の作業範囲外における既知の位置に設置される既知外部ターゲットの撮像データを取得する撮像データ取得部と、
前記既知外部ターゲットの位置を取得する外部ターゲット位置取得部と、
前記撮像装置によって撮像された撮像データにおいて複数の前記既知外部ターゲットが写る画素である第1画素の位置を取得する第1画素取得部と、
前記外部ターゲット位置取得部により取得された前記複数の既知外部ターゲットの位置と前記撮像装置の車体パラメータとに基づいて、前記撮像装置の画素上に前記複数の既知外部ターゲットが投影される画素である第2画素の位置を取得する第2画素取得部と、
前記第1画素の位置と前記第2画素の位置とに基づいて前記車体パラメータを校正する校正部と
を備える撮像装置の校正装置。 - 前記作業機と、
請求項1から請求項15の何れか1項に記載の撮像装置の校正装置と
を備える作業機械。 - 作業機を備える作業機械に設けられた少なくとも1つの撮像装置によって撮像された、前記作業機の作業範囲外における既知の位置に設置される既知外部ターゲットの撮像データを取得することと、
前記既知外部ターゲットの位置を取得することと、
取得された前記既知外部ターゲットの位置と、前記撮像装置による前記既知外部ターゲットの撮像データとに基づいて前記撮像装置を校正することと、
を含む撮像装置の校正方法。 - 作業機を備える作業機械に設けられた少なくとも1つの撮像装置によって撮像された、既知の位置に設置される既知外部ターゲットの撮像データを取得する撮像データ取得部と、
前記既知外部ターゲットの位置を取得する外部ターゲット位置取得部と、
前記外部ターゲット位置取得部により取得された前記既知外部ターゲットの位置と、前記撮像データ取得部により取得された前記既知外部ターゲットの撮像データとに基づいて前記撮像装置のステレオ計測に係るパラメータが適切か否かを判定するパラメータチェック部と、
前記判定の結果を出力する出力部と、
を備える撮像装置の監視装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020526855A JP7203105B2 (ja) | 2018-06-29 | 2018-06-29 | 撮像装置の校正装置、監視装置、作業機械および校正方法 |
PCT/JP2018/024832 WO2020003497A1 (ja) | 2018-06-29 | 2018-06-29 | 撮像装置の校正装置、監視装置、作業機械および校正方法 |
DE112018007660.1T DE112018007660T5 (de) | 2018-06-29 | 2018-06-29 | Kalibriervorrichtung für eine abbildungsvorrichtung, überwachungsvorrichtung, arbeitsmaschine und kalibrierverfahren |
CN201880094869.3A CN112334733B (zh) | 2018-06-29 | 2018-06-29 | 拍摄装置的校正装置、监视装置、作业机械及校正方法 |
US17/059,517 US11508091B2 (en) | 2018-06-29 | 2018-06-29 | Calibration device for imaging device, monitoring device, work machine and calibration method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/024832 WO2020003497A1 (ja) | 2018-06-29 | 2018-06-29 | 撮像装置の校正装置、監視装置、作業機械および校正方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020003497A1 true WO2020003497A1 (ja) | 2020-01-02 |
Family
ID=68986814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/024832 WO2020003497A1 (ja) | 2018-06-29 | 2018-06-29 | 撮像装置の校正装置、監視装置、作業機械および校正方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11508091B2 (ja) |
JP (1) | JP7203105B2 (ja) |
CN (1) | CN112334733B (ja) |
DE (1) | DE112018007660T5 (ja) |
WO (1) | WO2020003497A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112912932A (zh) * | 2021-01-29 | 2021-06-04 | 深圳市锐明技术股份有限公司 | 一种车载摄像头的标定方法、装置及终端设备 |
WO2021256528A1 (ja) * | 2020-06-19 | 2021-12-23 | 株式会社小松製作所 | 校正装置および校正方法 |
JP2022122712A (ja) * | 2021-02-10 | 2022-08-23 | 三菱ロジスネクスト株式会社 | キャリブレーション方法、プログラム、及びキャリブレーション装置 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109360243B (zh) * | 2018-09-28 | 2022-08-19 | 安徽爱观视觉科技有限公司 | 一种多自由度可动视觉系统的标定方法 |
CN109242914B (zh) * | 2018-09-28 | 2021-01-01 | 上海爱观视觉科技有限公司 | 一种可动视觉系统的立体标定方法 |
DE102021202993A1 (de) | 2021-03-26 | 2022-09-29 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors |
CN115278184B (zh) * | 2022-07-18 | 2024-03-15 | 峰米(重庆)创新科技有限公司 | 投影画面校正方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004354257A (ja) * | 2003-05-29 | 2004-12-16 | Olympus Corp | キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム |
JP2014052335A (ja) * | 2012-09-10 | 2014-03-20 | Ricoh Co Ltd | 画像処理装置及びステレオカメラ装置 |
JP2015001465A (ja) * | 2013-06-17 | 2015-01-05 | キヤノン株式会社 | 三次元位置計測装置、及び三次元位置計測装置のキャリブレーションずれ判定方法 |
WO2016148309A1 (ja) * | 2016-03-29 | 2016-09-22 | 株式会社小松製作所 | 校正システム、作業機械及び校正方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2881193B1 (ja) * | 1998-03-02 | 1999-04-12 | 防衛庁技術研究本部長 | 3次元物体認識装置および方法 |
JP4055998B2 (ja) * | 2003-04-15 | 2008-03-05 | 本田技研工業株式会社 | 距離検出装置、距離検出方法、及び距離検出プログラム |
EP1637836A1 (en) | 2003-05-29 | 2006-03-22 | Olympus Corporation | Device and method of supporting stereo camera, device and method of detecting calibration, and stereo camera system |
US7693325B2 (en) | 2004-01-14 | 2010-04-06 | Hexagon Metrology, Inc. | Transprojection of geometry data |
CN101975588B (zh) | 2010-08-20 | 2012-07-11 | 北京航空航天大学 | 一种多传感器视觉测量系统的刚性杆全局校准方法及装置 |
US9637887B2 (en) * | 2012-09-14 | 2017-05-02 | 3D Image Automation Pty Ltd | Reclaimer 3D volume rate controller |
US20150098079A1 (en) * | 2013-10-09 | 2015-04-09 | Hilti Aktiengesellschaft | System and method for camera based position and orientation measurement |
JP6034775B2 (ja) | 2013-11-29 | 2016-11-30 | クラリオン株式会社 | カメラ校正装置 |
DE112015000108T5 (de) * | 2015-09-30 | 2016-06-16 | Komatsu Ltd. | Korrektursystem einer Bildaufnahmevorrichtung, Arbeitsmaschine und Korrekturverfahren einer Bildaufnahmevorrichtung |
WO2016047807A1 (ja) | 2015-09-30 | 2016-03-31 | 株式会社小松製作所 | 校正システム、作業機械及び校正方法 |
US10528826B2 (en) * | 2016-05-06 | 2020-01-07 | GM Global Technology Operations LLC | Vehicle guidance system |
US10602126B2 (en) * | 2016-06-10 | 2020-03-24 | Lucid VR, Inc. | Digital camera device for 3D imaging |
KR101741150B1 (ko) * | 2016-12-28 | 2017-05-29 | 광운대학교 산학협력단 | 영상에디팅을 수행하는 영상촬영장치 및 방법 |
JP6966218B2 (ja) | 2017-04-27 | 2021-11-10 | 株式会社小松製作所 | 撮像装置の校正装置、作業機械および校正方法 |
-
2018
- 2018-06-29 JP JP2020526855A patent/JP7203105B2/ja active Active
- 2018-06-29 DE DE112018007660.1T patent/DE112018007660T5/de active Pending
- 2018-06-29 CN CN201880094869.3A patent/CN112334733B/zh active Active
- 2018-06-29 WO PCT/JP2018/024832 patent/WO2020003497A1/ja active Application Filing
- 2018-06-29 US US17/059,517 patent/US11508091B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004354257A (ja) * | 2003-05-29 | 2004-12-16 | Olympus Corp | キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム |
JP2014052335A (ja) * | 2012-09-10 | 2014-03-20 | Ricoh Co Ltd | 画像処理装置及びステレオカメラ装置 |
JP2015001465A (ja) * | 2013-06-17 | 2015-01-05 | キヤノン株式会社 | 三次元位置計測装置、及び三次元位置計測装置のキャリブレーションずれ判定方法 |
WO2016148309A1 (ja) * | 2016-03-29 | 2016-09-22 | 株式会社小松製作所 | 校正システム、作業機械及び校正方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021256528A1 (ja) * | 2020-06-19 | 2021-12-23 | 株式会社小松製作所 | 校正装置および校正方法 |
CN112912932A (zh) * | 2021-01-29 | 2021-06-04 | 深圳市锐明技术股份有限公司 | 一种车载摄像头的标定方法、装置及终端设备 |
CN112912932B (zh) * | 2021-01-29 | 2024-03-08 | 深圳市锐明技术股份有限公司 | 一种车载摄像头的标定方法、装置及终端设备 |
JP2022122712A (ja) * | 2021-02-10 | 2022-08-23 | 三菱ロジスネクスト株式会社 | キャリブレーション方法、プログラム、及びキャリブレーション装置 |
JP7209755B2 (ja) | 2021-02-10 | 2023-01-20 | 三菱ロジスネクスト株式会社 | キャリブレーション方法、プログラム、及びキャリブレーション装置 |
Also Published As
Publication number | Publication date |
---|---|
US20210209800A1 (en) | 2021-07-08 |
DE112018007660T5 (de) | 2021-03-18 |
CN112334733A (zh) | 2021-02-05 |
JPWO2020003497A1 (ja) | 2021-07-15 |
US11508091B2 (en) | 2022-11-22 |
JP7203105B2 (ja) | 2023-01-12 |
CN112334733B (zh) | 2022-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7203105B2 (ja) | 撮像装置の校正装置、監視装置、作業機械および校正方法 | |
JP6966218B2 (ja) | 撮像装置の校正装置、作業機械および校正方法 | |
CN106029994B (zh) | 校正系统、作业机械和校正方法 | |
JP5150310B2 (ja) | 地理データ収集装置 | |
US9322652B2 (en) | Stereo photogrammetry from a single station using a surveying instrument with an eccentric camera | |
US20190003153A1 (en) | Construction management system, construction management method, and management device | |
CN108700402B (zh) | 位置测量系统、作业机械及位置测量方法 | |
EP3855217B1 (en) | Coordinate conversion system and work machine | |
JP4944462B2 (ja) | 地理データ収集装置 | |
JP7386592B2 (ja) | 建設機械の操作補助システム | |
CN111226009B (zh) | 作业机的外形形状测定系统、作业机的外形形状显示系统、作业机的控制系统以及作业机械 | |
KR101144727B1 (ko) | 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템 | |
US20230019245A1 (en) | Work assist device for work machine and method for recognizing construction surface at work site | |
CN106840137B (zh) | 一种四点式掘进机自动定位定向方法 | |
CN216116064U (zh) | 掘进机的位姿标定系统 | |
CA3134057C (en) | Map generation system and map generation method | |
KR101944817B1 (ko) | 휴대단말기를 이용한 굴삭 작업 검측 자동화 시스템 | |
JP2009042175A (ja) | 施工位置測定システム及び丁張りレスシステム | |
JP2013124954A (ja) | 土木構造物の形状計測方法及びシステム | |
CN112673284B (zh) | 坐标转换系统及作业机械 | |
CN115908578A (zh) | 多传感器数据融合的方法、装置和系统 | |
CN116057234A (zh) | 已完成工作信息处理系统 | |
JP2019167720A (ja) | 建設機械の自動制御システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18924519 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020526855 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18924519 Country of ref document: EP Kind code of ref document: A1 |