WO2016047807A1 - 校正システム、作業機械及び校正方法 - Google Patents

校正システム、作業機械及び校正方法 Download PDF

Info

Publication number
WO2016047807A1
WO2016047807A1 PCT/JP2015/077872 JP2015077872W WO2016047807A1 WO 2016047807 A1 WO2016047807 A1 WO 2016047807A1 JP 2015077872 W JP2015077872 W JP 2015077872W WO 2016047807 A1 WO2016047807 A1 WO 2016047807A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection unit
information
coordinate system
position detection
work machine
Prior art date
Application number
PCT/JP2015/077872
Other languages
English (en)
French (fr)
Inventor
駿 川本
大樹 菅原
博義 山口
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to DE112015000132.8T priority Critical patent/DE112015000132T5/de
Priority to PCT/JP2015/077872 priority patent/WO2016047807A1/ja
Priority to KR1020167004863A priority patent/KR20170039612A/ko
Priority to JP2015551654A priority patent/JPWO2016047807A1/ja
Priority to CN201580001358.9A priority patent/CN106817905A/zh
Priority to US14/915,743 priority patent/US9790666B2/en
Publication of WO2016047807A1 publication Critical patent/WO2016047807A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2203—Arrangements for controlling the attitude of actuators, e.g. speed, floating function
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G12—INSTRUMENT DETAILS
    • G12B—CONSTRUCTIONAL DETAILS OF INSTRUMENTS, OR COMPARABLE DETAILS OF OTHER APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G12B13/00—Calibrating of instruments and apparatus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/412—Excavators
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes

Definitions

  • the present invention relates to a calibration system, a work machine, and a calibration method for calibrating a position detection unit that is provided in a work machine and detects a target position.
  • a work machine including an imaging device (for example, Patent Document 1).
  • Patent Document 1 describes a technique for calibrating a work machine using an imaging device. However, Patent Document 1 also describes that the target position detected by the means for detecting the target position provided in the work machine is converted to a coordinate system other than the means for detecting the target position. There is no suggestion.
  • the present invention seeks to obtain conversion information for converting the position information of the object detected by the means for detecting the position of the object provided in the work machine into a coordinate system other than the means for detecting the position of the object. Objective.
  • the present invention is provided in a work machine having a work machine, detects a target position and outputs a first position detection unit, and information on a predetermined position of the work machine detected by the first position detection unit
  • the first position information is information on the predetermined position detected by the second position detection unit in the posture of the work machine when the first position detection unit detects the predetermined position.
  • Conversion information used for converting the position detected by the first position detection unit from the coordinate system of the first position detection unit into a coordinate system different from the coordinate system of the first position detection unit using the position information.
  • Find and output conversion information A processing unit, a calibration system including.
  • the first position information is a plurality of pieces of information obtained by the first position detection unit detecting the predetermined position from the work machines having different postures
  • the second position information is the second position information. It is preferable that the position detection unit is a plurality of pieces of information obtained by detecting the predetermined position from the work machine machines having different postures.
  • the first position detection unit is a stereo camera including at least a pair of imaging devices
  • the second position detection unit is provided in the work machine and detects an operation amount of an actuator that operates the work machine. It is preferable that it is a sensor which performs.
  • the predetermined position is preferably a plurality of positions of the work machine in a direction in which a pair of the imaging devices constituting the stereo camera are arranged.
  • the present invention is a work machine including a work machine and the calibration system.
  • the predetermined position of the work machine is detected by the first method and the second method in a state where the posture of the work machine is different, and the information on the predetermined position detected by the first method is used.
  • the first position information, and the second position that is information on the predetermined position detected by the second method in the attitude of the work machine when the predetermined position is detected by the first method.
  • conversion information used to convert the position detected by the first method from the coordinate system in the first method to a coordinate system different from the coordinate system of the first position detection unit is obtained.
  • Direction It is.
  • a plurality of pieces of information obtained by detecting the predetermined position from the work machine having a different posture by the first position detection unit is the first position information, and the work having a different posture by the second position detection unit.
  • the plurality of pieces of information obtained by detecting the predetermined position from the machine is the second position information, and when the predetermined position is detected, the first position detection unit and the second position detection unit are: It is preferable that the predetermined position is detected from the work machine having a different posture.
  • the predetermined position is three-dimensionally measured by a stereo method, and the predetermined position is a direction in which a pair of imaging devices used for the three-dimensional measurement by the stereo method are arranged.
  • a pair of imaging devices used for the three-dimensional measurement by the stereo method are arranged.
  • the present invention obtains conversion information for converting the position information of the object detected by the means for detecting the position of the object provided in the work machine into a coordinate system other than the means for detecting the position of the object. it can.
  • FIG. 1 is a perspective view of a hydraulic excavator provided with a calibration system according to an embodiment.
  • FIG. 2 is a perspective view of the vicinity of the driver's seat of the hydraulic excavator according to the embodiment.
  • FIG. 3 is a diagram illustrating dimensions of a working machine included in the hydraulic excavator according to the embodiment and a coordinate system of the hydraulic excavator.
  • FIG. 4 is a diagram illustrating an example of an image obtained by imaging a target by a plurality of imaging devices.
  • FIG. 5 is a diagram illustrating an example of an object captured by a plurality of imaging devices.
  • FIG. 6 is a diagram illustrating a calibration system according to the embodiment.
  • FIG. 7 is a diagram for explaining a calibration method according to the embodiment.
  • FIG. 1 is a perspective view of a hydraulic excavator provided with a calibration system according to an embodiment.
  • FIG. 2 is a perspective view of the vicinity of the driver's seat of the hydraulic excavator according to
  • FIG. 8 is a flowchart illustrating a processing example when the processing apparatus according to the embodiment executes the calibration method according to the embodiment.
  • FIG. 9 is a diagram illustrating an object to be imaged by the imaging device 30 when the processing device according to the embodiment executes the calibration method according to the embodiment.
  • FIG. 10 is a diagram illustrating an object to be imaged by the imaging apparatus when the processing apparatus according to the embodiment executes the calibration method according to the embodiment.
  • FIG. 11 is a diagram illustrating a posture of an object captured by the imaging device when the processing device according to the embodiment executes the calibration method according to the embodiment.
  • FIG. 12 is a diagram illustrating a posture of an object captured by the imaging apparatus when the processing apparatus according to the embodiment executes the calibration method according to the embodiment.
  • FIG. 13 is a diagram illustrating a posture of an object captured by the imaging device when the processing device according to the embodiment executes the calibration method according to the embodiment.
  • FIG. 1 is a perspective view of a hydraulic excavator 100 including a calibration system according to an embodiment.
  • FIG. 2 is a perspective view of the vicinity of the driver's seat of the excavator 100 according to the embodiment.
  • FIG. 3 is a diagram illustrating dimensions of the working machine 2 included in the hydraulic excavator according to the embodiment and a coordinate system of the hydraulic excavator 100.
  • a hydraulic excavator 100 that is a work machine has a vehicle body 1 and a work machine 2.
  • the vehicle body 1 includes a revolving body 3, a cab 4, and a traveling body 5.
  • the turning body 3 is attached to the traveling body 5 so as to be turnable.
  • the swivel body 3 houses devices such as a hydraulic pump and an engine (not shown).
  • the cab 4 is disposed in the front part of the revolving structure 3.
  • An operation device 25 shown in FIG. 2 is arranged in the cab 4.
  • the traveling body 5 has crawler belts 5a and 5b, and the excavator 100 travels as the crawler belts 5a and 5b rotate.
  • the work machine 2 is attached to the front portion of the vehicle body 1 and has a boom 6, an arm 7, a bucket 8 as a work tool, a boom cylinder 10, an arm cylinder 11, and a bucket cylinder 12.
  • the front side of the vehicle body 1 is the direction side from the backrest 4SS of the driver's seat 4S shown in FIG.
  • the rear side of the vehicle body 1 is the direction side from the operation device 25 toward the backrest 4SS of the driver's seat 4S.
  • the front portion of the vehicle body 1 is a portion on the front side of the vehicle body 1 and is a portion on the opposite side of the counterweight WT of the vehicle body 1.
  • the operating device 25 is a device for operating the work implement 2 and the swing body 3 and includes a right lever 25R and a left lever 25L.
  • a monitor panel 26 is provided in the cab 4 in front of the driver's seat 4S.
  • the base end portion of the boom 6 is rotatably attached to the front portion of the vehicle body 1 via a boom pin 13.
  • the boom pin 13 corresponds to the rotation center of the boom 6 with respect to the swing body 3.
  • a base end portion of the arm 7 is rotatably attached to a tip end portion of the boom 6 via an arm pin 14.
  • the arm pin 14 corresponds to the rotation center of the arm 7 with respect to the boom 6.
  • a bucket 8 is rotatably attached to the tip of the arm 7 via a bucket pin 15.
  • the bucket pin 15 corresponds to the rotation center of the bucket 8 with respect to the arm 7.
  • the length of the boom 6, that is, the length between the boom pin 13 and the arm pin 14 is L1.
  • the length of the arm 7, that is, the length between the arm pin 14 and the bucket pin 15 is L2.
  • the length of the bucket 8, that is, the length between the bucket pin 15 and the blade tip P3 that is the tip of the blade 9 of the bucket 8 is L3.
  • the boom cylinder 10, the arm cylinder 11 and the bucket cylinder 12 shown in FIG. These are actuators that are provided in the vehicle body 1 of the excavator 100 and operate the work implement 2.
  • the base end portion of the boom cylinder 10 is rotatably attached to the swing body 3 via a boom cylinder foot pin 10a.
  • the tip of the boom cylinder 10 is rotatably attached to the boom 6 via a boom cylinder top pin 10b.
  • the boom cylinder 10 drives the boom 6 by expanding and contracting by hydraulic pressure.
  • the base end of the arm cylinder 11 is rotatably attached to the boom 6 via an arm cylinder foot pin 11a.
  • the tip of the arm cylinder 11 is rotatably attached to the arm 7 via an arm cylinder top pin 11b.
  • the arm cylinder 11 drives the arm 7 by expanding and contracting by hydraulic pressure.
  • the base end portion of the bucket cylinder 12 is rotatably attached to the arm 7 via a bucket cylinder foot pin 12a.
  • the tip of the bucket cylinder 12 is rotatably attached to one end of the first link member 47 and one end of the second link member 48 via the bucket cylinder top pin 12b.
  • the other end of the first link member 47 is rotatably attached to the distal end portion of the arm 7 via the first link pin 47a.
  • the other end of the second link member 48 is rotatably attached to the bucket 8 via a second link pin 48a.
  • the bucket cylinder 12 drives the bucket 8 by expanding and contracting by hydraulic pressure.
  • the boom 6, the arm 7 and the bucket 8 are provided with a first angle detector 18A, a second angle detector 18B and a third angle detector 18C, respectively.
  • the first angle detector 18A, the second angle detector 18B, and the third angle detector 18C are, for example, stroke sensors. Each of them detects the stroke length of the boom cylinder 10, the arm cylinder 11, and the bucket cylinder 12, so that the rotation angle of the boom 6 with respect to the vehicle body 1, the rotation angle of the arm 7 with respect to the boom 6, 7 is indirectly detected.
  • the first angle detection unit 18A detects the operation amount of the boom cylinder 10, that is, the stroke length.
  • the processing device 20 to be described later determines the boom 6 with respect to the Zm axis of the coordinate system (Xm, Ym, Zm) of the excavator 100 shown in FIG. 3 based on the stroke length of the boom cylinder 10 detected by the first angle detector 18A.
  • the rotation angle ⁇ 1 is calculated.
  • the coordinate system of the excavator 100 is appropriately referred to as a vehicle body coordinate system. As shown in FIG. 2, the origin of the vehicle body coordinate system is the center of the boom pin 13.
  • the center of the boom pin 13 is the center of the cross section when the boom pin 13 is cut on a plane orthogonal to the direction in which the boom pin 13 extends, and the center in the direction in which the boom pin 13 extends.
  • the vehicle body coordinate system is not limited to the example of the embodiment.
  • the turning center of the revolving structure 3 is the Zm axis
  • the axis parallel to the direction in which the boom pin 13 extends is the Ym axis
  • the axis may be the Xm axis.
  • the second angle detector 18B detects the amount of movement of the arm cylinder 11, that is, the stroke length.
  • the processing device 20 calculates the rotation angle ⁇ 2 of the arm 7 with respect to the boom 6 from the stroke length of the arm cylinder 11 detected by the second angle detection unit 18B.
  • the third angle detector 18C detects the amount of movement of the bucket cylinder 12, that is, the stroke length.
  • the processing device 20 calculates the rotation angle ⁇ 3 of the bucket 8 relative to the arm 7 from the stroke length of the bucket cylinder 12 detected by the third angle detection unit 18C.
  • the excavator 100 includes, for example, a plurality of imaging devices 30 a, 30 b, 30 c, and 30 d in the cab 4.
  • the imaging device 30 when the plurality of imaging devices 30a, 30b, 30c, and 30d are not distinguished, they are appropriately referred to as the imaging device 30.
  • the kind of the imaging device 30 is not limited, in the embodiment, for example, an imaging device including a CCD (Couple Charged Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor is used.
  • a plurality (four) of the imaging devices 30a, 30b, 30c, and 30d are attached to the excavator 100. More specifically, as illustrated in FIG. 2, the imaging device 30 a and the imaging device 30 b are disposed in the cab 4, for example, facing the same direction at a predetermined interval. The imaging device 30c and the imaging device 30d are arranged in the cab 4 with a predetermined interval and facing the same direction. The imaging device 30b and the imaging device 30d may be arranged slightly toward the work machine 2, that is, slightly toward the imaging device 30a and the imaging device 30c. A plurality of imaging devices 30a, 30b, 30c, and 30d are combined to form a stereo camera. In the embodiment, a stereo camera is configured by a combination of the imaging devices 30a and 30b and a combination of the imaging devices 30c and 30d.
  • the excavator 100 includes the four image pickup devices 30, but the number of the image pickup devices 30 included in the excavator 100 may be at least two, and is not limited to four. This is because the excavator 100 configures a stereo camera with at least a pair of the imaging devices 30 to capture the subject in stereo.
  • the plurality of imaging devices 30 a, 30 b, 30 c, and 30 d are arranged in front of and above the cab 4.
  • the upward direction is a direction perpendicular to the ground contact surfaces of the crawler belts 5a, 5b of the excavator 100 and away from the ground contact surfaces.
  • the ground contact surfaces of the crawler belts 5a and 5b are planes defined by at least three points that do not exist on the same straight line at a portion where at least one of the crawler belts 5a and 5b is grounded.
  • the plurality of imaging devices 30 a, 30 b, 30 c, and 30 d shoots a subject existing in front of the vehicle body 1 of the excavator 100 in stereo.
  • the target is, for example, a target excavated by the work machine 2.
  • the processing device 20 illustrated in FIGS. 1 and 2 measures a target three-dimensionally using a result of stereo shooting performed by at least a pair of imaging devices 30. In other words, the processing device 20 performs stereo image processing on the same target image captured by at least the pair of imaging devices 30 to measure the above-described target three-dimensionally.
  • the place where the plurality of imaging devices 30 a, 30 b, 30 c, and 30 d are arranged is not limited to the front and upper side in the cab 4.
  • FIG. 4 is a diagram illustrating an example of an image obtained by imaging a target by a plurality of imaging devices 30a, 30b, 30c, and 30d.
  • FIG. 5 is a diagram illustrating an example of the target OJ imaged by the plurality of imaging devices 30a, 30b, 30c, and 30d.
  • the images PIa, PIb, PIc, and PId shown in FIG. 4 are obtained by, for example, imaging the target OJ by the plurality of imaging devices 30a, 30b, 30c, and 30d shown in FIG.
  • the target OJ has a first part OJa, a second part OJb, and a third part OJc.
  • the image PIa is captured by the imaging device 30a
  • the image PIb is captured by the imaging device 30b
  • the image PIc is captured by the imaging device 30c
  • the image PId is captured by the imaging device 30d. It has been done. Since the pair of imaging devices 30a and 30b are arranged facing the upper side of the hydraulic excavator 100, the upper side of the target OJ is shown in the images PIa and PIb. Since the pair of imaging devices 30c and 30d are arranged facing the lower side of the excavator 100, the lower side of the target OJ is shown in the images PIc and PId.
  • the images PIa and PIb captured by the pair of imaging devices 30a and 30b and the images PIc and PId captured by the pair of imaging devices 30c and 30d are part of the region of the target OJ.
  • the second portion OJb is duplicated. That is, the imaging region of the pair of imaging devices 30a and 30b facing upward and the imaging region of the pair of imaging devices 30c and 30d facing downward have overlapping portions.
  • the processing device 20 uses a pair of imaging devices 30a and 30b when performing image processing by the stereo method on the images PIa, PIb, PIc, and PId of the same target OJ captured by the plurality of imaging devices 30a, 30b, 30c, and 30d.
  • a first parallax image is obtained from the captured images PIa and PIb.
  • the processing device 20 obtains a second parallax image from the images PIc and PId captured by the pair of imaging devices 30c and 30d. Thereafter, the processing device 20 combines the first parallax image and the second parallax image to obtain one parallax image.
  • the processing device 20 measures the target three-dimensionally using the obtained parallax image. As described above, the processing device 20 and the plurality of imaging devices 30a, 30b, 30c, and 30d measure the entire predetermined area of the target OJ in a three-dimensional manner with a single imaging.
  • the imaging device 30c is used as a reference for the imaging devices 30a, 30b, 30c, and 30d.
  • the coordinate system (Xs, Ys, Zs) of the imaging device 30c is appropriately referred to as an imaging device coordinate system.
  • the origin of the imaging device coordinate system is the center of the imaging device 30c.
  • the origin of each coordinate system of the imaging device 30a, the imaging device 30b, and the imaging device 30d is the center of each imaging device.
  • FIG. 6 is a diagram illustrating a calibration system 50 according to the embodiment.
  • the calibration system 50 includes a plurality of imaging devices 30 a, 30 b, 30 c, 30 d and the processing device 20. These are provided in the vehicle body 1 of the excavator 100 as shown in FIGS. 1 and 2.
  • the plurality of imaging devices 30 a, 30 b, 30 c, and 30 d are attached to a hydraulic excavator 100 that is a work machine, images a target, and outputs an image of the target obtained by the imaging to the processing device 20.
  • the processing device 20 includes a processing unit 21, a storage unit 22, and an input / output unit 23.
  • the processing unit 21 is realized by a processor such as a CPU (Central Processing Unit) and a memory, for example.
  • the processing device 20 implements the calibration method according to the embodiment.
  • the processing unit 21 reads and executes the computer program stored in the storage unit 22. This computer program is for causing the processing unit 21 to execute the calibration method according to the embodiment.
  • the processing device 20 executes the calibration method according to the embodiment, performs image processing in a stereo system on at least a pair of images captured by the pair of imaging devices 30, and specifically the target position, specifically. Find the coordinates of the object in the 3D coordinate system.
  • the processing device 20 can measure the target three-dimensionally using a pair of images obtained by capturing the same target with at least the pair of imaging devices 30. That is, at least a pair of the imaging device 30 and the processing device 20 measures a target three-dimensionally by a stereo method.
  • at least a pair of the imaging device 30 and the processing device 20 corresponds to a first position detection unit that is provided in the excavator 100 and detects and outputs a target position.
  • the imaging device 30 When the imaging device 30 has a function of performing three-dimensional measurement of an object by executing stereo image processing, at least a pair of the imaging devices 30 corresponds to the first position detection unit.
  • the first position detection unit detects and outputs the target position by the first method.
  • the first method is a method of three-dimensionally measuring a predetermined position of a hydraulic excavator 100 that is a target, for example, the working machine of the embodiment, in a stereo method.
  • the predetermined position of the hydraulic excavator 100 is measured by a laser length measuring device. May be used, and is not limited to stereo three-dimensional measurement.
  • the predetermined position of the excavator 100 used in the first method is the predetermined position of the work machine 2, but if the predetermined position of the elements constituting the excavator 100 is the predetermined position, It is not limited to a predetermined position.
  • the storage unit 22 is a nonvolatile or volatile semiconductor memory such as RAM (Random Access Memory), ROM (Random Access Memory), flash memory, EPROM (Erasable Programmable Random Access Memory), EEPROM (Electrically Erasable Programmable Random Access Memory), etc. At least one of a magnetic disk, a flexible disk, and a magneto-optical disk is used.
  • the storage unit 22 stores a computer program for causing the processing unit 21 to execute the calibration method according to the embodiment.
  • the storage unit 22 stores information used when the processing unit 21 executes the calibration method according to the embodiment.
  • the internal calibration data of each imaging device 30, the posture of each imaging device 30, the positional relationship between the imaging devices 30, known dimensions of the work implement 2, etc., and this information are mounted on the imaging device 30 and the hydraulic excavator 100.
  • the input / output unit 23 is an interface circuit for connecting the processing device 20 and devices.
  • the input / output unit 23 is connected to the hub 51, the input device 52, the first angle detection unit 18A, the second angle detection unit 18B, and the third angle detection unit 18C.
  • the hub 51 is connected to a plurality of imaging devices 30a, 30b, 30c, and 30d.
  • the imaging device 30 and the processing device 20 may be connected without using the hub 51.
  • Results obtained by the imaging devices 30 a, 30 b, 30 c, and 30 d are input to the input / output unit 23 via the hub 51.
  • the processing unit 21 acquires the results of imaging of the imaging devices 30a, 30b, 30c, and 30d via the hub 51 and the input / output unit 23.
  • the input device 52 is used for inputting information necessary when the processing unit 21 executes the calibration method according to the embodiment.
  • the input device 52 is exemplified by a switch and a touch panel, but is not limited thereto.
  • the input device 52 is provided in the cab 4 shown in FIG. 2, more specifically in the vicinity of the driver's seat 4 ⁇ / b> S.
  • the input device 52 may be attached to at least one of the right lever 25R and the left lever 25L of the operation device 25, or may be provided on the monitor panel 26 in the cab 4.
  • the input device 52 may be removable from the input / output unit 23, or information may be input to the input / output unit 23 by radio communication using radio waves or infrared rays.
  • a predetermined position of the work machine 2 in the coordinate system (Xm, Ym, Zm) is obtained.
  • the predetermined position of the work machine 2 obtained from the dimensions and the rotation angles ⁇ 1, ⁇ 2, and ⁇ 3 of the work machine 2 is, for example, the position of the tip of the blade 9 of the bucket 8 included in the work machine 2, the position of the bucket pin 15, There is a position of one link pin 47a.
  • the first angle detection unit 18A, the second angle detection unit 18B, and the third angle detection unit 18C serve as a second position detection unit that detects the position of the excavator 100 that is the working machine of the embodiment, for example, the position of the work implement 2. Equivalent to.
  • the second position detection unit detects the position of the target by the second method.
  • the second method is to obtain a predetermined position of the excavator 100 from the size and posture of the excavator 100 that is the working machine of the embodiment, but the second method is different from the first method. If it is a thing, it is not limited to the method of embodiment.
  • the predetermined position of the excavator 100 used in the second method is the same as the predetermined position of the excavator 100 that is the measurement target of the first method.
  • the predetermined position of the excavator 100 used in the second method is the predetermined position of the work machine 2, but if the predetermined position of the elements constituting the excavator 100 is used, the work machine 2. It is not limited to the predetermined position.
  • FIG. 7 is a diagram for explaining a calibration method according to the embodiment.
  • the target position information Ps (xs, ys, zs) is obtained by performing stereo image processing on the target image captured by at least the pair of imaging devices 30.
  • the obtained position information Ps (xs, ys, zs) is obtained from the imaging device coordinate system (Xs, Ys, Zs), which is the coordinate system of the first position detection unit.
  • Xs, Ys, Zs) is converted into position information Pm (xm, ym, zm) in a different coordinate system.
  • the coordinate system different from the imaging device coordinate system (Xs, Ys, Zs) is the vehicle body coordinate system (Xm, Ym, Zm), but is not limited thereto.
  • the position information Ps (xs, ys, zs) obtained from at least the pair of imaging devices 30 is three-dimensional information, and is represented by coordinates in the embodiment. Using the position information Ps (xs, ys, zs), the distance from the imaging device 30 to the target is obtained.
  • the position information Ps (xs, ys, zs) obtained from at least the pair of imaging devices 30 is changed from the imaging device coordinate system (Xs, Ys, Zs) to the vehicle body coordinate system (Xm, Ym, Zm) is used to obtain conversion information used when the position information Pm (xm, ym, zm) is converted. That is, the conversion information is information used to convert the positions detected by at least the pair of imaging devices 30 serving as the first position detection unit from the coordinate system of the first position detection unit to the coordinate system of the vehicle body 1.
  • the position information Ps of the imaging apparatus coordinate system is converted into the position information Pm of the vehicle body coordinate system by the expression (1).
  • R in equation (1) is a rotation matrix represented by equation (2)
  • T in equation (1) is a translation vector represented by equation (3).
  • ⁇ is a rotation angle around the Xs axis of the imaging device coordinate system
  • ⁇ is a rotation angle around the Ys axis of the imaging device coordinate system
  • ⁇ is a rotation angle around the Zs axis of the imaging device coordinate system.
  • the rotation matrix R and the translation vector T are conversion information.
  • Pm R ⁇ Ps + T (1)
  • the processing unit 21 obtains the conversion information described above when executing the calibration method according to the embodiment. Specifically, the processing unit 21 is detected by at least the first position information detected by the pair of imaging devices 30, and the first angle detection unit 18A, the second angle detection unit 18B, and the third angle detection unit 18C. Conversion information is obtained and output using the second position information.
  • the imaging devices 30 are the imaging devices 30c and 30d. However, it is only necessary to include the reference imaging device 30c.
  • the detection values of the IMU (Inertial Measurement Unit) 24 shown in FIGS. 1 and 2 mounted on the excavator 100 are also used. You may ask for it.
  • IMU Inertial Measurement Unit
  • the first position information is information on a predetermined position of the work machine 2, for example, the position of the blade 9 of the bucket 8, detected by at least a pair of the imaging device 30 and the processing device 20 serving as the first position detection unit.
  • the second position information is information on a predetermined position of the work implement 2 detected by the first angle detection unit 18A, the second angle detection unit 18B, and the third angle detection unit 18C.
  • the second position information is information detected by the first angle detection unit 18A, which is an example of the second position detection unit, in the posture of the work machine 2 when the first position detection unit detects a predetermined position. .
  • Both the first position information and the second position information are information on the work machine 2 in the same posture and the same position of the work machine 2.
  • the first position information and the second position information are obtained by different methods for the same position of the work machine 2 in a state where the work machine 2 is in the same posture.
  • the first position information and the second position information are a plurality of pieces of information obtained when the work implement 2 is in a different posture by moving the work implement 2, and are obtained in a plurality of states. Multiple information.
  • the first position information and the second position information may be information that can specify a predetermined position of the work machine 2.
  • the first position information and the second position information may be information on a predetermined position of the work machine 2 itself, or positions of members that are attached to the work machine and whose positional relationship with the work machine 2 is known. It may be the information. That is, the first position information and the second position information are not limited to information on a predetermined position of the work machine 2 itself.
  • the processing device 20 may be realized by dedicated hardware, or a plurality of processing circuits may cooperate to realize the function of the processing device 20. Next, a processing example when the processing device 20 executes the calibration method according to the embodiment will be described.
  • FIG. 8 is a flowchart illustrating a processing example when the processing device 20 according to the embodiment executes the calibration method according to the embodiment.
  • 9 and 10 are diagrams illustrating objects to be imaged by the imaging device 30 when the processing device 20 according to the embodiment executes the calibration method according to the embodiment.
  • FIG. 11 to FIG. 13 are diagrams illustrating postures of objects to be imaged by the imaging device 30 when the processing device 20 according to the embodiment executes the calibration method according to the embodiment.
  • the working machine obtained by using at least a pair of imaging devices 30 for the angles ⁇ , ⁇ , ⁇ and translation vector components x 0 , y 0 , z 0 included in the rotation matrix R that is an unknown number. 2 and the second position information detected by the first angle detector 18A, the second angle detector 18B, and the third angle detector 18C.
  • the processing unit 21 sets the count numbers N and M to 0 in step S101.
  • step S102 the processing unit 21 causes the pair of imaging devices 30c and 30d to image the target. Further, the processing unit 21 acquires detection values of the first angle detection unit 18A, the second angle detection unit 18B, and the third angle detection unit 18C.
  • the target to be imaged by the pair of imaging devices 30c and 30d is a predetermined position of the work machine 2, and in the embodiment, the bucket 8 of the excavator 100, more specifically, the blade 9.
  • the bucket 8 is provided with marks MKl, MKc, and MKr on the blade 9.
  • the mark MKl is provided on the leftmost blade 9, the mark MKc is provided on the central blade 9, and the mark MKr is provided on the rightmost blade 9.
  • the marks MKl, MKc, and MKr are not distinguished, they are appropriately referred to as marks MK.
  • step S ⁇ b> 102 the processing unit 21 determines the first angle detection unit 18 ⁇ / b> A, the second angle detection unit 18 ⁇ / b> B, and the third angle detection unit in the posture of the work machine 2 when the pair of imaging devices 30 c and 30 d image the bucket 8.
  • the detection value of 18C is acquired.
  • the processing unit 21 performs imaging by the pair of imaging devices 30c and 30d, the first angle detection unit 18A, the second angle detection unit 18B, and the third angle detection with the same posture of the work machine 2.
  • the detection value of the unit 18C is acquired.
  • the processing unit 21 causes the storage unit 22 to store the image obtained as a result of imaging by the imaging device 30 and the detection values of the first angle detection unit 18A, the second angle detection unit 18B, and the third angle detection unit 18C. .
  • the marks MKl, MKc, and MKr are arranged in the width direction W of the bucket 8, that is, the direction parallel to the direction in which the bucket pin 15 extends.
  • the width direction W of the bucket 8 is a direction in which the pair of imaging devices 30c and 30d are arranged.
  • the central blade 9 in the width direction W of the bucket 8 moves only on one plane, that is, the Xm-Zm plane in the vehicle body coordinate system. For this reason, when only the position of the center blade 9 is obtained, the constraint condition is weakened. Therefore, in the position measurement by the stereo method using the pair of imaging devices 30c and 30d, the accuracy in the Ym-axis direction in the vehicle body coordinate system is lowered. To do.
  • a plurality of positions in the width direction W of the bucket 8, specifically, the positions of the three blades 9 are measured and used as the first position information. For this reason, when obtaining the rotation matrix R and the translation vector T as conversion information, the positional information of a plurality of planes with respect to the width direction W of the bucket 8 can be used. Is suppressed.
  • the rotation matrix R and the translation vector T obtained by the calibration method according to the embodiment are used for the position measurement by the stereo method using the pair of imaging devices 30c and 30d, so that the measurement in the Ym axis direction in the vehicle body coordinate system is performed. Reduction in accuracy is suppressed.
  • the bucket 8 is provided with the marks MKl, MKc, and MKr on the three blades 9, but the number of marks MK, that is, the number of blades 9 to be measured is not limited to three.
  • the mark MK may be provided on at least one blade 9.
  • two or more marks MK are arranged in the width direction W of the bucket 8. In order to obtain high measurement accuracy, it is preferable that two or more blades 9 are measured at positions apart from each other.
  • FIG. 10 shows an example in which a measurement target 60 attached to the work machine 2 is used instead of the position of the blade 9.
  • at least a pair of the imaging device 30 and the processing unit 21 measure the position of the measurement target 60 attached to the work machine 2 and use it as the first position information in the calibration method according to the embodiment.
  • the measurement target 60 includes target members 63a and 63b provided with marks MKa and MKb, a shaft member 62 connecting the two target members 63a and 63b, and a fixing member attached to one end of the shaft member 62. 61.
  • the target members 63a and 63b are arranged side by side in the direction in which the shaft member 62 extends.
  • the fixing member 61 has a magnet.
  • the fixing member 61 is attached to the work implement 2 by, for example, attaching the target members 63 a and 63 b and the shaft member 62 to the work implement 2 by being attracted to the work implement 2.
  • the fixing member 61 can be attached to the work machine 2 and can be detached from the work machine 2.
  • the fixing member 61 is attracted to the bucket pin 15, and the target members 63 a and 63 b and the shaft member 62 are fixed to the work machine 2.
  • the target members 63 a and 63 b are arranged side by side in the width direction W of the bucket 8.
  • the positions of the marks MKa and MKb of the measurement target 60 are obtained in advance from the dimensions of the measurement target 60.
  • the part of the work machine 2 to which the fixing member 61 of the measurement target 60 is attached and the position of the blade 9 are obtained in advance from the dimensions of the bucket 8. Therefore, if the positions of the marks MKa and MKb of the measurement target 60 are known, the position of the blade 9 of the bucket 8 can be known.
  • the positional relationship between the marks MKa and MKb included in the measurement target 60 and the blade 9 of the bucket 8 is stored in the storage unit 22 of the processing device 20.
  • the processing unit 21 reads the positional relationship between the marks MKa and MKb and the blade 9 of the bucket 8 from the storage unit 22 and generates first position information or second position information. Used when.
  • step S102 When the imaging of the pair of imaging devices 30c and 30d in step S102 and the measurement of the predetermined position using the detection values of the first angle detection unit 18A, the second angle detection unit 18B, and the third angle detection unit 18C are completed, the processing is completed. Proceed to step S103.
  • step S103 the processing unit 21 operates the work machine 2 to move the bucket 8 away from the ground, that is, upward.
  • step S104 the processing unit 21 sets a value obtained by adding 1 to the count number N as a new count number N.
  • step S105 when the current count number M is equal to or less than Mc-1, the processing unit 21 compares the current count number N with the count number threshold value Nc1.
  • the processing unit 21 compares the current count number N with the count number threshold value Nc2.
  • the count number threshold Nc1 is 2.
  • the count number threshold Nc2 is smaller than the count number threshold Nc1, for example, 1.
  • step S105 when the count number N is not the count number threshold Nc1 (No in step S105), the processing unit 21 repeats the processing from step S102 to step S105.
  • step S105 when the count number N is the count number threshold Nc1 (step S105, Yes), the process proceeds to step S106.
  • step S106 the processing unit 21 operates the work machine 2 to move the bucket 8 in the depth direction, that is, in the direction away from the swing body 3 shown in FIG.
  • step S107 the processing unit 21 sets a value obtained by adding 1 to the count number M as a new count number M.
  • step S108 the processing unit 21 compares the current count number M with the count number threshold Mc.
  • the count number threshold Mc is 2.
  • step S108 when the count number M is not the count threshold value Mc (step S108, No), the processing unit 21 sets the count number N to 0 in step S109. Thereafter, the processing unit 21 executes the processing from step S102 to step S105.
  • the pair of imaging devices 30c and 30d images the bucket 8 Nc + 1 times in the vertical direction of the excavator 100 under the condition that the horizontal distance L between the plurality of imaging devices 30 and the bucket 8 is equal. That is, the pair of imaging devices 30c and 30d captures Nc + 1 times by changing the vertical position of the bucket 8.
  • the horizontal distance L is in the direction parallel to the ground contact surface of the excavator 100, that is, the ground contact surfaces of the crawler belts 5a and 5b shown in FIG. 1, and in the direction perpendicular to the direction in which the boom pin 13 shown in FIG. It is a distance of 8.
  • the plurality of imaging devices 30 repeat Steps S ⁇ b> 106 to S ⁇ b> 108 to change the horizontal distance L, which is the distance between the swing body 3 parallel to the ground contact surface of the excavator 100 and the bucket 8, Mc + 1 times. That is, the pair of imaging devices 30c and 30d captures Nc + 1 times by changing the horizontal distance L of the bucket 8.
  • the bucket 8 is imaged at three locations. For this reason, at the horizontal distance L1, information on the positions of the marks MKl, MKc, and MKr can be obtained at three different heights.
  • the positions A, B, and C are higher in the direction indicated by the arrow h in FIG.
  • the horizontal distance L2 is larger than the horizontal distance L1.
  • the horizontal distance L2 being larger than the horizontal distance L1 indicates that the bucket 8 is at a position far from the imaging device 30c and the imaging device 30d.
  • the positions D, E, and F are higher in the direction indicated by the arrow h in FIG.
  • the horizontal distance L3 is larger than the horizontal distance L2. That the horizontal distance L3 is larger than the horizontal distance L2 indicates that the bucket 8 is located farther from the imaging device 30c and the imaging device 30d.
  • the positions G and H are higher in the direction indicated by the arrow h in FIG.
  • the pair of imaging devices 30c and 30d images the bucket 8 at two locations in the vertical direction, but the imaging locations in the vertical direction are not limited to two locations. Further, when the bucket 8 is imaged by moving the bucket in the vertical direction with the horizontal distance L being constant, the imaging location in the vertical direction is not limited to that of the embodiment.
  • the bucket 8 is imaged by the pair of imaging devices 30c and 30d for a total of 8 times, 3 times at the horizontal distance L1, 3 times at the horizontal distance L2, and 2 times at the horizontal distance L3.
  • the constraint condition is strengthened when the portion to be measured, in the embodiment, the marks MKl, MKc, and MKr are at the ends of the images captured by the pair of imaging devices 30c and 30d. Measurement accuracy is improved.
  • the processing unit 21 changes the height and causes the bucket 8, more specifically, the marks MKl, MKc, and MKr to be imaged by the pair of imaging devices 30c and 30d at the same horizontal distance L.
  • the marks MKl, MKc, and MKr are arranged at both ends of the images picked up by the plurality of image pickup devices 30, specifically, both ends in the vertical direction, so that the measurement accuracy is improved.
  • the horizontal distance L is changed in three stages, and the number of times of imaging in the height direction is three or two, but is not limited to this.
  • the number of times the horizontal distance L is changed is changed by changing the count number threshold Mc.
  • the number of times of imaging in the height direction is changed by changing at least one of the count number threshold Nc1 and the count number threshold Nc2.
  • the processing unit 21 changes the horizontal distance L of the bucket 8 and causes the pair of imaging devices 30 to image the bucket 8, more specifically, the marks MKl, MKc, and MKr. By doing in this way, the precision of three-dimensional measurement improves in a wide range.
  • step S110 the processing unit 21 obtains first position information and second position information. Specifically, the processing unit 21 has a plurality of pairs of images (eight pairs in the embodiment) obtained by the pair of imaging devices 30c and 30d capturing the bucket 8 a plurality of times (in the embodiment, eight times). Is acquired from the storage unit 22. And the process part 21 performs the image process by a stereo system to each image which becomes a pair among the acquired several pairs of images, and measures the position of mark MKl, MKc, MKr three-dimensionally.
  • the processing unit 21 extracts the marks MKl, MKc, and MKr by image processing.
  • the processing unit 21 can extract these from the image based on the shape characteristics of the marks MKl, MKc, and MKr.
  • the marks MKl, MKc, and MKr may be selected by the operator operating the input device 52 shown in FIG.
  • the processing unit 21 obtains the positions of the marks MKl, MKc, and MKr existing in the pair of images obtained from the pair of imaging devices 30c and 30d by triangulation. Information on the positions of the marks MKl, MKc, and MKr thus determined is the first position information.
  • the processing unit 21 obtains first position information for each of the imaging results at eight locations obtained in steps S101 to S109, and outputs the first position information to, for example, the storage unit 21 for temporary storage.
  • step S110 the processing unit 21 acquires the detection values of the first angle detection unit 18A, the second angle detection unit 18B, and the third angle detection unit 18C and the dimensions of the work implement 2.
  • the detection values of the first angle detection unit 18A and the like are detected by the first angle detection unit 18A and the like when the posture of the work machine 2 is the posture when the bucket 8 is imaged by the pair of imaging devices 30c and 30d. Value.
  • the processing unit 21 obtains the position of the blade 9 of the bucket 8, more specifically the positions of the marks MKl, MKc, and MKr from the acquired detection value and the dimensions of the work machine 2.
  • the processing unit 21 obtains the second position information for each of the imaging results at the eight locations obtained in steps S101 to S109, and outputs the second position information to, for example, the storage unit 21 for temporary storage.
  • 3 pieces of second position information are obtained for imaging at one location. As described above, since the bucket 8 is imaged at eight locations, a total of 24 pieces of second position information can be obtained.
  • the processing unit 21 associates the first position information and the second position information obtained with the same posture of the work machine 2 and temporarily stores them in the storage unit 22. In the embodiment, there are a total of 24 combinations of the first position information and the second position information.
  • step S111 the processing unit 21 obtains the rotation matrix R and the translation vector T using the first position information and the second position information. More specifically, the processing unit 21 uses the first position information and the second position information to convert the angles ⁇ , ⁇ , ⁇ and the translation vector T components x 0 , y 0 , z included in the rotation matrix R. Find 0 . In obtaining the angles ⁇ , ⁇ , ⁇ and the components x 0 , y 0 , z 0 , 24 combinations of the first position information and the second position information are used, but those having large errors may be excluded. . By doing so, the angle alpha, beta, gamma and components x 0, y 0, reduction of accuracy z 0 is suppressed.
  • the first position information is represented by (xm, ym, zm) because it is a coordinate in the vehicle body coordinate system.
  • the second position information is represented by (xs, ys, zs) since it is the imaging apparatus coordinate system.
  • the processing unit 21 reads out the first position information and the second position information obtained from the posture of the same work implement 2 from the storage unit 22, converts the first position information into the position information Pm of Expression (4), and the second position information Is given to the position information Ps of the equation (4). Then, three expressions including any of the angles ⁇ , ⁇ , ⁇ included in the rotation matrix R and the components x 0 , y 0 , z 0 of the translation vector T are obtained. In the embodiment, since there are 24 combinations of the first position information and the second position information, the processing unit 21 gives the combination of 24 pieces of the first position information and the second position information to Expression (4). A total of 72 Js including any of the angles ⁇ , ⁇ , ⁇ included in the rotation matrix R and the components x 0 , y 0 , z 0 of the translation vector T are obtained.
  • the total sum JS of 72 Js in total is obtained by equation (5).
  • the processing unit 21 obtains the sum JS from Expression (5).
  • the processing unit 21 minimizes JS. Therefore, the processing unit 21 partially differentiates ⁇ ⁇ Pmi ⁇ (R ⁇ Psi + T) ⁇ 2 with respect to each of angle ⁇ , angle ⁇ , angle ⁇ , component x 0 , component y 0 , and component z 0 . Make things zero.
  • the processing unit 21 obtains the angles ⁇ , ⁇ , ⁇ and the components x 0 , y 0 , z 0 of the translation vector T by solving the six equations obtained in this way, for example, by the Newton-Raphson method.
  • the processing unit 21 obtains the rotation matrix R and the translation vector T from the obtained angles ⁇ , ⁇ , ⁇ and the components x 0 , y 0 , z 0 of the translation vector T.
  • the rotation matrix R and translation vector T obtained in this way convert the target position information detected by the first position detection unit into a coordinate system other than the first position detection unit, in the embodiment, a vehicle body coordinate system. Conversion information.
  • the processing unit 21 converts the target position detected by the second position detection unit into a coordinate system different from the coordinate system of the second position detection unit, for example, the coordinate system of the first position detection unit. Conversion information may be obtained.
  • the position of the object in the coordinate system of the second position detection unit detected by the second position detection unit can be converted into the coordinate system of the first position detection unit by Expression (6).
  • the coordinate system of the second position detector is a vehicle body coordinate system
  • the coordinate system of the first position detector is an imaging device coordinate system.
  • R ⁇ 1 in the equation (6) is an inverse matrix of the rotation matrix represented by the above-described equation (2)
  • T in the equation (6) is a translation vector represented by the above-described equation (3).
  • the position information Pm is the position of the target in the vehicle body coordinate system
  • the position information Ps is the position of the target in the imaging device coordinate system.
  • the product of the inverse matrix R ⁇ 1 and the translation vector T and R ⁇ 1 is the conversion information.
  • the processing of the processing unit 21 and the calibration method of the embodiment change the position detected by the second position detection unit from the coordinate system of the second position detection unit to a coordinate system different from the coordinate system of the second position detection unit. It is also possible to obtain and output conversion information used for conversion.
  • the second position detector is the first angle detector 18A, the second angle detector 18B, and the third angle detector 18C, but is not limited thereto.
  • the excavator 100 is equipped with an antenna for RTK-GNSS (Real Time Kinematic-Global Navigation Satellite Systems, GNSS is a global navigation satellite system), and the position of the vehicle is measured by measuring the position of the antenna by GNSS. It is assumed that a position detection system for detection is provided. In this case, the position detection system described above is the second position detection unit, and the position of the GNSS antenna is the predetermined position of the work machine.
  • RTK-GNSS Real Time Kinematic-Global Navigation Satellite Systems
  • the first position information and the second position information are obtained by detecting the position of the GNSS antenna by the first position detection unit and the second position detection unit while changing the position of the GNSS antenna.
  • the processing unit 21 uses the obtained first position information and second position information to convert the target position information detected by the first position detection unit into a coordinate system other than the first position detection unit, in the embodiment, vehicle body coordinates. Find conversion information to convert to a system. Further, the processing unit 21 converts the target position information detected by the second position detection unit into a coordinate system other than the second position detection unit, using the obtained first position information and second position information. It is also possible to obtain conversion information for this purpose.
  • a removable GNSS receiver to a predetermined position of the excavator 1, for example, a predetermined position of the traveling body 5 or the work machine 2, the GNSS receiver is used as a second position detection unit, Conversion information can be obtained in the same manner as in the case where the above-described position detection system for detecting the position of the vehicle is the second position detection unit.
  • the first position detection unit and the first position detection unit which are means for detecting the position of the target in a state where the working machine 2 of the excavator 100 has the same posture
  • a predetermined position of the work implement 2 is obtained using a different second position detection unit.
  • the calibration system 50 and the calibration method according to the embodiment use the first position information obtained by the first position detection unit and the second position information obtained by the second position detection unit, and use the rotation matrix R. And a translation vector T.
  • the calibration system 50 and the calibration method according to the embodiment use conversion information for converting the target position information detected by the first position detection unit into a coordinate system other than the first position detection unit. Can be sought.
  • the target image picked up by at least a pair of the image pickup devices 30 among the plurality of image pickup devices 30 is subjected to stereo image processing to obtain position information of the target in the image pickup device coordinate system. If the conversion information is obtained by the calibration system 50 and the calibration method according to the embodiment, the position information of the object in the imaging apparatus coordinate system can be converted into the position information in the vehicle body coordinate system, so the excavator 100 can convert the position of the object after conversion.
  • the work machine 2 can be controlled using the information, or the guidance screen of the work machine 2 can be displayed on the monitor.
  • the calibration system 50 and the calibration method according to the embodiment use the processing device 20 and the pair of imaging devices 30c and 30d provided in the excavator 100, external devices for obtaining the rotation matrix R and the translation vector T are unnecessary. It is. For this reason, the calibration system 50 and the calibration method according to the embodiment can obtain the rotation matrix R and the translation vector T, for example, at the usage destination of the user of the excavator 100. As described above, the calibration system 50 and the calibration method according to the embodiment can obtain the rotation matrix R and the translation vector T even in a place where there is no external device for obtaining the rotation matrix R and the translation vector T. There is an advantage.
  • the first position information and the second position information are information on predetermined positions detected from the work equipment 2 having different postures, so that the rotation matrix R and the conversion information are converted.
  • the amount of information for obtaining the translation vector T can be increased.
  • the calibration system 50 and the calibration method according to the embodiment can accurately obtain the rotation matrix R and the translation vector T.
  • the first position detection unit is a stereo camera including at least a pair of imaging devices 30, but is not limited thereto.
  • the first position detection unit may be, for example, a laser scanner or a 3D scanner.
  • the work machine is not limited to the hydraulic excavator 100 as long as it includes at least a pair of imaging devices and uses the pair of imaging devices to three-dimensionally measure an object in a stereo manner.
  • the work machine may have a work machine, and may be a work machine such as a wheel loader or a bulldozer.
  • marks MKl, MKc, and MKr are provided on the blade 9, but these are not necessarily required.
  • the portion for which the processing unit 21 obtains the position for example, the portion of the blade 9 of the bucket 8 may be specified in the target image imaged by the imaging device 30 by the input device 52 shown in FIG. In this case, the processing unit 21 performs three-dimensional measurement for the designated portion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

　校正システムは、作業機を有する作業機械に備えられて、対象の位置を検出して出力する第１位置検出部と、前記第１位置検出部によって検出された前記作業機械の所定の位置に関する情報である第１位置情報、及び前記第１位置検出部が前記所定の位置を検出したときの前記作業機械の姿勢で、第２位置検出部によって検出された前記所定の位置に関する情報である第２位置情報を用いて、前記第１位置検出部が検出した位置を前記第１位置検出部の座標系から前記第１位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求めて出力するか、又は前記第２位置検出部が検出した位置を前記第２位置検出部の座標系から前記第２位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求めて出力する処理部と、を含む。

Description

校正システム、作業機械及び校正方法
　本発明は、作業機械に備えられて対象の位置を検出する位置検出部を校正するための、校正システム、作業機械及び校正方法に関する。
　対象の位置を検出する手段として、撮像装置を備えた作業機械がある（例えば、特許文献１）。
特開２０１２－２３３３５３号公報
　作業機械に備えられた、対象の位置を検出する位置検出手段によって検出された対象の位置を用いて、例えば、対象の位置が位置検出手段の座標系に基づくものである場合、検出された対象の位置が地球上のいずれの位置にあるかを知るためには、位置検出手段の座標系からこれとは異なる座標系に変換される必要がある。特許文献１には、撮像装置を用いて作業機を校正する技術が記載されている。しかし、特許文献１には、作業機械に備えられた、対象の位置を検出する手段によって検出された対象の位置を、対象の位置を検出する手段以外の座標系に変換することについては記載も示唆もされていない。
　本発明は、作業機械に備えられた、対象の位置を検出する手段によって検出された対象の位置情報を、対象の位置を検出する手段以外の座標系に変換するための変換情報を求めることを目的とする。
　本発明は、作業機を有する作業機械に備えられて、対象の位置を検出して出力する第１位置検出部と、前記第１位置検出部によって検出された前記作業機械の所定の位置に関する情報である第１位置情報、及び前記第１位置検出部が前記所定の位置を検出したときの前記作業機械の姿勢で、第２位置検出部によって検出された前記所定の位置に関する情報である第２位置情報を用いて、前記第１位置検出部が検出した位置を前記第１位置検出部の座標系から前記第１位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求めて出力するか、又は前記第２位置検出部が検出した位置を前記第２位置検出部の座標系から前記第２位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求めて出力する処理部と、を含む校正システムである。
　前記第１位置情報は、前記第１位置検出部が、異なる姿勢の前記作業機械から前記所定の位置を検出することにより得られた複数の情報であり、前記第２位置情報は、前記第２位置検出部が、異なる姿勢の前記作業機機械から前記所定の位置を検出することにより得られた複数の情報であることが好ましい。
　前記第１位置検出部は、少なくとも一対の撮像装置で構成されたステレオカメラであり、前記第２位置検出部は、前記作業機械に備えられて、前記作業機を動作させるアクチュエータの動作量を検出するセンサであることが好ましい。
　前記所定の位置は、前記ステレオカメラを構成する一対の前記撮像装置が配列されている方向における、前記作業機械の複数の位置であることが好ましい。
　本発明は、作業機と、前記校正システムと、を含む、作業機械である。
　本発明は、第１の方法及び第２の方法によって作業機械の所定の位置を、前記作業機械の姿勢が異なる状態で検出し、前記第１の方法によって検出された前記所定の位置に関する情報である第１位置情報、及び前記第１の方法によって前記所定の位置が検出されたときの前記作業機の姿勢で、前記第２の方法によって検出された前記所定の位置に関する情報である第２位置情報を用いて、前記第１の方法によって検出された位置を前記第１の方法における座標系から前記第１位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求めるか、又は前記第２位置検出部が検出した位置を前記第２位置検出部の座標系から前記第２位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求める校正方法である。
　前記第１位置検出部が異なる姿勢の前記作業機械から前記所定の位置を検出することにより得られた複数の情報が前記第１位置情報であり、前記第２位置検出部が異なる姿勢の前記作業機械から前記所定の位置を検出することにより得られた複数の情報が前記第２位置情報であり、前記所定の位置を検出する場合、前記第１位置検出部及び前記第２位置検出部は、異なる姿勢の前記作業機械から前記所定の位置を検出することが好ましい。
　前記第１の方法は、ステレオ方式により前記所定の位置を三次元計測するものであり、前記所定の位置は、前記ステレオ方式による前記三次元計測に用いられる一対の撮像装置が配列されている方向における、前記作業機械の複数の位置であることが好ましい。
　本発明は、作業機械に備えられた、対象の位置を検出する手段によって検出された対象の位置情報を、対象の位置を検出する手段以外の座標系に変換するための変換情報を求めることができる。
図１は、実施形態に係る校正システムを備えた油圧ショベルの斜視図である。 図２は、実施形態に係る油圧ショベルの運転席付近を斜視図である。 図３は、実施形態に係る油圧ショベルが有する作業機の寸法及び油圧ショベルの座標系を示す図である。 図４は、複数の撮像装置が対象を撮像することによって得られた画像の一例を示す図である。 図５は、複数の撮像装置が撮像する対象の一例を示す図である。 図６は、実施形態に係る校正システムを示す図である。 図７は、実施形態に係る校正方法を説明する図である。 図８は、実施形態に係る処理装置が実施形態に係る校正方法を実行する際の処理例を示すフローチャートである。 図９は、実施形態に係る処理装置が実施形態に係る校正方法を実行する際に撮像装置３０が撮像する対象を示す図である。 図１０は、実施形態に係る処理装置が実施形態に係る校正方法を実行する際に撮像装置が撮像する対象を示す図である。 図１１は、実施形態に係る処理装置が実施形態に係る校正方法を実行する際に撮像装置が撮像する対象の姿勢を示す図である。 図１２は、実施形態に係る処理装置が実施形態に係る校正方法を実行する際に撮像装置が撮像する対象の姿勢を示す図である。 図１３は、実施形態に係る処理装置が実施形態に係る校正方法を実行する際に撮像装置が撮像する対象の姿勢を示す図である。
　本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。
＜油圧ショベルの全体構成＞
　図１は、実施形態に係る校正システムを備えた油圧ショベル１００の斜視図である。図２は、実施形態に係る油圧ショベル１００の運転席付近を斜視図である。図３は、実施形態に係る油圧ショベルが有する作業機２の寸法及び油圧ショベル１００の座標系を示す図である。
　作業機械である油圧ショベル１００は、車体１及び作業機２を有する。車体１は、旋回体３、運転室４及び走行体５を有する。旋回体３は、走行体５に旋回可能に取り付けられている。旋回体３は、図示しない油圧ポンプ及びエンジン等の装置を収容している。運転室４は旋回体３の前部に配置されている。運転室４内には、図２に示される操作装置２５が配置される。走行体５は履帯５ａ，５ｂを有しており、履帯５ａ，５ｂが回ることにより油圧ショベル１００が走行する。
　作業機２は、車体１の前部に取り付けられており、ブーム６、アーム７、作業具としてのバケット８、ブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２を有する。実施形態において、車体１の前方は、図２に示される運転席４Ｓの背もたれ４ＳＳから操作装置２５に向かう方向側である。車体１の後方は、操作装置２５から運転席４Ｓの背もたれ４ＳＳに向かう方向側である。車体１の前部は、車体１の前方側の部分であり、車体１のカウンタウエイトＷＴとは反対側の部分である。操作装置２５は、作業機２及び旋回体３を操作するための装置であり、右側レバー２５Ｒ及び左側レバー２５Ｌを有する。運転室４内には、運転席４Ｓの前方にモニタパネル２６が設けられる。
　ブーム６の基端部は、ブームピン１３を介して車体１の前部に回動可能に取り付けられている。ブームピン１３は、ブーム６の旋回体３に対する回動中心に相当する。アーム７の基端部は、アームピン１４を介してブーム６の先端部に回動可能に取り付けられている。アームピン１４は、アーム７のブーム６に対する回動中心に相当する。アーム７の先端部には、バケットピン１５を介してバケット８が回動可能に取り付けられている。バケットピン１５は、バケット８のアーム７に対する回動中心に相当する。
　図３に示されるように、ブーム６の長さ、すなわちブームピン１３とアームピン１４との間の長さはＬ１である。アーム７の長さ、すなわち、アームピン１４とバケットピン１５との間の長さはＬ２である。バケット８の長さ、すなわち、バケットピン１５とバケット８の刃９の先端である刃先Ｐ３との間の長さは、Ｌ３である。
　図１に示されるブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２は、それぞれ油圧によって駆動される油圧シリンダである。これらは、油圧ショベル１００の車体１に備えられて、作業機２を動作させるアクチュエータである。ブームシリンダ１０の基端部は、ブームシリンダフートピン１０ａを介して旋回体３に回動可能に取り付けられている。ブームシリンダ１０の先端部は、ブームシリンダトップピン１０ｂを介してブーム６に回動可能に取り付けられている。ブームシリンダ１０は、油圧によって伸縮することによって、ブーム６を駆動する。
　アームシリンダ１１の基端部は、アームシリンダフートピン１１ａを介してブーム６に回動可能に取り付けられている。アームシリンダ１１の先端部は、アームシリンダトップピン１１ｂを介してアーム７に回動可能に取り付けられている。アームシリンダ１１は、油圧によって伸縮することによって、アーム７を駆動する。
　バケットシリンダ１２の基端部は、バケットシリンダフートピン１２ａを介してアーム７に回動可能に取り付けられている。バケットシリンダ１２の先端部は、バケットシリンダトップピン１２ｂを介して第１リンク部材４７の一端及び第２リンク部材４８の一端に回動可能に取り付けられている。第１リンク部材４７の他端は、第１リンクピン４７ａを介してアーム７の先端部に回動可能に取り付けられている。第２リンク部材４８の他端は、第２リンクピン４８ａを介してバケット８に回動可能に取り付けられている。バケットシリンダ１２は、油圧によって伸縮することによって、バケット８を駆動する。
　図３に示されるように、ブーム６とアーム７とバケット８とには、それぞれ第１角度検出部１８Ａと、第２角度検出部１８Ｂと、第３角度検出部１８Ｃとが設けられている。第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃは、例えばストロークセンサである。これらは、それぞれが、ブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２のストローク長さを検出することにより、車体１に対するブーム６の回動角と、ブーム６に対するアーム７の回動角と、アーム７に対するバケット８の回動角とを間接的に検出する。
　実施形態では、第１角度検出部１８Ａは、ブームシリンダ１０の動作量、すなわちストローク長さを検出する。後述する処理装置２０は、第１角度検出部１８Ａが検出したブームシリンダ１０のストローク長さから、図３に示される油圧ショベル１００の座標系（Ｘｍ，Ｙｍ，Ｚｍ）のＺｍ軸に対するブーム６の回動角δ１を演算する。以下において、油圧ショベル１００の座標系を適宜、車体座標系と称する。図２に示されるように、車体座標系の原点は、ブームピン１３の中心である。ブームピン１３の中央とは、ブームピン１３が伸びる方向と直交する平面でブームピン１３を切ったときの断面の中心、かつブームピン１３が伸びる方向における中心である。車体座標系は、実施形態の例には限定されず、例えば、旋回体３の旋回中心をＺｍ軸とし、ブームピン１３が延びる方向と平行な軸線をＹｍ軸とし、Ｚｍ軸及びＹｍ軸と直交する軸線をＸｍ軸とするものであってもよい。
　第２角度検出部１８Ｂは、アームシリンダ１１の動作量、すなわちストローク長さを検出する。処理装置２０は、第２角度検出部１８Ｂが検出したアームシリンダ１１のストローク長さから、ブーム６に対するアーム７の回動角δ２を演算する。第３角度検出部１８Ｃは、バケットシリンダ１２の動作量、すなわちストローク長さを検出する。処理装置２０は、第３角度検出部１８Ｃが検出したバケットシリンダ１２のストローク長さから、アーム７に対するバケット８の回動角δ３を演算する。
＜撮像装置＞
　図２に示されるように、油圧ショベル１００は、例えば、運転室４内に、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを有する。以下において、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを区別しない場合は適宜、撮像装置３０と称する。撮像装置３０の種類は限定されないが、実施形態では、例えば、ＣＣＤ（Couple　Charged　Device）イメージセンサ又はＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサを備えた撮像装置が用いられる。
　実施形態では複数（４個）の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、油圧ショベル１００に取り付けられる。より詳細には、図２に示されるように、撮像装置３０ａと撮像装置３０ｂとは所定の間隔をおいて同じ方向を向いて、例えば運転室４内に配置される。撮像装置３０ｃと撮像装置３０ｄとは所定の間隔をおいて同じ方向を向いて運転室４内に配置される。撮像装置３０ｂ及び撮像装置３０ｄは、作業機２の方に若干向けて、すなわち、撮像装置３０ａ及び撮像装置３０ｃ側の方に若干向けて配置されることもある。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、２個が組み合わされてステレオカメラを構成する。実施形態では、撮像装置３０ａ，３０ｂの組合せと、撮像装置３０ｃ，３０ｄの組合せとでステレオカメラが構成される。
　実施形態において、油圧ショベル１００は、４個の撮像装置３０を有するが、油圧ショベル１００が有する撮像装置３０の数は少なくとも２個であればよく、４個に限定されない。油圧ショベル１００は、少なくとも一対の撮像装置３０でステレオカメラを構成して、対象をステレオ撮影するからである。
　複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、運転室４内の前方かつ上方に配置される。上方とは、油圧ショベル１００が有する履帯５ａ，５ｂの接地面と直交し、かつ接地面から離れる方向である。履帯５ａ，５ｂの接地面は、履帯５ａ，５ｂのうち少なくとも一方が接地する部分の、同一直線上には存在しない少なくとも３点で規定される平面である。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、油圧ショベル１００の車体１の前方に存在する対象をステレオ撮影する。対象は、例えば、作業機２が掘削する対象である。図１及び図２に示される処理装置２０は、少なくとも一対の撮像装置３０によるステレオ撮影の結果を用いて、対象を三次元計測する。すなわち、処理装置２０は、少なくとも一対の撮像装置３０が撮像した同一対象の画像にステレオ方式による画像処理を施して、前述した対象を三次元計測する。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが配置される場所は、運転室４内の前方かつ上方に限定されるものではない。
　図４は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが対象を撮像することによって得られた画像の一例を示す図である。図５は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが撮像する対象ＯＪの一例を示す図である。図４に示される画像ＰＩａ，ＰＩｂ，ＰＩｃ，ＰＩｄは、例えば、図５に示される複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが対象ＯＪを撮像することによって得られる。この例では、対象ＯＪは、第１部分ＯＪａと、第２部分ＯＪｂと、第３部分ＯＪｃとを有する。
　画像ＰＩａは撮像装置３０ａによって撮像されたものであり、画像ＰＩｂは撮像装置３０ｂによって撮像されたものであり、画像ＰＩｃは撮像装置３０ｃによって撮像されたものであり、画像ＰＩｄは撮像装置３０ｄによって撮像されたものである。一対の撮像装置３０ａ，３０ｂは、油圧ショベル１００の上方を向いて配置されているので、画像ＰＩａ，ＰＩｂには対象ＯＪの上方が写っている。一対の撮像装置３０ｃ，３０ｄは、油圧ショベル１００の下方を向いて配置されているので、画像ＰＩｃ，ＰＩｄには対象ＯＪの下方が写っている。
　図４から分かるように、一対の撮像装置３０ａ，３０ｂによって撮像された画像ＰＩａ，ＰＩｂと、一対の撮像装置３０ｃ，３０ｄによって撮像された画像ＰＩｃ，ＰＩｄとには、対象ＯＪの領域の一部、この例では第２部分ＯＪｂが重複して写っている。すなわち、上方を向いている一対の撮像装置３０ａ，３０ｂの撮像領域と、下方を向いている一対の撮像装置３０ｃ，３０ｄの撮像領域とは、重複する部分を有している。
　処理装置２０は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが撮像した同一の対象ＯＪの画像ＰＩａ，ＰＩｂ，ＰＩｃ，ＰＩｄにステレオ方式による画像処理を施す場合、一対の撮像装置３０ａ，３０ｂによって撮像された画像ＰＩａ，ＰＩｂから第１の視差画像を得る。また、処理装置２０は、一対の撮像装置３０ｃ，３０ｄによって撮像された画像ＰＩｃ，ＰＩｄから第２の視差画像を得る。その後、処理装置２０は、第１の視差画像と第２の視差画像とを合わせて、１つの視差画像を得る。処理装置２０は、得られた視差画像を用いて対象を三次元計測する。このように、処理装置２０及び複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、一回の撮像で対象ＯＪの所定の領域全体を三次元計測する。
　実施形態において、４個の複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄのうち、撮像装置３０ｃを４個の撮像装置複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの基準とする。撮像装置３０ｃの座標系（Ｘｓ，Ｙｓ，Ｚｓ）を適宜、撮像装置座標系と称する。撮像装置座標系の原点は、撮像装置３０ｃの中心である。撮像装置３０ａ、撮像装置３０ｂ及び撮像装置３０ｄのそれぞれの座標系の原点は、それぞれの撮像装置の中心である。
＜校正システム＞
　図６は、実施形態に係る校正システム５０を示す図である。校正システム５０は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄと、処理装置２０とを含む。これらは、図１及び図２に示されるように、油圧ショベル１００の車体１に備えられている。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、作業機械である油圧ショベル１００に取り付けられて、対象を撮像し、撮像によって得られた対象の画像を処理装置２０に出力する。
　処理装置２０は、処理部２１と、記憶部２２と、入出力部２３とを有する。処理部２１は、例えば、ＣＰＵ（Central　Processing　Unit）のようなプロセッサ及びメモリによって実現される。処理装置２０は、実施形態に係る校正方法を実現する。この場合、処理部２１は、記憶部２２に記憶されたコンピュータプログラムを読み込んで実行する。このコンピュータプログラムは、実施形態に係る校正方法を処理部２１に実行させるためものである。
　処理装置２０は、実施形態に係る校正方法を実行する際に、少なくとも一対の撮像装置３０によって撮像された一対の画像をステレオ方式における画像処理を実行することにより、対象の位置、具体的には三次元座標系における対象の座標を求める。このように、処理装置２０は、同一の対象を少なくとも一対の撮像装置３０で撮像することによって得られた一対の画像を用いて、対象を三次元計測することができる。すなわち、少なくとも一対の撮像装置３０及び処理装置２０は、ステレオ方式により対象を三次元計測するものである。実施形態において、少なくとも一対の撮像装置３０及び処理装置２０は、油圧ショベル１００に備えられて、対象の位置を検出して出力する第１位置検出部に相当する。撮像装置３０が、ステレオ方式による画像処理を実行して対象を三次元計測する機能を有している場合、少なくとも一対の撮像装置３０が第１位置検出部に相当する。実施形態において、第１位置検出部は、第１の方法によって対象の位置を検出して出力する。第１の方法は、ステレオ方式により対象、例えば実施形態の作業機械である油圧ショベル１００の所定の位置を三次元計測するものであるが、例えば、レーザ測長器によって油圧ショベル１００の所定の位置を計測する方法であってもよく、ステレオ方式による三次元計測に限定されない。実施形態において、第１の方法で用いられる、油圧ショベル１００の所定の位置は作業機２の所定の位置であるが、油圧ショベル１００を構成する要素の所定の位置であれば、作業機２の所定の位置に限定されない。
　記憶部２２は、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Random　Access　Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable　Programmable　Random　Access　Memory）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　Random　Access　Memory）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク及び光磁気ディスクのうち少なくとも１つが用いられる。記憶部２２は、実施形態に係る校正方法を処理部２１に実行させるためのコンピュータプログラムを記憶している。記憶部２２は、処理部２１が実施形態に係る校正方法を実行する際に使用される情報を記憶する。この情報は、例えば、各撮像装置３０の内部校正データ、各撮像装置３０の姿勢、撮像装置３０同士の位置関係、作業機２等の既知の寸法、撮像装置３０と油圧ショベル１００に搭載された固定物との位置関係を示す既知の寸法、車体座標系の原点から各撮像装置３０あるいはいずれかの撮像装置３０までの位置関係を示す既知の寸法、及び作業機２の姿勢から作業機２の一部の位置を求めるために必要な情報を含む。
　入出力部２３は、処理装置２０と機器類とを接続するためのインターフェース回路である。入出力部２３には、ハブ５１、入力装置５２、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃが接続される。ハブ５１は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが接続されている。ハブ５１を用いずに、撮像装置３０と処理装置２０とが接続されてもよい。撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの撮像した結果は、ハブ５１を介して入出力部２３に入力される。処理部２１は、ハブ５１及び入出力部２３を介して、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの撮像した結果を取得する。入力装置５２は、処理部２１が実施形態に係る校正方法を実行する際に必要な情報を入力するために用いられる。
　入力装置５２は、例えば、スイッチ及びタッチパネルが例示されるが、これらに限定されるものではない。実施形態において、入力装置５２は、図２に示される運転室４内、より具体的には運転席４Ｓの近傍に設けられる。入力装置５２は、操作装置２５の右側レバー２５Ｒ及び左側レバー２５Ｌの少なくとも一方に取り付けられていてもよいし、運転室４内のモニタパネル２６に設けられていてもよい。また、入力装置５２は、入出力部２３に取り外し可能であってもよいし、電波又は赤外線を用いた無線通信により入出力部２３に情報を入力してもよい。
　作業機２の各部の寸法及び第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃによって検出された情報である作業機２の回動角δ１，δ２，δ３から、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）における作業機２の所定の位置が求められる。作業機２の寸法及び回動角δ１，δ２，δ３から求められる作業機２の所定の位置は、例えば、作業機２が有するバケット８の刃９の先端の位置、バケットピン１５の位置及び第１リンクピン４７ａの位置がある。第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃは、実施形態の作業機械である油圧ショベル１００の位置、例えば作業機２の位置を検出する第２位置検出部に相当する。第２位置検出部は、第２の方法によって対象の位置を検出する。実施形態において、第２の方法は、実施形態の作業機械である油圧ショベル１００の寸法及び姿勢から油圧ショベル１００の所定の位置を求めるものであるが、第２の方法は第１の方法と異なるものであれば、実施形態の方法に限定されない。実施形態において、第２の方法で用いられる、油圧ショベル１００の所定の位置は、第１の方法の計測対象となった油圧ショベル１００の所定の位置と同一である。実施形態において、第２の方法で用いられる、油圧ショベル１００の所定の位置は、作業機２の所定の位置であるが、油圧ショベル１００を構成する要素の所定の位置であれば、作業機２の所定の位置に限定されない。
　図７は、実施形態に係る校正方法を説明する図である。少なくとも一対の撮像装置３０が撮像した対象の画像にステレオ方式による画像処理が施されることによって、対象の位置情報Ｐｓ（ｘｓ，ｙｓ，ｚｓ）が得られる。得られた位置情報Ｐｓ（ｘｓ，ｙｓ，ｚｓ）は、図７に示されるように、第１位置検出部の座標系である撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）から撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）とは異なる座標系の位置情報Ｐｍ（ｘｍ，ｙｍ，ｚｍ）に変換される。実施形態において、撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）とは異なる座標系は車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）であるが、これに限定されるものではない。
　少なくとも一対の撮像装置３０から得られた位置情報Ｐｓ（ｘｓ，ｙｓ，ｚｓ）は、三次元の情報であり、実施形態では座標で表される。位置情報Ｐｓ（ｘｓ，ｙｓ，ｚｓ）を用いて、撮像装置３０から対象までの距離が求められる。実施形態に係る校正方法は、少なくとも一対の撮像装置３０から得られた位置情報Ｐｓ（ｘｓ，ｙｓ，ｚｓ）が、撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）から車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）の位置情報Ｐｍ（ｘｍ，ｙｍ，ｚｍ）に変換される際に用いられる変換情報を求めるものである。すなわち、変換情報は、第１位置検出部である少なくとも一対の撮像装置３０が検出した位置を、第１位置検出部の座標系から車体１の座標系に変換するために用いられる情報である。
　撮像装置座標系の位置情報Ｐｓは、式（１）によって車体座標系の位置情報Ｐｍに変換される。式（１）中のＲは式（２）で表される回転行列、式（１）中のＴは式（３）で表される並進ベクトルである。αは撮像装置座標系のＸｓ軸周りの回転角度、βは撮像装置座標系のＹｓ軸周りの回転角度、γは撮像装置座標系のＺｓ軸周りの回転角度である。回転行列Ｒ及び並進ベクトルＴが変換情報である。
　Ｐｍ＝Ｒ・Ｐｓ＋Ｔ・・・（１）
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　処理部２１は、実施形態に係る校正方法を実行するにあたり、前述した変換情報を求める。具体的には、処理部２１は、少なくとも一対の撮像装置３０によって検出された第１位置情報と、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃによって検出された第２位置情報とを用いて、変換情報を求めて出力する。実施形態において、少なくとも一対の撮像装置３０は撮像装置３０ｃ、３０ｄであるが、基準の撮像装置３０ｃを含んでいればよい。第２位置情報は、各角度検出器１８の検出値に加え、油圧ショベル１００に搭載された、図１及び図２に示されるＩＭＵ（Inertial　Measurement　Unit：慣性計測装置）２４の検出値も用いて求めてもよい。
　第１位置情報は、第１位置検出部である少なくとも一対の撮像装置３０及び処理装置２０によって検出された作業機２の所定の位置、例えば、バケット８の刃９の位置の情報である。第２位置情報は、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃによって検出された、作業機２の所定の位置の情報である。第２位置情報は、第１位置検出部が所定の位置を検出したときの作業機２の姿勢で、第２位置検出部の一例である第１角度検出部１８Ａ等によって検出された情報である。第１位置情報及び第２位置情報は、いずれも作業機２が同一の姿勢であって、かつ作業機２の同一の位置の情報である。すなわち、第１位置情報及び第２位置情報は、作業機２が同一の姿勢の状態で作業機２の同一の位置が、異なる方法によって求められたものである。実施形態において、第１位置情報及び第２位置情報は、作業機２が動かされることにより作業機２が異なる姿勢となったときにそれぞれ得られた複数の情報であり、複数の状態で得られた複数の情報である。
　第１位置情報及び第２位置情報は、作業機２の所定の位置を特定できる情報であればよい。例えば、第１位置情報及び第２位置情報は、作業機２自体の所定の位置の情報であってもよいし、作業機に取り付けられて作業機２との位置関係が既知である部材の位置の情報であってもよい。すなわち、第１位置情報及び第２位置情報は、作業機２自体の所定の位置の情報に限定されない。
　処理装置２０は、専用のハードウェアで実現されてもよいし、複数の処理回路が連携して処理装置２０の機能を実現するものであってもよい。次に、処理装置２０が実施形態に係る校正方法を実行する際の処理例を説明する。
＜処理例＞
　図８は、実施形態に係る処理装置２０が実施形態に係る校正方法を実行する際の処理例を示すフローチャートである。図９及び図１０は、実施形態に係る処理装置２０が実施形態に係る校正方法を実行する際に撮像装置３０が撮像する対象を示す図である。図１１から図１３は、実施形態に係る処理装置２０が実施形態に係る校正方法を実行する際に撮像装置３０が撮像する対象の姿勢を示す図である。
　実施形態に係る校正方法は、未知数である回転行列Ｒに含まれる角度α，β，γ及び並進ベクトルの成分ｘ０，ｙ０，ｚ０を、少なくとも一対の撮像装置３０によって得られた作業機２の所定の位置の情報である第１位置情報と、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃによって検出された第２位置情報とから求めるものである。処理装置２０が実施形態に係る校正方法を実行するにあたり、処理部２１は、ステップＳ１０１において、カウント数Ｎ，Ｍを０にする。
　ステップＳ１０２において、処理部２１は、一対の撮像装置３０ｃ、３０ｄに対象を撮像させる。また、処理部２１は、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃの検出値を取得する。
　一対の撮像装置３０ｃ、３０ｄが撮像する対象は、作業機２の所定の位置であり、実施形態では油圧ショベル１００のバケット８、より具体的には刃９である。バケット８は、図９に示されるように、刃９にマークＭＫｌ，ＭＫｃ，ＭＫｒが設けられている。マークＭＫｌは向かって最も左側の刃９に設けられ、マークＭＫｃは中央の刃９に設けられ、マークＭＫｒは向かって最も右側の刃９に設けられる。以下において、マークＭＫｌ，ＭＫｃ，ＭＫｒを区別しない場合、適宜、マークＭＫと称する。
　ステップＳ１０２において、処理部２１は、一対の撮像装置３０ｃ、３０ｄがバケット８を撮像したときの作業機２の姿勢において、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃの検出値を取得する。このように、実施形態では、処理部２１は、同じ作業機２の姿勢で、一対の撮像装置３０ｃ、３０ｄによる撮像と、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃの検出値の取得とを実行する。処理部２１は、撮像装置３０による撮像の結果得られた画像と、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃの検出値とを、記憶部２２に記憶させる。
　実施形態において、マークＭＫｌ，ＭＫｃ，ＭＫｒは、バケット８の幅方向Ｗ、すなわちバケットピン１５が伸びる方向と平行な方向に並んでいる。実施形態において、バケット８の幅方向Ｗは、一対の撮像装置３０ｃ，３０ｄが配列されている方向である。バケット８の幅方向Ｗにおける中央の刃９は、車体座標系において１つの平面、すなわちＸｍ－Ｚｍ平面上しか移動しない。このため、中央の刃９のみ位置を求める場合、拘束条件が弱くなるため、一対の撮像装置３０ｃ、３０ｄを用いたステレオ方式による位置の計測においては、車体座標系におけるＹｍ軸方向の精度が低下する。
　実施形態に係る校正方法は、バケット８の幅方向Ｗにおける複数の位置、具体的には３個の刃９の位置が計測され、第１位置情報とされる。このため、変換情報である回転行列Ｒ及び並進ベクトルＴを求める際には、バケット８の幅方向Ｗに対して複数の平面の位置情報を利用できるので、回転行列Ｒ及び並進ベクトルＴの精度低下が抑制される。実施形態に係る校正方法によって得られた回転行列Ｒ及び並進ベクトルＴが、一対の撮像装置３０ｃ、３０ｄを用いたステレオ方式による位置の計測に用いられることにより、車体座標系におけるＹｍ軸方向の計測精度の低下が抑制される。
　実施形態において、バケット８は、３個の刃９にマークＭＫｌ，ＭＫｃ，ＭＫｒが設けられるが、マークＭＫの数、すなわち計測対象となる刃９の数は３個に限定されない。マークMKは、少なくとも１個の刃９に設けられてもよい。ただし、一対の撮像装置３０ｃ、３０ｄを用いたステレオ方式による位置の計測の精度が低下することを抑制するため、実施形態に係る校正方法では、２個以上のマークＭＫがバケット８の幅方向Ｗに離れた位置に設けられて、２個以上の刃９が計測されることが、高い計測精度を得る上で好ましい。
　図１０は、刃９の位置の代わりに、作業機２に取り付けられた計測用ターゲット６０が用いられる例を示している。この例において、少なくとも一対の撮像装置３０及び処理部２１は、作業機２に取り付けられた計測用ターゲット６０の位置を計測し、実施形態に係る校正方法において第１位置情報として用いる。計測用ターゲット６０は、マークＭＫａ，ＭＫｂが設けられたターゲット部材６３ａ，６３ｂと、２個のターゲット部材６３ａ，６３ｂを連結する軸部材６２と、軸部材６２の一端部に取り付けられた固定用部材６１とを有する。
　ターゲット部材６３ａ，６３ｂは、軸部材６２が延びる方向に並んで配置される。固定用部材６１は磁石を有している。固定用部材６１は、作業機２に吸着することにより、例えば、ターゲット部材６３ａ，６３ｂ及び軸部材６２を作業機２に取り付ける。このように、固定用部材６１は、作業機２に取り付けることができ、かつ作業機２から取り外すことができる。実施形態では、固定用部材６１がバケットピン１５に吸着して、ターゲット部材６３ａ，６３ｂ及び軸部材６２を作業機２に固定している。バケットピン１５に計測用ターゲット６０が取り付けられると、ターゲット部材６３ａ，６３ｂがバケット８の幅方向Ｗに並んで配置される。
　計測用ターゲット６０が有するマークＭＫａ，ＭＫｂの位置は計測用ターゲット６０の寸法から予め求められる。計測用ターゲット６０の固定用部材６１が取り付けられる作業機２の部分と、刃９の位置とは、バケット８の寸法から予め求められる。したがって、計測用ターゲット６０が有するマークＭＫａ，ＭＫｂの位置が分かれば、バケット８の刃９の位置が分かる。計測用ターゲット６０が有するマークＭＫａ，ＭＫｂとバケット８の刃９との位置関係は、処理装置２０の記憶部２２に記憶されている。処理部２１は、実施形態に係る校正方法を実行する場合、記憶部２２からマークＭＫａ，ＭＫｂとバケット８の刃９との位置関係を読み出して、第１位置情報又は第２位置情報を生成する際に用いる。
　ステップＳ１０２において一対の撮像装置３０ｃ、３０ｄによる撮像及び第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃの検出値を用いた所定の位置の計測が終了したら、処理はステップＳ１０３に進む。ステップＳ１０３において、処理部２１は作業機２を動作させて、バケット８を地面から離れる方向、すなわち上方に移動させる。ステップＳ１０４において、処理部２１は、カウント数Ｎに１を加えた値を新たなカウント数Ｎとする。
　ステップＳ１０５において、処理部２１は、現在のカウント数ＭがＭｃ－１以下である場合、現在のカウント数Ｎとカウント数閾値Ｎｃ１とを比較する。現在のカウント数ＭがＭｃである場合、処理部２１は、現在のカウント数Ｎとカウント数閾値Ｎｃ２とを比較する。実施形態において、カウント数閾値Ｎｃ１は２である。カウント数閾値Ｎｃ２はカウント数閾値Ｎｃ１よりも小さく、例えば１である。
　ステップＳ１０５において、カウント数Ｎがカウント数閾値Ｎｃ１でない場合（ステップＳ１０５，Ｎｏ）、処理部２１は、ステップＳ１０２からステップＳ１０５の処理を繰り返す。ステップＳ１０５において、カウント数Ｎがカウント数閾値Ｎｃ１である場合（ステップＳ１０５，Ｙｅｓ）、処理はステップＳ１０６に進む。
　ステップＳ１０６において、処理部２１は、作業機２を動作させてバケット８を奥行き方向、すなわち図１に示される旋回体３から遠ざかる方向に移動させる。ステップＳ１０７において、処理部２１は、カウント数Ｍに１を加えた値を新たなカウント数Ｍとする。ステップＳ１０８において、処理部２１は、現在のカウント数Ｍとカウント数閾値Ｍｃとを比較する。実施形態において、カウント数閾値Ｍｃは２である。
　ステップＳ１０８において、カウント数Ｍがカウント数閾値Ｍｃでない場合（ステップＳ１０８，Ｎｏ）、処理部２１は、ステップＳ１０９において、カウント数Ｎを０にする。その後、処理部２１は、ステップＳ１０２からステップＳ１０５の処理を実行する。
　ステップＳ１０１からステップＳ１０５により、一対の撮像装置３０ｃ、３０ｄは、複数の撮像装置３０とバケット８との水平距離Ｌが等しい条件で、油圧ショベル１００の上下方向にＮｃ＋１回、バケット８を撮像する。すなわち、一対の撮像装置３０ｃ，３０ｄは、バケット８の上下方向の位置を異ならせて、Ｎｃ＋１回撮像する。水平距離Ｌは、油圧ショベル１００の接地面、すなわち図１に示される履帯５ａ，５ｂの接地面と平行、かつ図２に示されるブームピン１３が伸びる方向と直交する方向における、旋回体３とバケット８との距離である。複数の撮像装置３０は、ステップＳ１０６からステップＳ１０８を繰り返すことにより、油圧ショベル１００の接地面と平行な旋回体３とバケット８との距離である水平距離ＬをＭｃ＋１回異ならせる。すなわち、一対の撮像装置３０ｃ，３０ｄは、バケット８の水平距離Ｌを異ならせて、Ｎｃ＋１回撮像する。
　具体的には、図１１に示されるように、一対の撮像装置３０ｃ、３０ｄは、水平距離Ｌ＝Ｌ１において、位置Ａと、位置Ａよりも高い位置Ｂと、位置Ｂよりも高い位置Ｃとの３箇所でバケット８を撮像する。このため、水平距離Ｌ１においては、異なる３段階の高さでマークＭＫｌ，ＭＫｃ，ＭＫｒの位置の情報が得られる。位置Ａ，Ｂ，Ｃは、図１１中の矢印ｈで示す方向の方が、より高くなる。
　図１２に示されるように、一対の撮像装置３０ｃ、３０ｄは、水平距離Ｌ＝Ｌ２において、位置Ｄと、位置Ｄよりも高い位置Ｅと、位置Ｅよりも高い位置Ｆとの３箇所でバケット８を撮像する。このため、水平距離Ｌ２においても、異なる３段階の高さでマークＭＫｌ，ＭＫｃ，ＭＫｒの位置の情報が得られる。水平距離Ｌ２は、水平距離Ｌ１よりも大きい。水平距離Ｌ２が水平距離Ｌ１よりも大きいことは、バケット８が、撮像装置３０ｃ及び撮像装置３０ｄから遠い位置にあることを示す。位置Ｄ，Ｅ，Ｆは、図１２中の矢印ｈで示す方向の方が、より高くなる。
　図１３に示されるように、一対の撮像装置３０ｃ、３０ｄは、水平距離Ｌ＝Ｌ３において、位置Ｇと、位置Ｇよりも高い位置Ｈとの２箇所でバケット８を撮像する。このため、水平距離Ｌ３においては、異なる２段階の高さでマークＭＫｌ，ＭＫｃ，ＭＫｒの位置の情報が得られる。水平距離Ｌ３は、水平距離Ｌ２よりも大きい。水平距離Ｌ３が水平距離Ｌ２よりも大きいことは、バケット８が、撮像装置３０ｃ及び撮像装置３０ｄからさらに遠い位置にあることを示す。位置Ｇ，Ｈは、図１３中の矢印ｈで示す方向の方が、より高くなる。
　実施形態において、水平距離が最も大きいＬ３である場合、一対の撮像装置３０ｃ、３０ｄは上下方向の２箇所でバケット８を撮像するが、上下方向における撮像箇所は２箇所に限定されない。また、水平距離Ｌを一定として上下方向にバケットを移動させてバケット８が撮像される場合、上下方向における撮像箇所は実施形態のものには限定されない。
　バケット８は、水平距離Ｌ１で３回、水平距離Ｌ２で３回、水平距離Ｌ３で２回の計８回、一対の撮像装置３０ｃ、３０ｄによって撮像される。ステレオ方式による三次元計測において、計測の対象となる部分、実施形態ではマークＭＫｌ，ＭＫｃ，ＭＫｒが、一対の撮像装置３０ｃ、３０ｄによって撮像された画像の端にある方が拘束条件は強まるので、計測の精度が向上する。このため、処理部２１は、同じ水平距離Ｌにおいては、高さを変更して複数箇所でバケット８、より具体的にはマークＭＫｌ，ＭＫｃ，ＭＫｒを一対の撮像装置３０ｃ、３０ｄに撮像させる。このようにすることで、複数の撮像装置３０によって撮像された画像の両端、具体的には上下方向における両端にマークＭＫｌ，ＭＫｃ，ＭＫｒが配置されるので、計測の精度が向上する。
　実施形態において、水平距離Ｌは３段階に変化させ、高さ方向の撮像回数は３回又は２回としたが、これに限定されない。水平距離Ｌを変化させる回数は、カウント数閾値Ｍｃを変更することにより変更される。高さ方向の撮像回数は、カウント数閾値Ｎｃ１及びカウント数閾値Ｎｃ２の少なくとも一方を変更することにより変更される。
　ステレオ方式による三次元計測において、遠方に存在する対象を計測した方が、より広い範囲においてステレオ方式による三次元計測の精度は向上する。このため、処理部２１は、バケット８の水平距離Ｌを変更してバケット８、より具体的にはマークＭＫｌ，ＭＫｃ，ＭＫｒを一対の撮像装置３０に撮像させる。このようにすることで、広い範囲で三次元計測の精度が向上する。
　ステップＳ１０８に戻り、カウント数Ｍがカウント数閾値Ｍｃである場合（ステップＳ１０８，Ｙｅｓ）、処理はステップＳ１１０に進む。ステップＳ１１０において、処理部２１は、第１位置情報及び第２位置情報を求める。具体的には、処理部２１は、一対の撮像装置３０ｃ，３０ｄがバケット８を複数回（実施形態では８回）撮像することにより得られた複数対の画像（実施形態では８対の画像）を記憶部２２から取得する。そして、処理部２１は、取得した複数対の画像のうち、それぞれ対となる画像にステレオ方式による画像処理を施し、マークＭＫｌ，ＭＫｃ，ＭＫｒの位置を三次元計測する。実施形態において、処理部２１はマークＭＫｌ，ＭＫｃ，ＭＫｒを画像処理により抽出する。例えば、処理部２１は、マークＭＫｌ，ＭＫｃ，ＭＫｒの形状の特徴に基づいて、これらを画像中から抽出することができる。後述するように、マークＭＫｌ，ＭＫｃ，ＭＫｒは、図６に示される入力装置５２をオペレータが操作することにより選択されてもよい。
　三次元計測において、処理部２１は、一対の撮像装置３０ｃ、３０ｄから得られた一対の画像中に存在するマークＭＫｌ，ＭＫｃ，ＭＫｒの位置を三角測量によって求める。このようにして求められたマークＭＫｌ，ＭＫｃ，ＭＫｒの位置の情報が、第１位置情報である。処理部２１は、ステップＳ１０１からステップＳ１０９で得られた８箇所での撮像の結果それぞれに対して、第１位置情報を求めて、例えば記憶部２１に出力し、一時的に記憶させる。
　１箇所での撮像より、異なる位置に設けられた３個のマークＭＫｌ，ＭＫｃ，ＭＫｒが撮像されるので、１箇所での撮像で、３個の第１位置情報が得られる。前述したように、バケット８は８箇所で撮像されるので、計２４個の第１位置情報が得られる。
　ステップＳ１１０において、処理部２１は、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃの検出値と作業機２の寸法とを取得する。第１角度検出部１８Ａ等の検出値は、作業機２の姿勢が一対の撮像装置３０ｃ、３０ｄによってバケット８が撮像されたときの姿勢であるときに、第１角度検出部１８Ａ等が検出した値である。処理部２１は、取得した検出値及び作業機２の寸法から、バケット８の刃９の位置、より具体的にはマークＭＫｌ，ＭＫｃ，ＭＫｒの位置を求める。第１角度検出部１８Ａ等の検出値及び作業機２の寸法から求められたマークＭＫｌ，ＭＫｃ，ＭＫｒの位置の情報が、第２位置情報である。処理部２１は、ステップＳ１０１からステップＳ１０９で得られた８箇所での撮像の結果それぞれに対して、第２位置情報を求めて、例えば記憶部２１に出力し、一時的に記憶させる。
　１箇所での撮像に対して、３個の第２位置情報が得られる。前述したように、バケット８は８箇所で撮像されるので、計２４個の第２位置情報が得られる。処理部２１は、同じ作業機２の姿勢で得られた第１位置情報と第２位置情報とを対応付けて、記憶部２２に一時的に記憶させる。第１位置情報と第２位置情報との組合せは、実施形態においては計２４個である。
　ステップＳ１１１において、処理部２１は、第１位置情報と第２位置情報とを用いて、回転行列Ｒ及び並進ベクトルＴを求める。より具体的には、処理部２１は、第１位置情報と第２位置情報とを用いて、回転行列Ｒに含まれる角度α，β，γ及び並進ベクトルＴの成分ｘ０，ｙ０，ｚ０を求める。角度α，β，γ及び成分ｘ０，ｙ０，ｚ０を求めるにあたり、２４個の第１位置情報と第２位置情報との組合せが用いられるが、誤差が大きいものは除外されてもよい。このようにすることで、角度α，β，γ及び成分ｘ０，ｙ０，ｚ０の精度低下が抑制される。
　第１位置情報は車体座標系の座標なので（ｘｍ，ｙｍ，ｚｍ）で表される。第２位置情報は撮像装置座標系なので（ｘｓ，ｙｓ，ｚｓ）で表される。式（４）は、式（１）の左辺から右辺を減算し、２乗した値をＪとしたものである。
　Ｊ＝｛Ｐｍｉ－（Ｒ・Ｐｓｉ＋Ｔ）｝２・・・（４）
　処理部２１は、同じ作業機２の姿勢で得られた第１位置情報及び第２位置情報を記憶部２２から読み出し、第１位置情報を式（４）の位置情報Ｐｍに、第２位置情報を式（４）の位置情報Ｐｓに与える。すると、回転行列Ｒに含まれる角度α，β，γと並進ベクトルＴの成分ｘ０，ｙ０，ｚ０のいずれかを含む、３個の式が得られる。実施形態において、第１位置情報と第２位置情報との組合せは２４個なので、処理部２１は、２４個の第１位置情報と第２位置情報との組合せを式（４）に与えることで、回転行列Ｒに含まれる角度α，β，γと並進ベクトルＴの成分ｘ０，ｙ０，ｚ０のいずれかを含む、計７２個のＪを得る。
　計７２個のＪの総和ＪＳは、式（５）で求められる。処理部２１は、式（５）から、総和ＪＳを求める。
　ＪＳ＝ΣＪｉ＝Σ｛Ｐｍｉ－（Ｒ・Ｐｓｉ＋Ｔ）｝２，｛ｉ：１から７２｝・・・（５）
　次に、処理部２１は、ＪＳが最小になるようにする。このため、処理部２１は、Σ｛Ｐｍｉ－（Ｒ・Ｐｓｉ＋Ｔ）｝２を、角度α、角度β、角度γ、成分ｘ０、成分ｙ０、成分ｚ０それぞれで偏微分し、得られたものが０になるようにする。処理部２１は、このようにして得られた６個の方程式を、例えばニュートンラプソン法で解くことにより、角度α，β，γ及び並進ベクトルＴの成分ｘ０，ｙ０，ｚ０を求める。処理部２１は、求めた角度α，β，γ及び並進ベクトルＴの成分ｘ０，ｙ０，ｚ０から回転行列Ｒ及び並進ベクトルＴを求める。このようにして得られた回転行列Ｒ及び並進ベクトルＴが、第１位置検出部によって検出された対象の位置情報を、第１位置検出部以外の座標系、実施形態では車体座標系に変換するための変換情報である。
　なお、処理部２１は、第２位置検出部によって検出された対象の位置を、第２位置検出部の座標系とは異なる座標系、例えば、第１位置検出部の座標系に変換するための変換情報を求めてもよい。この場合、式（６）により、第２位置検出部が検出した、第２位置検出部の座標系における対象の位置を、第１位置検出部の座標系に変換することができる。この例において、第２位置検出部の座標系は車体座標系であり、第１位置検出部の座標系は撮像装置座標系である。
　Ｐｓ＝Ｒ－１・Ｐｍ－Ｒ－１・Ｔ・・・（６）
　式（６）中のＲ－１は、前述した式（２）で表される回転行列の逆行列、式（６）中のＴは前述した式（３）で表される並進ベクトルである。位置情報Ｐｍは車体座標系における対象の位置であり、位置情報Ｐｓは撮像装置座標系における対象の位置である。逆行列Ｒ－１及び並進ベクトルＴとＲ－１との積が変換情報である。このように、処理部２１の処理及び実施形態の校正方法は、第２位置検出部が検出した位置を第２位置検出部の座標系から第２位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求めて出力することも可能である。
　実施形態において、第２位置検出部は、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃであったが、これらに限定されない。例えば、油圧ショベル１００がＲＴＫ－ＧＮＳＳ（Real　Time　Kinematic　-　Global　Navigation　Satellite　Systems、ＧＮＳＳは全地球航法衛星システムをいう）用のアンテナを備え、ＧＮＳＳによってアンテナの位置を計測することにより自車の位置を検出する位置検出システムを備えているとする。この場合、前述した位置検出システムを第２位置検出部とし、ＧＮＳＳ用のアンテナの位置を作業機械の所定の位置とする。そして、ＧＮＳＳ用のアンテナの位置を変化させながら第１位置検出部及び第２位置検出部によってＧＮＳＳ用のアンテナの位置を検出することで第１位置情報及び第２位置情報を得る。処理部２１は、得られた第１位置情報及び第２位置情報を用いて、第１位置検出部によって検出された対象の位置情報を第１位置検出部以外の座標系、実施形態では車体座標系に変換するための変換情報を求める。また、処理部２１は、得られた第１位置情報及び第２位置情報を用いて、第２位置検出部によって検出された対象の位置情報を、第２位置検出部以外の座標系に変換するための変換情報を求めることも可能である。
　この他にも、取り外し可能なＧＮＳＳ受信器を油圧ショベル１の所定の位置、例えば走行体５又は作業機２の所定の位置に取り付けて、ＧＮＳＳ受信器を第２位置検出部とすることで、前述した自車の位置を検出する位置検出システムを第２位置検出部とした場合と同様に変換情報が得られる。
　実施形態に係る校正システム５０及び校正方法は、油圧ショベル１００が有する作業機２の姿勢が同一の状態で、対象の位置を検出する手段である第１位置検出部及び第１位置検出部とは異なる第２位置検出部を用いて作業機２の所定の位置を求める。そして、実施形態に係る校正システム５０及び校正方法は、第１位置検出部によって求められた第１位置情報と、第２位置検出部によって求められた第２位置情報とを用いて、回転行列Ｒ及び並進ベクトルＴ求める。このような処理により、実施形態に係る校正システム５０及び校正方法は、第１位置検出部によって検出された対象の位置情報を、第１位置検出部以外の座標系に変換するための変換情報を求めることができる。
　複数の撮像装置３０のうち少なくとも一対の撮像装置３０が撮像した対象の画像にステレオ方式による画像処理が施されて、撮像装置座標系における対象の位置情報が得られる。実施形態に係る校正システム５０及び校正方法によって変換情報が得られれば、撮像装置座標系における対象の位置情報を車体座標系における位置情報に変換できるので、油圧ショベル１００は、変換後の対象の位置情報を用いて作業機２を制御したり、モニタに作業機２のガイダンス画面を表示させたりすることができる。
　実施形態に係る校正システム５０及び校正方法は、油圧ショベル１００に備えられた処理装置２０及び一対の撮像装置３０ｃ、３０ｄを用いるので、回転行列Ｒ及び並進ベクトルＴを求めるための外部の機器は不要である。このため、実施形態に係る校正システム５０及び校正方法は、例えば、油圧ショベル１００のユーザの使用先において、回転行列Ｒ及び並進ベクトルＴを求めることができる。このように、実施形態に係る校正システム５０及び校正方法は、回転行列Ｒ及び並進ベクトルＴを求めるための外部の機器がない場所であっても、回転行列Ｒ及び並進ベクトルＴを求めることができるという利点がある。
　実施形態に係る校正システム５０及び校正方法は、第１位置情報及び第２位置情報を、異なる姿勢の作業機２から検出した所定の位置の情報とすることにより、変換情報である回転行列Ｒ及び並進ベクトルＴを求めるための情報量を多くすることができる。その結果、実施形態に係る校正システム５０及び校正方法は、回転行列Ｒ及び並進ベクトルＴを精度よく求めることができる。
　実施形態において、第１位置検出部は少なくとも一対の撮像装置３０で構成されるステレオカメラであるとしたが、これに限定されない。第１位置検出部は、例えばレーザスキャナ又は３Ｄスキャナであってもよい。作業機械は、少なくとも一対の撮像装置を備え、この一対の撮像装置を用いてステレオ方式で対象を三次元計測するものであれば油圧ショベル１００に限定されない。作業機械は、作業機を有していればよく、例えばホイールローダー又はブルドーザのような作業機械であってもよい。
　実施形態において、回転行列Ｒ及び並進ベクトルＴを求める際に、刃９にマークＭＫｌ，ＭＫｃ，ＭＫｒを設けたが、これらは必ずしも必要ではない。例えば、図６に示される入力装置５２によって、撮像装置３０によって撮像された対象の画像内に、処理部２１が位置を求める部分、例えばバケット８の刃９の部分が指定されてもよい。この場合、処理部２１は、指定された部分について、三次元計測を実行する。
　以上、実施形態を説明したが、前述した内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。前述した構成要素は適宜組み合わせることが可能である。実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも１つを行うことができる。
１　車体
２　作業機
３　旋回体
４　運転室
５　走行体
６　ブーム
７　アーム
８　バケット
９　刃
１０　ブームシリンダ
１１　アームシリンダ
１２　バケットシリンダ
１３　ブームピン
１４　アームピン
１５　バケットピン
１８Ａ　第１角度検出部
１８Ｂ　第２角度検出部
１８Ｃ　第３角度検出部
２０　処理装置
２１　処理部
２２　記憶部
２３　入出力部
２５　操作装置
２６　モニタパネル
３０ａ，３０ｂ，３０ｃ，３０ｄ　撮像装置
５０　校正システム
５２　入力装置
６０　計測用ターゲット
１００　油圧ショベル
Ｐ３　刃先
Ｒ　回転行列
Ｔ　並進ベクトル
Ｗ　幅方向
ｘ０，ｙ０，ｚ０　成分
α，β，γ　角度

Claims (8)

  1. 　作業機を有する作業機械に備えられて、対象の位置を検出して出力する第１位置検出部と、
    　前記第１位置検出部によって検出された前記作業機械の所定の位置に関する情報である第１位置情報、及び前記第１位置検出部が前記所定の位置を検出したときの前記作業機械の姿勢で、第２位置検出部によって検出された前記所定の位置に関する情報である第２位置情報を用いて、前記第１位置検出部が検出した位置を前記第１位置検出部の座標系から前記第１位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求めて出力するか、又は前記第２位置検出部が検出した位置を前記第２位置検出部の座標系から前記第２位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求めて出力する処理部と、
    　を含む、校正システム。
  2. 　前記第１位置情報は、前記第１位置検出部が、異なる姿勢の前記作業機械から前記所定の位置を検出することにより得られた複数の情報であり、
    　前記第２位置情報は、前記第２位置検出部が、異なる姿勢の前記作業機機械から前記所定の位置を検出することにより得られた複数の情報である、請求項１に記載の校正システム。
  3. 　前記第１位置検出部は、少なくとも一対の撮像装置で構成されたステレオカメラであり、
    　前記第２位置検出部は、前記作業機械に備えられて、前記作業機を動作させるアクチュエータの動作量を検出するセンサである、請求項１又は請求項２に記載の校正システム。
  4. 　前記所定の位置は、前記ステレオカメラを構成する一対の前記撮像装置が配列されている方向における、前記作業機械の複数の位置である、請求項３に記載の校正システム。
  5. 　作業機と、
    　請求項１から請求項４のいずれか１項に記載の校正システムと、
    　を含む、作業機械。
  6. 　第１の方法及び第２の方法によって作業機械の所定の位置を、前記作業機械の姿勢が異なる状態で検出し、
    　前記第１の方法によって検出された前記所定の位置に関する情報である第１位置情報、及び前記第１の方法によって前記所定の位置が検出されたときの前記作業機の姿勢で、前記第２の方法によって検出された前記所定の位置に関する情報である第２位置情報を用いて、前記第１の方法によって検出された位置を前記第１の方法における座標系から前記第１位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求めるか、又は前記第２位置検出部が検出した位置を前記第２位置検出部の座標系から前記第２位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求める、
    　校正方法。
  7. 　前記第１位置検出部が異なる姿勢の前記作業機械から前記所定の位置を検出することにより得られた複数の情報が前記第１位置情報であり、前記第２位置検出部が異なる姿勢の前記作業機械から前記所定の位置を検出することにより得られた複数の情報が前記第２位置情報であり、
    　前記所定の位置を検出する場合、前記第１位置検出部及び前記第２位置検出部は、異なる姿勢の前記作業機械から前記所定の位置を検出する、請求項６に記載の校正方法。
  8. 　前記第１の方法は、ステレオ方式により前記所定の位置を三次元計測するものであり、
    　前記所定の位置は、前記ステレオ方式による前記三次元計測に用いられる一対の撮像装置が配列されている方向における、前記作業機械の複数の位置である、請求項６又は請求項７に記載の校正方法。
PCT/JP2015/077872 2015-09-30 2015-09-30 校正システム、作業機械及び校正方法 WO2016047807A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
DE112015000132.8T DE112015000132T5 (de) 2015-09-30 2015-09-30 Kalibrierungssystem, Arbeitsmaschine und Kalibrierungsverfahren
PCT/JP2015/077872 WO2016047807A1 (ja) 2015-09-30 2015-09-30 校正システム、作業機械及び校正方法
KR1020167004863A KR20170039612A (ko) 2015-09-30 2015-09-30 교정 시스템, 작업 기계 및 교정 방법
JP2015551654A JPWO2016047807A1 (ja) 2015-09-30 2015-09-30 校正システム、作業機械及び校正方法
CN201580001358.9A CN106817905A (zh) 2015-09-30 2015-09-30 校正系统、作业机械和校正方法
US14/915,743 US9790666B2 (en) 2015-09-30 2015-09-30 Calibration system, work machine, and calibration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/077872 WO2016047807A1 (ja) 2015-09-30 2015-09-30 校正システム、作業機械及び校正方法

Publications (1)

Publication Number Publication Date
WO2016047807A1 true WO2016047807A1 (ja) 2016-03-31

Family

ID=55581322

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/077872 WO2016047807A1 (ja) 2015-09-30 2015-09-30 校正システム、作業機械及び校正方法

Country Status (6)

Country Link
US (1) US9790666B2 (ja)
JP (1) JPWO2016047807A1 (ja)
KR (1) KR20170039612A (ja)
CN (1) CN106817905A (ja)
DE (1) DE112015000132T5 (ja)
WO (1) WO2016047807A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180103868A (ko) * 2017-02-09 2018-09-19 가부시키가이샤 고마쓰 세이사쿠쇼 위치 계측 시스템, 작업 기계, 및 위치 계측 방법
JP2018152022A (ja) * 2017-03-15 2018-09-27 セイコーエプソン株式会社 プロジェクターシステム
JP2018184815A (ja) * 2017-04-27 2018-11-22 株式会社小松製作所 撮像装置の校正装置、作業機械および校正方法
CN111195897A (zh) * 2018-11-20 2020-05-26 财团法人工业技术研究院 用于机械手臂系统的校正方法及装置
CN112334733A (zh) * 2018-06-29 2021-02-05 株式会社小松制作所 拍摄装置的校正装置、监视装置、作业机械及校正方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10132060B2 (en) * 2017-02-27 2018-11-20 Caterpillar Inc. Implement orientation by image processing
JP6714534B2 (ja) * 2017-03-29 2020-06-24 日立建機株式会社 建設機械
US10781575B2 (en) 2018-10-31 2020-09-22 Deere & Company Attachment calibration control system
CN109816778B (zh) 2019-01-25 2023-04-07 北京百度网讯科技有限公司 物料堆三维重建方法、装置、电子设备和计算机可读介质
CN109903337B (zh) * 2019-02-28 2022-06-14 北京百度网讯科技有限公司 用于确定挖掘机的铲斗的位姿的方法和装置
EP4097552A4 (en) * 2020-01-28 2023-11-22 Topcon Positioning Systems, Inc. SYSTEM AND METHOD FOR CONTROLLING A WORK DEVICE ON A WORK MACHINE USING MACHINE VISION
GB2593759B (en) * 2020-04-02 2023-04-26 Caterpillar Inc Method and control unit for generating a control command to at least one actuator of an electro-hydraulic machine

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001055762A (ja) * 1999-08-13 2001-02-27 Hitachi Constr Mach Co Ltd 自動運転建設機械およびその位置計測手段の校正方法
JP2012233353A (ja) * 2011-05-02 2012-11-29 Komatsu Ltd 油圧ショベルの較正システム及び油圧ショベルの較正方法
JP2014181092A (ja) * 2013-03-18 2014-09-29 Tadano Ltd ブームの先端位置検出装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8718880B2 (en) * 2008-03-10 2014-05-06 Deere & Company Hydraulic system calibration method and apparatus
JP2010014535A (ja) 2008-07-03 2010-01-21 Yanmar Co Ltd 回転検出装置及び不整地用走行車両
JP5390813B2 (ja) * 2008-09-02 2014-01-15 東急建設株式会社 空間情報表示装置及び支援装置
JP5052463B2 (ja) * 2008-09-10 2012-10-17 日立建機株式会社 作業機械のステレオ画像処理装置
JP5237409B2 (ja) * 2011-03-24 2013-07-17 株式会社小松製作所 油圧ショベルの較正装置及び油圧ショベルの較正方法
JP2012225111A (ja) * 2011-04-22 2012-11-15 Kajima Corp 建設車両周辺の作業者検出装置
US8543298B2 (en) * 2011-06-03 2013-09-24 Caterpillar Inc. Operator interface with tactile feedback
JP5783184B2 (ja) * 2013-01-10 2015-09-24 コベルコ建機株式会社 建設機械

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001055762A (ja) * 1999-08-13 2001-02-27 Hitachi Constr Mach Co Ltd 自動運転建設機械およびその位置計測手段の校正方法
JP2012233353A (ja) * 2011-05-02 2012-11-29 Komatsu Ltd 油圧ショベルの較正システム及び油圧ショベルの較正方法
JP2014181092A (ja) * 2013-03-18 2014-09-29 Tadano Ltd ブームの先端位置検出装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180103868A (ko) * 2017-02-09 2018-09-19 가부시키가이샤 고마쓰 세이사쿠쇼 위치 계측 시스템, 작업 기계, 및 위치 계측 방법
KR102076631B1 (ko) 2017-02-09 2020-02-12 가부시키가이샤 고마쓰 세이사쿠쇼 위치 계측 시스템, 작업 기계, 및 위치 계측 방법
JP2018152022A (ja) * 2017-03-15 2018-09-27 セイコーエプソン株式会社 プロジェクターシステム
JP2018184815A (ja) * 2017-04-27 2018-11-22 株式会社小松製作所 撮像装置の校正装置、作業機械および校正方法
CN112334733A (zh) * 2018-06-29 2021-02-05 株式会社小松制作所 拍摄装置的校正装置、监视装置、作业机械及校正方法
US11508091B2 (en) 2018-06-29 2022-11-22 Komatsu Ltd. Calibration device for imaging device, monitoring device, work machine and calibration method
CN111195897A (zh) * 2018-11-20 2020-05-26 财团法人工业技术研究院 用于机械手臂系统的校正方法及装置
CN111195897B (zh) * 2018-11-20 2021-09-14 财团法人工业技术研究院 用于机械手臂系统的校正方法及装置
US11524406B2 (en) 2018-11-20 2022-12-13 Industrial Technology Research Institute Calibration method and device for robotic arm system

Also Published As

Publication number Publication date
US9790666B2 (en) 2017-10-17
JPWO2016047807A1 (ja) 2017-04-27
DE112015000132T5 (de) 2016-11-10
US20170089041A1 (en) 2017-03-30
CN106817905A (zh) 2017-06-09
KR20170039612A (ko) 2017-04-11

Similar Documents

Publication Publication Date Title
WO2016047807A1 (ja) 校正システム、作業機械及び校正方法
JP6229097B2 (ja) 校正システム、作業機械及び校正方法
JP6050525B2 (ja) 位置計測システム、作業機械及び位置計測方法
JP6995767B2 (ja) 計測システム、作業機械及び計測方法
WO2017061518A1 (ja) 施工管理システム、施工管理方法、及び管理装置
JP6322612B2 (ja) 施工管理システム及び形状計測方法
KR20170107076A (ko) 작업 기계의 화상 표시 시스템, 작업 기계의 원격 조작 시스템 및 작업 기계
JP6674846B2 (ja) 形状計測システム、作業機械及び形状計測方法
JP6867132B2 (ja) 作業機械の検出処理装置及び作業機械の検出処理方法
JP6585697B2 (ja) 施工管理システム
WO2016047808A1 (ja) 撮像装置の校正システム、作業機械及び撮像装置の校正方法
KR102231510B1 (ko) 작업기의 외형 형상 측정 시스템, 작업기의 외형 형상 표시 시스템, 작업기의 제어 시스템 및 작업 기계
JP2019190193A (ja) 作業機械
JP2017193958A (ja) 校正システム、作業機械及び校正方法
JP6606230B2 (ja) 形状計測システム
JP2019203291A (ja) 油圧ショベル、およびシステム
JP6616149B2 (ja) 施工方法、作業機械の制御システム及び作業機械
US20230291989A1 (en) Display control device and display method
KR20230002979A (ko) 정보 취득 시스템 및 정보 취득 방법
Borthwick Mining haul truck pose estimation and load profiling using stereo vision
Borthwick et al. Mining haul truck localization using stereo vision
JP2022145942A (ja) 作業機械の画像表示システム
JP2021156000A (ja) 作業機械

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015551654

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20167004863

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14915743

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112015000132

Country of ref document: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15845287

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 15845287

Country of ref document: EP

Kind code of ref document: A1