WO2017208997A1 - 形状計測システム、作業機械及び形状計測方法 - Google Patents

形状計測システム、作業機械及び形状計測方法 Download PDF

Info

Publication number
WO2017208997A1
WO2017208997A1 PCT/JP2017/019717 JP2017019717W WO2017208997A1 WO 2017208997 A1 WO2017208997 A1 WO 2017208997A1 JP 2017019717 W JP2017019717 W JP 2017019717W WO 2017208997 A1 WO2017208997 A1 WO 2017208997A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
shape
target
range
shape information
Prior art date
Application number
PCT/JP2017/019717
Other languages
English (en)
French (fr)
Inventor
厚 永戸
大樹 菅原
博義 山口
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to KR1020187027165A priority Critical patent/KR20180115756A/ko
Priority to DE112017001523.5T priority patent/DE112017001523T5/de
Priority to US16/084,740 priority patent/US20190078294A1/en
Priority to CN201780017856.1A priority patent/CN108885102B/zh
Publication of WO2017208997A1 publication Critical patent/WO2017208997A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2004Control mechanisms, e.g. control levers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • E02F9/262Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area

Definitions

  • the present invention relates to a shape measurement system that measures the position of an object, a work machine having the shape measurement system, and a shape measurement method that measures the position of the object.
  • Patent Document 1 creates construction plan image data based on the construction plan data stored in the storage unit and the position information of the stereo camera, and superimposes the construction plan image data and the current image data captured by the stereo camera.
  • a technique for three-dimensionally displaying a superimposed composite image on a three-dimensional display device is described.
  • An object of the present invention is to change measurement conditions used when image processing by a stereo method is executed.
  • a target detection unit that is attached to a work machine and detects a target around the work machine, and a detection result detected by the target detection unit, the third order of the target And a calculation unit that obtains shape information representing an original shape, and the calculation unit is provided with a shape measurement system that can change a range for obtaining the shape information.
  • a shape measurement system in which attribute information related to position accuracy is added to the shape information.
  • the calculation unit sends a signal for changing a range for obtaining the shape information from a management device, a portable terminal device, or an input device of the work machine.
  • a receiving shape measurement system is provided.
  • the shape information is a first measurement range that is a range in which the shape information of the object is obtained.
  • a shape measurement system is provided in which information indicating that the accuracy of the position is high is added to the measurement result.
  • the shape information of the target is obtained, and the second measurement range is wider than the first measurement range.
  • a shape measurement system is provided in which information indicating that the accuracy of the position is low is added to a measurement result in the region except for the first measurement range.
  • the attribute information related to the accuracy of the position added to the measured position is changed according to the distance from the target detection unit at the measured position.
  • a shape measurement system is provided.
  • a shape measuring system having a display device that displays attribute information related to the accuracy of the position together with the shape information.
  • the shape information is divided into a plurality of meshes, and each mesh has shape information having attribute information regarding the position information of the object and position accuracy.
  • a measurement system is provided.
  • the shape information is divided by a plurality of meshes, and the calculation unit uses at least two meshes having the target position information.
  • a shape measurement system for obtaining the position information of the mesh not having the position information of the target is provided.
  • the shape information is divided by a plurality of meshes, and the mesh size increases as the distance from the position of the target detection unit increases.
  • a shape measurement system in which is set to be large is provided.
  • a work machine having the shape measuring system according to any one of the first to tenth aspects.
  • a step of detecting a target around the work machine by a work machine, and using the detected result, shape information representing the three-dimensional shape of the target is obtained and output.
  • FIG. 1 is a perspective view showing a hydraulic excavator according to an embodiment. It is a perspective view near the driver's seat of the hydraulic excavator according to the embodiment. It is a figure which shows the shape measurement system which concerns on embodiment, the control system of a working machine, and a construction management system. It is a figure which shows the hardware constitution example of the detection processing apparatus of a shape measurement system, the various apparatuses which the control system of a working machine has, and a management apparatus. It is a figure for demonstrating the shape information which the shape measuring system of the working machine which concerns on embodiment calculates
  • FIG. 1 is a perspective view showing a hydraulic excavator 1 according to the embodiment.
  • FIG. 2 is a perspective view of the vicinity of the driver's seat of the excavator 1 according to the embodiment.
  • a hydraulic excavator 1 that is a working machine includes a vehicle body 1 ⁇ / b> B and a working machine 2.
  • the vehicle body 1 ⁇ / b> B includes a revolving body 3, a cab 4, and a traveling body 5.
  • the turning body 3 is attached to the traveling body 5 so as to be turnable about the turning center axis Zr.
  • the swivel body 3 houses devices such as a hydraulic pump and an engine.
  • Rotating body 3 turns with work implement 2 attached.
  • a handrail 9 is attached to the upper part of the revolving body 3.
  • Antennas 21 and 22 are attached to the handrail 9.
  • the antennas 21 and 22 are antennas for GNSS (Global Navigation Satellite Systems, GNSS means global navigation satellite system).
  • the antennas 21 and 22 are arranged apart from each other by a certain distance along a direction parallel to the Ym axis of the vehicle body coordinate system (Xm, Ym, Zm).
  • the antennas 21 and 22 receive GNSS radio waves and output signals corresponding to the received GNSS radio waves.
  • the antennas 21 and 22 may be antennas for GPS (Global Positioning System).
  • the cab 4 is placed on the front of the revolving unit 3.
  • a communication antenna 25 ⁇ / b> A is attached to the roof of the cab 4.
  • the traveling body 5 has crawler belts 5a and 5b.
  • the excavator 1 travels as the crawler belts 5a and 5b rotate.
  • the work machine 2 is attached to the front part of the vehicle body 1B.
  • the work machine 2 includes a boom 6, an arm 7, a bucket 8 as a work tool, a boom cylinder 10, an arm cylinder 11, and a bucket cylinder 12.
  • the front side of the vehicle body 1B is the direction side from the backrest 4SS of the driver's seat 4S shown in FIG.
  • the rear side of the vehicle body 1B is the direction side from the operation device 35 toward the backrest 4SS of the driver's seat 4S.
  • the front portion of the vehicle body 1B is a portion on the front side of the vehicle body 1B, and is a portion on the opposite side of the counterweight WT of the vehicle body 1B.
  • the operating device 35 is a device for operating the work implement 2 and the swing body 3, and includes a right lever 35R and a left lever 35L.
  • the base end portion of the boom 6 is rotatably attached to the front portion of the vehicle body 1B via a boom pin 13.
  • a base end portion of the arm 7 is rotatably attached to a tip end portion of the boom 6 via an arm pin 14.
  • a bucket 8 is rotatably attached to the tip of the arm 7 via a bucket pin 15.
  • the boom cylinder 10 drives the boom 6 by expanding and contracting by hydraulic pressure.
  • the arm cylinder 11 drives the arm 7 by expanding and contracting by hydraulic pressure.
  • the bucket cylinder 12 drives the bucket 8 by expanding and contracting by hydraulic pressure.
  • the bucket 8 has a plurality of blades 8B.
  • the plurality of blades 8 ⁇ / b> B are arranged in a line along the width direction of the bucket 8.
  • the tip of the blade 8B is a blade tip 8BT.
  • the bucket 8 is an example of a work tool. The work tool is not limited to the bucket 8.
  • the revolving unit 3 includes a position detection device 23 and an IMU (Inertial Measurement Unit) 24 which is an example of a posture detection device.
  • the position detection device 23 detects and outputs the current positions of the antennas 21 and 22 and the orientation of the revolving unit 3 in the global coordinate system (Xg, Yg, Zg) using the signals acquired from the antennas 21 and 22.
  • the orientation of the revolving structure 3 represents the direction of the revolving structure 3 in the global coordinate system.
  • the orientation of the revolving structure 3 can be expressed by, for example, the front-rear direction of the revolving structure 3 around the Zg axis of the global coordinate system.
  • the azimuth angle is a rotation angle of the reference axis in the front-rear direction of the revolving unit 3 around the Zg axis in the global coordinate system.
  • the azimuth of the revolving unit 3 is represented by the azimuth angle.
  • the excavator 1 has a plurality of imaging devices 30 a, 30 b, 30 c, and 30 d in the cab 4.
  • the plurality of imaging devices 30a, 30b, 30c, and 30d are an example of a target detection unit that detects a target shape.
  • the imaging device 30 when the plurality of imaging devices 30a, 30b, 30c, and 30d are not distinguished, they are appropriately referred to as the imaging device 30.
  • the imaging device 30 a and the imaging device 30 c are arranged on the work machine 2 side.
  • the kind of the imaging device 30 is not limited, in the embodiment, for example, an imaging device including a CCD (Couple Charged Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor is used.
  • CCD Couple Charged Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the imaging device 30a and the imaging device 30b are arranged in the cab 4 facing the same direction or different directions at a predetermined interval.
  • the imaging device 30c and the imaging device 30d are arranged in the operator cab 4 with a predetermined interval facing the same direction or different directions.
  • two of these are combined to form a stereo camera.
  • a stereo camera that is a combination of the imaging devices 30a and 30b and a stereo camera that is a combination of the imaging devices 30c and 30d are configured.
  • the imaging device 30a and the imaging device 30b face upward, and the imaging device 30c and the imaging device 30d face downward. At least the imaging device 30a and the imaging device 30c face the front surface of the excavator 1, in the embodiment, the swing body 3.
  • the imaging device 30b and the imaging device 30d may be arranged slightly facing toward the work machine 2, that is, slightly facing toward the imaging device 30a and the imaging device 30c.
  • the excavator 1 includes the four imaging devices 30, but the number of the imaging devices 30 included in the excavator 1 may be at least two, and is not limited to four. This is because the hydraulic excavator 1 configures a stereo camera with at least a pair of imaging devices 30 to capture a subject in stereo.
  • the plurality of imaging devices 30 a, 30 b, 30 c, and 30 d are arranged in front of and above the cab 4.
  • the upper side is a direction side orthogonal to the ground contact surfaces of the crawler belts 5a and 5b of the excavator 1 and away from the ground contact surface.
  • the ground contact surfaces of the crawler belts 5a and 5b are planes defined by at least three points that do not exist on the same straight line at a portion where at least one of the crawler belts 5a and 5b is grounded.
  • the lower side is the direction opposite to the upper side, that is, the direction side orthogonal to the ground contact surfaces of the crawler belts 5a and 5b and toward the ground contact surface.
  • the plurality of imaging devices 30 a, 30 b, 30 c, and 30 d take a stereo image of an object that exists in front of the vehicle body 1 ⁇ / b> B of the excavator 1.
  • the target is, for example, at least one of a target to be constructed by the hydraulic excavator 1, that is, a construction target, a construction target of a work machine other than the hydraulic excavator 1, and a construction target of a worker working at a construction site.
  • the plurality of imaging devices 30a, 30b, 30c, and 30d detect a target from a predetermined position of the excavator 1, in the embodiment, from the front and the upper side in the cab 4.
  • the target is three-dimensionally measured using the result of stereo shooting by at least the pair of imaging devices 30.
  • the place where the plurality of imaging devices 30 a, 30 b, 30 c, and 30 d are arranged is not limited to the front and upper side in the cab 4.
  • the imaging device 30c is used as the reference.
  • the four imaging devices 30a, 30b, 30c, and 30d each have a coordinate system. These coordinate systems are appropriately referred to as imaging device coordinate systems.
  • FIG. 2 shows only the coordinate system (xs, ys, zs) of the imaging device 30c serving as a reference.
  • the origin of the imaging device coordinate system is, for example, the center of each imaging device 30a, 30b, 30c, 30d.
  • each imaging device 30a, 30b, 30c, 30d is larger than the range in which the work implement 2 of the excavator 1 can be constructed.
  • each imaging device 30a, 30b, 30c, 30d can carry out the stereo imaging
  • the vehicle body coordinate system (Xm, Ym, Zm) described above is a coordinate system based on the origin fixed to the vehicle body 1B, in the embodiment, the swing body 3.
  • the origin of the vehicle body coordinate system (Xm, Ym, Zm) is, for example, the center of the swing circle of the swing body 3.
  • the center of the swing circle exists on the turning center axis Zr of the turning body 3.
  • the Zm axis of the vehicle body coordinate system (Xm, Ym, Zm) is an axis that becomes the turning center axis Zr of the revolving structure 3, and the Xm axis is an axis that extends in the front-rear direction of the revolving structure 3 and is orthogonal to the Zm axis.
  • the Xm axis is a reference axis in the front-rear direction of the swing body 3.
  • the Ym axis is an axis extending in the width direction of the revolving structure 3 and orthogonal to the Zm axis and the Xm axis.
  • the global coordinate system (Xg, Yg, Zg) described above is a coordinate system measured by GNSS, and is a coordinate system based on the origin fixed on the earth.
  • the vehicle body coordinate system is not limited to the example of the embodiment.
  • the center of the boom pin 13 may be the origin of the vehicle body coordinate system.
  • the center of the boom pin 13 is the center of the cross section when the boom pin 13 is cut on a plane orthogonal to the direction in which the boom pin 13 extends, and the center in the direction in which the boom pin 13 extends.
  • FIG. 3 is a diagram illustrating the shape measurement system 1S, the work machine control system 50, and the construction management system 100 according to the embodiment.
  • the apparatus configurations of the shape measurement system 1S, the work machine control system 50, and the construction management system 100 illustrated in FIG. 3 are examples, and are not limited to the apparatus configuration examples of the embodiment.
  • various devices included in the control system 50 may not be independent of each other. That is, the functions of a plurality of devices may be realized by one device.
  • the shape measurement system 1S includes a plurality of imaging devices 30a, 30b, 30c, and 30d, and a detection processing device 51.
  • a work machine control system 50 (hereinafter, appropriately referred to as a control system 50) includes a shape measurement system 1S and various control devices for controlling the excavator 1.
  • the shape measurement system 1S and various control devices are provided in the vehicle body 1B of the excavator 1 shown in FIG.
  • control devices included in the control system 50 include an input device 52, a sensor control device 53, an engine control device 54, a pump control device 55, and a work implement control device 56 shown in FIG.
  • the control system 50 includes a construction management device 57 that manages the state of the hydraulic excavator 1 and the status of construction by the hydraulic excavator 1.
  • the control system 50 also includes a display device 58 that displays information on the hydraulic excavator 1 and displays a construction guidance image on the screen 58D, a management device 61 of the management facility 60 that exists outside the hydraulic excavator 1, and the like.
  • the communication device 25 communicates with at least one of the work machines 70, the portable terminal device 64, and the management facility 61 other than the management device 61.
  • the control system 50 includes an IMU 24 which is an example of a position detection device 23 and an attitude detection device for acquiring information necessary for controlling the excavator 1.
  • the detection processing device 51, the input device 52, the sensor control device 53, the engine control device 54, the pump control device 55, the work machine control device 56, the construction management device 57, the display device 58, the position detection device 23, and the communication device. 25 are connected to a signal line 59 and communicate with each other.
  • the standard of communication using the signal line 59 is CAN (Controller Area Network), but is not limited thereto.
  • the hydraulic excavator 1 may refer to various electronic devices such as the detection processing device 51 and the input device 52 that the hydraulic excavator 1 has.
  • FIG. 4 is a diagram illustrating a hardware configuration example of the detection processing device 51 of the shape measurement system 1S, various devices included in the work machine control system 50, and the management device 61.
  • the device 25 and the management device 61 include a processing unit PR, a storage unit MR, and an input / output unit IO.
  • the processing unit PR is realized by, for example, a processor such as a CPU (Central Processing Unit) and a memory.
  • CPU Central Processing Unit
  • the memory MR is nonvolatile or volatile such as RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (registered trademark) (Electrically Erasable Programmable Read Only Memory), etc.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory EPROM (Erasable Programmable Read Only Memory)
  • EEPROM registered trademark
  • At least one of a compatible semiconductor memory, a magnetic disk, a flexible disk, and a magneto-optical disk is used.
  • the input / output unit IO is an interface circuit for the hydraulic excavator 1 or the management device 61 to transmit / receive data and signals to / from other devices and internal devices.
  • the internal device also includes a signal line 59 in the excavator 1.
  • the hydraulic excavator 1 and the management device 61 store a computer program for causing the processing unit PR to realize the respective functions in the storage unit MR.
  • the processing unit PR of the excavator 1 and the processing unit PR of the management device 61 realize the functions of the respective devices by reading and executing the above-described computer program from the storage unit MR.
  • the various electronic devices, devices, and management device 61 included in the excavator 1 may be realized by dedicated hardware, or may be realized by a plurality of processing circuits in cooperation with each other. Next, various electronic devices and devices included in the hydraulic excavator 1 will be described.
  • the detection processing device 51 obtains the position of the target, specifically the coordinates of the target in the three-dimensional coordinate system, by performing image processing in a stereo system on the pair of images of the target captured by the pair of imaging devices 30. .
  • the detection processing device 51 measures the target three-dimensionally using a pair of images obtained by capturing the same target with at least the pair of imaging devices 30. That is, at least a pair of the imaging device 30 and the detection processing device 51 measures the object three-dimensionally by a stereo method.
  • Image processing in the stereo system is a method of obtaining a distance to an object from two images obtained by observing the same object from two different imaging devices 30.
  • the distance to the object is expressed as, for example, a distance image obtained by visualizing the distance information to the object by shading.
  • the distance image corresponds to shape information representing the three-dimensional shape of the object.
  • the detection processing device 51 acquires at least a pair of the imaging devices 30, that is, acquires information on the target imaged, and obtains shape information indicating the three-dimensional shape of the target from the acquired target information.
  • at least a pair of imaging devices 30 captures and captures information about the target, and outputs the target information.
  • the target information is an image of the target captured by at least the pair of imaging devices 30.
  • the detection processing device 51 obtains and outputs shape information by performing stereo image processing on the target image.
  • the construction target of the hydraulic excavator 1 having at least one pair of imaging devices 30 or the target after construction is imaged by at least one pair of imaging devices 30, but the construction target of other work machines 70 or the target after construction is selected.
  • the image may be captured by at least a pair of imaging devices 30.
  • the construction target and the target after construction are at least one construction target among the hydraulic excavator 1 having the imaging device 30, the other work machine 70, the work machine other than the hydraulic excavator 1, and the worker, and the target after construction. If it is.
  • the detection processing device 51 includes a calculation unit 51A and a change unit 51B.
  • the calculation unit 51A obtains and outputs shape information representing the three-dimensional shape of the target using information on the target detected by at least the pair of imaging devices 30 serving as the target detection unit.
  • the calculation unit 51A performs stereo image processing on at least a pair of images captured by at least the pair of imaging devices 30, and obtains and outputs shape information.
  • the change unit 51B changes the measurement conditions used when the calculation unit 51A obtains shape information.
  • the functions of the calculation unit 51A and the change unit 51B are realized by the processing unit PR shown in FIG.
  • the measurement conditions described above are measurement conditions for determining conditions when the calculation unit 51A obtains shape information, and details will be described later.
  • At least a pair of imaging devices 30 are attached to the hydraulic excavator 1 and correspond to a target detection unit that detects a target around the hydraulic excavator 100 and outputs target information.
  • the detection processing device 51 corresponds to a shape detection unit that outputs shape information representing the three-dimensional shape of the target using at least information on the target detected by the pair of imaging devices 30.
  • the hub 31 and the imaging switch 32 are connected to the detection processing device 51.
  • the hub 31 is connected to a plurality of imaging devices 30a, 30b, 30c, and 30d.
  • the imaging devices 30a, 30b, 30c, and 30d and the detection processing device 51 may be connected without using the hub 31.
  • a result of detecting the target by the imaging devices 30 a, 30 b, 30 c, and 30 d, that is, a result of imaging the target is input to the detection processing device 51 via the hub 31.
  • the detection processing device 51 acquires a target image in the embodiment as a result of imaging by the imaging devices 30a, 30b, 30c, and 30d via the hub 31.
  • the imaging switch 32 when the imaging switch 32 is operated, at least the pair of imaging devices 30 captures an object.
  • the imaging switch 32 is installed in the vicinity of the operating device 35 in the cab 4 shown in FIG. The installation location of the imaging switch 32 is not limited to this.
  • the input device 52 is a device for inputting commands to the shape measurement system 1S and the control system 50, inputting information, and changing settings.
  • the input device 52 is, for example, a key, a pointing device, and a touch panel, but is not limited thereto.
  • the display device 58 may be provided with an input function by providing a touch panel on a screen 58D of the display device 58 described later. In this case, the control system 50 may not have the input device 52.
  • Sensor control device 53 is connected to sensors for detecting information on the state of hydraulic excavator 1 and information on the state of surroundings of hydraulic excavator 1.
  • the sensor control device 53 converts the information acquired from the sensors into a format that can be handled by other electronic devices and devices, and outputs the converted format.
  • Information on the state of the excavator 1 is, for example, information on the attitude of the excavator 1, information on the attitude of the work machine 2, and the like.
  • the IMU 24, the first angle detection unit 18 ⁇ / b> A, the second angle detection unit 18 ⁇ / b> B, and the third angle detection unit 18 ⁇ / b> C are connected to the sensor control device 53 as sensors that detect information on the state of the excavator 1.
  • the sensors are not limited to these.
  • the IMU 24 detects and outputs acceleration and angular velocity acting on itself, that is, acceleration and angular velocity acting on the hydraulic excavator 1. From the acceleration and angular velocity acting on the hydraulic excavator 1, the posture of the hydraulic excavator 1 can be known. Any device other than the IMU 24 may be used as long as the posture of the excavator 1 can be detected.
  • the first angle detector 18A, the second angle detector 18B, and the third angle detector 18C are, for example, stroke sensors.
  • the first angle detector 18A, the second angle detector 18B, and the third angle detector 18C may be a potentiometer or an inclinometer instead of the stroke sensor.
  • the engine control device 54 controls the internal combustion engine 27 that is a power generation device of the excavator 1.
  • the internal combustion engine 27 is a diesel engine, for example, it is not limited to this.
  • the power generation device of the hydraulic excavator 1 may be a hybrid device in which the internal combustion engine 27 and the generator motor are combined.
  • the internal combustion engine 27 drives a hydraulic pump 28.
  • the pump control device 55 controls the flow rate of the hydraulic oil discharged from the hydraulic pump 28.
  • the pump control device 55 generates a control command signal for adjusting the flow rate of the hydraulic oil discharged from the hydraulic pump 28.
  • the pump control device 55 changes the flow rate of the hydraulic oil discharged from the hydraulic pump 28 by changing the swash plate angle of the hydraulic pump 28 using the generated control signal.
  • the hydraulic oil discharged from the hydraulic pump 28 is supplied to the control valve 29.
  • the control valve 29 supplies the hydraulic oil supplied from the hydraulic pump 28 to hydraulic equipment such as the boom cylinder 10, the arm cylinder 11, the bucket cylinder 12, and the hydraulic motor 5M, and drives them.
  • the work machine control device 56 executes control for moving the cutting edge 8BT of the bucket 8 along the target construction surface, for example.
  • the work machine control device 56 corresponds to a work machine control unit. Hereinafter, this control will be referred to as work implement control as appropriate.
  • the work machine control device 56 controls the control valve 29 so that the cutting edge 8BT of the bucket 8 is aligned with the target work surface included in the target work information that is information targeted at the time of work, for example.
  • the work machine 2 is controlled.
  • the construction management device 57 includes the shape information of the construction result of the excavator 1 constructing the construction target, and the current topography of the target that the hydraulic excavator 1 intends to construct from now on. At least one of the shape information to be shown is collected and stored in the storage unit 57M.
  • the construction management device 57 transmits the shape information stored in the storage unit 57M to the management device 61 or the portable terminal device 64 via the communication device 25.
  • the construction management device 57 transmits the shape information of the construction result stored in the storage unit 57M to the management device 61 or the portable terminal device 64 via the communication device 25.
  • the construction management device 57 may collect at least one of the shape information and the target construction information obtained by the detection processing device 51, and may transmit the collected information to the management device 61 or the portable terminal device 64 without storing them in the storage unit 57M.
  • the storage unit 57M corresponds to the storage unit MR shown in FIG.
  • the shape information of the construction result obtained by constructing the construction target by the hydraulic excavator 1 may be appropriately referred to as the construction result.
  • the construction management device 57 may be provided, for example, in the management device 61 provided outside the excavator 1. In this case, the construction management device 57 acquires at least one of the shape information of the construction result from the excavator 1 via the communication device 25 and the shape information indicating the current topography of the target that the hydraulic excavator 1 intends to construct.
  • the construction result is, for example, shape information obtained when at least a pair of the imaging devices 30 captures the target after the construction, and the detection processing device 51 performs image processing by a stereo method on the imaging results.
  • the shape information indicating the current landform of the object to be constructed is referred to as current landform information as appropriate.
  • the shape information may be shape information indicating a construction result, or may be shape information indicating the current landform.
  • the current terrain information is, for example, shape information obtained by the detection processing device 51 obtained by imaging the object to be constructed by the hydraulic excavator 1, another work machine 70, or an operator by at least a pair of the imaging devices 30. .
  • the construction management device 57 collects construction results after the day's work is completed and transmits the construction results to at least one of the management device 61 and the mobile terminal device 64, or collects construction results multiple times during the day's work. And transmitted to at least one of the management device 61 and the mobile terminal device 64.
  • the construction management device 57 may transmit the shape information before construction to the management device 61 or the portable terminal device 64, for example, before the morning work.
  • the construction management device 57 collects, for example, two construction results at noon and at the end of the work in one day of work, and transmits them to the management device 61 or the portable terminal device 64.
  • the construction result may be a construction result obtained by capturing an image of the construction area in the entire construction site, or a construction result obtained by imaging the entire construction site. May be.
  • the display device 58 displays the information of the excavator 1 on the screen 58D of a display such as a liquid crystal display panel or displays a construction guidance image on the screen 58D.
  • the above-described work implement control is performed. Is determined, the position of the work implement 2 is obtained.
  • the position of the cutting edge 8BT required by the display device 58 is the position of the cutting edge 8BT of the bucket 8 in the embodiment.
  • the display device 58 includes the current positions of the antennas 21 and 22 detected by the position detection device 23, the rotation angles detected by the first angle detection unit 18A, the second angle detection unit 18B, and the third angle detection unit 18C.
  • the dimensions of the work machine 2 stored in the storage unit MR and the output data of the IMU 24 are acquired, and the position of the cutting edge 8BT of the bucket 8 is obtained using these.
  • the display device 58 obtains the position of the blade edge 8BT of the bucket 8, but the device other than the display device 58 may obtain the position of the blade edge 8BT of the bucket 8.
  • the communication device 25 is a communication unit in the embodiment.
  • the communication device 25 communicates with the management device 61 of the management facility 60, at least one of the other work machines 70, and the portable terminal device 64 via the communication line NTW to exchange information with each other.
  • information transmitted from the control system 50 to at least one of the management device 61, another work machine 70, and the mobile terminal device 64 includes information related to construction.
  • the information regarding construction includes at least one of the shape information and the information obtained from the shape information.
  • the information obtained from the shape information includes, for example, information obtained by processing the shape information in the above-described target construction information and shape information, but is not limited thereto.
  • the information related to the construction may be transmitted by the communication device 25 after being stored in the storage unit of the detection processing device 51, the storage unit of the input device 52, and the storage unit 57M of the construction management device 57, or may be transmitted without being stored. May be.
  • the communication device 25 communicates by wireless communication.
  • the communication device 25 includes an antenna 25A for wireless communication.
  • the portable terminal device 64 is owned by an administrator who manages the work of the excavator 1, but is not limited thereto.
  • the other work machine 70 has a function of communicating with at least one of the excavator 1 having the control system 50 and the management device 61.
  • the other work machine 70 may be the hydraulic excavator 1 having the control system 50, the hydraulic excavator not having the control system 50, or a work machine other than the hydraulic excavator 1.
  • the communication device 25 may communicate with at least one of the management device 61 of the management facility 60, the other work machine 70, and the mobile terminal device 64 via wired communication to exchange information with each other.
  • the construction management system 100 includes a management device 61 of the management facility 60, a shape measurement system 1S, a control system 50, and a hydraulic excavator 1 having the control system 50.
  • the construction management system 100 may further include a mobile terminal device 64.
  • the excavator 1 having the control system 50 included in the construction management system 100 may be singular or plural.
  • the management facility 60 includes a management device 61 and a communication device 62.
  • the management device 61 communicates with at least the excavator 1 via the communication device 62 and the communication line NTW.
  • the management device 61 may communicate with the mobile terminal device 64 or may communicate with another work machine 70.
  • the excavator 1 and the other work machine 70 may be equipped with a wireless communication device so that direct wireless communication is possible.
  • at least one of the excavator 1 and the other work machine 70 may be equipped with a device or an electronic device that can execute processing executed by the management device 61 of the management facility 60 or the like.
  • the management device 61 receives at least one of the construction result and the current terrain information from the excavator 1, and manages the progress of the construction.
  • the control system 50 obtains shape information, which is information indicating the shape of the construction target, by imaging the target to be constructed using at least two of the plurality of imaging devices 30 illustrated in FIG. 2. For example, the control system 50 transmits shape information to the management device 61 via the communication device 25. The management device 61 receives the shape information transmitted from the excavator 1 and uses it for construction management.
  • FIG. 5 is a diagram for explaining shape information required by the shape measurement system 1S for the work machine according to the embodiment.
  • the construction target OBP which is the part that the hydraulic excavator 1 is going to construct, is in front of the hydraulic excavator 1.
  • Shape information is calculated
  • the shape measurement system 1S causes at least a pair of imaging devices 30 to image the construction object OBP.
  • the detection processing device 51 sends the construction target OBP to at least the pair of imaging devices 30. Let's take an image.
  • the detection processing device 51 of the shape measurement system 1S performs stereo image processing on the image of the construction target OBP captured by at least the pair of imaging devices 30 to obtain the positional information of the construction target OBP, in the embodiment, three-dimensional position information. Ask. Since the position information of the construction target OBP obtained by the detection processing device 51 is information in the coordinate system of the imaging device 30, it is converted into position information in the global coordinate system. Position information of a target in the global coordinate system, for example, the construction target OBP is shape information. In the embodiment, the shape information is information including at least one position Pr (Xg, Yg, Zg) on the surface of the construction target OBP in the global coordinate system.
  • the position Pr (Xg, Yg, Zg) is a coordinate in the global coordinate system and is three-dimensional position information.
  • the detection processing device 51 converts the position of the construction target OBP obtained from the image captured by at least the pair of imaging devices 30 into a position in the global coordinate system.
  • the position of the surface of the construction target OBP includes the position of the surface of the construction target OBP after construction and during construction.
  • the detection processing device 51 obtains and outputs the position Pr (Xg, Yg, Zg) of the surface of the construction target OBP over the entire region of the construction target OBP imaged by at least the pair of imaging devices 30.
  • the detection processing device 51 generates a data file of the obtained position Pr (Xg, Yg, Zg).
  • the data file is a set of n (n is an integer of 1 or more) positions Pr (Xg, Yg, Zg).
  • the data file also corresponds to the shape information in the embodiment.
  • the detection processing device 51 after generating the data file, stores the data file in its own storage unit.
  • the construction management device 57 may transmit the data file generated by the detection processing device 51 from the communication device 25 to at least one of the management device 61, the mobile terminal device 64, and the other work machine 70 shown in FIG. .
  • the imaging switch 32 shown in FIG. 3 when the imaging switch 32 shown in FIG. 3 is operated, at least a pair of imaging devices 30 images the target.
  • the calculation unit 51A of the detection processing device 51 performs shape processing on the image captured by the image capturing device 30 by a stereo method.
  • the calculation unit 51A of the detection processing device 51 outputs a data file.
  • the data file is transmitted to at least one of the management device 61 and the portable terminal device 64 via the construction management device 57 and the communication device 25 or via the communication device 25.
  • the detection processing device 51 causes at least a pair of imaging devices 30 to image the target every predetermined time, for example, every 10 minutes. At least three-dimensional images picked up by the pair of image pickup devices 30 are stored in the storage unit of the detection processing device 51, and when a certain amount of information is accumulated, the information is transmitted to the management device 61 via the communication device 25. The aforementioned three-dimensional image may be transmitted at the timing when the data file is transmitted to the management apparatus 61, or may be transmitted to the management apparatus 61 immediately after being captured.
  • the detection processing device 51 recognizes that a plurality of imaging devices 30 are activated, the signal line 59 is not disconnected, the output of the IMU 24 is stable, and The detection processing device 51 may permit three-dimensional measurement using the imaging device 30 on the condition that the positioning by GNSS is FIX (normal) (permission condition). If even one permission condition is not satisfied, the detection processing device 51 does not permit three-dimensional measurement using the image capturing device 30 even if the image capturing switch 32 is operated.
  • the output of the IMU 24 being stable means that the excavator 1 is stationary.
  • the data file transmitted from the hydraulic excavator 1 is stored in the storage unit of the management device 61.
  • the data file may be stored in the storage unit of the mobile terminal device 64.
  • the management device 61 can obtain the topography of the construction site by integrating data files at a plurality of different locations.
  • the management device 61 can perform construction management using the topography of the construction site obtained from data files at a plurality of different locations.
  • the management device 61 may prioritize any data based on a predetermined rule when there are a plurality of pieces of data having the same x-coordinate and y-coordinate. Good.
  • the predetermined rule is exemplified by giving priority to the position data with the latest time.
  • the management device 61, the portable terminal device 64, and the construction management device 57 of the hydraulic excavator 1 execute the process of generating the current status information using the data file and obtaining the embankment amount or the removed soil amount. May be.
  • any of the management device 61, the portable terminal device 64, or the construction management device 57 of the excavator 1 may execute the above-described processing, and transmit the result to other devices via the communication line NTW.
  • the result of the processing described above may be stored not only in communication but also in a storage device and transferred to another device.
  • the changing unit 51B included in the detection processing device 51 of the shape measurement system 1S changes the measurement conditions used when obtaining shape information.
  • the change unit 51 ⁇ / b> B changes the measurement condition upon receiving a command for changing the measurement condition (hereinafter, appropriately referred to as a change command) via the signal line 59.
  • the change command is transmitted from, for example, the management device 61 or the portable terminal device 64, and is given to the changing unit 51B via the communication device 25 and the signal line 59.
  • the change command may be given from the input device 52 of the excavator 1 to the changing unit 51B.
  • the change command is transmitted from the management device 61, the change command is given to the management device 61 via the input device 68.
  • the measurement condition can be a range for obtaining the shape information of the object measured by the calculation unit 51A of the detection processing device 51, for example.
  • the calculation unit 51A of the detection processing device 51 receives the change command from the change unit 51B, the calculation unit 51A actually detects the target information captured by the pair of imaging devices 30, that is, from the overlapping region of the pair of captured images. It is possible to change the target range for measuring the shape information.
  • the object is the current terrain.
  • the target information is an image detected, that is, captured by at least a pair of imaging devices 30.
  • the target shape information is information on the three-dimensional shape of the current terrain generated by subjecting the target image, which is target information, to image processing using a stereo method.
  • FIG. 6 is a diagram showing a range A in which target shape information is measured.
  • a range A illustrated in FIG. 6 is a range in which the calculation unit 51A obtains shape information, and is a part or all of the overlapping region of the imaging range of the pair of imaging devices 30.
  • the target information indicates two images output from the respective imaging devices 30.
  • the changing unit 51B of the detection processing device 51 illustrated in FIG. 3 uses the mobile terminal device 64, the management device 61, or the hydraulic excavator 1 with the target range A measured by the pair of imaging devices 30 as a measurement condition. Based on the change command from the input device 52, the target measurement range A is changed.
  • the changing unit 51B sets the target measurement range A, which is a measurement condition, to the first range A1 and the second range A2 that is wider than the first range A1.
  • Change to The first range A1 is a range where the distance from the position PT of the imaging device 30 is up to D1
  • the second range A2 is a distance where the distance from the position PT of the imaging device 30 is larger than the distance D1. Range.
  • the changing unit 51B of the detection processing device 51 changes the measurement range A of the object imaged by the pair of imaging devices 30 based on the change command. For this reason, the detection processing device 51 can relatively reduce the number of times of imaging of at least the pair of imaging devices 30 by setting the target measurement range A to a relatively large range. For this reason, the detection processing apparatus 51 can measure shape information efficiently. It is particularly effective in a wide construction site that the detection processing device 51 relatively increases the target measurement range A and measures shape information.
  • the detection processing device 51 when the detection processing device 51 relatively increases the target measurement range A and measures the shape information, a region far from the pair of imaging devices 30 (from the second measurement range A2 in FIG. 6 to the first one).
  • the measurement accuracy of the shape information in the region excluding the measurement range A1 is relatively lower than the region near the pair of imaging devices 30 (the first measurement range A1 in FIG. 6). Therefore, when high measurement accuracy of the shape information is required, the detection processing device 51 can improve the accuracy of the shape information by setting the target measurement range A to a relatively small range.
  • the calculation unit 51A when the calculation unit 51A receives the change command from the change unit 51B, the calculation unit 51A changes the range in which the target shape information is measured from the target information captured by the pair of imaging devices 30. It is not limited to.
  • the calculation unit 51A may receive a change command from the management device 61, the mobile terminal device 64, or the input device 52 of the excavator 1 without using the change unit 51B.
  • the device that can output the change command is limited to only the management device 61, the operator of the hydraulic excavator 1 cannot freely switch the measurement range, so that the measurement accuracy of the shape information is inadvertently lowered. Can be prevented. That is, for example, if only the field supervisor can switch the measurement range, the target shape information can be measured with the assumed measurement accuracy. Further, even if the change command can be output from the portable terminal device 64 or the input device 52 of the excavator 1, in order to output the change command, for example, a password that only the site supervisor can know is required. The shape information of the target can be measured with the assumed measurement accuracy in the same manner as described above.
  • the shape information is divided by a plurality of meshes having a predetermined size arranged at each x coordinate and y coordinate of the global coordinate system.
  • the z coordinate position of the object at each mesh position is defined as the position information of the object in the mesh.
  • the size of the mesh may be changed, and the size of the mesh may be one of the measurement conditions.
  • FIG. 7 is a diagram showing a plurality of meshes MS included in the shape information.
  • the shape information output from the detection processing device 51 includes target position information (z coordinate position) at a position where each mesh MS is disposed. The part of the mesh where the target position cannot be obtained by the stereo image processing does not have the target position information.
  • the shape of the mesh MS is a rectangle.
  • the length of one side is D1
  • the length of a side orthogonal to the side of the length D1 is D2.
  • the length D1 and the length D2 may be the same or different.
  • the position information (x coordinate, y coordinate, z coordinate) of the mesh MS is a representative value of the position of the mesh MS, and may be, for example, an average value of four corners of the mesh MS or a position at the center of the mesh MS.
  • the shape of the mesh MS is not limited to a rectangle, and may be a polygon such as a triangle or a pentagon.
  • the changing unit 51B of the detection processing device 51 can change the size of the mesh MS of the shape information based on a change command for changing the size of the mesh MS. For example, when the size of the mesh MS is changed by the change unit 51B greatly changing the lengths D1 and D2 of the sides of the mesh MS, the position information included in the shape information is reduced (the density of the position information is small). Become). As a result, the information amount of the shape information is reduced, but the measurement accuracy of the shape information is lowered. When the size of the mesh MS is relatively reduced, the position information included in the shape information increases, so that it is possible to obtain detailed position information of the object from the shape information, while increasing the information amount of the shape information.
  • the size of the mesh MS may be increased as the distance from the position PT of the pair of imaging devices 30 increases.
  • the size of the mesh MS in the region excluding the first range A1 from the second range A2 may be made larger than the mesh MS in the region of the first range A1.
  • the positional information on the mesh MS is not measured due to the influence of the swell of the terrain.
  • the mesh MS it becomes easy to measure position information in the area.
  • the mesh MS may have attribute information related to position accuracy in addition to the position information.
  • the attribute information related to the accuracy of the position may be, for example, accuracy information that is information on the measurement accuracy at the measured position, distance data from the pair of imaging devices 30 at the measured position, or a plurality of pieces of information. If the measurement range and the measurement method can be switched, data indicating which measurement range or measurement method is used for position information may be used. If the range A in which the shape information of the object is measured (required) is measured from a pair of imaging devices 30 to a region farther away, measurement of the position in a far region is possible due to the nature of terrain measurement using a stereo camera. Accuracy is reduced.
  • the calculation unit 51A of the detection processing device 51 can add attribute information regarding the accuracy of the position to the measurement result (x, y, z coordinates) of the measured position. That is, the shape information includes attribute information regarding the accuracy of the position at each measured position in addition to the position information.
  • the calculation unit 51A indicates that the position accuracy measured uniformly is high in the measurement result of the first range A1. May be added.
  • the calculation unit 51A has a low position accuracy measured uniformly in the measurement result of the second range A2. Information indicating this may be added.
  • the calculation unit 51A adds information indicating that the position accuracy is high to the measurement result in the first range A1, that is, the position information of the mesh MS, regardless of which measurement range is used, and the second range. Information indicating that the position accuracy is low may be added to the measurement result in the area excluding the first range A1 from A2, that is, the position information of the mesh MS.
  • the calculation unit 51A adds information indicating that the positional accuracy is high to the mesh MS located close to the pair of imaging devices 30 regardless of the areas of the first range A1 and the second range A2. Information indicating that the position accuracy is low may be added to the mesh MS located far from the imaging device 30, and attribute information regarding the accuracy may be set stepwise according to the distance.
  • the calculation unit 51A adds attribute information related to position accuracy to each mesh MS that is a range in which shape information is defined, and adds attribute information related to position accuracy added to the mesh MS to the pair of target detection units. You may change according to the distance from the imaging device 30.
  • the information that the position accuracy is high and the information that the position accuracy is low are determined, for example, in comparison with a predetermined reference position accuracy.
  • the positional accuracy is such that, for example, the first range A1 has a high positional accuracy, and the positional accuracy decreases stepwise or continuously as the distance from the first range A1 increases. Also good.
  • the management device 61 that has acquired the data file that is the shape information employs relatively high-accuracy position information based on the attribute information regarding accuracy when integrating a plurality of data files. Is also possible. As a result, the positional accuracy of the topography of the construction site obtained by integration can be improved.
  • FIG. 8 is a diagram showing an example in which the display device displays the attribute information related to the accuracy of the measured position in a form that can be determined.
  • the display device 67 of the management device 61, the mobile terminal device 64, and the display device 58 in the excavator 1 is a construction target measured by the pair of imaging devices 30.
  • the display device displays attribute information related to position accuracy together with shape information.
  • the display device changes and displays the display form of the shape information in accordance with the attribute information regarding the accuracy of the position.
  • the attribute information regarding the accuracy of the position is represented by the display form of the shape information.
  • the display form is changed between the area AH with high position accuracy and the area AL with low position accuracy.
  • the position information in the mesh is stored. If the information cannot be measured, the position information on the mesh is not stored. Even in such a case, it is possible to infer position information of a mesh for which position information has not been measured, using a plurality of meshes in which position information in the vicinity of the mesh is stored. As one of the measurement conditions, it may be possible to select whether or not to infer position information of a mesh whose position information has not been measured.
  • FIG. 9 is a diagram showing meshes MSxp, MSxm, MSyp, MSym having position information and meshes MSt having no position information.
  • the calculation unit 51A of the detection processing device 51 can obtain the position information of the mesh MSt that does not have the target position information by using at least two meshes having the target position information.
  • the changing unit 51B selects whether or not to obtain the position information of the mesh MSt that does not have the target position information, according to the change command.
  • the calculating unit 51A searches the mesh MSt from the shape information when obtaining the position information of the mesh MSt.
  • the computing unit 51A finds a mesh MSt that does not have position information, for example, with reference to the mesh MSt, the computing unit 51A positions along the + direction and the ⁇ direction in the X direction and the Y direction as the first direction. Search for a mesh with information.
  • the calculation unit 51A uses the position information of at least two meshes MSxp, MSxm, MSyp, MSym existing in the nearest directions in the respective directions to perform mesh Mst by interpolation. Find location information.
  • the search direction is not limited to the X direction and the Y direction, but may be searched in an oblique direction.
  • the interpolation method may be a known method, for example, bilinear interpolation.
  • the detection processing device 51 obtains the position information of the mesh MSt that does not have the target position information using at least two meshes having the target position information, the shape information cannot be obtained by the stereo image processing.
  • the position information of the part can also be obtained. Further, since it is possible to select whether or not to obtain the position information of the mesh that does not have the target position information, for example, when the position information is unnecessary, the position information of the mesh that does not have the target position information is not obtained. It is also possible to make it. In this way, the amount of shape information can be reduced.
  • FIG. 10 is a diagram showing noise and work equipment included in the shape information.
  • the calculation unit 51A may remove noise such as electric wires, trees, and houses from the shape information. In this case, it is good also as a measurement condition whether 51 A of arithmetic parts remove noise.
  • the following cases are assumed to remove noise. For example, when the detection processing device 51 detects an electric wire at a predetermined position (mesh located at a certain x coordinate and y coordinate) in the target, the detection processing device 51 exists at the same position (the same mesh) in the target. The current terrain may be detected at the same time. In that case, position information exists at two heights (z coordinates) at one position (one mesh). In such a case, by not measuring the position information at the position (mesh), uncertain data, that is, noise can be removed.
  • the measurement condition can be at least one of the selection of whether or not the calculation unit 51A removes noise and the magnitude of noise removed by the calculation unit 51A.
  • the change unit 51B determines whether the calculation unit 51A removes noise in the shape information or not based on the change command. judge.
  • the calculation unit 51A removes or leaves the noise in the shape information based on the determination result of the change unit 51B.
  • the changing unit 51B changes the magnitude of noise removed by the computing unit 51A based on the change command.
  • the calculation unit 51A removes the noise larger than the noise having the size after being changed by the changing unit 51B. By such processing, the calculation unit 51A does not remove noise that does not need to be removed, so the processing load on the calculation unit 51A is reduced.
  • the shape measurement system 1S uses at least a pair of imaging devices 30 and a calculation unit 51A that obtains and outputs shape information representing the three-dimensional shape of the target using at least the information on the target detected by the pair of imaging devices 30;
  • the calculation unit 51A includes a change unit 51B that changes measurement conditions used when obtaining shape information.
  • the measurement condition is used when the calculation unit 51A obtains shape information by performing image processing by a stereo method on target information obtained by at least the pair of imaging devices 30. For this reason, the shape measurement system 1S can change the measurement condition used when the image processing by the stereo method is executed by the changing unit 51B.
  • the shape measuring method represents a three-dimensional shape of the target using a step of detecting the target constructed by a work machine and outputting the information of the target, and the output of the target information.
  • a step of obtaining and outputting shape information, and the measurement conditions used when obtaining the shape information can be changed. For this reason, the shape measurement method can change measurement conditions used when image processing by the stereo method is executed.
  • the working machine is not limited to a hydraulic excavator as long as it can perform construction such as excavation and transportation, and may be a working machine such as a wheel loader and a bulldozer.
  • the shape information is divided by a plurality of meshes having a predetermined size.
  • the shape information is not limited thereto.
  • the shape information is based on points (based on xy coordinates) that can be measured by a stereo camera without using a mesh.
  • the current shape may be measured and managed.
  • the target detection unit has been described using at least a pair of imaging devices 30, but the target detection unit is not limited thereto.
  • a 3D scanner such as a laser scanner may be used as the target detection unit instead of the pair of imaging devices 30.
  • the 3D scanner detects target information, and the calculation unit 51A can calculate target shape information based on the target information detected by the 3D scanner.
  • the detection processing device 51 performs stereo processing based on a plurality of camera images and performs three-dimensional measurement processing. However, the detection processing device 51 transmits the camera image to the outside and manages image processing by the stereo method. It may be performed by the management device 61 of the facility 60 or by the mobile terminal device 64.

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

形状計測システムは、作業機械に取り付けられ、かつ作業機械によって施工された対象を検出して、対象の情報を出力する対象検出部と、対象検出部によって検出された対象の情報を用いて、対象の三次元形状を表す形状情報を求めて出力する演算部と、演算部が形状情報を求める際に用いる計測条件を変更する変更部と、を含む。計測条件は、演算部が形状情報を求める際に用いる対象の情報の範囲である。

Description

形状計測システム、作業機械及び形状計測方法
 本発明は、対象の位置を計測する形状計測システム、この形状計測システムを有する作業機械及び対象の位置を計測する形状計測方法に関する。
 撮像装置を有する作業機械がある。特許文献1には、記憶部に記憶された施工計画データと、ステレオカメラの位置情報に基づき施工計画画像データを作成し、施工計画画像データとステレオカメラで撮像された現況画像データとを重合わせ、重合わせた合成画像を三次元表示装置に三次元表示させる技術が記載されている。
特開2013-036243号公報
 ステレオカメラの撮像範囲を変更したり、ステレオカメラによって撮像されたデータの解像度を変更したりするといったような、ステレオ方式による画像処理が実行される際に用いられる計測条件を変更したいという要請がある。特許文献1には、前述した計測条件を変更することについては記載も示唆もなく、改善の余地がある。
 本発明は、ステレオ方式による画像処理が実行される際に用いられる計測条件を変更することを目的とする。
 本発明の第1の態様によれば、作業機械に取り付けられ、前記作業機械の周囲の対象を検出する対象検出部と、前記対象検出部によって検出された検出結果を用いて、前記対象の三次元形状を表す形状情報を求める演算部と、を備え、前記演算部は、前記形状情報を求める範囲を変更できる、形状計測システムが提供される。
 本発明の第2の態様によれば、第1の態様において、前記形状情報には、位置の精度に関する属性情報が付加される形状計測システムが提供される。
 本発明の第3の態様によれば、第1の態様において、前記演算部は、前記形状情報を求める範囲を変更するための信号を、管理装置、携帯端末装置又は前記作業機械の入力装置から受け取る形状計測システムが提供される。
 本発明の第4の態様によれば、第2の態様において、前記形状情報には、前記対象の形状情報が求められる範囲である第1の計測範囲の場合には、前記第1の計測範囲内の計測結果に、前記位置の精度が高いことを示す情報が付加される形状計測システムが提供される。
 本発明の第5の態様によれば、第4の態様において、前記形状情報には、前記対象の形状情報が求められ、かつ前記第1の計測範囲よりも広い範囲である第2の計測範囲から前記第1の計測範囲を除いた領域には、前記領域内の計測結果に、前記位置の精度が低いことを示す情報が付加される形状計測システムが提供される。
 本発明の第6の態様によれば、第2の態様において、計測された位置に付加される前記位置の精度に関する属性情報は、計測された位置における前記対象検出部からの距離に応じて変更される形状計測システムが提供される。
 本発明の第7の態様によれば、第2の態様において、前記位置の精度に関する属性情報を前記形状情報とともに表示する表示装置を有する形状計測システムが提供される。
 本発明の第8の態様によれば、第2の態様において、前記形状情報は、複数のメッシュで分けられており、各メッシュは、前記対象の位置情報及び位置の精度に関する属性情報を有する形状計測システムが提供される。
 本発明の第9の態様によれば、第2の態様において、前記形状情報は、複数のメッシュで分けられており、前記演算部は、前記対象の位置情報を有する少なくとも2つの前記メッシュを用いて、前記対象の位置情報を有さないメッシュの前記位置情報を求める形状計測システムが提供される。
 本発明の第10の態様によれば、第2の態様において、前記形状情報は、複数のメッシュで分けられており、前記対象検出部の位置からの距離が大きくなるにしたがって、メッシュの大きさが大きく設定される形状計測システムが提供される。
 本発明の第11の態様によれば、第1の態様から第10の態様のいずれか1つに係る形状計測システムを有する作業機械が提供される。
 本発明の第12の態様によれば、作業機械によって前記作業機械の周囲の対象を検出する工程と、前記検出された結果を用いて、前記対象の三次元形状を表す形状情報を求めて出力する工程と、を含み、前記形状情報を求める範囲を変更できる形状計測方法が提供される。
 本発明の態様によれば、ステレオ方式による画像処理が実行される際に用いられる計測条件を変更することができる。
実施形態に係る油圧ショベルを示す斜視図である。 実施形態に係る油圧ショベルの運転席付近の斜視図である。 実施形態に係る形状計測システム、作業機械の制御システム及び施工管理システムを示す図である。 形状計測システムの検出処理装置、作業機械の制御システムが有する各種の機器類、及び管理装置のハードウェア構成例を示す図である。 実施形態に係る作業機械の形状計測システムが求める形状情報について説明するための図である。 対象の形状情報を計測する範囲を示す図である。 形状情報に含まれるメッシュを示す図である。 表示装置が、計測された位置の精度に関する属性情報を判別できるような形態で表示する例を示す図である。 位置情報を有するメッシュ及び位置情報を有さないメッシュを示す図である。 形状情報に含まれるノイズ及び作業機を示す図である。
 本発明を実施するための形態(実施形態)につき、図面を参照しつつ詳細に説明する。
<油圧ショベルの全体構成>
 図1は、実施形態に係る油圧ショベル1を示す斜視図である。図2は、実施形態に係る油圧ショベル1の運転席付近の斜視図である。作業機械である油圧ショベル1は、車体1B及び作業機2を有する。車体1Bは、旋回体3、運転室4及び走行体5を有する。旋回体3は、旋回中心軸Zrを中心として走行体5に旋回可能に取り付けられている。旋回体3は、油圧ポンプ及びエンジン等の装置を収容している。
 旋回体3は、作業機2が取り付けられて旋回する。旋回体3の上部には手すり9が取り付けられている。手すり9には、アンテナ21,22が取り付けられる。アンテナ21,22は、GNSS(Global Navigation Satellite Systems、GNSSは全地球航法衛星システムをいう)用のアンテナである。アンテナ21,22は、車体座標系(Xm,Ym,Zm)のYm軸と平行な方向に沿って、一定距離だけ離れて配置されている。アンテナ21,22は、GNSS電波を受信し、受信したGNSS電波に応じた信号を出力する。アンテナ21,22は、GPS(Global Positioning System)用のアンテナであってもよい。
 運転室4は旋回体3の前部に載置されている。運転室4の屋根には、通信用のアンテナ25Aが取り付けられている。走行体5は、履帯5a,5bを有している。履帯5a,5bが回転することにより油圧ショベル1が走行する。
 作業機2は、車体1Bの前部に取り付けられている。作業機2は、ブーム6、アーム7、作業具としてのバケット8、ブームシリンダ10、アームシリンダ11及びバケットシリンダ12を有する。実施形態において、車体1Bの前方は、図2に示される運転席4Sの背もたれ4SSから操作装置35に向かう方向側である。車体1Bの後方は、操作装置35から運転席4Sの背もたれ4SSに向かう方向側である。車体1Bの前部は、車体1Bの前方側の部分であり、車体1BのカウンタウエイトWTとは反対側の部分である。操作装置35は、作業機2及び旋回体3を操作するための装置であり、右側レバー35R及び左側レバー35Lを有する。
 ブーム6の基端部は、ブームピン13を介して車体1Bの前部に回動可能に取り付けられている。アーム7の基端部は、アームピン14を介してブーム6の先端部に回動可能に取り付けられている。アーム7の先端部には、バケットピン15を介してバケット8が回動可能に取り付けられている。
 図1に示されるブームシリンダ10、アームシリンダ11及びバケットシリンダ12は、それぞれ作動油の圧力、すなわち油圧によって駆動される油圧シリンダである。ブームシリンダ10は、油圧によって伸縮することによって、ブーム6を駆動する。アームシリンダ11は、油圧によって伸縮することによって、アーム7を駆動する。バケットシリンダ12は、油圧によって伸縮することによって、バケット8を駆動する。
 バケット8は、複数の刃8Bを有する。複数の刃8Bは、バケット8の幅方向に沿って一列に並んでいる。刃8Bの先端は、刃先8BTである。バケット8は、作業具の一例である。作業具は、バケット8に限定されない。
 旋回体3は、位置検出装置23と、姿勢検出装置の一例であるIMU(Inertial Measurement Unit:慣性計測装置)24とを有する。位置検出装置23は、アンテナ21,22から取得した信号を用いて、グローバル座標系(Xg,Yg,Zg)におけるアンテナ21,22の現在位置及び旋回体3の方位を検出して、出力する。旋回体3の方位は、グローバル座標系における旋回体3の向きを表す。旋回体3の向きは、例えば、グローバル座標系のZg軸周りにおける旋回体3の前後方向の向きで表すことができる。方位角は、旋回体3の前後方向における基準軸の、グローバル座標系のZg軸周りにおける回転角である。方位角によって旋回体3の方位が表される。
<撮像装置>
 図2に示されるように、油圧ショベル1は、運転室4内に複数の撮像装置30a,30b,30c,30dを有する。複数の撮像装置30a,30b,30c,30dは、対象の形状を検出する対象検出部の一例である。以下において、複数の撮像装置30a,30b,30c,30dを区別しない場合は適宜、撮像装置30と称する。複数の撮像装置30のうち撮像装置30a及び撮像装置30cは、作業機2側に配置される。撮像装置30の種類は限定されないが、実施形態では、例えば、CCD(Couple Charged Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを備えた撮像装置が用いられる。
 図2に示されるように、撮像装置30aと撮像装置30bとは所定の間隔をおいて同じ方向又は異なる方向を向いて運転室4内に配置される。撮像装置30cと撮像装置30dとは所定の間隔をおいて同じ方向又は異なる方向を向いて運転室4内に配置される。複数の撮像装置30a,30b,30c,30dは、これらのうち2個が組み合わされてステレオカメラを構成する。実施形態では、撮像装置30a,30bの組合せのステレオカメラ、及び撮像装置30c,30dの組合せのステレオカメラが構成される。
 実施形態において、撮像装置30a及び撮像装置30bは上方を向いており、撮像装置30c及び撮像装置30dは下方を向いている。少なくとも撮像装置30a及び撮像装置30cは、油圧ショベル1、実施形態では旋回体3の正面を向いている。撮像装置30b及び撮像装置30dは、作業機2の方に若干向けられて、すなわち、撮像装置30a及び撮像装置30c側の方に若干向けられて配置されることもある。
 実施形態において、油圧ショベル1は、4個の撮像装置30を有するが、油圧ショベル1が有する撮像装置30の数は少なくとも2個であればよく、4個に限定されない。油圧ショベル1は、少なくとも一対の撮像装置30でステレオカメラを構成して、対象をステレオ撮影するからである。
 複数の撮像装置30a,30b,30c,30dは、運転室4内の前方かつ上方に配置される。上方とは、油圧ショベル1が有する履帯5a,5bの接地面と直交し、かつ接地面から離れる方向側である。履帯5a,5bの接地面は、履帯5a,5bのうち少なくとも一方が接地する部分の、同一直線上には存在しない少なくとも3点で規定される平面である。下方は、上方とは反対方向側、すなわち履帯5a,5bの接地面と直交し、かつ接地面に向かう方向側である。
 複数の撮像装置30a,30b,30c,30dは、油圧ショベル1の車体1Bの前方に存在する対象をステレオ撮影する。対象は、例えば、油圧ショベル1が施工する対象、すなわち施工対象、油圧ショベル1以外の作業機械の施工対象及び施工現場で作業する作業者の施工対象のうち少なくとも1つである。複数の撮像装置30a,30b,30c,30dは、油圧ショベル1の所定の位置、実施形態では運転室4内の前方かつ上方から対象を検出する。実施形態においては、少なくとも一対の撮像装置30によるステレオ撮影の結果を用いて、対象が三次元計測される。複数の撮像装置30a,30b,30c,30dが配置される場所は、運転室4内の前方かつ上方に限定されるものではない。
 複数の撮像装置30a,30b,30c,30dのうち、例えば、撮像装置30cをこれらの基準とする。4個の複数の撮像装置30a,30b,30c,30dは、それぞれ座標系を有する。これらの座標系を適宜、撮像装置座標系と称する。図2では、基準となる撮像装置30cの座標系(xs,ys,zs)のみを示している。撮像装置座標系の原点は、例えば、各撮像装置30a,30b,30c,30dの中心である。
 実施形態において、各撮像装置30a,30b,30c,30dの撮像範囲は、油圧ショベル1の作業機2が施工できる範囲よりも大きい。このようにすることで、各撮像装置30a,30b,30c,30dは、作業機2が掘削できる範囲の対象を確実にステレオ撮影することができる。
 前述した車体座標系(Xm,Ym,Zm)は、車体1B、実施形態では旋回体3に固定された原点を基準とする座標系である。実施形態において、車体座標系(Xm,Ym,Zm)の原点は、例えば、旋回体3のスイングサークルの中心である。スイングサークルの中心は、旋回体3の旋回中心軸Zr上に存在する。車体座標系(Xm,Ym,Zm)のZm軸は旋回体3の旋回中心軸Zrとなる軸であり、Xm軸は旋回体3の前後方向に延び、かつZm軸と直交する軸である。Xm軸は、旋回体3の前後方向における基準軸である。Ym軸は、Zm軸及びXm軸と直交する、旋回体3の幅方向に延びる軸である。前述したグローバル座標系(Xg,Yg,Zg)は、GNSSによって計測される座標系であり、地球に固定された原点を基準とした座標系である。
 車体座標系は、実施形態の例には限定されない。車体座標系は、例えば、ブームピン13の中心を車体座標系の原点としてもよい。ブームピン13の中心とは、ブームピン13が延びる方向と直交する平面でブームピン13を切ったときの断面の中心、かつブームピン13が延びる方向における中心である。
<形状計測システム、作業機械の制御システム及び施工管理システム>
 図3は、実施形態に係る形状計測システム1S、作業機械の制御システム50及び施工管理システム100を示す図である。図3に示される形状計測システム1S、作業機械の制御システム50及び施工管理システム100の装置構成は一例であり、実施形態の装置構成例には限定されない。例えば、制御システム50に含まれる各種の装置はそれぞれ独立していなくてもよい。すなわち、複数の装置の機能が1つの装置によって実現されてもよい。
 形状計測システム1Sは、複数の撮像装置30a,30b,30c,30dと、検出処理装置51とを含む。作業機械の制御システム50(以下、適宜、制御システム50と称する)は、形状計測システム1Sと、油圧ショベル1を制御するための各種の制御装置とを含む。形状計測システム1S及び各種の制御装置は、図1に示される油圧ショベル1の車体1B、実施形態では旋回体3に備えられている。
 制御システム50が有する各種の制御装置は、図3に示される入力装置52、センサ制御装置53、機関制御装置54、ポンプ制御装置55及び作業機制御装置56を含む。この他に、制御システム50は、油圧ショベル1の状態及び油圧ショベル1による施工の状況を管理する施工管理装置57を有する。また、制御システム50は、油圧ショベル1の情報を表示したり施工のガイダンス画像を画面58Dに表示したりする表示装置58と、油圧ショベル1の外部に存在する管理施設60の管理装置61、他の作業機械70、携帯端末装置64及び管理施設60の管理装置61以外の装置のうち少なくとも1つと通信する通信装置25とを有する。さらに、制御システム50は、油圧ショベル1の制御に必要な情報を取得するための位置検出装置23及び姿勢検出装置の一例であるIMU24を有する。
 実施形態において、検出処理装置51、入力装置52、センサ制御装置53、機関制御装置54、ポンプ制御装置55、作業機制御装置56、施工管理装置57、表示装置58、位置検出装置23及び通信装置25は、信号線59に接続されて、相互に通信する。実施形態において、信号線59を用いた通信の規格はCAN(Controller Area Network)であるが、これに限定されない。以下において、油圧ショベル1というときには、油圧ショベル1が有する検出処理装置51及び入力装置52等の各種の電子装置を指すこともある。
 図4は、形状計測システム1Sの検出処理装置51、作業機械の制御システム50が有する各種の機器類、及び管理装置61のハードウェア構成例を示す図である。実施形態において、油圧ショベル1が有する検出処理装置51、センサ制御装置53、機関制御装置54、ポンプ制御装置55、作業機制御装置56、施工管理装置57、表示装置58、位置検出装置23及び通信装置25及び管理装置61は、図4に示されるように、処理部PR、記憶部MR及び入出力部IOを有する。処理部PRは、例えば、CPU(Central Processing Unit)のようなプロセッサとメモリとによって実現される。
 記憶部MRは、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(登録商標)(Electrically Erasable Programmable Read Only Memory)等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク及び光磁気ディスクのうち少なくとも1つが用いられる。
 入出力部IOは、油圧ショベル1又は管理装置61が、他の機器及び内部の装置とデータ及び信号等を送受信するためのインターフェース回路である。内部の装置には、油圧ショベル1内の信号線59も含まれる。
 油圧ショベル1と管理装置61とは、それぞれの機能を処理部PRに実現させるためのコンピュータプログラムを記憶部MRに記憶している。油圧ショベル1の処理部PRと管理装置61の処理部PRとは、記憶部MRから前述したコンピュータプログラムを読み出して実行することにより、それぞれの装置の機能を実現する。油圧ショベル1が有する各種の電子装置、機器及び管理装置61は、専用のハードウェアで実現されてもよいし、複数の処理回路が連携してそれぞれの機能を実現するものであってもよい。次に、油圧ショベル1が有する各種の電子装置及び機器について説明する。
 検出処理装置51は、一対の撮像装置30によって撮像された対象の一対の画像に、ステレオ方式における画像処理を施すことにより、対象の位置、具体的には三次元座標系における対象の座標を求める。このように、検出処理装置51は、同一の対象を少なくとも一対の撮像装置30で撮像することによって得られた一対の画像を用いて、対象を三次元計測する。すなわち、少なくとも一対の撮像装置30及び検出処理装置51は、ステレオ方式により対象を三次元計測するものである。ステレオ方式における画像処理とは、同一の対象を2つの異なる撮像装置30から観測して得られる2つの画像から、その対象までの距離を得る手法である。対象までの距離は、例えば、対象までの距離情報を濃淡により可視化した距離画像として表現される。距離画像は、対象の三次元形状を表す形状情報に相当する。
 検出処理装置51は、少なくとも一対の撮像装置30によって検出、すなわち撮像された対象の情報を取得し、取得した対象の情報から対象の三次元形状を示す形状情報を求める。実施形態では、少なくとも一対の撮像装置30が対象を撮像することにより対象の情報を生成して出力する。対象の情報は、少なくとも一対の撮像装置30によって撮像された対象の画像である。検出処理装置51は、対象の画像にステレオ方式による画像処理を施すことにより、形状情報を求め、出力する。実施形態において、少なくとも一対の撮像装置30を有する油圧ショベル1の施工対象又は施工後の対象が少なくとも一対の撮像装置30によって撮像されるが、他の作業機械70の施工対象又は施工後の対象が、少なくとも一対の撮像装置30によって撮像されてもよい。
 実施形態において、施工対象及び施工後の対象は、撮像装置30を有する油圧ショベル1、他の作業機械70、油圧ショベル1以外の作業機械及び作業者のうち少なくとも1つの施工対象及び施工後の対象であればよい。
 検出処理装置51は、演算部51A及び変更部51Bを有する。演算部51Aは、対象検出部である少なくとも一対の撮像装置30によって検出された対象の情報を用いて、対象の三次元形状を表す形状情報を求めて出力する。詳細には、演算部51Aは、少なくとも一対の撮像装置30によって撮像された一対の画像に、ステレオ方式における画像処理を施して形状情報を求めて出力する。
 変更部51Bは、演算部51Aが形状情報を求める際に用いる計測条件を変更する。演算部51A及び変更部51Bの機能は、図4に示される処理部PRが実現する。前述した計測条件は、演算部51Aが形状情報を求める際の条件を決定するための計測条件であり、詳細については後述する。
 実施形態において、少なくとも一対の撮像装置30は、油圧ショベル1に取り付けられて、油圧ショベル100の周囲の対象を検出して対象の情報を出力する対象検出部に相当する。検出処理装置51は、少なくとも一対の撮像装置30によって検出された対象の情報を用いて、対象の三次元形状を表す形状情報を出力する形状検出部に相当する。
 検出処理装置51には、ハブ31及び撮像スイッチ32が接続される。ハブ31は、複数の撮像装置30a,30b,30c,30dが接続されている。ハブ31を用いずに、撮像装置30a,30b,30c,30dと検出処理装置51とが接続されてもよい。撮像装置30a,30b,30c,30dが対象を検出した結果、すなわち対象を撮像した結果は、ハブ31を介して検出処理装置51に入力される。検出処理装置51は、ハブ31を介して、撮像装置30a,30b,30c,30dが撮像した結果、実施形態では対象の画像を取得する。実施形態において、撮像スイッチ32が操作されると、少なくとも一対の撮像装置30は対象を撮像する。撮像スイッチ32は、図2に示される運転室4内の操作装置35の近傍に設置される。撮像スイッチ32の設置場所はこれに限定されない。
 入力装置52は、形状計測システム1S及び制御システム50へ命令を入力したり、情報を入力したり、設定を変更したりするための装置である。入力装置52は、例えば、キー、ポインティングデバイス及びタッチパネルであるが、これらに限定されない。後述する表示装置58の画面58Dにタッチパネルを設けることにより、表示装置58に入力機能を持たせてもよい。この場合、制御システム50は入力装置52を有さなくてもよい。
 センサ制御装置53は、油圧ショベル1の状態の情報及び油圧ショベル1の周囲の状態の情報を検出するためのセンサ類が接続される。センサ制御装置53は、センサ類から取得した情報を、他の電子装置及び機器が取り扱うことのできるフォーマットに変換して出力する。油圧ショベル1の状態の情報は、例えば、油圧ショベル1の姿勢の情報及び作業機2の姿勢の情報等である。図3に示される例では、油圧ショベル1の状態の情報を検出するセンサとして、IMU24、第1角度検出部18A、第2角度検出部18B及び第3角度検出部18Cがセンサ制御装置53に接続されているが、センサ類はこれらに限定されない。
 IMU24は、自身に作用する加速度及び角速度、すなわち油圧ショベル1に作用する加速度及び角速度を検出して出力する。油圧ショベル1に作用する加速度及び角速度から、油圧ショベル1の姿勢が分かる。油圧ショベル1の姿勢を検出できれば、IMU24以外の装置であってもよい。実施形態において、第1角度検出部18A、第2角度検出部18B及び第3角度検出部18Cは、例えばストロークセンサである。これらは、それぞれが、ブームシリンダ10、アームシリンダ11及びバケットシリンダ12のストローク長さを検出することにより、車体1Bに対するブーム6の回動角と、ブーム6に対するアーム7の回動角と、アーム7に対するバケット8の回動角とを間接的に検出する。第1角度検出部18A、第2角度検出部18B及び第3角度検出部18Cによって検出された車体1Bに対するブーム6の回動角、ブーム6に対するアーム7の回動角及びアーム7に対するバケット8の回動角と、作業機2の寸法とから、車体座標系における作業機2の部分の位置が分かる。例えば、作業機2の部分の位置としては、例えば、バケット8の刃先8BTの位置である。第1角度検出部18A、第2角度検出部18B及び第3角度検出部18Cは、ストロークセンサに代えてポテンショメータ又は傾斜計であってもよい。
 機関制御装置54は、油圧ショベル1の動力発生装置である内燃機関27を制御する。内燃機関27は、例えばディーゼルエンジンであるが、これに限定されない。また、油圧ショベル1の動力発生装置は、内燃機関27と発電電動機とを組み合わせたハイブリッド方式の装置であってもよい。内燃機関27は、油圧ポンプ28を駆動する。
 ポンプ制御装置55は、油圧ポンプ28から吐出される作動油の流量を制御する。実施形態において、ポンプ制御装置55は、油圧ポンプ28から吐出される作動油の流量を調整するための制御指令の信号を生成する。ポンプ制御装置55は、生成した制御信号を用いて油圧ポンプ28の斜板角を変更することにより、油圧ポンプ28から吐出される作動油の流量を変更する。油圧ポンプ28から吐出された作動油は、コントロールバルブ29に供給される。コントロールバルブ29は、油圧ポンプ28から供給された作動油を、ブームシリンダ10、アームシリンダ11、バケットシリンダ12及び油圧モータ5M等の油圧機器に供給して、これらを駆動する。
 作業機制御装置56は、例えば、バケット8の刃先8BTを目標とする施工面に沿って移動させる制御を実行する。作業機制御装置56は、作業機制御部に相当する。この制御を、以下においては適宜、作業機制御と称する。作業機制御装置56は、作業機制御を実行するにあたって、例えば、施工時に目標とする情報である目標施工情報に含まれる目標施工面にバケット8の刃先8BTが沿うようにコントロールバルブ29を制御して作業機2を制御する。
 施工管理装置57は、例えば、検出処理装置51が求めた形状情報のうち、油圧ショベル1が施工対象を施工した施工結果の形状情報、及び油圧ショベル1がこれから施工しようとする対象の現況地形を示す形状情報の少なくとも一方を収集し、記憶部57Mに記憶させる。施工管理装置57は、記憶部57Mに記憶させた形状情報を、通信装置25を介して管理装置61又は携帯端末装置64に送信する。施工管理装置57は、記憶部57Mに記憶させた施工結果の形状情報を、通信装置25を介して管理装置61又は携帯端末装置64に送信する。施工管理装置57は、検出処理装置51が求めた形状情報及び目標施工情報の少なくとも一方を収集し、記憶部57Mに記憶せずに管理装置61又は携帯端末装置64に送信してもよい。記憶部57Mは、図4に示される記憶部MRに相当する。以下において、油圧ショベル1が施工対象を施工した施工結果の形状情報を適宜、施工結果と称することがある。
 施工管理装置57は、油圧ショベル1の外部に設けられた、例えば管理装置61に設けられてもよい。この場合、施工管理装置57は、油圧ショベル1から通信装置25を介して施工結果の形状情報、及び油圧ショベル1がこれから施工しようとする対象の現況地形を示す形状情報の少なくとも一方を取得する。
 施工結果は、例えば、少なくとも一対の撮像装置30が施工後の対象を撮像し、検出処理装置51が撮像結果にステレオ方式による画像処理を施すことによって求められた形状情報である。以下、施工しようとする対象の現況地形を示す形状情報を、適宜、現況地形情報と称する。また、形状情報は、施工結果を示す形状情報である場合と、現況地形を示す形状情報である場合とがある。現況地形情報とは、例えば、油圧ショベル1、他の作業機械70又は作業者等が施工しようとする対象が少なくとも一対の撮像装置30によって撮像され、検出処理装置51によって求められた形状情報である。
 施工管理装置57は、例えば、一日の作業が終了した後に施工結果を収集して管理装置61及び携帯端末装置64の少なくとも一方に送信したり、一日の作業のうち複数回施工結果を収集して管理装置61及び携帯端末装置64の少なくとも一方に送信したりする。施工管理装置57は、例えば朝の作業前に、施工前の形状情報を管理装置61又は携帯端末装置64に送信してもよい。
 実施形態では、施工管理装置57は、例えば一日の作業のうち、正午と作業終了時との2回の施工結果を収集し、管理装置61又は携帯端末装置64に送信する。施工結果は、施工現場全体のうち、施工が行われた範囲が撮像されることによって得られた施工結果であってもよいし、施工現場全体が撮像されることによって得られた施工結果であってもよい。管理装置61又は携帯端末装置64に送信される施工結果を施工が行われた範囲のものとすることにより、撮像時間、画像処理時間及び施工結果の送信時間の増加を抑制できるので好ましい。
 表示装置58は、液晶表示パネルのようなディスプレイの画面58Dに、油圧ショベル1の情報を表示したり施工のガイダンス画像を画面58Dに表示したりする他、実施形態においては、前述した作業機制御が実行される場合に作業機2の位置を求める。表示装置58が求める刃先8BTの位置は、実施形態はバケット8の刃先8BTの位置である。表示装置58は、位置検出装置23が検出したアンテナ21,22の現在位置と、第1角度検出部18A、第2角度検出部18B及び第3角度検出部18Cによって検出された回動角と、記憶部MRに記憶された作業機2の寸法と、IMU24の出力データとを取得し、これらを用いてバケット8の刃先8BTの位置を求める。実施形態では、表示装置58がバケット8の刃先8BTの位置を求めているが、バケット8の刃先8BTの位置は表示装置58以外の装置が求めてもよい。
 通信装置25は、実施形態における通信部である。通信装置25は、管理施設60の管理装置61、他の作業機械70及び携帯端末装置64の少なくとも1つと通信回線NTWを介して通信して、互いに情報をやり取りする。通信装置25がやり取りする情報のうち、制御システム50から管理装置61、他の作業機械70及び携帯端末装置64の少なくとも1つに送信する情報は、施工に関する情報がある。施工に関する情報は、前述した形状情報及び形状情報から得られた情報の少なくとも一方を含む。形状情報から得られた情報は、例えば、前述した目標施工情報及び形状情報でも形状情報を加工して得られた情報を含むが、これらに限定されるものではない。施工に関する情報は、検出処理装置51の記憶部、入力装置52の記憶部及び施工管理装置57の記憶部57Mに記憶されてから通信装置25によって送信されてもよいし、記憶されずに送信されてもよい。
 実施形態において、通信装置25は無線通信によって通信する。このため、通信装置25は、無線通信用のアンテナ25Aを有する。携帯端末装置64は、例えば、油圧ショベル1の作業を管理する管理者が所持しているものであるが、これに限定されない。他の作業機械70は、制御システム50を有する油圧ショベル1及び管理装置61の少なくとも一方と通信する機能を有している。他の作業機械70は、制御システム50を有する油圧ショベル1であってもよいし、制御システム50を有さない油圧ショベルであってもよいし、油圧ショベル1以外の作業機械であってもよい。通信装置25は、管理施設60の管理装置61、他の作業機械70及び携帯端末装置64の少なくとも1つと有線通信を介して通信して、互いに情報をやり取りするようにしてもよい。
 施工管理システム100は、管理施設60の管理装置61と、形状計測システム1Sと、制御システム50と、制御システム50を有する油圧ショベル1とを含む。施工管理システム100は、さらに携帯端末装置64を含んでいてもよい。施工管理システム100に含まれる、制御システム50を有する油圧ショベル1は単数でもよいし、複数でもよい。図3に示されるように、管理施設60は、管理装置61と、通信装置62とを有する。管理装置61は、通信装置62及び通信回線NTWを介して、少なくとも油圧ショベル1と通信する。管理装置61は、携帯端末装置64と通信したり、他の作業機械70と通信したりしてもよい。油圧ショベル1と他の作業機械70とは、直接、無線通信できるように無線通信機器を搭載してもよい。そして、油圧ショベル1及び他の作業機械70の少なくとも一方は、管理施設60の管理装置61等で実行される処理を実行できるような機器又は電子装置を搭載してもよい。
 管理装置61は、油圧ショベル1から施工結果及び現況地形情報の少なくとも一方を受け取り、施工の進捗状況を管理する。
<対象の施工>
 実施形態において、制御システム50は、図2に示される複数の撮像装置30のうち少なくとも2つを用いて施工する対象を撮像することによって、施工対象の形状を示す情報である形状情報を得る。制御システム50は、例えば、通信装置25を介して形状情報を管理装置61に送信する。管理装置61は、油圧ショベル1から送信された形状情報を受け取り、施工管理に用いる。
<対象の撮像及び形状情報の生成>
 図5は、実施形態に係る作業機械の形状計測システム1Sが求める形状情報について説明するための図である。実施形態において、油圧ショベル1がこれから施工しようとする部分である施工対象OBPは、油圧ショベル1の前方にある。形状情報は、施工対象OBPから求められる。形状計測システム1Sは、施工対象OBPから形状情報を生成する場合、少なくとも一対の撮像装置30に施工対象OBPを撮像させる。実施形態では、油圧ショベル1のオペレータが、図3に示される撮像スイッチ32を操作して撮像指令を検出処理装置51に入力すると、検出処理装置51は少なくとも一対の撮像装置30に施工対象OBPを撮像させる。
 形状計測システム1Sの検出処理装置51は、少なくとも一対の撮像装置30が撮像した施工対象OBPの画像にステレオ方式による画像処理を施して、施工対象OBPの位置情報、実施形態では三次元位置情報を求める。検出処理装置51が求めた施工対象OBPの位置情報は、撮像装置30の座標系における情報なので、グローバル座標系における位置情報に変換される。グローバル座標系における対象、例えば施工対象OBPの位置情報が形状情報である。実施形態において、形状情報は、グローバル座標系における施工対象OBPの表面の位置Pr(Xg,Yg,Zg)を少なくとも1つ含む情報である。位置Pr(Xg,Yg,Zg)は、グローバル座標系における座標であり、三次元位置情報である。検出処理装置51は、少なくとも一対の撮像装置30によって撮像された画像から得られた施工対象OBPの位置を、グローバル座標系における位置に変換する。施工対象OBPの表面の位置は、施工後及び施工途中における施工対象OBPの表面の位置を含む。
 検出処理装置51は、少なくとも一対の撮像装置30によって撮像された施工対象OBPの領域全体にわたって、施工対象OBPの表面の位置Pr(Xg,Yg,Zg)を求め、出力する。実施形態において、検出処理装置51は、求めた位置Pr(Xg,Yg,Zg)のデータファイルを生成する。データファイルは、n個(nは1以上の整数)の位置Pr(Xg,Yg,Zg)の集合である。データファイルも、実施形態における形状情報に該当する。
 実施形態において、検出処理装置51はデータファイルを生成したら、自身の記憶部に記憶させる。施工管理装置57は、検出処理装置51が生成したデータファイルを、通信装置25から図3に示される管理装置61、携帯端末装置64及び他の作業機械70の少なくとも一つに送信してもよい。
 実施形態において、図3に示される撮像スイッチ32が操作されると、少なくとも一対の撮像装置30が対象を撮像する。検出処理装置51の演算部51Aは撮像装置30によって撮像された画像にステレオ方式による画像処理を施して形状情報を生成する。検出処理装置51の演算部51Aは、データファイルを出力する。データファイルは、施工管理装置57及び通信装置25を介して、又は通信装置25を介して管理装置61及び携帯端末装置64の少なくとも一方に送信する。
 検出処理装置51は、油圧ショベル1の周辺を監視するため、所定の時間毎、例えば10分毎に少なくとも一対の撮像装置30に対象を撮像させる。少なくとも一対の撮像装置30によって撮像された三次元画像は、検出処理装置51の記憶部に記憶されて、ある程度の情報が蓄積されたら通信装置25を介して管理装置61に送信される。前述した三次元画像は、データファイルが管理装置61に送信されるタイミングで送信されてもよいし、撮像されたら速やかに管理装置61へ送信されてもよい。
 実施形態において、検出処理装置51が、例えば複数の撮像装置30が起動していることを認識していること、信号線59が断線していないこと、IMU24の出力が安定していること、及びGNSSによる測位がFIX(正常)であることを条件(許可条件)に、検出処理装置51は、撮像装置30を用いた三次元計測を許可するようにしてもよい。許可条件が1つでも成立していない場合、撮像スイッチ32が操作されても、検出処理装置51は撮像装置30を用いた三次元計測を許可しない。IMU24の出力が安定しているとは、油圧ショベル1が静止している状態であることを意味する。撮像装置30による三次元計測に、前述した条件を設けることで、対象の計測精度の低下が抑制される。制御システム50は、許可条件のいずれか一つを用いてもよいし、許可条件を用いなくてもよい。
 油圧ショベル1から送信されたデータファイルは、管理装置61の記憶部に記憶される。データファイルが携帯端末装置64に送信される場合、データファイルは携帯端末装置64の記憶部に記憶されてもよい。管理装置61は、複数の異なる場所のデータファイルを統合することにより、施工現場の地形を得ることができる。管理装置61は、複数の異なる場所のデータファイルから得られた施工現場の地形を用いて施工管理を行うことができる。管理装置61は、複数のデータファイルを統合する場合、x座標及びy座標が同一の位置のデータが複数存在する場合には、予め定められたルールに基づいていずれかのデータを優先してもよい。予め定められたルールは、時間が最新の位置データを優先するものが例示される。
 このように、形状情報であるデータファイルにより、施工現場の施工に関する様々な情報が得られる。データファイルを用いて現況情報を生成したり、盛土量又は除去された土の量を求めたりする処理は、管理装置61、携帯端末装置64及び油圧ショベル1の施工管理装置57のいずれが実行してもよい。また、管理装置61、携帯端末装置64又は油圧ショベル1の施工管理装置57のいずれかが前述した処理を実行し、通信回線NTWを介して他の機器に結果を送信してもよい。前述した処理の結果は、通信だけでなく、ストレージデバイスに記憶されて、他の機器に受け渡されてもよい。
<計測条件の変更>
 形状計測システム1Sの検出処理装置51が有する変更部51Bは、前述したように、形状情報を求める際に用いられる計測条件を変更する。この場合、変更部51Bは、信号線59を介して計測条件を変更する指令(以下において適宜、変更指令と称する)を受け付けると、計測条件を変更する。変更指令は、例えば管理装置61又は携帯端末装置64から送信され、通信装置25及び信号線59を介して変更部51Bに与えられる。この他にも、変更指令は、油圧ショベル1の入力装置52から変更部51Bに与えられてもよい。変更指令が管理装置61から送信される場合、入力装置68を介して変更指令が管理装置61に与えられる。
 計測条件は、例えば検出処理装置51の演算部51Aにより計測される対象の形状情報を求める範囲とすることができる。詳細には、検出処理装置51の演算部51Aは、変更部51Bからの変更指令を受け取ると、一対の撮像装置30によって撮影された対象の情報、すなわち一対の撮影画像の重複領域の中から実際に形状情報を計測する対象の範囲を変更することができる。実施形態において、対象とは現況地形である。対象の情報とは少なくとも一対の撮像装置30によって検出、すなわち撮像された画像である。対象の形状情報とは対象の情報である対象の画像にステレオ方式による画像処理を施すことによって生成される現況地形の三次元形状の情報である。
 図6は、対象の形状情報を計測する範囲Aを示す図である。図6に示される範囲Aは、演算部51Aが形状情報を求める範囲であり、一対の撮像装置30の撮像範囲の重複領域の一部又は全領域である。一対の撮像装置30によって対象を撮像した場合、対象の情報とは、それぞれの撮像装置30から出力された2つの画像を示す。
 一対の撮像装置30が対象の形状情報を計測する範囲Aが大きくなると、一対の撮像装置30による一回の撮像で、広い範囲の形状情報を得ることができる。実施形態において、図3に示される検出処理装置51の変更部51Bは、一対の撮像装置30によって計測される対象の範囲Aを計測条件として、携帯端末装置64、管理装置61又は油圧ショベル1の入力装置52からの変更指令に基づいて、対象の計測範囲Aを変更する。
 実施形態において、変更部51Bは、変更指令に応じて、計測条件である対象の計測範囲Aを、第1の範囲A1と、第1の範囲A1よりも広い範囲である第2の範囲A2とに変更する。第1の範囲A1は、撮像装置30の位置PTからの距離がD1までの範囲であり、第2の範囲A2は、撮像装置30の位置PTからの距離が、距離D1よりも大きい距離D2までの範囲である。
 このように、検出処理装置51の変更部51Bは、一対の撮像装置30によって撮像された対象の計測範囲Aを、変更指令に基づいて変更する。このため、検出処理装置51は、対象の計測範囲Aを相対的に大きい範囲とすることにより、少なくとも一対の撮像装置30の撮像回数を相対的に少なくできる。このため、検出処理装置51は、効率よく形状情報を計測できる。検出処理装置51が対象の計測範囲Aを相対的に大きくして形状情報を計測することは、広い施工現場において特に有効である。
 一方で、検出処理装置51が対象の計測範囲Aを相対的に大きくして形状情報を計測すると、特に一対の撮像装置30から遠くの領域(図6における第2の計測範囲A2から第1の計測範囲A1を除いた領域)における形状情報の計測精度が、一対の撮像装置30から近くの領域(図6における第1の計測範囲A1)よりも相対的に低下することになる。そこで、形状情報の高い計測精度が要求される場合、検出処理装置51は、対象の計測範囲Aを相対的に小さい範囲とすることにより、形状情報の精度を向上させることができる。
 実施形態において、演算部51Aは、変更部51Bからの変更指令を受け取ると、一対の撮像装置30によって撮影された対象の情報から対象の形状情報を計測する範囲を変更するものとしたが、これに限定されない。例えば、演算部51Aは、変更部51Bを介さずに、管理装置61、携帯端末装置64又は油圧ショベル1の入力装置52から変更指令を受け取ることができるようにしてもよい。
 例えば変更指令を出力できる装置を管理装置61からのみに限定すると、油圧ショベル1のオペレータが自由に計測範囲を切り替えることができなくなるため、形状情報の計測精度が不用意に低下してしまうことを防止できる。すなわち、例えば現場監督者のみが計測範囲を切り替えることができるようにすれば、想定した計測精度で対象の形状情報を計測できるようになる。また、携帯端末装置64又は油圧ショベル1の入力装置52から変更指令を出力できるようにしたとしても、変更指令を出力するために、例えば現場監督者のみが知り得るパスワード等を必要とすることで、上記と同様に想定した計測精度で対象の形状情報を計測できるようになる。
 実施形態において、形状情報は、グローバル座標系の各x座標及びy座標に配置される予め定められた大きさの複数のメッシュで分けられている。各メッシュ位置における対象のz座標位置は、メッシュにおける対象の位置情報と定義される。メッシュの大きさは変更されてもよく、メッシュの大きさを計測条件の一つとしてもよい。
 図7は、形状情報に含まれる複数のメッシュMSを示す図である。図7に示されるように、検出処理装置51から出力される形状情報は、各メッシュMSが配置される位置における対象の位置情報(z座標位置)を含む。ステレオ方式による画像処理によって対象の位置が得られない部分のメッシュは、対象の位置情報を有さない。
 メッシュMSの形状は、矩形である。メッシュMSは、1つの辺の長さがD1、長さD1の辺と直交する辺の長さがD2である。長さD1と長さD2とは等しくてもよいし、異なっていてもよい。メッシュMSが有する位置情報(x座標、y座標、z座標)は、メッシュMSの位置の代表値であり、例えば、メッシュMSの4つの角の平均値又はメッシュMSの中心における位置としてもよい。なお、メッシュMSの形状は矩形に限定されず、例えば、三角形又は五角形等の多角形でもよい。
 検出処理装置51の変更部51Bは、メッシュMSの大きさを変更する変更指令に基づいて、形状情報のメッシュMSの大きさを変更することができる。例えば、変更部51BがメッシュMSの辺の長さD1,D2を大きく変更することにより、メッシュMSの大きさを変更する場合、形状情報に含まれる位置情報が少なくなる(位置情報の密度が小さくなる)。その結果、形状情報の情報量は低減されるが、形状情報の計測精度は低下する。メッシュMSの大きさが相対的に小さくされる場合、形状情報に含まれる位置情報が多くなるので、形状情報から対象の細かい位置情報を得ることができる一方、形状情報の情報量が増加する。
 実施形態において、一対の撮像装置30の位置PTからの距離が大きくなるにしたがって、メッシュMSの大きさは大きくされてもよい。例えば、第2の範囲A2から第1の範囲A1を除いた領域におけるメッシュMSの大きさが、第1の範囲A1の領域におけるメッシュMSよりも大きくされてもよい。一対の撮像装置30からの距離が遠くなるほど、地形のうねり等の影響により、メッシュMSにおける位置情報が計測されなくなるが、一対の撮像装置30から離れたメッシュMSを大きくすることにより、そのメッシュMSの領域内における位置情報が計測されやすくなる。
 メッシュMSは、位置情報に加え、位置の精度に関する属性情報を有してもよい。位置の精度に関する属性情報として、例えば、計測した位置における計測精度の情報である精度情報であってもよいし、計測した位置における一対の撮像装置30からの距離データであってもよいし、複数の計測範囲や計測手法を切り替えることができる場合は、いずれの計測範囲や計測手法を用いて計測した位置情報であるかを示すデータであってもよい。対象の形状情報が計測される(求められる)範囲Aを、一対の撮像装置30からより遠くの領域まで計測するようにすると、ステレオカメラによる地形計測の性質上、特に遠くの領域における位置の計測精度が低下する。そこで、例えば、検出処理装置51の演算部51Aは、計測された位置の計測結果(x,y,z座標)に、位置の精度に関する属性情報を加えることができる。すなわち、形状情報は、位置情報に加え、各計測された位置における位置の精度に関する属性情報を有する。
 詳細には、計測範囲を図6に示される第1の範囲A1として計測した場合、演算部51Aは、第1の範囲A1の計測結果に、一律して計測した位置精度が高いことを示す情報を付加してもよい。また、対象の形状情報が計測される(求められる)範囲を第2の範囲A2として計測した場合、演算部51Aは、第2の範囲A2の計測結果に、一律して計測した位置精度が低いことを示す情報を付加してもよい。
 さらに、演算部51Aは、計測範囲をどちらするかにかかわらず、第1の範囲A1における計測結果、すなわちメッシュMSの位置情報にその位置精度が高いことを示す情報を付加し、第2の範囲A2から第1の範囲A1を除いた領域における計測結果、すなわちメッシュMSの位置情報にその位置精度が低いことを示す情報を付加してもよい。演算部51Aは、第1の範囲A1及び第2の範囲A2という領域にかかわらず、一対の撮像装置30から近い位置にあるメッシュMSにはその位置精度が高いことを示す情報を付加し、一対の撮像装置30から遠い位置にあるメッシュMSにはその位置精度が低いことを示す情報を付加し、その精度に関する属性情報は距離に応じて段階的に設定されるようにしてもよい。つまり、演算部51Aは、形状情報の定められた範囲であるメッシュMS毎に位置の精度に関する属性情報を付加するとともに、メッシュMSに付加され位置の精度に関する属性情報を、対象検出部である一対の撮像装置30からの距離に応じて変更してもよい。
 位置精度が高いという情報及び位置精度が低いという情報は、例えば、予め定められた基準の位置精度と比較して高低が定められる。また、位置精度の高低は、例えば、第1の範囲A1は位置精度が高く、第1の範囲A1からの距離が大きくなるにしたがって、段階的に又は連続的に位置精度が低くなるようにしてもよい。
 このようにすることで、形状情報であるデータファイルを取得した管理装置61は、複数のデータファイルを統合する際に、精度に関する属性情報に基づき、相対的に高い精度の位置情報を採用することも可能である。その結果、統合によって得られた施工現場の地形の位置精度を高めることができる。
 図8は、表示装置が、計測された位置の精度に関する属性情報を判別できるような形態で表示する例を示す図である。表示装置は、実施形態においては管理装置61の表示装置67、携帯端末装置64及び油圧ショベル1内の表示装置58の少なくとも1つは、一対の撮像装置30によって計測された、施工の対象となる現況地形データを表示する際に、計測された位置の精度に関する属性情報が判別できるような形態で表示してもよい。例えば、表示装置は、位置の精度に関する属性情報を形状情報とともに表示する。このとき、表示装置は、位置の精度に関する属性情報に応じて形状情報の表示形態を変更して表示する。すなわち、位置の精度に関する属性情報は、形状情報の表示形態によって表される。図8に示される例では、位置の精度が高い領域AHと低い領域ALとで、表示形態が変更されている。このようにすることで、位置の計測精度が低い領域を容易に判別できるため、必要に応じて制度の高い計測方法により再計測を効率的に行うことができる。
 あるメッシュの領域内において、検出処理装置51の演算部51Aにより対象の位置情報(z座標位置)を計測できた場合は、そのメッシュにおける位置情報が記憶されるが、そのメッシュの領域内において位置情報を計測できなかった場合は、そのメッシュにおける位置情報は記憶されない。そのような場合であっても、当該メッシュの近傍にある位置情報が記憶されている複数のメッシュを用いて、位置情報が計測されなかったメッシュの位置情報を推測することができる。計測条件の一つとして、位置情報が計測されなかったメッシュの位置情報を推測するか否かを選択できるようにしてもよい。
 図9は、位置情報を有するメッシュMSxp,MSxm,MSyp,MSym及び位置情報を有さないメッシュMStを示す図である。検出処理装置51の演算部51Aは、対象の位置情報を有する少なくとも2つのメッシュを用いて、対象の位置情報を有さないメッシュMStの位置情報を求めることができる。変更部51Bは、変更指令によって、対象の位置情報を有さないメッシュMStの位置情報を求めるか否かを選択する。
 演算部51Aは、メッシュMStの位置情報を求めるにあたって、形状情報からメッシュMStを探索する。演算部51Aは、位置情報を有さないメッシュMStを発見した場合、例えばメッシュMStを基準に、第1の方向であるX方向及びY方向の+方向と-方向との両方に沿って、位置情報を有するメッシュを探索する。探索の結果、位置情報を有するメッシュが存在した場合、演算部51Aは、それぞれの方向における最近傍に存在する少なくとも2つのメッシュMSxp,MSxm,MSyp,MSymの位置情報を用いて、補間によってメッシュMStの位置情報を求める。探索する方向はX方向及びY方向に限られず、斜め方向に探索してもよい。補間の方法は既知の方法でよく、例えばバイリニア補間でもよい。
 検出処理装置51は、対象の位置情報を有する少なくとも2つのメッシュを用いて、対象の位置情報を有さないメッシュMStの位置情報を求めるので、ステレオ方式による画像処理によって形状情報が求められなかった部分の位置情報も得ることができる。また、対象の位置情報を有さないメッシュの位置情報を求めるか否かを選択できるので、例えば、位置情報が不要な場合は、対象の位置情報を有さないメッシュの位置情報を求めないようにすることも可能である。このようにすれば、形状情報の情報量を低減することもできる。
 図10は、形状情報に含まれるノイズ及び作業機を示す図である。実施形態において、演算部51Aは、形状情報から電線、木及び家屋等のノイズを除去するようにしてもよい。この場合、演算部51Aがノイズを除去するか否かを計測条件としてもよい。ノイズを除去するとは、次の場合が想定される。例えば、検出処理装置51が対象における所定の位置(あるx座標及びy座標に位置するメッシュ)において電線を検出した場合、検出処理装置51は、対象における同一の位置(同一のメッシュ)に存在する現況地形も同時に検出してしまう可能性がある。その場合、一つの位置(一つのメッシュ)に2つの高さ(z座標)に位置情報が存在することになる。そのような場合に、その位置(メッシュ)における位置情報を計測しないようにすることで、不確実なデータ、すなわちノイズを除去することができる。
 実施形態において、計測条件は、演算部51Aがノイズを除去するか否かを選択するもの及び演算部51Aによって除去されるノイズの大きさの少なくとも一方とすることができる。演算部51Aがノイズを除去するか否かを選択するものが計測条件である場合、変更部51Bは、変更指令に基づき、演算部51Aに形状情報中のノイズを除去させるか、除去させないかを判定する。演算部51Aは、変更部51Bの判定結果に基づいて、形状情報中のノイズを除去したり、そのままにしたりする。このような処理により、ノイズの除去が不要な場合は演算部51Aの処理の負荷が低減される。
 演算部51Aによって除去されるノイズの大きさが計測条件である場合、変更部51Bは、変更指令に基づき、演算部51Aが除去するノイズの大きさを変更する。演算部51Aは、変更部51Bによって変更された後の大きさのノイズよりも大きいものを除去する。このような処理により、演算部51Aは、除去する必要がない程度の大きさのノイズは除去しないので、演算部51Aの処理の負荷が低減される。
 形状計測システム1Sは、少なくとも一対の撮像装置30と、少なくとも一対の撮像装置30によって検出された対象の情報を用いて、対象の三次元形状を表す形状情報を求めて出力する演算部51Aと、演算部51Aが形状情報を求める際に用いる計測条件を変更する変更部51Bとを有する。計測条件は、演算部51Aが、少なくとも一対の撮像装置30によって得られた対象の情報にステレオ方式による画像処理を施して形状情報を求める際に用いられる。このため、形状計測システム1Sは、変更部51Bにより、ステレオ方式による画像処理が実行される際に用いられる計測条件を変更することができる。
 実施形態に係る形状計測方法は、作業機械によって施工された対象を検出して、前記対象の情報を出力する工程と、出力された前記対象の情報を用いて、前記対象の三次元形状を表す形状情報を求めて出力する工程と、を含み、前記形状情報を求める際に用いる計測条件を変更できる。このため、形状計測方法は、ステレオ方式による画像処理が実行される際に用いられる計測条件を変更することができる。
 作業機械は、施工対象を施工、例えば掘削及び運搬等を行うことができれば油圧ショベルに限定されず、例えば、ホイールローダー及びブルドーザーのような作業機械であってもよい。
 実施形態では、形状情報は予め定められた大きさの複数のメッシュで分けられているが、それに限られず、例えば、メッシュを用いずステレオカメラにより計測できたポイント(xy座標を基準)に基づいて現況の形状が計測され、管理されるようにしてもよい。
 実施形態では、対象検出部として、少なくとも一対の撮像装置30を用いて説明したが、対象検出部はこれに限られない。例えば一対の撮像装置30の代わりにレーザスキャナのような3Dスキャナが対象検出部として用いられてもよい。3Dスキャナは、対象の情報を検出し、3Dスキャナによって検出された対象の情報に基づいて、演算部51Aは対象の形状情報を演算することができる。
 実施形態では、検出処理装置51において、複数のカメラ画像に基づいてステレオ処理して三次元計測処理をしたが、検出処理装置51はカメラ画像を外部に送信して、ステレオ方式による画像処理を管理施設60の管理装置61で行ってもよいし、携帯端末装置64で行ってもよい。
 以上、実施形態を説明したが、前述した内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。前述した構成要素は適宜組み合わせることが可能である。実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも1つを行うことができる。
1 油圧ショベル
1B 車体
1S 形状計測システム
2 作業機
3 旋回体
4 運転室
5 走行体
23 位置検出装置
25 通信装置
30,30a,30b,30c,30d 撮像装置(対象検出部)
50 作業機械の制御システム
51 検出処理装置
51A 演算部
51B 変更部
52 入力装置
57 施工管理装置
57M 記憶部
60 管理施設
61 管理装置
64 携帯端末装置
100 施工管理システム

Claims (12)

  1.  作業機械に取り付けられ、前記作業機械の周囲の対象を検出する対象検出部と、
     前記対象検出部によって検出された検出結果を用いて、前記対象の三次元形状を表す形状情報を求める演算部と、を備え、
     前記演算部は、前記形状情報を求める範囲を変更できる、形状計測システム。
  2.  前記形状情報には、
     位置の精度に関する属性情報が付加される、請求項1に記載の形状計測システム。
  3.  前記演算部は、前記形状情報を求める範囲を変更するための信号を、管理装置、携帯端末装置又は前記作業機械の入力装置から受け取る、請求項1に記載の形状計測システム。
  4.  前記形状情報には、
     前記対象の形状情報が求められる範囲である第1の計測範囲の場合には、前記第1の計測範囲内の計測結果に、前記位置の精度が高いことを示す情報が付加される、請求項2に記載の形状計測システム。
  5.  前記形状情報には、
     前記対象の形状情報が求められ、かつ前記第1の計測範囲よりも広い範囲である第2の計測範囲から前記第1の計測範囲を除いた領域には、前記領域内の計測結果に、前記位置の精度が低いことを示す情報が付加される、請求項4に記載の形状計測システム。
  6.  計測された位置に付加される前記位置の精度に関する属性情報は、計測された位置における前記対象検出部からの距離に応じて変更される、請求項2に記載の形状計測システム。
  7.  前記位置の精度に関する属性情報を前記形状情報とともに表示する表示装置を有する、請求項2に記載の形状計測システム。
  8.  前記形状情報は、複数のメッシュで分けられており、
     各メッシュは、前記対象の位置情報及び位置の精度に関する属性情報を有する、請求項2に記載の形状計測システム。
  9.  前記形状情報は、複数のメッシュで分けられており、
     前記演算部は、前記対象の位置情報を有する少なくとも2つの前記メッシュを用いて、前記対象の位置情報を有さないメッシュの前記位置情報を求める、請求項2に記載の形状計測システム。
  10.  前記形状情報は、複数のメッシュで分けられており、
     前記対象検出部の位置からの距離が大きくなるにしたがって、メッシュの大きさが大きく設定される、
     請求項2に記載の形状計測システム。
  11.  請求項1から請求項10のいずれか1項に記載の形状計測システムを有する、作業機械。
  12.  作業機械によって前記作業機械の周囲の対象を検出する工程と、
     前記検出された結果を用いて、前記対象の三次元形状を表す形状情報を求めて出力する工程と、を含み、
     前記形状情報を求める範囲を変更できる、形状計測方法。
PCT/JP2017/019717 2016-05-31 2017-05-26 形状計測システム、作業機械及び形状計測方法 WO2017208997A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020187027165A KR20180115756A (ko) 2016-05-31 2017-05-26 형상 계측 시스템, 작업 기계 및 형상 계측 방법
DE112017001523.5T DE112017001523T5 (de) 2016-05-31 2017-05-26 Formmesssystem, Arbeitsmaschine und Formmessverfahren
US16/084,740 US20190078294A1 (en) 2016-05-31 2017-05-26 Shape measurement system, work machine, and shape measurement method
CN201780017856.1A CN108885102B (zh) 2016-05-31 2017-05-26 形状测量系统、作业机械及形状测量方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016109578A JP6674846B2 (ja) 2016-05-31 2016-05-31 形状計測システム、作業機械及び形状計測方法
JP2016-109578 2016-05-31

Publications (1)

Publication Number Publication Date
WO2017208997A1 true WO2017208997A1 (ja) 2017-12-07

Family

ID=60478582

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/019717 WO2017208997A1 (ja) 2016-05-31 2017-05-26 形状計測システム、作業機械及び形状計測方法

Country Status (6)

Country Link
US (1) US20190078294A1 (ja)
JP (1) JP6674846B2 (ja)
KR (1) KR20180115756A (ja)
CN (1) CN108885102B (ja)
DE (1) DE112017001523T5 (ja)
WO (1) WO2017208997A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020034527A (ja) * 2018-08-31 2020-03-05 株式会社小松製作所 作業機械の運搬物特定装置、作業機械、作業機械の運搬物特定方法、補完モデルの生産方法、および学習用データセット
WO2020196874A1 (ja) * 2019-03-27 2020-10-01 住友建機株式会社 建設機械、支援システム
US20220220695A1 (en) * 2019-09-26 2022-07-14 Hitachi Construction Machinery Co., Ltd. Work machine
KR102723549B1 (ko) * 2019-03-27 2024-10-28 스미토모 겐키 가부시키가이샤 건설기계, 지원시스템

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190110641A (ko) * 2016-09-16 2019-09-30 히다찌 겐끼 가부시키가이샤 작업 기계
JP6960802B2 (ja) * 2017-08-24 2021-11-05 日立建機株式会社 作業機械の周囲監視装置
WO2020065738A1 (ja) * 2018-09-25 2020-04-02 日立建機株式会社 作業機の外形形状測定システム,作業機の外形形状表示システム,作業機の制御システム及び作業機械
JP7203616B2 (ja) * 2019-01-28 2023-01-13 日立建機株式会社 作業機械
WO2020175645A1 (ja) * 2019-02-28 2020-09-03 住友重機械工業株式会社 表示装置、ショベル、情報処理装置
KR102415420B1 (ko) * 2019-11-29 2022-07-04 한국생산기술연구원 굴삭기의 버켓 위치 확인 시스템 이를 이용한 버켓 위치 확인 방법
DE102020201394A1 (de) 2020-02-05 2021-08-05 Zf Friedrichshafen Ag Halbautomatische Steuerung eines Baggers
US20240309613A1 (en) * 2021-02-26 2024-09-19 Nec Corporation Object identification method, object identification system, and object identification device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02195202A (ja) * 1989-01-24 1990-08-01 Oki Electric Ind Co Ltd 土量計測方法
JP2002032744A (ja) * 2000-07-14 2002-01-31 Komatsu Ltd 3次元モデリング及び3次元画像作成のための装置及び方法
JP2005011058A (ja) * 2003-06-19 2005-01-13 Hitachi Constr Mach Co Ltd 作業機械の作業支援・管理システム
US20150225923A1 (en) * 2014-02-13 2015-08-13 Trimble Navigation Limited Non-contact location and orientation determination of an implement coupled with a mobile machine
JP2016065422A (ja) * 2014-09-26 2016-04-28 株式会社日立製作所 外界認識装置および外界認識装置を用いた掘削機械

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020024517A1 (en) * 2000-07-14 2002-02-28 Komatsu Ltd. Apparatus and method for three-dimensional image production and presenting real objects in virtual three-dimensional space
JP4727068B2 (ja) * 2001-05-29 2011-07-20 株式会社トプコン 施工監視システム、施工管理方法
JP5390813B2 (ja) * 2008-09-02 2014-01-15 東急建設株式会社 空間情報表示装置及び支援装置
US9881419B1 (en) * 2012-02-02 2018-01-30 Bentley Systems, Incorporated Technique for providing an initial pose for a 3-D model
DE102013200387A1 (de) * 2013-01-14 2014-07-17 Robert Bosch Gmbh Erstellung einer Hinderniskarte
US9715008B1 (en) * 2013-03-20 2017-07-25 Bentley Systems, Incorporated Visualization of 3-D GPR data in augmented reality
CN106164798B (zh) * 2014-03-26 2019-01-25 洋马株式会社 自主行驶作业车辆
US9796390B2 (en) * 2016-02-29 2017-10-24 Faraday&Future Inc. Vehicle sensing grid having dynamic sensing cell size

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02195202A (ja) * 1989-01-24 1990-08-01 Oki Electric Ind Co Ltd 土量計測方法
JP2002032744A (ja) * 2000-07-14 2002-01-31 Komatsu Ltd 3次元モデリング及び3次元画像作成のための装置及び方法
JP2005011058A (ja) * 2003-06-19 2005-01-13 Hitachi Constr Mach Co Ltd 作業機械の作業支援・管理システム
US20150225923A1 (en) * 2014-02-13 2015-08-13 Trimble Navigation Limited Non-contact location and orientation determination of an implement coupled with a mobile machine
JP2016065422A (ja) * 2014-09-26 2016-04-28 株式会社日立製作所 外界認識装置および外界認識装置を用いた掘削機械

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020034527A (ja) * 2018-08-31 2020-03-05 株式会社小松製作所 作業機械の運搬物特定装置、作業機械、作業機械の運搬物特定方法、補完モデルの生産方法、および学習用データセット
WO2020044848A1 (ja) * 2018-08-31 2020-03-05 株式会社小松製作所 作業機械の運搬物特定装置、作業機械、作業機械の運搬物特定方法、補完モデルの生産方法、および学習用データセット
JP7311250B2 (ja) 2018-08-31 2023-07-19 株式会社小松製作所 作業機械の運搬物特定装置、作業機械、作業機械の運搬物特定方法、補完モデルの生産方法、および学習用データセット
WO2020196874A1 (ja) * 2019-03-27 2020-10-01 住友建機株式会社 建設機械、支援システム
JPWO2020196874A1 (ja) * 2019-03-27 2020-10-01
JP7387718B2 (ja) 2019-03-27 2023-11-28 住友建機株式会社 建設機械、支援システム
KR102723549B1 (ko) * 2019-03-27 2024-10-28 스미토모 겐키 가부시키가이샤 건설기계, 지원시스템
US20220220695A1 (en) * 2019-09-26 2022-07-14 Hitachi Construction Machinery Co., Ltd. Work machine

Also Published As

Publication number Publication date
JP2017214776A (ja) 2017-12-07
DE112017001523T5 (de) 2018-12-13
JP6674846B2 (ja) 2020-04-01
CN108885102A (zh) 2018-11-23
US20190078294A1 (en) 2019-03-14
CN108885102B (zh) 2021-07-20
KR20180115756A (ko) 2018-10-23

Similar Documents

Publication Publication Date Title
WO2017208997A1 (ja) 形状計測システム、作業機械及び形状計測方法
WO2017061518A1 (ja) 施工管理システム、施工管理方法、及び管理装置
AU2021201894B2 (en) Shape measuring system and shape measuring method
JP6050525B2 (ja) 位置計測システム、作業機械及び位置計測方法
KR102013761B1 (ko) 작업 기계의 화상 표시 시스템, 작업 기계의 원격 조작 시스템 및 작업 기계
JP6585697B2 (ja) 施工管理システム
CN109073379B (zh) 管理系统
JP6867132B2 (ja) 作業機械の検出処理装置及び作業機械の検出処理方法
JP7203616B2 (ja) 作業機械
JP6606230B2 (ja) 形状計測システム
JP2022164713A (ja) 作業機械の画像表示システム及び作業機械の画像表示方法
AU2019202194A1 (en) Construction method, work machine control system, and work machine
JP6815462B2 (ja) 形状計測システム及び形状計測方法
JP2018178711A (ja) 施工現場の形状情報の生成方法及び作業機械の制御システム
JP7166326B2 (ja) 施工管理システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20187027165

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17806552

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17806552

Country of ref document: EP

Kind code of ref document: A1