WO2018062523A1 - 作業機械の検出処理装置及び作業機械の検出処理方法 - Google Patents

作業機械の検出処理装置及び作業機械の検出処理方法 Download PDF

Info

Publication number
WO2018062523A1
WO2018062523A1 PCT/JP2017/035610 JP2017035610W WO2018062523A1 WO 2018062523 A1 WO2018062523 A1 WO 2018062523A1 JP 2017035610 W JP2017035610 W JP 2017035610W WO 2018062523 A1 WO2018062523 A1 WO 2018062523A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
work machine
dimensional
work
measurement
Prior art date
Application number
PCT/JP2017/035610
Other languages
English (en)
French (fr)
Inventor
豊久 松田
大樹 菅原
俊彦 神田
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to KR1020197007345A priority Critical patent/KR20190039250A/ko
Priority to DE112017004096.5T priority patent/DE112017004096T5/de
Priority to CN201780054075.XA priority patent/CN109661494B/zh
Priority to US16/332,861 priority patent/US20190253641A1/en
Publication of WO2018062523A1 publication Critical patent/WO2018062523A1/ja

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • E02F9/262Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Definitions

  • the present invention relates to a work machine detection processing apparatus and a work machine detection processing method.
  • Patent Document 1 Construction plan image data is created based on the construction plan data and the position information of the stereo camera, the construction plan image data is superposed on the current image data captured by the stereo camera, and a composite image obtained by superimposing them is obtained.
  • Patent Document 2 A technique for three-dimensional display on a three-dimensional display device is disclosed.
  • the work machine of the work machine may be reflected.
  • the image data acquired by the imaging device since the reflected work machine is a noise component, it is difficult to acquire three-dimensional data with good terrain.
  • the work implement is raised to prevent the work implement from being reflected.
  • the work efficiency is lowered.
  • An object of an aspect of the present invention is to provide a work machine detection processing apparatus and a work machine detection processing method capable of acquiring good three-dimensional data while suppressing a decrease in work efficiency.
  • a measurement data acquisition unit that acquires measurement data of a target measured by a measurement device provided in the work machine, and a position data acquisition unit that acquires position data of another work machine
  • a three-dimensional data calculation unit that calculates target data that is three-dimensional data from which at least a part of the other work machine is removed based on the measurement data and the position data of the other work machine.
  • target measurement data measured by a measuring device provided in the work machine is acquired, and work machine position data indicating the position of the work machine of the work machine is calculated. And, based on the measurement data and the work machine position data, calculating target data that is three-dimensional data from which at least a part of the work machine has been removed is provided. Is done.
  • a work machine detection processing apparatus and a work machine detection processing method capable of acquiring good three-dimensional data while suppressing a decrease in work efficiency are provided.
  • the global coordinate system is defined by the Xg axis in the horizontal plane, the Yg axis orthogonal to the Xg axis in the horizontal plane, and the Zg axis orthogonal to the Xg axis and the Yg axis.
  • the rotation or tilt direction around the Xg axis is taken as the ⁇ Xg direction
  • the rotation or tilt direction around the Yg axis is taken as the ⁇ Yg direction
  • the rotation or tilt direction around the Zg axis is taken as the ⁇ Zg direction.
  • the Zg axis direction is the vertical direction.
  • the vehicle body coordinate system is defined by an Xm axis extending in one direction with reference to the origin defined in the vehicle body of the work machine, a Ym axis orthogonal to the Xm axis, and a Zm axis orthogonal to the Xm axis and the Ym axis.
  • the Xm-axis direction is the longitudinal direction of the work machine
  • the Ym-axis direction is the vehicle width direction of the work machine
  • the Zm-axis direction is the vertical direction of the work machine.
  • the camera coordinate system is defined by an Xs axis extending in one direction with reference to the origin defined in the imaging device, a Ys axis orthogonal to the Xs axis, and a Zs axis orthogonal to the Xs axis and the Ys axis.
  • the Xs axis direction is the vertical direction of the imaging device
  • the Ys axis direction is the width direction of the imaging device
  • the Zs axis direction is the front-rear direction of the imaging device.
  • the Zs axis direction is parallel to the optical axis of the optical system of the imaging apparatus.
  • FIG. 1 is a perspective view illustrating an example of a work machine 1 according to the present embodiment.
  • the work machine 1 is a hydraulic excavator
  • the work machine 1 is appropriately referred to as a hydraulic excavator 1.
  • the excavator 1 includes a vehicle body 1 ⁇ / b> B and a work machine 2.
  • the vehicle body 1B includes a revolving body 3 and a traveling body 5 that supports the revolving body 3 so as to be able to turn.
  • the turning body 3 can turn around the turning axis Zr.
  • the turning axis Zr and the Zm axis are parallel.
  • the swivel body 3 has a cab 4.
  • a hydraulic pump and an internal combustion engine are arranged on the swing body 3.
  • the traveling body 5 has crawler belts 5a and 5b. As the crawler belts 5a and 5b rotate, the excavator 1 travels.
  • the boom 6 is rotatably connected to the swing body 3 via the boom pin 13.
  • the arm 7 is rotatably connected to the tip of the boom 6 via the arm pin 14.
  • Bucket 8 is rotatably connected to the tip of arm 7 via bucket pin 15.
  • the boom pin 13 includes a rotation axis AX1 of the boom 6 with respect to the revolving structure 3.
  • the arm pin 14 includes a rotation axis AX ⁇ b> 2 of the arm 7 with respect to the boom 6.
  • the bucket pin 15 includes a rotation axis AX3 of the bucket 8 with respect to the arm 7.
  • the rotation axis AX1 of the boom 6, the rotation axis AX2 of the arm 7, and the rotation axis AX3 of the bucket 8 are parallel to the Ym axis of the vehicle body coordinate system.
  • Bucket 8 is a kind of work implement.
  • the work tool connected to the arm 7 is not limited to the bucket 8.
  • the working tool connected to the arm 7 may be, for example, a tilt bucket, or a rock drilling attachment equipped with a slope bucket or a rock drilling tip.
  • the position of the revolving structure 3 defined by the global coordinate system is detected.
  • the global coordinate system is a coordinate system based on an origin fixed on the earth.
  • the global coordinate system is a coordinate system defined by GNSS (Global Navigation Satellite System).
  • GNSS refers to the global navigation satellite system.
  • GPS Global Positioning System
  • the GNSS has a plurality of positioning satellites. The GNSS detects a position defined by latitude, longitude, and altitude coordinate data.
  • the vehicle body coordinate system (Xm, Ym, Zm) is a coordinate system based on the origin fixed to the revolving unit 3.
  • the origin of the vehicle body coordinate system is, for example, the center of the swing circle of the swing body 3.
  • the center of the swing circle exists on the swing axis Zr of the swing body 3.
  • the excavator 1 includes a work machine angle detector 22 that detects the angle of the work machine 2, a position detector 23 that detects the position of the swing body 3, a posture detector 24 that detects the attitude of the swing body 3, and a swing And an orientation detector 25 for detecting the orientation of the body 3.
  • FIG. 2 is a perspective view illustrating an example of the imaging device 30 according to the present embodiment.
  • FIG. 2 is a perspective view showing the vicinity of the cab 4 of the excavator 1.
  • the excavator 1 has an imaging device 30.
  • the imaging device 30 is provided in the hydraulic excavator 1 and functions as an instrumentation device that measures an object in front of the hydraulic excavator 1.
  • the imaging device 30 captures an object in front of the excavator 1.
  • the front of the hydraulic excavator 1 refers to the + Xm direction in the vehicle body coordinate system, and refers to the direction in which the work implement 2 exists with respect to the revolving structure 3.
  • the imaging device 30 is provided inside the cab 4.
  • the imaging device 30 is disposed in front of the cab 4 (+ Xm direction) and above (+ Zm direction).
  • the upper direction (+ Zm direction) is a direction perpendicular to the ground contact surfaces of the crawler belts 5a and 5b and away from the ground contact surface.
  • the ground contact surfaces of the crawler belts 5a and 5b are planes defined by at least three points that do not exist on the same straight line where at least one of the crawler belts 5a and 5b is grounded.
  • the downward direction ( ⁇ Zm direction) is the opposite upward direction, which is a direction orthogonal to the ground contact surface of the crawler belts 5a and 5b and toward the ground contact surface.
  • the imaging device 30 captures an imaging target existing in front of the revolving unit 3.
  • the photographing target includes a construction target that is constructed at a construction site.
  • the construction object includes an excavation object excavated by the work machine 2 of the excavator 1.
  • the construction object may be an excavation object excavated by the work machine 2 of another hydraulic excavator 1 ot, or may be an execution object constructed by a work machine different from the hydraulic excavator 1 having the imaging device 30.
  • the construction target may be a construction target constructed by an operator.
  • the construction object is a concept including a construction object before construction, a construction object during construction, and a construction object after construction.
  • the imaging device 30 has an optical system and an image sensor.
  • the image sensor includes a CCD (Couple Charged Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the imaging device 30 includes a plurality of imaging devices 30a, 30b, 30c, and 30d.
  • the imaging devices 30a and 30c are arranged on the + Ym side (working machine 2 side) with respect to the imaging devices 30b and 30d.
  • the imaging device 30a and the imaging device 30b are arranged with an interval in the Ym axis direction.
  • the imaging device 30c and the imaging device 30d are arranged with an interval in the Ym-axis direction.
  • the imaging devices 30a and 30b are arranged on the + Zm side with respect to the imaging devices 30c and 30d.
  • the imaging device 30a and the imaging device 30b are disposed at substantially the same position.
  • the imaging device 30c and the imaging device 30d are disposed at substantially the same position.
  • a stereo camera is constituted by a combination of two imaging devices 30 among the four imaging devices 30 (30a, 30b, 30c, 30d).
  • a stereo camera refers to a camera that can also acquire data about the depth direction of a shooting target by simultaneously shooting the shooting target from a plurality of different directions.
  • a first stereo camera is configured by a combination of the imaging devices 30a and 30b
  • a second stereo camera is configured by a combination of the imaging devices 30c and 30d.
  • the imaging devices 30a and 30b face upward (+ Zm direction).
  • the imaging devices 30c and 30d face downward ( ⁇ Zm direction).
  • the imaging devices 30a and 30c face forward (+ Xm direction).
  • the imaging devices 30b and 30d face the + Ym side (working machine 2 side) slightly from the front. That is, the imaging devices 30a and 30c face the front of the revolving unit 3, and the imaging devices 30b and 30d face the imaging devices 30a and 30c.
  • the imaging devices 30b and 30d may face the front of the revolving unit 3
  • the imaging devices 30a and 30c may face the imaging devices 30b and 30d.
  • the imaging device 30 performs stereo shooting of a shooting target existing in front of the revolving unit 3.
  • the construction target is three-dimensionally measured using stereo image data from at least a pair of imaging devices 30, and the three-dimensional data of the construction target is calculated.
  • the three-dimensional data of the construction target is three-dimensional data of the surface (ground surface) of the construction target.
  • the three-dimensional data of the construction target includes the three-dimensional shape data of the construction target in the global coordinate system.
  • FIG. 3 is a side view schematically showing the excavator 1 according to the present embodiment.
  • the excavator 1 detects a working machine angle detector 22 that detects the angle of the working machine 2, a position detector 23 that detects the position of the revolving body 3, and a posture of the revolving body 3. It has an orientation detector 24 and an orientation detector 25 that detects the orientation of the revolving unit 3.
  • the position detector 23 includes a GPS receiver.
  • the position detector 23 is provided on the revolving unit 3.
  • the position detector 23 detects an absolute position that is the position of the revolving structure 3 defined by the global coordinate system.
  • the absolute position of the swing body 3 includes coordinate data in the Xg axis direction, coordinate data in the Yg axis direction, and coordinate data in the Zg axis direction.
  • a pair of GPS antennas 21 are provided on the revolving unit 3.
  • the pair of GPS antennas 21 are provided on the handrail 9 provided on the upper part of the revolving unit 3.
  • the pair of GPS antennas 21 are arranged in the Ym axis direction of the vehicle body coordinate system.
  • the pair of GPS antennas 21 are separated by a certain distance.
  • the pair of GPS antennas 21 receives radio waves from GPS satellites and outputs signals generated based on the received radio waves to the position detector 23.
  • the position detector 23 detects the absolute position, which is the position of the pair of GPS antennas 21 defined by the global coordinate system, based on the signals supplied from the pair of GPS antennas 21.
  • the position detector 23 performs an arithmetic process based on at least one of the absolute positions of the pair of GPS antennas 21 and calculates the absolute position of the revolving structure 3.
  • the absolute position of the revolving structure 3 may be the absolute position of one GPS antenna 21.
  • the absolute position of the revolving unit 3 may be a position between the absolute position of one GPS antenna 21 and the absolute position of the other GPS antenna 21.
  • the attitude detector 24 includes an inertial measurement device (IMU: Inertial Measurement Unit).
  • the attitude detector 24 is provided on the revolving unit 3.
  • the attitude detector 24 calculates the inclination angle of the revolving unit 3 with respect to the horizontal plane (XgYg plane) defined by the global coordinate system.
  • the tilt angle of the swing body 3 with respect to the horizontal plane is a roll angle ⁇ 1 indicating the tilt angle of the swing body 3 in the Ym axis direction (vehicle width direction) and a pitch angle indicating the tilt angle of the swing body 3 in the Xm axis direction (front-rear direction). ⁇ 2.
  • the attitude detector 24 detects acceleration and angular velocity acting on the attitude detector 24. By detecting the acceleration and angular velocity acting on the posture detector 24, the acceleration and angular velocity acting on the swing body 3 are detected. Based on the acceleration and angular velocity acting on the revolving structure 3, the posture of the revolving structure 3 is derived.
  • the orientation detector 25 calculates the orientation of the revolving unit 3 with respect to the reference orientation defined by the global coordinate system based on the absolute position of one GPS antenna 21 and the absolute position of the other GPS antenna 21.
  • the reference orientation is, for example, north.
  • the azimuth detector 25 calculates a straight line connecting the absolute position of one GPS antenna 21 and the absolute position of the other GPS antenna 21, and based on the angle formed by the calculated straight line and the reference azimuth, a turning body with respect to the reference azimuth 3 bearings are calculated.
  • the azimuth of the swing body 3 with respect to the reference azimuth includes a yaw angle (azimuth angle) ⁇ 3 indicating an angle formed by the reference azimuth and the azimuth of the swing body 3.
  • the work implement 2 includes a boom stroke sensor 16 that detects a boom stroke that is disposed in the boom cylinder 10 and indicates the drive amount of the boom cylinder 10, and an arm that is disposed in the arm cylinder 11 and detects an arm stroke that indicates the drive amount of the arm cylinder 11.
  • a stroke sensor 17 and a bucket stroke sensor 18 that is disposed in the bucket cylinder 12 and detects a bucket stroke that indicates a driving amount of the bucket cylinder 12 are included.
  • the work machine angle detector 22 detects the angle of the boom 6, the angle of the arm 7, and the angle of the bucket 8. Based on the boom stroke detected by the boom stroke sensor 16, the work implement angle detector 22 calculates a boom angle ⁇ indicating the tilt angle of the boom 6 with respect to the Zm axis of the vehicle body coordinate system. The work machine angle detector 22 calculates an arm angle ⁇ indicating the inclination angle of the arm 7 with respect to the boom 6 based on the arm stroke detected by the arm stroke sensor 17. The work machine angle detector 22 calculates a bucket angle ⁇ indicating an inclination angle of the blade edge 8BT of the bucket 8 with respect to the arm 7 based on the bucket stroke detected by the bucket stroke sensor 18.
  • boom angle ⁇ , the arm angle ⁇ , and the bucket angle ⁇ may be detected by, for example, an angle sensor provided in the work machine 2 without using the stroke sensor.
  • FIG. 4 is a diagram schematically illustrating an example of the shape measurement system 100 including the control system 50 and the server 61 of the excavator 1 according to the present embodiment.
  • the control system 50 is disposed on the excavator 1.
  • the server 61 is provided at a remote location of the excavator 1.
  • the control system 50 and the server 61 can perform data communication via the communication line NTW. Further, not only the control system 50 and the server 61 but also the mobile terminal device 64 and the control system 50 ot of another hydraulic excavator 1 ot are connected to the communication line NTW.
  • the control system 50 of the excavator 1, the server 61, the portable terminal device 64, and the control system 50ot of another excavator 1ot can communicate data via the communication line NTW.
  • the communication line NTW includes at least one of a mobile phone network and the Internet.
  • the communication line NTW may include a wireless LAN (Local Area Network).
  • the control system 50 includes a plurality of imaging devices 30 (30a, 30b, 30c, 30d), a detection processing device 51, a construction management device 57, a display device 58, and a communication device 26.
  • the detection processing device 51, the construction management device 57, the display device 58, the communication device 26, the position detector 23, the attitude detector 24, and the orientation detector 25 are connected to a signal line 59 and can communicate data with each other.
  • a communication standard applied to the signal line 59 is, for example, CAN (Controller Area Network).
  • the control system 50 includes a computer system.
  • the control system 50 includes an arithmetic processing unit including a processor such as a CPU (Central Processing Unit), a non-volatile memory such as a RAM (Random Access Memory), and a volatile memory such as a ROM (Read Only Memory).
  • Communication antenna 26 ⁇ / b> A is connected to communication device 26.
  • the communication device 26 can perform data communication with at least one of the server 61, the portable terminal device 64, and the control system 50ot of another hydraulic excavator 1ot via the communication line NTW.
  • the detection processing device 51 calculates construction target three-dimensional data based on at least a pair of construction target image data imaged by the pair of imaging devices 30.
  • the detection processing device 51 calculates three-dimensional data indicating the coordinates of a plurality of parts of the construction target in the three-dimensional coordinate system by subjecting the pair of construction target image data to stereo processing.
  • Stereo image processing refers to a technique for obtaining the distance to a subject from two images obtained by observing the same subject from two different imaging devices 30.
  • the distance to the shooting target is expressed as, for example, a distance image in which the distance data to the shooting target is visualized by shading.
  • the hub 31 and the imaging switch 32 are connected to the detection processing device 51.
  • the hub 31 is connected to a plurality of imaging devices 30a, 30b, 30c, and 30d. Image data acquired by the imaging devices 30a, 30b, 30c, and 30d is supplied to the detection processing device 51 via the hub 31.
  • the hub 31 may be omitted.
  • the imaging switch 32 is installed in the cab 4. In the present embodiment, when the imaging switch 32 is operated by the driver of the cab 4, the imaging of the construction target by the imaging device 30 is performed. In the state where the excavator 1 is in operation, the imaging of the construction target by the imaging device 30 may be automatically performed every predetermined period.
  • the construction management device 57 manages the state of the hydraulic excavator 1 and the status of construction by the hydraulic excavator 1.
  • the construction management device 57 acquires, for example, completed construction data indicating a construction result at the end stage of work on one day, and transmits it to at least one of the server 61 and the mobile terminal device 64. Further, the construction management device 57 acquires intermediate construction data indicating the result of construction in the middle of the day's work, and transmits it to at least one of the server 61 and the portable terminal device 64.
  • the completed construction data and the intermediate construction data include the three-dimensional data of the construction target calculated by the detection processing device 51 based on the image data acquired by the imaging device 30.
  • the current terrain data of the construction target in the middle stage and the end stage of the daily work is transmitted to at least one of the server 61 and the mobile terminal device 64.
  • the construction management device 57 obtains, for example, image data acquisition date / time data, acquisition position data, and identification data of the hydraulic excavator 1 that has acquired the image data. May be transmitted to at least one of the server 61 and the mobile terminal device 64.
  • the identification data of the excavator 1 includes, for example, the model number of the excavator 1.
  • the display device 58 includes a flat panel display such as a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL display (OELD: Organic Electroluminescence Display).
  • LCD Liquid Crystal Display
  • OELD Organic Electroluminescence Display
  • the portable terminal device 64 is carried by an administrator who manages the work of the excavator 1, for example.
  • the server 61 includes a computer system.
  • the server 61 includes an arithmetic processing device including a processor such as a CPU, and a storage device including a volatile memory such as a RAM and a nonvolatile memory such as a ROM.
  • a communication device 62 and a display device 65 are connected to the server 61.
  • the communication device 62 is connected to the communication antenna 63.
  • the communication device 62 is capable of data communication with at least one of the control system 50 of the excavator 1, the portable terminal device 64, and the control system 50ot of another excavator 1ot via the communication line NTW.
  • FIG. 5 is a functional block diagram showing an example of the detection processing device 51 according to the present embodiment.
  • the detection processing device 51 includes a computer system having an arithmetic processing device including a processor, a storage device including a nonvolatile memory and a volatile memory, and an input / output interface.
  • the detection processing device 51 includes an image data acquisition unit 101, a three-dimensional data calculation unit 102, a position data acquisition unit 103, an attitude data acquisition unit 104, an orientation data acquisition unit 105, and a work implement angle data acquisition unit 106.
  • the function of the unit 108 is exhibited by the arithmetic processing unit.
  • the function of the storage unit 109 is exhibited by the storage device.
  • the function of the input / output unit 110 is exhibited by the input / output interface.
  • the imaging device 30, the work machine angle detector 22, the position detector 23, the attitude detector 24, the orientation detector 25, the imaging switch 32, and the display device 58 are connected to the input / output unit 110.
  • Data communication with the display device 58 is possible via the input / output unit 110.
  • the image data acquisition unit 101 acquires image data of a construction target imaged by at least a pair of imaging devices 30 provided in the hydraulic excavator 1 from the pair of imaging devices 30. That is, the image data acquisition unit 101 acquires stereo image data from at least a pair of imaging devices 30.
  • the image data acquisition unit 101 acquires image data (measurement data) of a construction target in front of the hydraulic excavator 1 photographed (measured) by the imaging device 30 (measurement device) provided in the hydraulic excavator 1. Function as.
  • the three-dimensional data calculation unit 102 calculates the three-dimensional data to be constructed based on the image data acquired by the image data acquisition unit 101.
  • the three-dimensional data calculation unit 102 calculates the three-dimensional shape data of the construction target in the camera coordinate system based on the image data acquired by the image data acquisition unit 101.
  • the attitude data acquisition unit 104 acquires the attitude data of the excavator 1 from the attitude detector 24.
  • the attitude data of the excavator 1 includes attitude data indicating the attitude of the swing body 3 in the global coordinate system detected by the attitude detector 24.
  • the azimuth data acquisition unit 105 acquires the azimuth data of the excavator 1 from the azimuth detector 25.
  • the azimuth data of the excavator 1 includes azimuth data indicating the azimuth of the revolving unit 3 in the global coordinate system detected by the azimuth detector 25.
  • the work machine angle data acquisition unit 106 acquires work machine angle data indicating the angle of the work machine 2 from the work machine angle detector 22.
  • the work machine angle data includes a boom angle ⁇ , an arm angle ⁇ , and a bucket angle ⁇ .
  • the work machine position data calculation unit 107 calculates work machine position data indicating the position of the work machine 2.
  • the work machine position data includes the position data of the boom 6, the position data of the arm 7, and the position data of the bucket 8.
  • the work machine position data calculation unit 107 is configured to determine the position of the boom 6 in the vehicle body coordinate system based on the work machine angle data acquired by the work machine angle data acquisition unit 106 and the work machine data stored in the storage unit 109. Data, arm 7 position data, and bucket 8 position data are calculated.
  • the position data of the boom 6, the arm 7, and the bucket 8 includes coordinate data of a plurality of parts of the boom 6, the arm 7, and the bucket 8.
  • the work machine position data calculation unit 107 includes the position data of the swing body 3 acquired by the position data acquisition unit 103, the posture data of the swing body 3 acquired by the posture data acquisition unit 104, and the direction data acquisition unit 105.
  • the boom in the global coordinate system is based on the orientation data of the revolving structure 3 acquired in step 1, the work implement angle data acquired by the work implement angle data acquisition unit 106, and the work implement data stored in the storage unit 109. 6, position data of the arm 7 and the bucket 8 are calculated.
  • the work machine data includes design data or specification data of the work machine 2.
  • the design data of the work machine 2 includes 3D CAD data of the work machine 2.
  • the work machine data includes at least one of outer shape data of the work machine 2 and dimension data of the work machine 2.
  • the work implement data includes a boom length L1, an arm length L2, and a bucket length L3.
  • the boom length L1 is a distance between the rotation axis AX1 and the rotation axis AX2.
  • the arm length L2 is a distance between the rotation axis AX2 and the rotation axis AX3.
  • Bucket length L3 is the distance between rotation axis AX3 and cutting edge 8BT of bucket 8.
  • the three-dimensional data calculation unit 102 calculates the three-dimensional data of the construction target in the vehicle body coordinate system based on the image data of the construction target acquired by the image data acquisition unit 101.
  • the three-dimensional data of the construction target in the vehicle body coordinate system includes the three-dimensional shape data of the construction target in the vehicle body coordinate system.
  • the three-dimensional data calculation unit 102 performs coordinate conversion on the three-dimensional data of the construction target in the camera coordinate system, and calculates the three-dimensional data of the construction target in the vehicle body coordinate system.
  • the three-dimensional data calculation unit 102 is acquired by the position data of the swing body 3 acquired by the position data acquisition unit 103, the posture data of the swing body 3 acquired by the posture data acquisition unit 104, and the direction data acquisition unit 105. Based on the orientation data of the revolving unit 3 and the image data of the construction target acquired by the image data acquisition unit 101, the three-dimensional data of the construction target in the global coordinate system is calculated.
  • the three-dimensional data of the construction target in the global coordinate system includes the three-dimensional shape data of the construction target in the global coordinate system.
  • the three-dimensional data calculation unit 102 converts the three-dimensional data of the construction target in the vehicle body coordinate system to calculate the three-dimensional data of the construction target in the global coordinate system.
  • the display control unit 108 causes the display device 58 to display the construction target 3D data calculated by the 3D data calculation unit 102.
  • the display control unit 108 converts the three-dimensional data of the construction target calculated by the three-dimensional data calculation unit 102 into display data in a display format that can be displayed by the display device 58, and causes the display device 58 to display the display data. .
  • FIG. 6 is a schematic diagram for explaining a method of calculating three-dimensional data by the pair of imaging devices 30 according to the present embodiment.
  • a method for calculating three-dimensional data by the pair of imaging devices 30a and 30b will be described.
  • the three-dimensional process for calculating the three-dimensional data includes a so-called stereo measurement process.
  • the method for calculating the three-dimensional data by the pair of imaging devices 30a and 30b is the same as the method for calculating the three-dimensional data by the pair of imaging devices 30c and 30d.
  • Imaging device position data which is measurement device position data indicating the pair of imaging devices 30a and 30b, is stored in the storage unit 109.
  • the imaging device position data includes the positions and orientations of the imaging device 30a and the imaging device 30b.
  • the imaging device position data includes a relative position between the pair of imaging device 30a and the imaging device 30b.
  • the imaging device position data is known data that can be known from design data or specification data of the imaging devices 30a and 30b.
  • the imaging device position data indicating the positions of the imaging devices 30a and 30b includes the position of the optical center Oa and the optical axis of the imaging device 30a, the position of the optical center Ob and the optical axis of the imaging device 30b, and the optical of the imaging device 30a. It includes at least one of the dimensions of a base line connecting the center Oa and the optical center Ob of the imaging device 30b.
  • the measurement point P existing in the three-dimensional space is projected on the projection surfaces of the pair of imaging devices 30a and 30b.
  • the image of the measurement point P and the image of the point Eb on the projection surface of the imaging device 30b are projected on the projection surface of the imaging device 30a, and an epipolar line is defined.
  • the image of the measurement point P and the image of the point Ea on the projection surface of the imaging device 30a are projected on the projection surface of the imaging device 30b, and an epipolar line is defined.
  • An epipolar plane is defined by the measurement point P, the point Ea, and the point Eb.
  • the three-dimensional data calculation unit 102 is based on the image data acquired by the image data acquisition unit 101 and the work machine position data calculated by the work machine position data calculation unit 107.
  • the target data which is the three-dimensional data from which the part has been removed is calculated.
  • the three-dimensional data calculation unit 102 performs coordinate conversion of the work machine position data in the vehicle body coordinate system calculated by the work machine position data calculation unit 107 to calculate work machine position data in the camera coordinate system.
  • the three-dimensional data calculation unit 102 identifies the position of the work machine 2 in the image data acquired by the image data acquisition unit 101 based on the work machine position data in the camera coordinate system, and at least a part of the work machine 2 is The target data which is the removed three-dimensional data is calculated.
  • the three-dimensional data calculation unit 102 performs coordinate conversion on target data that is three-dimensional data calculated in the camera coordinate system, and calculates target data that is three-dimensional data in the vehicle body coordinate system.
  • FIG. 7 is a flowchart showing an example of a shape measuring method according to the present embodiment.
  • the image data acquisition unit 101 acquires right image data and left image data from the imaging device 30 (step SA10). As described above, the right image data and the left image data are two-dimensional image data.
  • the three-dimensional data calculation unit 102 performs coordinate conversion on the work machine position data in the vehicle body coordinate system calculated by the work machine position data calculation unit 107 to calculate work machine position data in the camera coordinate system.
  • the three-dimensional data calculation unit 102 specifies the position of the work implement 2 in each of the right image data and the left image data based on the work implement position data in the camera coordinate system (step SA20).
  • the storage unit 109 stores imaging device position data indicating the positions of the imaging devices 30a and 30b.
  • the three-dimensional data calculation unit 102 can specify the position of the work machine 2 in the right image data and the position of the work machine 2 in the left image data based on the imaging device position data and the work machine position data.
  • FIG. 8 is a diagram illustrating an example of the right image data according to the present embodiment. In the description using FIG. 8, the right image data will be described, but the same applies to the left image data.
  • the three-dimensional data calculation unit 102 specifies the position of the work machine 2 in the right image data defined by the camera coordinate system based on the imaging device position data and the work machine position data.
  • the work machine position data includes work machine data
  • the work machine data includes design data of the work machine 2 such as three-dimensional CAD data.
  • the work machine data includes external data of the work machine 2 and dimensional data of the work machine 2. Therefore, the three-dimensional data calculation unit 102 can specify a pixel indicating the work machine 2 among a plurality of pixels constituting the right image data.
  • the three-dimensional data calculation unit 102 removes partial data including the work implement 2 from the right image data based on the work implement position data. Similarly, the three-dimensional data calculation unit 102 removes partial data including the work implement 2 from the left image data based on the work implement position data (step SA30).
  • the three-dimensional data calculation unit 102 invalidates the pixel indicating the work machine 2 used for the stereo measurement process among the plurality of pixels of the right image data. Similarly, the three-dimensional data calculation unit 102 invalidates a pixel indicating the work machine 2 used for the stereo measurement process among the plurality of pixels of the left image data. In other words, the three-dimensional data calculation unit 102 removes or invalidates the image of the measurement point P indicating the work implement 2 projected on the projection planes of the imaging devices 30a and 30b.
  • the three-dimensional data calculation unit 102 calculates target data that is three-dimensional data from which the work implement 2 has been removed, based on peripheral data that is image data from which the partial data including the work implement 2 has been removed (step SA40). .
  • the three-dimensional data calculation unit 102 is a two-dimensional peripheral data in which the partial data including the work machine 2 is removed from the right image data, and a two-dimensional data in which the partial data including the work machine 2 is removed from the left image data. Based on the peripheral data, a three-dimensional process is performed to calculate target data that is the three-dimensional data from which the work machine 2 has been removed.
  • the three-dimensional data calculation unit 102 performs coordinate conversion on target data defined in the camera coordinate system, and calculates target data defined in the vehicle body coordinate system or the global coordinate system.
  • FIG. 9 is a flowchart showing an example of a shape measuring method according to the present embodiment.
  • the image data acquisition unit 101 acquires right image data and left image data from the imaging device 30 (step SB10).
  • the three-dimensional data calculation unit 102 performs three-dimensional processing based on the right image data and the left image data acquired by the image data acquisition unit 101, and calculates three-dimensional data to be constructed (Step SB20).
  • the three-dimensional data calculation unit 102 calculates the three-dimensional data of the construction target in the camera coordinate system, and then performs coordinate conversion to calculate the three-dimensional data of the construction target in the vehicle body coordinate system.
  • the three-dimensional data calculation unit 102 specifies the position of the work implement 2 in the vehicle coordinate system based on the work implement position data in the vehicle coordinate system calculated by the work implement position data calculation unit 107 (step SB30).
  • the three-dimensional data calculation unit 102 performs coordinate conversion of the position of the work machine 2 in the vehicle body coordinate system, and specifies the position of the work machine 2 in the camera coordinate system.
  • the three-dimensional data calculation unit 102 removes the partial data (three-dimensional data) including the work implement 2 specified in step SB30 from the three-dimensional data calculated in step SB20, and the three-dimensional data from which the work implement 2 is removed. Is calculated (step SB40).
  • the three-dimensional data calculation unit 102 estimates a plurality of measurement points P indicating the work implement 2 based on the work implement position data from the three-dimensional point cloud data including the plurality of measurement points P acquired by the three-dimensional processing. Then, the three-dimensional partial data composed of a plurality of measurement points P indicating the estimated work machine 2 is removed from the three-dimensional point group data.
  • the three-dimensional data calculation unit 102 performs coordinate conversion on target data defined in the camera coordinate system, and calculates target data defined in the vehicle body coordinate system or the global coordinate system.
  • the three-dimensional data including the work machine 2 is based on the right image data and the left image data. After the calculation, the partial data including the work machine 2 is removed from the three-dimensional data. Also in the present embodiment, it is possible to acquire good three-dimensional data of a construction target in front of the excavator 1 while suppressing a decrease in work efficiency.
  • FIG. 10 is a diagram schematically illustrating an example of a shape measuring method according to the present embodiment.
  • FIG. 10 when imaging the construction target OBP using the imaging device 30 provided in the hydraulic excavator 1, at least a part of the other hydraulic excavator 1 ot is reflected in the image data captured by the imaging device 30. There is a possibility that it will be.
  • the image data picked up by the image pickup device 30 since the other excavator 1 ot reflected is a noise component, it is difficult to acquire good three-dimensional data of the construction target.
  • the position data acquisition unit 103 acquires position data of another hydraulic excavator 1 ot.
  • the three-dimensional data calculation unit 102 is based on the image data acquired by the image data acquisition unit 101 and the position data of another hydraulic excavator 1ot acquired by the position data acquisition unit 103, and is at least a part of the other hydraulic excavator 1ot.
  • the target data which is the three-dimensional data from which is removed is calculated.
  • the other hydraulic excavator 1ot has a GPS antenna 21 and a position detector 23 for detecting the position of the vehicle.
  • the other hydraulic excavator 1 ot sequentially transmits the position data of the other hydraulic excavator 1 ot detected by the position detector 23 to the server 61 via the communication line NTW.
  • the server 61 transmits the position data of the other excavator 1 ot to the position data acquisition unit 103 of the detection processing device 51 of the excavator 1.
  • the three-dimensional data calculation unit 102 of the detection processing device 51 of the excavator 1 identifies the position of the other excavator 1ot in the image data acquired by the image data acquisition unit 101 based on the position data of the other excavator 1ot. Then, target data that is three-dimensional data from which at least a part of another hydraulic excavator 1 ot has been removed is calculated.
  • the three-dimensional data calculation unit 102 specifies the range of the other excavator 1ot in the image data acquired by the image data acquisition unit 101 based on the position data of the other excavator 1ot.
  • the three-dimensional data calculation unit 102 is, for example, a predetermined distance (for example, ⁇ 5 [m] in each of the Xg axis direction, the Yg axis direction, and the Zg axis direction) or a radius of 5 [m ] May be the range of another excavator 1 ot in the image data.
  • the three-dimensional data calculation unit 102 includes at least one of the image data acquired by the image data acquisition unit 101, position data of another hydraulic excavator 1ot, and external data and dimension data of another hydraulic excavator 1ot that are known data.
  • the range of another hydraulic excavator 1 ot in the image data may be specified based on the above.
  • the external shape data and dimension data of another hydraulic excavator 1 ot may be held in the server 61 and transmitted from the server 61 to the hydraulic excavator 1 or may be stored in the storage unit 109.
  • partial data including another hydraulic excavator 1 ot may be removed from the two-dimensional right image data and left image data, or another hydraulic excavator may be based on the right image data and the left image data. After the three-dimensional data including 1 ot is calculated, partial data including another hydraulic excavator 1 ot may be removed from the three-dimensional data.
  • the partial data including the other hydraulic excavator 1ot that is a noise component is removed. Based on the peripheral data, good three-dimensional data of the construction target can be calculated.
  • the work machine position data in the vehicle body coordinate system is calculated, and in the three-dimensional processing, the work machine position data is coordinate-converted into the camera coordinate system, and the partial data is removed in the camera coordinate system.
  • the removal of the partial data may be performed in the vehicle body coordinate system or in the global coordinate system.
  • the coordinate conversion may be appropriately performed by removing the partial data in an arbitrary coordinate system.
  • the server 61 may have a part or all of the functions of the detection processing device 51. That is, the server 61 includes an image data acquisition unit 101, a three-dimensional data calculation unit 102, a position data acquisition unit 103, an orientation data acquisition unit 104, an orientation data acquisition unit 105, a work implement angle data acquisition unit 106, and a work implement position data calculation. Unit 107, display control unit 108, storage unit 109, and input / output unit 110 may be included.
  • the orientation data of the revolving structure 3 detected by the device 24 and the orientation data of the revolving structure 3 detected by the direction detector 25 may be supplied to the server 61 via the communication device 26 and the communication line NTW.
  • the three-dimensional data calculation unit 102 of the server 61 can calculate target data that is three-dimensional data from which at least a part of the work machine 1 is removed based on the image data and the work machine position data.
  • the server 61 is supplied with both image data and work machine position data from the excavator 1 and a plurality of other excavators 1ot.
  • the server 61 can collect the three-dimensional data of the construction target OBP over a wide range based on the image data and the work machine position data supplied from the hydraulic excavator 1 and a plurality of other hydraulic excavators 1 ot.
  • the partial data including the work machine 2 is removed from each of the right image data and the left image data.
  • the partial data including the work machine 2 may be removed from either the right image data or the left image data.
  • the partial data of the work machine 2 is not calculated when calculating the three-dimensional data.
  • the measuring device that measures the construction object in front of the excavator 1 is the imaging device 30.
  • a three-dimensional laser scanner may be sufficient as the measuring device which measures the construction object ahead of the hydraulic shovel 1.
  • the three-dimensional shape data measured by the three-dimensional laser scanner corresponds to the measurement data.
  • the work machine 1 is a hydraulic excavator.
  • the work machine 1 may be a work machine capable of constructing a construction target, and may be a drilling machine capable of excavating the construction target and a transport machine capable of transporting earth and sand.
  • the work machine 1 may be a wheel loader, a bulldozer, or a dump truck, for example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

作業機械の検出処理装置は、作業機械に設けられた計測装置によって計測された対象の計測データを取得する計測データ取得部と、作業機械の作業機の位置を示す作業機位置データを算出する作業機位置データ算出部と、計測データ及び作業機位置データに基づいて、作業機の少なくとも一部が除去された3次元データである対象データを算出する3次元データ算出部と、を備える。

Description

作業機械の検出処理装置及び作業機械の検出処理方法
 本発明は、作業機械の検出処理装置及び作業機械の検出処理方法に関する。
 撮像装置を搭載した作業機械が知られている。特許文献1には、施工計画データとステレオカメラの位置情報に基づき施工計画画像データを作成し、施工計画画像データとステレオカメラで撮像された現況画像データとを重合わせ、重合わせた合成画像を3次元表示装置に3次元表示させる技術が開示されている。
特開2013-036243号公報
 作業機械に設けられている撮像装置によって作業機械の前方の地形を撮影するとき、作業機械の作業機が映り込んでしまう可能性がある。撮像装置によって取得された画像データにおいて、映り込んだ作業機はノイズ成分であるため、地形の良好な3次元データを取得することが困難となる。撮像装置によって地形を撮影するとき、作業機を上昇させることにより作業機の映り込みが抑制される。しかし、撮像装置による撮影の度に作業機を上昇させると、作業効率が低下する。
 本発明の態様は、作業効率の低下を抑制しつつ良好な3次元データを取得することができる作業機械の検出処理装置及び作業機械の検出処理方法を提供することを目的とする。
 本発明の第1の態様に従えば、作業機械に設けられた計測装置によって計測された対象の計測データを取得する計測データ取得部と、前記作業機械の作業機の位置を示す作業機位置データを算出する作業機位置データ算出部と、前記計測データ及び前記作業機位置データに基づいて、前記作業機の少なくとも一部が除去された3次元データである対象データを算出する3次元データ算出部と、を備える作業機械の検出処理装置が提供される。
 本発明の第2の態様に従えば、作業機械に設けられた計測装置によって計測された対象の計測データを取得する計測データ取得部と、他の作業機械の位置データを取得する位置データ取得部と、前記計測データ及び他の作業機械の位置データに基づいて、他の前記作業機械の少なくとも一部が除去された3次元データである対象データを算出する3次元データ算出部と、を備える作業機械の検出処理装置が提供される。
 本発明の第3の態様に従えば、作業機械に設けられた計測装置によって計測された対象の計測データを取得することと、前記作業機械の作業機の位置を示す作業機位置データを算出することと、前記計測データ及び前記作業機位置データに基づいて、前記作業機の少なくとも一部が除去された3次元データである対象データを算出することと、を含む作業機械の検出処理方法が提供される。
 本発明の第4の態様に従えば、作業機械に設けられた計測装置によって計測された対象の計測データを取得することと、前記計測データ及び他の作業機械の位置データに基づいて、他の前記作業機械の少なくとも一部が除去された3次元データである対象データを算出することと、を含む作業機械の検出処理方法が提供される。
 本発明の態様によれば、作業効率の低下を抑制しつつ良好な3次元データを取得することができる作業機械の検出処理装置及び作業機械の検出処理方法が提供される。
図1は、第1実施形態に係る作業機械の一例を示す斜視図である。 図2は、第1実施形態に係る撮像装置の一例を示す斜視図である。 図3は、第1実施形態に係る作業機械を模式的に示す側面図である。 図4は、第1実施形態に係る作業機械の制御システム及び形状計測システムの一例を模式的に示す図である。 図5は、第1実施形態に係る検出処理装置の一例を示す機能ブロック図である。 図6は、第1実施形態に係る一対の撮像装置によって3次元データを算出する方法を説明するための模式図である。 図7は、第1実施形態に係る形状計測方法の一例を示すフローチャートである。 図8は、第1実施形態に係る画像データの一例を示す図である。 図9は、第2実施形態に係る形状計測方法の一例を示すフローチャートである。 図10は、第3実施形態に係る形状計測方法の一例を模式的に示す図である。
 以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
 以下の説明においては、3次元のグローバル座標系(Xg,Yg,Zg)、3次元の車体座標系(Xm,Ym,Zm)、及び3次元のカメラ座標系(Xs,Ys,Zs)を規定して、各部の位置関係について説明する。
 グローバル座標系は、水平面内のXg軸と、水平面内においてXg軸と直交するYg軸と、Xg軸及びYg軸と直交するZg軸とによって規定される。Xg軸を中心とする回転又は傾斜方向をθXg方向とし、Yg軸を中心とする回転又は傾斜方向をθYg方向とし、Zg軸を中心とする回転又は傾斜方向をθZg方向とする。Zg軸方向は鉛直方向である。
 車体座標系は、作業機械の車体に規定された原点を基準として一方向に延在するXm軸と、Xm軸と直交するYm軸と、Xm軸及びYm軸と直交するZm軸とによって規定される。Xm軸方向は作業機械の前後方向であり、Ym軸方向は作業機械の車幅方向であり、Zm軸方向は作業機械の上下方向である。
 カメラ座標系は、撮像装置に規定された原点を基準として一方向に延在するXs軸と、Xs軸と直交するYs軸と、Xs軸及びYs軸と直交するZs軸とによって規定される。Xs軸方向は撮像装置の上下方向であり、Ys軸方向は撮像装置の幅方向であり、Zs軸方向は撮像装置の前後方向である。Zs軸方向は撮像装置の光学系の光軸と平行である。
第1実施形態.
[作業機械]
 図1は、本実施形態に係る作業機械1の一例を示す斜視図である。本実施形態においては、作業機械1が油圧ショベルである例について説明する。以下の説明においては、作業機械1を適宜、油圧ショベル1、と称する。
 図1に示すように、油圧ショベル1は、車体1Bと、作業機2とを有する。車体1Bは、旋回体3と、旋回体3を旋回可能に支持する走行体5とを有する。
 旋回体3は、旋回軸Zrを中心に旋回可能である。旋回軸ZrとZm軸とは平行である。旋回体3は、運転室4を有する。油圧ポンプ及び内燃機関が旋回体3に配置される。走行体5は、履帯5a,5bを有する。履帯5a,5bが回転することにより、油圧ショベル1が走行する。
 作業機2は、旋回体3に連結される。作業機2は、旋回体3に連結されるブーム6と、ブーム6に連結されるアーム7と、アーム7に連結されるバケット8と、ブーム6を駆動するブームシリンダ10と、アーム7を駆動するアームシリンダ11と、バケット8を駆動するバケットシリンダ12とを有する。ブームシリンダ10、アームシリンダ11、及びバケットシリンダ12はそれぞれ、油圧によって駆動される油圧シリンダである。
 ブーム6は、ブームピン13を介して旋回体3に回転可能に連結される。アーム7は、アームピン14を介してブーム6の先端部に回転可能に連結される。バケット8は、バケットピン15を介してアーム7の先端部に回転可能に連結される。ブームピン13は、旋回体3に対するブーム6の回転軸AX1を含む。アームピン14は、ブーム6に対するアーム7の回転軸AX2を含む。バケットピン15は、アーム7に対するバケット8の回転軸AX3を含む。ブーム6の回転軸AX1、アーム7の回転軸AX2、及びバケット8の回転軸AX3は、車体座標系のYm軸と平行である。
 バケット8は、作業具の一種である。なお、アーム7に連結される作業具は、バケット8に限定されない。アーム7に連結される作業具は、例えばチルトバケットでもよいし、法面バケット又は削岩用のチップを備えた削岩用のアタッチメントでもよい。
 本実施形態において、グローバル座標系(Xg,Yg,Zg)で規定される旋回体3の位置が検出される。グローバル座標系は、地球に固定された原点を基準とする座標系である。グローバル座標系は、GNSS(Global Navigation Satellite System)によって規定される座標系である。GNSSとは、全地球航法衛星システムをいう。全地球航法衛星システムの一例として、GPS(Global Positioning System)が挙げられる。GNSSは、複数の測位衛星を有する。GNSSは、緯度、経度、及び高度の座標データで規定される位置を検出する。
 車体座標系(Xm,Ym,Zm)は、旋回体3に固定された原点を基準とする座標系である。車体座標系の原点は、例えば旋回体3のスイングサークルの中心である。スイングサークルの中心は、旋回体3の旋回軸Zrに存在する。
 油圧ショベル1は、作業機2の角度を検出する作業機角度検出器22と、旋回体3の位置を検出する位置検出器23と、旋回体3の姿勢を検出する姿勢検出器24と、旋回体3の方位を検出する方位検出器25とを有する。
[撮像装置]
 図2は、本実施形態に係る撮像装置30の一例を示す斜視図である。図2は、油圧ショベル1の運転室4の近傍を示す斜視図である。
 図2に示すように、油圧ショベル1は、撮像装置30を有する。撮像装置30は、油圧ショベル1に設けられ、油圧ショベル1の前方の対象を計測する計装装置として機能する。撮像装置30は、油圧ショベル1の前方の対象を撮影する。なお、油圧ショベル1の前方とは、車体座標系における+Xm方向をいい、旋回体3に対して作業機2が存在する方向をいう。
 撮像装置30は、運転室4の内側に設けられる。撮像装置30は、運転室4の前方(+Xm方向)かつ上方(+Zm方向)に配置される。
 上方(+Zm方向)とは、履帯5a,5bの接地面と直交する方向であって接地面から離れる方向である。履帯5a,5bの接地面とは、履帯5a,5bの少なくとも一方が接地する部分の同一直線上には存在しない少なくとも3点で規定される平面をいう。下方(-Zm方向)とは、上方の反対方向であり、履帯5a,5bの接地面と直交する方向であって接地面に向かう方向である。
 運転席4S及び操作装置35が運転室4に配置される。運転席4Sは、背もたれ4SSを有する。前方(+Xm方向)とは、運転席4Sの背もたれ4SSから操作装置35に向かう方向である。後方(-Xm方向)とは、前方の反対方向であり、操作装置35から運転席4Sの背もたれ4SSに向かう方向である。旋回体3の前部は、旋回体3の前方の部分であり、旋回体3のカウンタウエイトWTとは反対側の部分である。操作装置35は、作業機2及び旋回体3の操作のために運転者に操作される。操作装置35は、右操作レバー35R及び左操作レバー35Lを含む。運転室4に搭乗した運転者は、操作装置35を操作して、作業機2の駆動及び旋回体3の旋回を実施する。
 撮像装置30は、旋回体3の前方に存在する撮影対象を撮影する。本実施形態において、撮影対象は、施工現場において施工される施工対象を含む。施工対象は、油圧ショベル1の作業機2で掘削される掘削対象を含む。なお、施工対象は、他の油圧ショベル1otの作業機2で掘削される掘削対象でもよいし、撮像装置30を有する油圧ショベル1とは別の作業機械によって施工される施工対象でもよい。なお、施工対象は、作業者によって施工される施工対象でもよい。
 また、施工対象は、施工前の施工対象、施工中の施工対象、及び施工後の施工対象を含む概念である。
 撮像装置30は、光学系と、イメージセンサとを有する。イメージセンサは、CCD(Couple Charged Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを含む。
 本実施形態において、撮像装置30は、複数の撮像装置30a,30b,30c,30dを含む。撮像装置30a,30cは、撮像装置30b,30dよりも+Ym側(作業機2側)に配置される。撮像装置30aと撮像装置30bとはYm軸方向に間隔をあけて配置される。撮像装置30cと撮像装置30dとはYm軸方向に間隔をあけて配置される。撮像装置30a,30bは、撮像装置30c,30dよりも+Zm側に配置される。Zm軸方向において、撮像装置30aと撮像装置30bとは実質的に同一の位置に配置される。Zm軸方向において、撮像装置30cと撮像装置30dとは実質的に同一の位置に配置される。
 4つの撮像装置30(30a,30b,30c,30d)のうち2つの撮像装置30の組合せによりステレオカメラが構成される。ステレオカメラとは、撮影対象を複数の異なる方向から同時に撮影することにより、撮影対象の奥行き方向についてのデータも取得できるカメラをいう。本実施形態においては、撮像装置30a,30bの組合せにより第1のステレオカメラが構成され、撮像装置30c,30dの組合せにより第2のステレオカメラが構成される。
 本実施形態において、撮像装置30a,30bは上方(+Zm方向)を向く。撮像装置30c,30dは下方(-Zm方向)を向く。また、撮像装置30a,30cは、前方(+Xm方向)を向く。撮像装置30b,30dは、前方よりも僅かに+Ym側(作業機2側)を向く。すなわち、撮像装置30a,30cは、旋回体3の正面を向き、撮像装置30b,30dは、撮像装置30a,30c側を向く。なお、撮像装置30b,30dが旋回体3の正面を向き、撮像装置30a,30cが撮像装置30b,30d側を向いてもよい。
 撮像装置30は、旋回体3の前方に存在する撮影対象をステレオ撮影する。本実施形態においては、少なくとも一対の撮像装置30によるステレオ画像データを用いて施工対象が3次元計測され、施工対象の3次元データが算出される。施工対象の3次元データは、施工対象の表面(地表)の3次元データである。施工対象の3次元データは、グローバル座標系における施工対象の3次元形状データを含む。
 複数の撮像装置30(30a,30b,30c,30d)のそれぞれについてカメラ座標系(Xs,Ys,Zs)が規定される。カメラ座標系は、撮像装置30に固定された原点を基準とする座標系である。カメラ座標系のZs軸は撮像装置30の光学系の光軸と一致する。また、本実施形態においては、複数の撮像装置30a,30b,30c,30dのうち、撮像装置30cが基準撮像装置に設定される。
[検出システム]
 次に、本実施形態に係る油圧ショベル1の検出システムについて説明する。図3は、本実施形態に係る油圧ショベル1を模式的に示す側面図である。
 図3に示すように、油圧ショベル1は、作業機2の角度を検出する作業機角度検出器22と、旋回体3の位置を検出する位置検出器23と、旋回体3の姿勢を検出する姿勢検出器24と、旋回体3の方位を検出する方位検出器25とを有する。
 位置検出器23は、GPS受信機を含む。位置検出器23は、旋回体3に設けられる。位置検出器23は、グローバル座標系で規定される旋回体3の位置である絶対位置を検出する。旋回体3の絶対位置は、Xg軸方向の座標データ、Yg軸方向の座標データ、及びZg軸方向の座標データを含む。
 旋回体3に一対のGPSアンテナ21が設けられる。本実施形態において、一対のGPSアンテナ21は、旋回体3の上部に設けられた手すり9に設けられる。一対のGPSアンテナ21は、車体座標系のYm軸方向に配置される。一対のGPSアンテナ21は、一定距離だけ離れている。一対のGPSアンテナ21は、GPS衛星から電波を受信して、受信した電波に基づいて生成した信号を位置検出器23に出力する。位置検出器23は、一対のGPSアンテナ21から供給された信号に基づいて、グローバル座標系で規定される一対のGPSアンテナ21の位置である絶対位置をそれぞれ検出する。
 位置検出器23は、一対のGPSアンテナ21の絶対位置の少なくとも一方に基づいて演算処理を実施して、旋回体3の絶対位置を算出する。本実施形態において、旋回体3の絶対位置は、一方のGPSアンテナ21の絶対位置としてもよい。なお、旋回体3の絶対位置は、一方のGPSアンテナ21の絶対位置と他方のGPSアンテナ21の絶対位置との間の位置でもよい。
 姿勢検出器24は、慣性計測装置(IMU:Inertial Measurement Unit)を含む。姿勢検出器24は、旋回体3に設けられる。姿勢検出器24は、グローバル座標系で規定される水平面(XgYg平面)に対する旋回体3の傾斜角度を算出する。水平面に対する旋回体3の傾斜角度は、Ym軸方向(車幅方向)における旋回体3の傾斜角度を示すロール角θ1と、Xm軸方向(前後方向)における旋回体3の傾斜角度を示すピッチ角θ2とを含む。
 姿勢検出器24は、姿勢検出器24に作用する加速度及び角速度を検出する。姿勢検出器24に作用する加速度及び角速度が検出されることにより、旋回体3に作用する加速度及び角速度が検出される。旋回体3に作用する加速度及び角速度に基づいて、旋回体3の姿勢が導出される。
 方位検出器25は、一方のGPSアンテナ21の絶対位置と他方のGPSアンテナ21の絶対位置とに基づいて、グローバル座標系で規定される基準方位に対する旋回体3の方位を算出する。基準方位は、例えば北である。方位検出器25は、一方のGPSアンテナ21の絶対位置と他方のGPSアンテナ21の絶対位置とを結ぶ直線を算出し、算出した直線と基準方位とがなす角度に基づいて、基準方位に対する旋回体3の方位を算出する。基準方位に対する旋回体3の方位は、基準方位と旋回体3の方位とがなす角度を示すヨー角(方位角)θ3を含む。
 作業機2は、ブームシリンダ10に配置されブームシリンダ10の駆動量を示すブームストロークを検出するブームストロークセンサ16と、アームシリンダ11に配置されアームシリンダ11の駆動量を示すアームストロークを検出するアームストロークセンサ17と、バケットシリンダ12に配置されバケットシリンダ12の駆動量を示すバケットストロークを検出するバケットストロークセンサ18とを有する。
 作業機角度検出器22は、ブーム6の角度、アーム7の角度、及びバケット8の角度を検出する。作業機角度検出器22は、ブームストロークセンサ16で検出されたブームストロークに基づいて、車体座標系のZm軸に対するブーム6の傾斜角度を示すブーム角度αを算出する。作業機角度検出器22は、アームストロークセンサ17で検出されたアームストロークに基づいて、ブーム6に対するアーム7の傾斜角度を示すアーム角度βを算出する。作業機角度検出器22は、バケットストロークセンサ18で検出されたバケットストロークに基づいて、アーム7に対するバケット8の刃先8BTの傾斜角度を示すバケット角度γを算出する。
 なお、ブーム角度α、アーム角度β、及びバケット角度γは、ストロークセンサを用いずに、例えば、作業機2に設けられた角度センサにより検出されてもよい。
[形状計測システム]
 図4は、本実施形態に係る油圧ショベル1の制御システム50及びサーバ61を含む形状計測システム100の一例を模式的に示す図である。
 制御システム50は、油圧ショベル1に配置される。サーバ61は、油圧ショベル1の遠隔地に設けられる。制御システム50とサーバ61とは、通信回線NTWを介してデータ通信可能である。また、通信回線NTWには、制御システム50及びサーバ61のみならず、携帯端末装置64及び他の油圧ショベル1otの制御システム50otが接続される。油圧ショベル1の制御システム50と、サーバ61と、携帯端末装置64と、他の油圧ショベル1otの制御システム50otとは、通信回線NTWを介してデータ通信可能である。通信回線NTWは、携帯電話網及びインターネットの少なくとも一方を含む。なお、通信回線NTWが無線LAN(Local Area Network)を含んでもよい。
 制御システム50は、複数の撮像装置30(30a,30b,30c,30d)と、検出処理装置51と、施工管理装置57と、表示装置58と、通信装置26とを有する。
 また、制御システム50は、作業機角度検出器22と、位置検出器23と、姿勢検出器24と、方位検出器25とを有する。
 検出処理装置51、施工管理装置57、表示装置58、通信装置26、位置検出器23、姿勢検出器24、及び方位検出器25は、信号線59に接続され相互にデータ通信可能である。信号線59に適用される通信規格は、例えばCAN(Controller Area Network)である。
 制御システム50は、コンピュータシステムを含む。制御システム50は、CPU(Central Processing Unit)のようなプロセッサを含む演算処理装置と、RAM(Random Access Memory)のような不揮発性メモリ及びROM(Read Only Memory)のような揮発性メモリを含む記憶装置とを有する。通信用アンテナ26Aが通信装置26と接続される。通信装置26は、サーバ61、携帯端末装置64、及び他の油圧ショベル1otの制御システム50otの少なくとも1つと通信回線NTWを介してデータ通信可能である。
 検出処理装置51は、少なくとも一対の撮像装置30によって撮像された施工対象の一対の画像データに基づいて、施工対象の3次元データを算出する。検出処理装置51は、施工対象の一対の画像データをステレオ方式で画像処理することにより、3次元座標系における施工対象の複数の部位の座標を示す3次元データを算出する。ステレオ方式の画像処理とは、同一の撮影対象を2つの異なる撮像装置30から観測して得られる2つの画像から、その撮影対象までの距離を得る手法をいう。撮影対象までの距離は、例えば撮影対象までの距離データを濃淡により可視化した距離画像として表現される。
 ハブ31及び撮像スイッチ32が検出処理装置51に接続される。ハブ31は、複数の撮像装置30a,30b,30c,30dと接続される。撮像装置30a,30b,30c,30dで取得された画像データは、ハブ31を介して検出処理装置51に供給される。なお、ハブ31は省略されてもよい。
 撮像スイッチ32は、運転室4に設置される。本実施形態においては、運転室4の運転者によって撮像スイッチ32が操作されたとき、撮像装置30による施工対象の撮像が実施される。なお、油圧ショベル1が稼働している状態において、所定期間毎に自動的に撮像装置30による施工対象の撮像が実施されてもよい。
 施工管理装置57は、油圧ショベル1の状態及び油圧ショベル1による施工の状況を管理する。施工管理装置57は、例えば1日の作業の終了段階における施工の結果を示す完了施工データを取得して、サーバ61及び携帯端末装置64の少なくとも一方に送信する。また、施工管理装置57は、1日の作業の途中段階における施工の結果を示す中間施工データを取得して、サーバ61及び携帯端末装置64の少なくとも一方に送信する。
 完了施工データ及び中間施工データは、撮像装置30で取得された画像データに基づいて検出処理装置51で算出された施工対象の3次元データを含む。すなわち、1日の作業の途中段階及び終了段階における施工対象の現況地形データがサーバ61及び携帯端末装置64の少なくとも一方に送信される。なお、施工管理装置57は、完了施工データ及び中間施工データに加えて、例えば撮像装置30で取得された画像データの取得日時データ、取得位置データ、及び画像データを取得した油圧ショベル1の識別データの少なくとも一つを含めてサーバ61及び携帯端末装置64の少なくとも一方に送信してもよい。なお、油圧ショベル1の識別データは、例えば油圧ショベル1の型番を含む。
 表示装置58は、液晶ディスプレイ(LCD:Liquid Crystal Display)又は有機ELディスプレイ(OELD:Organic Electroluminescence Display)のようなフラットパネルディスプレイを含む。
 携帯端末装置64は、例えば油圧ショベル1の作業を管理する管理者に所持される。
 サーバ61は、コンピュータシステムを含む。サーバ61は、CPUのようなプロセッサを含む演算処理装置と、RAMのような揮発性メモリ及びROMのような不揮発性メモリを含む記憶装置とを含む。通信装置62及び表示装置65がサーバ61と接続される。通信装置62は、通信用アンテナ63と接続される。通信装置62は、油圧ショベル1の制御システム50、携帯端末装置64、及び他の油圧ショベル1otの制御システム50otの少なくとも1つと通信回線NTWを介してデータ通信可能である。
 図5は、本実施形態に係る検出処理装置51の一例を示す機能ブロック図である。検出処理装置51は、プロセッサを含む演算処理装置と、不揮発性メモリ及び揮発性メモリを含む記憶装置と、入出力インターフェースとを有するコンピュータシステムを含む。
 検出処理装置51は、画像データ取得部101と、3次元データ算出部102と、位置データ取得部103と、姿勢データ取得部104と、方位データ取得部105と、作業機角度データ取得部106と、作業機位置データ算出部107と、表示制御部108と、記憶部109と、入出力部110と、を有する。
 画像データ取得部101、3次元データ算出部102、位置データ取得部103、姿勢データ取得部104、方位データ取得部105、作業機角度データ取得部106、作業機位置データ算出部107、及び表示制御部108の機能は、演算処理装置によって発揮される。記憶部109の機能は、記憶装置によって発揮される。入出力部110の機能は、入出力インターフェースによって発揮される。
 撮像装置30、作業機角度検出器22、位置検出器23、姿勢検出器24、方位検出器25、撮像スイッチ32、及び表示装置58は、入出力部110と接続される。画像データ取得部101と、3次元データ算出部102と、位置データ取得部103と、姿勢データ取得部104と、方位データ取得部105と、作業機角度データ取得部106と、作業機位置データ算出部107と、表示制御部108と、記憶部109と、撮像装置30と、作業機角度検出器22と、位置検出器23と、姿勢検出器24と、方位検出器25と、撮像スイッチ32と、表示装置58とは、入出力部110を介してデータ通信可能である。
 画像データ取得部101は、油圧ショベル1に設けられた少なくとも一対の撮像装置30で撮影された施工対象の画像データを一対の撮像装置30から取得する。すなわち、画像データ取得部101は、少なくとも一対の撮像装置30によるステレオ画像データを取得する。画像データ取得部101は、油圧ショベル1に設けられた撮像装置30(計測装置)によって撮影(計測)された油圧ショベル1の前方の施工対象の画像データ(計測データ)を取得する計測データ取得部として機能する。
 3次元データ算出部102は、画像データ取得部101で取得された画像データに基づいて、施工対象の3次元データを算出する。3次元データ算出部102は、画像データ取得部101で取得された画像データに基づいて、カメラ座標系における施工対象の3次元形状データを算出する。
 位置データ取得部103は、油圧ショベル1の位置データを位置検出器23から取得する。油圧ショベル1の位置データは、位置検出器23で検出されたグローバル座標系における旋回体3の位置を示す位置データを含む。
 姿勢データ取得部104は、油圧ショベル1の姿勢データを姿勢検出器24から取得する。油圧ショベル1の姿勢データは、姿勢検出器24で検出されたグローバル座標系における旋回体3の姿勢を示す姿勢データを含む。
 方位データ取得部105は、油圧ショベル1の方位データを方位検出器25から取得する。油圧ショベル1の方位データは、方位検出器25で検出されたグローバル座標系における旋回体3の方位を示す方位データを含む。
 作業機角度データ取得部106は、作業機2の角度を示す作業機角度データを作業機角度検出器22から取得する。作業機角度データは、ブーム角度α、アーム角度β、及びバケット角度γを含む。
 作業機位置データ算出部107は、作業機2の位置を示す作業機位置データを算出する。作業機位置データは、ブーム6の位置データ、アーム7の位置データ、及びバケット8の位置データを含む。
 作業機位置データ算出部107は、作業機角度データ取得部106で取得された作業機角度データと、記憶部109に記憶されている作業機データとに基づいて、車体座標系におけるブーム6の位置データ、アーム7の位置データ、及びバケット8の位置データを算出する。ブーム6、アーム7、及びバケット8の位置データは、ブーム6、アーム7、及びバケット8の複数の部位それぞれの座標データを含む。
 また、作業機位置データ算出部107は、位置データ取得部103で取得された旋回体3の位置データと、姿勢データ取得部104で取得された旋回体3の姿勢データと、方位データ取得部105で取得された旋回体3の方位データと、作業機角度データ取得部106で取得された作業機角度データと、記憶部109に記憶されている作業機データとに基づいて、グローバル座標系におけるブーム6、アーム7、及びバケット8の位置データを算出する。
 作業機データは、作業機2の設計データ又は諸元データを含む。作業機2の設計データは、作業機2の3次元CADデータを含む。作業機データは、作業機2の外形データ及び作業機2の寸法データの少なくとも一方を含む。本実施形態においては、図3に示すように、作業機データは、ブーム長さL1、アーム長さL2、及びバケット長さL3を含む。ブーム長さL1は、回転軸AX1と回転軸AX2との距離である。アーム長さL2は、回転軸AX2と回転軸AX3との距離である。バケット長さL3は、回転軸AX3とバケット8の刃先8BTとの距離である。
 3次元データ算出部102は、画像データ取得部101で取得された施工対象の画像データに基づいて、車体座標系における施工対象の3次元データを算出する。車体座標系における施工対象の3次元データは、車体座標系における施工対象の3次元形状データを含む。3次元データ算出部102は、カメラ座標系における施工対象の3次元データを座標変換して、車体座標系における施工対象の3次元データを算出する。
 また、3次元データ算出部102は、位置データ取得部103で取得された旋回体3の位置データ、姿勢データ取得部104で取得された旋回体3の姿勢データ、方位データ取得部105で取得された旋回体3の方位データ、及び画像データ取得部101で取得された施工対象の画像データに基づいて、グローバル座標系における施工対象の3次元データを算出する。グローバル座標系における施工対象の3次元データは、グローバル座標系における施工対象の3次元形状データを含む。3次元データ算出部102は、車体座標系における施工対象の3次元データを座標変換して、グローバル座標系における施工対象の3次元データを算出する。
 表示制御部108は、3次元データ算出部102で算出された施工対象の3次元データを表示装置58に表示させる。表示制御部108は、3次元データ算出部102で算出された施工対象の3次元データを表示装置58が表示可能な表示形式の表示データに変換して、その表示データを表示装置58に表示させる。
[3次元処理]
 図6は、本実施形態に係る一対の撮像装置30によって3次元データを算出する方法を説明するための模式図である。以下の説明においては、一対の撮像装置30a,30bによって3次元データが算出される方法について説明する。3次元データを算出する3次元処理は、所謂ステレオ計測処理を含む。なお、一対の撮像装置30a,30bによって3次元データが算出される方法と、一対の撮像装置30c,30dによって3次元データが算出される方法とは、同様である。
 一対の撮像装置30a,30bを示す計測装置位置データである撮像装置位置データが記憶部109に記憶されている。撮像装置位置データは、撮像装置30a及び撮像装置30bそれぞれの位置及び姿勢を含む。また、撮像装置位置データは、一対の撮像装置30aと撮像装置30bとの相対位置を含む。撮像装置位置データは、撮像装置30a,30bの設計データ又は諸元データから分かる既知データである。撮像装置30a,30bの位置を示す撮像装置位置データは、撮像装置30aの光学中心Oaの位置及び光軸の向き、撮像装置30bの光学中心Obの位置及び光軸の向き、撮像装置30aの光学中心Oaと撮像装置30bの光学中心Obとを結ぶベースラインの寸法、の少なくとも一つを含む。
 図6において、3次元空間に存在する計測点Pが、一対の撮像装置30a,30bの投影面に投影される。また、撮像装置30aの投影面に計測点Pの像及び撮像装置30bの投影面の点Ebの像が投影され、エピポーラ線が規定される。同様に、撮像装置30bの投影面に計測点Pの像及び撮像装置30aの投影面の点Eaの像が投影され、エピポーラ線が規定される。また、計測点Pと点Eaと点Ebとによりエピポーラ平面が規定される。
 本実施形態において、画像データ取得部101は、撮像装置30aで撮像された画像データと、撮像装置30bで撮像された画像データとを取得する。撮像装置30aで撮像された画像データ及び撮像装置30bで撮像された画像データはそれぞれ、投影面に投影された2次元の画像データである。以下の説明においては、撮像装置30aで撮像された2次元の画像データを適宜、右画像データ、と称し、撮像装置30bで撮像された2次元の画像データを適宜、左画像データ、と称する。
 画像データ取得部101で取得された右画像データ及び左画像データは、3次元データ算出部102に出力される。3次元データ算出部102は、カメラ座標系において規定される右画像データにおける計測点Pの像の座標データと、左画像データにおける計測点Pの像の座標データと、エピポーラ平面とに基づいて、カメラ座標系における計測点Pの3次元座標データを算出する。
 3次元画像データは、右画像データ及び左画像データに基づいて、施工対象の複数の計測点Pそれぞれの3次元座標データを算出する。これにより、施工対象の3次元データが算出される。
 本実施形態において、3次元データ算出部102は、ステレオ画像処理において、カメラ座標系における複数の計測点Pの3次元座標データを含む3次元データを算出した後、座標変換することによって、車体座標系における複数の計測点Pの3次元座標データを含む3次元データを算出する。
[形状計測方法]
 次に、本実施形態に係る形状計測方法について説明する。撮像装置30を用いて施工対象を撮像するとき、油圧ショベル1の作業機2の少なくとも一部が撮像装置30によって撮像される画像データに映り込んでしまう可能性がある。撮像装置30によって撮像された画像データにおいて、映り込んだ作業機2はノイズ成分であるため、施工対象の良好な3次元データを取得することが困難となる。
 本実施形態において、3次元データ算出部102は、画像データ取得部101で取得された画像データ及び作業機位置データ算出部107で算出された作業機位置データに基づいて、作業機2の少なくとも一部が除去された3次元データである対象データを算出する。
 本実施形態において、3次元データ算出部102は、作業機位置データ算出部107で算出された車体座標系における作業機位置データを座標変換して、カメラ座標系における作業機位置データを算出する。3次元データ算出部102は、カメラ座標系における作業機位置データに基づいて、画像データ取得部101で取得された画像データにおける作業機2の位置を特定して、作業機2の少なくとも一部が除去された3次元データである対象データを算出する。3次元データ算出部102は、カメラ座標系において算出された3次元データである対象データを座標変換して、車体座標系における3次元データである対象データを算出する。
 図7は、本実施形態に係る形状計測方法の一例を示すフローチャートである。画像データ取得部101は、撮像装置30から右画像データ及び左画像データを取得する(ステップSA10)。上述のように、右画像データ及び左画像データは、2次元の画像データである。
 3次元データ算出部102は、作業機位置データ算出部107で算出された車体座標系における作業機位置データを座標変換してカメラ座標系における作業機位置データを算出する。3次元データ算出部102は、カメラ座標系における作業機位置データに基づいて、右画像データ及び左画像データのそれぞれにおける作業機2の位置を特定する(ステップSA20)。
 上述のように、記憶部109には、撮像装置30a,30bの位置を示す撮像装置位置データが記憶されている。3次元データ算出部102は、撮像装置位置データ及び作業機位置データに基づいて、右画像データにおける作業機2の位置、及び左画像データにおける作業機2の位置を特定することができる。
 例えば車体座標系における作業機2の位置と、車体座標系における撮像装置30の位置及び姿勢(向き)とが分かれば、撮像装置30の撮像範囲(撮像装置30の光学系の視野領域)において作業機2が映る範囲が特定される。3次元データ算出部102は、作業機2と撮像装置30との相対位置に基づいて、右画像データにおける作業機2の位置、及び左画像データにおける作業機2の位置を算出することができる。
 図8は、本実施形態に係る右画像データの一例を示す図である。なお、図8を用いる説明においては、右画像データについて説明するが、左画像データについても同様である。
 図8に示すように、右画像データに作業機2が映り込む可能性がある。3次元データ算出部102は、撮像装置位置データ及び作業機位置データに基づいて、カメラ座標系で規定される右画像データにおける作業機2の位置を特定する。上述のように、作業機位置データは、作業機データを含み、作業機データは、3次元CADデータのような作業機2の設計データを含む。また、作業機データは、作業機2の外形データ及び作業機2の寸法データを含む。したがって、3次元データ算出部102は、右画像データを構成する複数のピクセルのうち、作業機2を示すピクセルを特定することができる。
 3次元データ算出部102は、作業機位置データに基づいて、右画像データから、作業機2を含む部分データを除去する。同様に、3次元データ算出部102は、作業機位置データに基づいて、左画像データから、作業機2を含む部分データを除去する(ステップSA30)。
 すなわち、3次元データ算出部102は、右画像データの複数のピクセルのうち、ステレオ計測処理に使用される作業機2を示すピクセルを無効化する。同様に、3次元データ算出部102は、左画像データの複数のピクセルのうち、ステレオ計測処理に使用される作業機2を示すピクセルを無効化する。換言すれば、3次元データ算出部102は、撮像装置30a,30bの投影面に投影された作業機2を示す計測点Pの像を除去又は無効化する。
 3次元データ算出部102は、作業機2を含む部分データが除去された画像データである周辺データに基づいて、作業機2が除去された3次元データである対象データを算出する(ステップSA40)。
 すなわち、3次元データ算出部102は、右画像データから作業機2を含む部分データが除去された2次元の周辺データと、左画像データから作業機2を含む部分データが除去された2次元の周辺データとに基づいて、3次元処理を実施して、作業機2が除去された3次元データである対象データを算出する。3次元データ算出部102は、カメラ座標系において規定される対象データを座標変換して、車体座標系又はグローバル座標系において規定される対象データを算出する。
[作用及び効果]
 以上説明したように、本実施形態によれば、作業機2が映り込んでも、画像データ取得部101で取得された画像データ及び作業機位置データ算出部107で算出された作業機位置データに基づいて、作業機2の少なくとも一部が除去された3次元データである対象データが算出される。
 撮像装置30によって取得された画像データにおいて、映り込んだ作業機2はノイズ成分である。本実施形態においては、ノイズ成分である作業機2を含む部分データが除去されるため、3次元データ算出部102は、周辺データに基づいて、施工対象の良好な3次元データを算出することができる。また、作業機2を上昇させずに撮像装置30によって施工対象を撮像しても、施工対象の良好な3次元データが算出されるので、作業効率の低下が抑制される。
 なお、本実施形態においては、部分データは、図8を参照して説明したように、作業機2の外形に沿って規定されている。部分データが作業機2の一部を含み、周辺データが作業機の一部を含んでもよい。また、部分データが施工対象の一部を含んでもよい。
第2実施形態.
 第2実施形態について説明する。以下の説明において、上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。
 上述の実施形態においては、2次元の右画像データ及び左画像データから部分データを除去することとした。本実施形態においては、右画像データ及び左画像データに基づいて作業機2を含む3次元データが算出された後、その3次元データから作業機2を含む部分データが除去される例について説明する。
 図9は、本実施形態に係る形状計測方法の一例を示すフローチャートである。画像データ取得部101は、撮像装置30から右画像データ及び左画像データを取得する(ステップSB10)。
 3次元データ算出部102は、画像データ取得部101で取得された右画像データ及び左画像データに基づいて3次元処理を実施して、施工対象の3次元データを算出する(ステップSB20)。3次元データ算出部102は、カメラ座標系における施工対象の3次元データを算出した後、座標変換して、車体座標系における施工対象の3次元データを算出する。
 3次元データ算出部102は、作業機位置データ算出部107で算出された車体座標系における作業機位置データに基づいて、車体座標系における作業機2の位置を特定する(ステップSB30)。3次元データ算出部102は、車体座標系における作業機2の位置を座標変換して、カメラ座標系における作業機2の位置を特定する。
 3次元データ算出部102は、ステップSB20で算出した3次元データから、ステップSB30で特定した作業機2を含む部分データ(3次元データ)を除去して、作業機2が除去された3次元データである対象データを算出する(ステップSB40)。
 すなわち、3次元データ算出部102は、3次元処理によって取得された複数の計測点Pからなる3次元点群データから、作業機位置データに基づいて作業機2を示す複数の計測点Pを推定し、推定した作業機2を示す複数の計測点Pからなる3次元の部分データを、3次元点群データから除去する。
 3次元データ算出部102は、カメラ座標系において規定される対象データを座標変換して、車体座標系又はグローバル座標系において規定される対象データを算出する。
 以上説明したように、本実施形態においては、撮像装置30で撮像された画像データに作業機2が映り込んだ場合、右画像データ及び左画像データに基づいて作業機2を含む3次元データが算出された後、その3次元データから作業機2を含む部分データが除去される。本実施形態においても、作業効率の低下を抑制しつつ油圧ショベル1の前方の施工対象の良好な3次元データを取得することができる。
第3実施形態.
 第3実施形態について説明する。以下の説明において、上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。
 上述の実施形態においては、作業機2を含む部分データが除去される例について説明した。本実施形態にいては、他の油圧ショベル1otを含む部分データが除去される例について説明する。
 図10は、本実施形態に係る形状計測方法の一例を模式的に示す図である。図10に示すように、油圧ショベル1に設けられている撮像装置30を用いて施工対象OBPを撮像するとき、他の油圧ショベル1otの少なくとも一部が撮像装置30によって撮像される画像データに映り込んでしまう可能性がある。撮像装置30によって撮像された画像データにおいて、映り込んだ他の油圧ショベル1otはノイズ成分であるため、施工対象の良好な3次元データを取得することが困難となる。
 本実施形態において、位置データ取得部103は、他の油圧ショベル1otの位置データを取得する。3次元データ算出部102は、画像データ取得部101で取得された画像データ及び位置データ取得部103で取得された他の油圧ショベル1otの位置データに基づいて、他の油圧ショベル1otの少なくとも一部が除去された3次元データである対象データを算出する。
 油圧ショベル1と同様、他の油圧ショベル1otは、GPSアンテナ21と、車両の位置を検出する位置検出器23とを有する。他の油圧ショベル1otは、位置検出器23で検出された他の油圧ショベル1otの位置データを、通信回線NTWを介してサーバ61に逐次送信する。
 サーバ61は、他の油圧ショベル1otの位置データを、油圧ショベル1の検出処理装置51の位置データ取得部103に送信する。油圧ショベル1の検出処理装置51の3次元データ算出部102は、他の油圧ショベル1otの位置データに基づいて、画像データ取得部101で取得された画像データにおける他の油圧ショベル1otの位置を特定して、他の油圧ショベル1otの少なくとも一部が除去された3次元データである対象データを算出する。
 本実施形態において、3次元データ算出部102は、他の油圧ショベル1otの位置データに基づいて、画像データ取得部101で取得された画像データにおける他の油圧ショベル1otの範囲を特定する。3次元データ算出部102は、例えば他の油圧ショベル1otの位置データを中心とする所定距離(例えばXg軸方向、Yg軸方向、及びZg軸方向にそれぞれ±5[m]、又は半径5[m]の球体)の範囲を、画像データにおける他の油圧ショベル1otの範囲としてもよい。3次元データ算出部102は、画像データ取得部101で取得された画像データと、他の油圧ショベル1otの位置データと、既知データである他の油圧ショベル1otの外形データ及び寸法データの少なくとも一方とに基づいて、画像データにおける他の油圧ショベル1otの範囲を特定してもよい。他の油圧ショベル1otの外形データ及び寸法データは、サーバ61に保有され、サーバ61から油圧ショベル1に送信されてもよいし、記憶部109に記憶されていてもよい。
 なお、本実施形態においても、2次元の右画像データ及び左画像データから他の油圧ショベル1otを含む部分データが除去されてもよいし、右画像データ及び左画像データに基づいて他の油圧ショベル1otを含む3次元データが算出された後、その3次元データから他の油圧ショベル1otを含む部分データが除去されてもよい。
 以上説明したように、本実施形態によれば、他の油圧ショベル1otが映り込んでも、ノイズ成分である他の油圧ショベル1otを含む部分データが除去されるため、3次元データ算出部102は、周辺データに基づいて、施工対象の良好な3次元データを算出することができる。
 なお、上述の実施形態において、車体座標系における作業機位置データが算出され、3次元処理においては作業機位置データをカメラ座標系に座標変換し、カメラ座標系において部分データを除去することとした。部分データの除去は、車体座標系において実施されてもよいし、グローバル座標系において実施されてもよい。任意の座標系において部分データを除去して座標変換を適宜実施してもよい。
 なお、上述の本実施形態においては、油圧ショベル1に撮像装置30が4つ設けられる例について説明した。撮像装置30は、油圧ショベル1に少なくとも2つ設けられていればよい。
 なお、上述の実施形態において、サーバ61が検出処理装置51の一部又は全部の機能を有してもよい。すなわち、サーバ61が、画像データ取得部101、3次元データ算出部102、位置データ取得部103、姿勢データ取得部104、方位データ取得部105、作業機角度データ取得部106、作業機位置データ算出部107、表示制御部108、記憶部109、及び入出力部110の少なくとも一つを有してもよい。例えば、油圧ショベル1の撮像装置30で撮像された画像データ、作業機角度検出器22で検出された作業機2の角度データ、位置検出器23で検出された旋回体3の位置データ、姿勢検出器24で検出された旋回体3の姿勢データ、及び方位検出器25で検出された旋回体3の方位データが、通信装置26及び通信回線NTWを介して、サーバ61に供給されてもよい。サーバ61の3次元データ算出部102は、画像データ及び作業機位置データに基づいて、作業機1の少なくとも一部が除去された3次元データである対象データを算出することができる。
 サーバ61には、油圧ショベル1及び複数の他の油圧ショベル1otから、画像データ及び作業機位置データの両方が供給される。サーバ61は、油圧ショベル1及び複数の他の油圧ショベル1otから供給された画像データ及び作業機位置データに基づいて、広範囲に亘って施工対象OBPの3次元データを収集することができる。
 なお、上述の実施形態においては、右画像データ及び左画像データのそれぞれから作業機2を含む部分データが除去されることとした。右画像データ及び左画像データのいずれか一方から作業機2を含む部分データが除去されてもよい。右画像データ及び左画像データのいずれか一方から作業機2を含む部分データが除去された場合、3次元データを算出する際に作業機2の部分データは算出されない。
 なお、上述の実施形態においては、油圧ショベル1の前方の施工対象を計測する計測装置が撮像装置30であることとした。油圧ショベル1の前方の施工対象を計測する計測装置が3次元レーザスキャナでもよい。その場合、3次元レーザスキャナにより計測された3次元形状データが計測データに該当する。
 なお、上述の実施形態においては、作業機械1が油圧ショベルであることとした。作業機械1は、施工対象を施工可能な作業機械であればよく、施工対象を掘削可能な掘削機械及び土砂を運搬可能な運搬機械でもよい。作業機械1は、例えばホイールローダでもよいし、ブルドーザでもよいし、ダンプトラックでもよい。
 1 油圧ショベル(作業機械)、1B 車体、2 作業機、3 旋回体、4 運転室、4S 運転席、4SS 背もたれ、5 走行体、6 ブーム、7 アーム、8 バケット、8BT 刃先、10 ブームシリンダ、11 アームシリンダ、12 バケットシリンダ、13 ブームピン、14 アームピン、15 バケットピン、16 ブームストロークセンサ、17 アームストロークセンサ、18 バケットストロークセンサ、21 GPSアンテナ、22 作業機角度検出器、23 位置検出器、24 姿勢検出器、25 方位検出器、26 通信装置、26A 通信用アンテナ、30(30a,30b,30c,30d) 撮像装置、31 ハブ、32 撮像スイッチ、35 操作装置、35L 左操作レバー、35R 右操作レバー、50 制御システム、51 検出処理装置、57 施工管理装置、58 表示装置、59 信号線、61 サーバ、62 通信装置、63 通信用アンテナ、64 携帯端末装置、65 表示装置、100 形状計測システム、101 画像データ取得部(計測データ取得部)、102 3次元データ算出部、103 位置データ取得部、104 姿勢データ取得部、105 方位データ取得部、106 作業機角度データ取得部、107 作業機位置データ算出部、108 表示制御部、109 記憶部、110 入出力部、AX1 回転軸、AX2 回転軸、AX3 回転軸、NTW 通信回線。

Claims (9)

  1.  作業機械に設けられた計測装置によって計測された対象の計測データを取得する計測データ取得部と、
     前記作業機械の作業機の位置を示す作業機位置データを算出する作業機位置データ算出部と、
     前記計測データ及び前記作業機位置データに基づいて、前記作業機の少なくとも一部が除去された3次元データである対象データを算出する3次元データ算出部と、
    を備える作業機械の検出処理装置。
  2.  前記3次元データ算出部は、前記作業機位置データに基づいて前記計測データから前記作業機を含む部分データを除去し、前記部分データが除去された前記計測データに基づいて、前記対象データを算出する、
    請求項1に記載の作業機械の検出処理装置。
  3.  前記3次元データ算出部は、前記計測装置の位置を示す計測装置位置データ及び前記作業機位置データに基づいて、前記計測データにおける前記作業機の位置を特定する、
    請求項2に記載の作業機械の検出処理装置。
  4.  前記作業機位置データ算出部は、前記作業機の角度データ、及び前記作業機の外形データ又は寸法データに基づいて、作業機位置データを算出する、
    請求項1から請求項3のいずれか一項に記載の作業機械の検出処理装置。
  5.  前記3次元データ算出部は、前記計測データに基づいて算出された3次元データから前記作業機位置データに基づいて前記作業機を含む部分データを除去して、前記対象データを算出する、
    請求項1に記載の作業機械の検出処理装置。
  6.  作業機械に設けられた計測装置によって計測された対象の計測データを取得する計測データ取得部と、
     他の作業機械の位置データを取得する位置データ取得部と、
     前記計測データ及び他の作業機械の位置データに基づいて、他の前記作業機械の少なくとも一部が除去された3次元データである対象データを算出する3次元データ算出部と、
    を備える作業機械の検出処理装置。
  7.  前記3次元データ算出部は、前記計測データ、他の作業機械の位置データ、及び他の作業機械の外形データ又は寸法データに基づいて、前記対象データを算出する、
    請求項6に記載の作業機械の検出処理装置。
  8.  作業機械に設けられた計測装置によって計測された対象の計測データを取得することと、
     前記作業機械の作業機の位置を示す作業機位置データを算出することと、
     前記計測データ及び前記作業機位置データに基づいて、前記作業機の少なくとも一部が除去された3次元データである対象データを算出することと、
    を含む作業機械の検出処理方法。
  9.  作業機械に設けられた計測装置によって計測された対象の計測データを取得することと、
     前記計測データ及び他の作業機械の位置データに基づいて、他の前記作業機械の少なくとも一部が除去された3次元データである対象データを算出することと、
    を含む作業機械の検出処理方法。
PCT/JP2017/035610 2016-09-30 2017-09-29 作業機械の検出処理装置及び作業機械の検出処理方法 WO2018062523A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020197007345A KR20190039250A (ko) 2016-09-30 2017-09-29 작업 기계의 검출 처리 장치 및 작업 기계의 검출 처리 방법
DE112017004096.5T DE112017004096T5 (de) 2016-09-30 2017-09-29 Erfassungsverarbeitungsvorrichtung für arbeitsmaschine und ein erfassungsverarbeitungsverfahren einer arbeitsmaschine
CN201780054075.XA CN109661494B (zh) 2016-09-30 2017-09-29 作业机械的检测处理装置及作业机械的检测处理方法
US16/332,861 US20190253641A1 (en) 2016-09-30 2017-09-29 Detection processing device of work machine, and detection processing method of work machine

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-195015 2016-09-30
JP2016195015A JP6867132B2 (ja) 2016-09-30 2016-09-30 作業機械の検出処理装置及び作業機械の検出処理方法

Publications (1)

Publication Number Publication Date
WO2018062523A1 true WO2018062523A1 (ja) 2018-04-05

Family

ID=61759882

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/035610 WO2018062523A1 (ja) 2016-09-30 2017-09-29 作業機械の検出処理装置及び作業機械の検出処理方法

Country Status (6)

Country Link
US (1) US20190253641A1 (ja)
JP (1) JP6867132B2 (ja)
KR (1) KR20190039250A (ja)
CN (1) CN109661494B (ja)
DE (1) DE112017004096T5 (ja)
WO (1) WO2018062523A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3859090A4 (en) * 2018-09-25 2022-05-18 Hitachi Construction Machinery Co., Ltd. OUTER PROFILE MEASUREMENT SYSTEM FOR EARTHWORKING MACHINE, OUTER PROFILE DISPLAY SYSTEM FOR EARTHWORKING MACHINE, CONTROL SYSTEM FOR EARTHWORKING MACHINE, AND EARTHWORKING MACHINE

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7023813B2 (ja) * 2018-08-27 2022-02-22 日立建機株式会社 作業機械
JP7203616B2 (ja) * 2019-01-28 2023-01-13 日立建機株式会社 作業機械
JP7344675B2 (ja) * 2019-05-31 2023-09-14 株式会社小松製作所 表示システム、遠隔操作システムおよび表示方法
JP6792297B1 (ja) * 2019-06-25 2020-11-25 株式会社ビートソニック 発熱テープ
CN110715670A (zh) * 2019-10-22 2020-01-21 山西省信息产业技术研究院有限公司 一种基于gnss差分定位构建驾考全景三维地图的方法
US11505919B2 (en) * 2020-07-27 2022-11-22 Caterpillar Inc. Method for remote operation of machines using a mobile device
JP2022157458A (ja) * 2021-03-31 2022-10-14 株式会社小松製作所 施工管理システム、データ処理装置、及び施工管理方法
US20230133175A1 (en) * 2021-10-30 2023-05-04 Deere & Company Object detection system and method for a work machine using work implement masking
KR20240056273A (ko) * 2022-10-21 2024-04-30 에이치디현대인프라코어 주식회사 건설기계의 제어 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053922A (ja) * 2004-08-10 2006-02-23 Caterpillar Inc 機械操作者にとっての視認性を高める方法及び装置
JP2010060344A (ja) * 2008-09-02 2010-03-18 Tokyu Construction Co Ltd 空間情報表示装置及び支援装置
JP2015154239A (ja) * 2014-02-14 2015-08-24 株式会社フジタ 建設機械用俯瞰画像表示装置
JP2016160741A (ja) * 2015-03-05 2016-09-05 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819318B1 (en) * 1999-07-23 2004-11-16 Z. Jason Geng Method and apparatus for modeling via a three-dimensional image mosaic system
JP3326472B2 (ja) * 1999-11-10 2002-09-24 独立行政法人 航空宇宙技術研究所 多関節ロボット
JPWO2003000997A1 (ja) * 2001-06-20 2004-10-14 日立建機株式会社 建設機械の遠隔制御システム及び遠隔設定システム
US20050193451A1 (en) * 2003-12-30 2005-09-01 Liposonix, Inc. Articulating arm for medical procedures
US7640683B2 (en) * 2005-04-15 2010-01-05 Topcon Positioning Systems, Inc. Method and apparatus for satellite positioning of earth-moving equipment
JP2007164383A (ja) * 2005-12-13 2007-06-28 Matsushita Electric Ind Co Ltd 撮影対象物標識システム
US20080125942A1 (en) * 2006-06-30 2008-05-29 Page Tucker System and method for digging navigation
KR100776805B1 (ko) * 2006-09-29 2007-11-19 한국전자통신연구원 스테레오 비전 처리를 통해 지능형 서비스 로봇 시스템에서효율적인 영상 정보의 전송을 위한 장치 및 그 방법
US7516563B2 (en) * 2006-11-30 2009-04-14 Caterpillar Inc. Excavation control system providing machine placement recommendation
US20100271368A1 (en) * 2007-05-31 2010-10-28 Depth Analysis Pty Ltd Systems and methods for applying a 3d scan of a physical target object to a virtual environment
KR100916638B1 (ko) * 2007-08-02 2009-09-08 인하대학교 산학협력단 구조광을 이용한 토공량 산출 장치 및 방법
US8351684B2 (en) * 2008-02-13 2013-01-08 Caterpillar Inc. Terrain map updating system
US8345926B2 (en) * 2008-08-22 2013-01-01 Caterpillar Trimble Control Technologies Llc Three dimensional scanning arrangement including dynamic updating
JP5253066B2 (ja) * 2008-09-24 2013-07-31 キヤノン株式会社 位置姿勢計測装置及び方法
US8442304B2 (en) * 2008-12-29 2013-05-14 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
JP5774889B2 (ja) * 2011-03-31 2015-09-09 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP5802476B2 (ja) * 2011-08-09 2015-10-28 株式会社トプコン 建設機械制御システム
US9175975B2 (en) * 2012-07-30 2015-11-03 RaayonNova LLC Systems and methods for navigation
JP6258582B2 (ja) * 2012-12-28 2018-01-10 株式会社小松製作所 建設機械の表示システムおよびその制御方法
JP6305053B2 (ja) * 2013-01-15 2018-04-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
US9729865B1 (en) * 2014-06-18 2017-08-08 Amazon Technologies, Inc. Object detection and tracking
US20150376869A1 (en) * 2014-06-25 2015-12-31 Topcon Positioning Systems, Inc. Method and Apparatus for Machine Synchronization
US20160076222A1 (en) * 2014-09-12 2016-03-17 Caterpillar Inc. System and Method for Optimizing a Work Implement Path
US10281577B2 (en) * 2015-04-20 2019-05-07 Navico Holding As Methods and apparatuses for constructing a 3D sonar image of objects in an underwater environment
US9846975B2 (en) * 2016-02-18 2017-12-19 Skycatch, Inc. Generating filtered, three-dimensional digital ground models utilizing multi-stage filters

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053922A (ja) * 2004-08-10 2006-02-23 Caterpillar Inc 機械操作者にとっての視認性を高める方法及び装置
JP2010060344A (ja) * 2008-09-02 2010-03-18 Tokyu Construction Co Ltd 空間情報表示装置及び支援装置
JP2015154239A (ja) * 2014-02-14 2015-08-24 株式会社フジタ 建設機械用俯瞰画像表示装置
JP2016160741A (ja) * 2015-03-05 2016-09-05 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3859090A4 (en) * 2018-09-25 2022-05-18 Hitachi Construction Machinery Co., Ltd. OUTER PROFILE MEASUREMENT SYSTEM FOR EARTHWORKING MACHINE, OUTER PROFILE DISPLAY SYSTEM FOR EARTHWORKING MACHINE, CONTROL SYSTEM FOR EARTHWORKING MACHINE, AND EARTHWORKING MACHINE
US11434623B2 (en) 2018-09-25 2022-09-06 Hitachi Construction Machinery Co., Ltd. Work-implement external-shape measurement system, work-implement external-shape display system, work-implement control system and work machine

Also Published As

Publication number Publication date
CN109661494B (zh) 2021-05-18
JP6867132B2 (ja) 2021-04-28
JP2018059268A (ja) 2018-04-12
DE112017004096T5 (de) 2019-05-02
US20190253641A1 (en) 2019-08-15
CN109661494A (zh) 2019-04-19
KR20190039250A (ko) 2019-04-10

Similar Documents

Publication Publication Date Title
WO2018062523A1 (ja) 作業機械の検出処理装置及び作業機械の検出処理方法
KR101815269B1 (ko) 위치 계측 시스템 및 위치 계측 방법
JP6777375B2 (ja) 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
WO2017061518A1 (ja) 施工管理システム、施工管理方法、及び管理装置
AU2021201894B2 (en) Shape measuring system and shape measuring method
JP6925816B2 (ja) 位置計測システム、作業機械、及び位置計測方法
JP6585697B2 (ja) 施工管理システム
CN109073379B (zh) 管理系统
JP7420733B2 (ja) 表示制御システムおよび表示制御方法
KR20180115756A (ko) 형상 계측 시스템, 작업 기계 및 형상 계측 방법
US11966990B2 (en) Construction management system
US20220316188A1 (en) Display system, remote operation system, and display method
JP2022164713A (ja) 作業機械の画像表示システム及び作業機械の画像表示方法
JP6606230B2 (ja) 形状計測システム
AU2019202194A1 (en) Construction method, work machine control system, and work machine
JP2020016147A (ja) 形状計測システム及び形状計測方法
JP7166326B2 (ja) 施工管理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17856470

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197007345

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17856470

Country of ref document: EP

Kind code of ref document: A1