WO2018026019A1 - 施工管理システム - Google Patents

施工管理システム Download PDF

Info

Publication number
WO2018026019A1
WO2018026019A1 PCT/JP2017/028494 JP2017028494W WO2018026019A1 WO 2018026019 A1 WO2018026019 A1 WO 2018026019A1 JP 2017028494 W JP2017028494 W JP 2017028494W WO 2018026019 A1 WO2018026019 A1 WO 2018026019A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
geological
dimensional
image data
acquisition unit
Prior art date
Application number
PCT/JP2017/028494
Other languages
English (en)
French (fr)
Inventor
中野　一郎
豊久 松田
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to US16/090,326 priority Critical patent/US11966990B2/en
Priority to AU2017305111A priority patent/AU2017305111B2/en
Priority to CN201780016276.0A priority patent/CN108779985B/zh
Priority to DE112017001522.7T priority patent/DE112017001522T5/de
Publication of WO2018026019A1 publication Critical patent/WO2018026019A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2054—Fleet management
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/02—Means for marking measuring points
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated

Definitions

  • the present invention relates to a construction management system.
  • Patent Document 1 Construction plan image data is created based on the construction plan data and the position information of the stereo camera, the construction plan image data is superposed on the current image data captured by the stereo camera, and a composite image obtained by superimposing them is obtained.
  • Patent Document 2 A technique for three-dimensional display on a three-dimensional display device is disclosed.
  • the construction amount or construction period that can be performed per unit time may vary depending on the geology of the construction target.
  • the construction amount increases and the construction period is shortened.
  • the construction amount is reduced and the construction period is prolonged.
  • the geology of the construction target may affect the construction amount or construction period that can be performed per unit time. Therefore, the survey of the geology of the construction target is carried out at the stage of the construction plan, and data on the geology is acquired.
  • the geology surveyed at the construction planning stage differs from the geology recognized at the construction stage, it is necessary to conduct a geological survey again at the construction stage.
  • a technology that can efficiently acquire the three-dimensional data of the construction target including the geological data is desired.
  • An object of an aspect of the present invention is to provide a construction management system that can efficiently obtain three-dimensional data of a construction target including geological data.
  • a two-dimensional image data acquisition unit that acquires two-dimensional image data of an object photographed by an imaging device provided in the work machine, and attached to the work machine, A three-dimensional data acquisition unit that acquires three-dimensional data; an input unit that inputs geological data to the two-dimensional image data; and a geological data acquisition unit that adds the input geological data to the three-dimensional data.
  • a construction management system is provided.
  • a two-dimensional image data acquisition unit that acquires two-dimensional image data of an object photographed by an imaging device provided in a work machine, and the two-dimensional image data is acquired by the imaging device.
  • a position data acquisition unit that acquires position data at the time of shooting, a geological data acquisition unit that acquires geological data related to the geology of the ground included in the two-dimensional image data, and the two-dimensional image data, The position data of the work machine when the image data is acquired, the geological data of the ground included in the two-dimensional image data, and the time data when the two-dimensional image data is acquired are added and stored.
  • a construction management system including a storage unit is provided.
  • the three-dimensional data acquisition unit that is attached to the work machine and acquires the three-dimensional data of the construction target, and the event position data indicating the position of the event that has occurred in the construction target are acquired.
  • An event position data acquisition unit, and the three-dimensional data acquisition unit adds information related to the event and the event position data to the three-dimensional data obtained by the three-dimensional data acquisition unit.
  • FIG. 1 is a perspective view illustrating an example of a work machine according to the present embodiment.
  • FIG. 2 is a perspective view illustrating an example of the imaging apparatus according to the present embodiment.
  • FIG. 3 is a diagram schematically illustrating an example of a work machine control system and a construction management system according to the present embodiment.
  • FIG. 4 is a functional block diagram illustrating an example of the detection processing apparatus according to the present embodiment.
  • FIG. 5 is a schematic diagram illustrating an example of processing of the imaging device and the detection processing device according to the present embodiment.
  • FIG. 6 is a diagram schematically showing a construction object having a uniform geology.
  • FIG. 7 is a diagram schematically showing a construction object whose geology changes.
  • FIG. 1 is a perspective view illustrating an example of a work machine according to the present embodiment.
  • FIG. 2 is a perspective view illustrating an example of the imaging apparatus according to the present embodiment.
  • FIG. 3 is a diagram schematically illustrating an example of a work machine control system
  • FIG. 8 is a diagram schematically illustrating an example of two-dimensional image data acquired by the two-dimensional image data acquisition unit according to the present embodiment.
  • FIG. 9 is a diagram schematically illustrating an example of a display device that displays geological area data according to the present embodiment.
  • FIG. 10 is a flowchart illustrating an example of the construction management method according to the present embodiment.
  • a three-dimensional global coordinate system (Xg, Yg, Zg), a three-dimensional vehicle body coordinate system (Xm, Ym, Zm), and a three-dimensional camera coordinate system (Xs, Ys, Zs) are defined. Then, the positional relationship of each part will be described.
  • the global coordinate system is defined by the Xg axis in the horizontal plane, the Yg axis orthogonal to the Xg axis in the horizontal plane, and the Zg axis orthogonal to the Xg axis and the Yg axis.
  • the direction parallel to the Xg axis is the Xg axis direction
  • the direction parallel to the Yg axis is the Yg axis direction
  • the direction parallel to the Zg axis is the Zg axis direction.
  • the rotation or tilt direction around the Xg axis is the ⁇ Xg direction
  • the rotation or tilt direction around the Yg axis is the ⁇ Yg direction
  • the rotation or tilt direction around the Zg axis is the ⁇ Zg direction.
  • the Zg axis direction is the vertical direction.
  • the vehicle body coordinate system is defined by an Xm axis extending in one direction with reference to the origin defined in the vehicle body of the work machine, a Ym axis orthogonal to the Xm axis, and a Zm axis orthogonal to the Xm axis and the Ym axis.
  • the direction parallel to the Xm axis is the Xm axis direction
  • the direction parallel to the Ym axis is the Ym axis direction
  • the direction parallel to the Zm axis is the Zm axis direction.
  • the Xm-axis direction is the longitudinal direction of the work machine
  • the Ym-axis direction is the vehicle width direction of the work machine
  • the Zm-axis direction is the vertical direction of the work machine.
  • the camera coordinate system is defined by an Xs axis extending in one direction with reference to the origin defined in the imaging device, a Ys axis orthogonal to the Xs axis, and a Zs axis orthogonal to the Xs axis and the Ys axis.
  • the direction parallel to the Xs axis is the Xs axis direction
  • the direction parallel to the Ys axis is the Ys axis direction
  • the direction parallel to the Zs axis is the Zs axis direction.
  • the Xs axis direction is the vertical direction of the imaging device
  • the Ys axis direction is the width direction of the imaging device
  • the Zs axis direction is the front-rear direction of the imaging device.
  • the Zs axis direction is parallel to the optical axis of the optical system of the imaging apparatus.
  • FIG. 1 is a perspective view illustrating an example of a work machine 1 according to the present embodiment.
  • the work machine 1 is a hydraulic excavator
  • the work machine 1 is appropriately referred to as a hydraulic excavator 1.
  • the excavator 1 includes a vehicle body 1 ⁇ / b> B and a work machine 2.
  • the vehicle body 1B includes a revolving body 3 and a traveling body 5 that supports the revolving body 3 so as to be able to turn.
  • the turning body 3 can turn around the turning axis Zr.
  • the turning axis Zr and the Zm axis are parallel.
  • the swivel body 3 has a cab 4.
  • a hydraulic pump and an internal combustion engine are arranged on the swing body 3.
  • the traveling body 5 has crawler belts 5a and 5b. As the crawler belts 5a and 5b rotate, the excavator 1 travels.
  • the work machine 2 is connected to the swivel body 3.
  • the work implement 2 drives a boom 6 connected to the swing body 3, an arm 7 connected to the boom 6, a bucket 8 connected to the arm 7, a boom cylinder 10 that drives the boom 6, and the arm 7.
  • Each of the boom cylinder 10, the arm cylinder 11, and the bucket cylinder 12 is a hydraulic cylinder driven by hydraulic pressure.
  • the bucket 8 has a plurality of blades 8B.
  • the plurality of blades 8B are arranged in the Ym axis direction of the vehicle body coordinate system.
  • the blade 8B has a blade edge 8BT.
  • the cutting edge 8BT is provided at the tip of the blade 8B.
  • the bucket 8 is a kind of work tool.
  • the work tool connected to the arm 7 is not limited to the bucket 8.
  • the work tool connected to the arm 7 may be, for example, a tilt bucket or a rock drilling attachment having a slope bucket or a rock drilling tip.
  • the position of the revolving structure 3 defined by the global coordinate system is detected.
  • the global coordinate system is a coordinate system based on an origin fixed on the earth.
  • the global coordinate system is a coordinate system defined by GNSS (Global Navigation Satellite System).
  • GNSS refers to the global navigation satellite system.
  • GPS Global Positioning System
  • the GNSS has a plurality of positioning satellites. The GNSS detects a position defined by latitude, longitude, and altitude coordinate data.
  • the vehicle body coordinate system (Xm, Ym, Zm) is a coordinate system based on the origin fixed to the revolving unit 3.
  • the origin of the vehicle body coordinate system is, for example, the center of the swing circle of the swing body 3.
  • the center of the swing circle exists on the swing axis Zr of the swing body 3.
  • the Zm axis of the vehicle body coordinate system coincides with the turning axis Zr of the turning body 3.
  • the Xm-axis direction is the front-rear direction of the swing body 3.
  • the Ym axis direction is the vehicle width direction of the revolving structure 3.
  • the Zm-axis direction is the vertical direction of the revolving structure 3.
  • the hydraulic excavator 1 includes a position detector 23 that detects the position of the swing body 3, an attitude detector 24 that detects the attitude of the swing body 3, and an orientation detector 25 that detects the orientation of the swing body 3.
  • the position detector 23 includes a GPS receiver.
  • the position detector 23 is provided on the revolving unit 3.
  • the position detector 23 detects an absolute position that is the position of the revolving structure 3 defined by the global coordinate system.
  • the absolute position of the swing body 3 includes coordinate data in the Xg axis direction, coordinate data in the Yg axis direction, and coordinate data in the Zg axis direction.
  • a pair of GPS antennas 21 and 22 are provided on the revolving unit 3.
  • the GPS antennas 21 and 22 are provided on the handrail 9 provided on the upper part of the revolving structure 3.
  • the GPS antennas 21 and 22 are arranged in the Ym axis direction of the vehicle body coordinate system.
  • the GPS antennas 21 and 22 are separated by a certain distance.
  • the GPS antennas 21 and 22 receive radio waves from GPS satellites and output signals generated based on the received radio waves to the position detector 23.
  • the position detector 23 detects the absolute position, which is the position of the GPS antennas 21 and 22 defined by the global coordinate system, based on the signals supplied from the GPS antennas 21 and 22.
  • the position detector 23 detects the absolute position of the revolving unit 3 based on the absolute positions of the GPS antennas 21 and 22.
  • the position detector 23 detects the absolute position of one GPS antenna 21 and the absolute position of the other GPS antenna 22.
  • the position detector 23 performs arithmetic processing based on at least one of the absolute position of the GPS antenna 21 and the absolute position of the GPS antenna 22 to calculate the absolute position of the revolving unit 3.
  • the attitude detector 24 includes an inertial measurement device (IMU: Inertial Measurement Unit).
  • the attitude detector 24 is provided on the revolving unit 3.
  • the attitude detector 24 calculates the inclination angle of the revolving unit 3 with respect to the horizontal plane (XgYg plane) defined by the global coordinate system.
  • the tilt angle of the swing body 3 with respect to the horizontal plane is a roll angle ⁇ r indicating the tilt angle of the swing body 3 in the Ym axis direction (vehicle width direction) and a pitch angle indicating the tilt angle of the swing body 3 in the Xm axis direction (front-rear direction).
  • ⁇ p inertial measurement device
  • the attitude detector 24 detects acceleration and angular velocity acting on the attitude detector 24. By detecting the acceleration and angular velocity acting on the posture detector 24, the acceleration and angular velocity acting on the swing body 3 are detected. Based on the acceleration and angular velocity acting on the revolving structure 3, the posture of the revolving structure 3 is calculated.
  • the orientation detector 25 calculates the orientation of the revolving unit 3 with respect to the reference orientation defined by the global coordinate system based on the absolute position of the one GPS antenna 21 and the absolute position of the other GPS antenna 22.
  • the reference orientation is, for example, north.
  • the direction detector 25 performs arithmetic processing based on the absolute position of the GPS antenna 21 and the absolute position of the GPS antenna 22 to calculate the direction of the revolving unit 3 with respect to the reference direction.
  • the azimuth detector 25 calculates a straight line connecting the absolute position of the GPS antenna 21 and the absolute position of the GPS antenna 22, and based on the angle formed by the calculated straight line and the reference azimuth, determines the azimuth of the revolving unit 3 relative to the reference azimuth. calculate.
  • the azimuth of the swing body 3 with respect to the reference azimuth includes a yaw angle (azimuth angle) ⁇ y indicating an angle formed by the reference azimuth and the azimuth of the swing body 3.
  • FIG. 2 is a perspective view illustrating an example of the imaging device 30 according to the present embodiment.
  • FIG. 2 is a perspective view showing the vicinity of the cab 4 of the excavator 1.
  • the excavator 1 has an imaging device 30.
  • the imaging device 30 is provided inside the cab 4.
  • the imaging device 30 is disposed in front of the cab 4 (+ Xm direction) and above (+ Zm direction).
  • the imaging device 30 captures an imaging target existing in front of the revolving unit 3.
  • the photographing target includes a construction target that is constructed at a construction site.
  • the construction object includes an excavation object excavated by the work machine 2 of the excavator 1.
  • the construction object may be an excavation object excavated by the work machine 2 of another hydraulic excavator 1 ot (see FIG. 3), or an execution object constructed by a work machine different from the hydraulic excavator 1 having the imaging device 30. But you can.
  • the construction target may be a construction target constructed by an operator.
  • the construction object is a concept including a construction object before construction, a construction object during construction, and a construction object after construction.
  • the imaging device 30 has an optical system and an image sensor.
  • the image sensor includes a CCD (Couple Charged Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the imaging device 30 can acquire at least two-dimensional image data of an image quality at which the construction target geology can be visually determined. For example, when the construction targets are formed of a plurality of different geological features, the imaging device 30 can acquire two-dimensional image data having a level of image quality that allows visual judgment of boundaries between different geological features.
  • the imaging device 30 includes a plurality of imaging devices 30a, 30b, 30c, and 30d.
  • the imaging devices 30a and 30c are arranged on the + Ym side (working machine 2 side) with respect to the imaging devices 30b and 30d.
  • the imaging device 30a and the imaging device 30b are arranged with an interval in the Ym axis direction.
  • the imaging device 30c and the imaging device 30d are arranged with an interval in the Ym-axis direction.
  • the imaging devices 30a and 30b are arranged on the + Zm side with respect to the imaging devices 30c and 30d.
  • the imaging device 30a and the imaging device 30b are disposed at substantially the same position.
  • the imaging device 30c and the imaging device 30d are disposed at substantially the same position.
  • a stereo camera is constituted by a combination of two imaging devices 30 among the four imaging devices 30 (30a, 30b, 30c, 30d).
  • a stereo camera refers to a camera that can also acquire data about the depth direction of a shooting target by simultaneously shooting the shooting target from a plurality of different directions.
  • a first stereo camera is configured by a combination of the imaging devices 30a and 30b
  • a second stereo camera is configured by a combination of the imaging devices 30c and 30d.
  • the imaging devices 30a and 30b face upward (+ Zm direction).
  • the imaging devices 30c and 30d face downward ( ⁇ Zm direction).
  • the imaging devices 30a and 30c face forward (+ Xm direction).
  • the imaging devices 30b and 30d face the + Ym side (working machine 2 side) slightly from the front. That is, the imaging devices 30a and 30c face the front of the revolving unit 3, and the imaging devices 30b and 30d face the imaging devices 30a and 30c.
  • the imaging devices 30b and 30d may face the front of the revolving unit 3
  • the imaging devices 30a and 30c may face the imaging devices 30b and 30d.
  • the imaging device 30 performs stereo shooting of a shooting target existing in front of the revolving unit 3.
  • the construction target is three-dimensionally measured using stereo two-dimensional image data from at least a pair of imaging devices 30, and the three-dimensional data of the construction target is calculated.
  • the three-dimensional data of the construction target is three-dimensional data of the surface (ground surface) of the construction target.
  • the three-dimensional data of the construction target includes three-dimensional position data and three-dimensional shape data of the construction target in the global coordinate system.
  • a camera coordinate system (Xs, Ys, Zs) is defined for each of the plurality of imaging devices 30 (30a, 30b, 30c, 30d).
  • the camera coordinate system is a coordinate system based on the origin fixed to the imaging device 30.
  • the Zs axis of the camera coordinate system coincides with the optical axis of the optical system of the imaging device 30.
  • the Xs axis direction is the vertical direction of the imaging device 30.
  • the Ys axis direction is the width direction of the imaging device 30.
  • the Zs axis direction is the front-rear direction of the imaging device 30.
  • the imaging device 30c is set as the reference imaging device.
  • FIG. 3 is a diagram schematically illustrating an example of the construction management system 100 including the control system 50 and the server 61 of the excavator 1 according to the present embodiment.
  • the control system 50 is disposed on the excavator 1.
  • the server 61 is provided at a remote location of the excavator 1.
  • the control system 50 and the server 61 can perform data communication via the communication line NTW. Further, not only the control system 50 and the server 61 but also the mobile terminal device 64 and the control system 50 ot of another hydraulic excavator 1 ot are connected to the communication line NTW.
  • the control system 50 of the excavator 1, the server 61, the portable terminal device 64, and the control system 50ot of another excavator 1ot can communicate data via the communication line NTW.
  • the communication line NTW includes at least one of a mobile phone network and the Internet.
  • the communication line NTW may include a wireless LAN (Local Area Network).
  • the control system 50 includes a plurality of imaging devices 30 (30a, 30b, 30c, 30d), a detection processing device 51, a construction data generation device 52, a construction management device 57, a display device 58, and a communication device 26. Have.
  • control system 50 includes a position detector 23, an attitude detector 24, and an orientation detector 25.
  • the detection processing device 51, the construction data generation device 52, the construction management device 57, the display device 58, the communication device 26, the position detector 23, the posture detector 24, and the direction detector 25 are connected to a signal line 59 and are mutually connected. Communication is possible.
  • a communication standard applied to the signal line 59 is, for example, CAN (Controller Area Network).
  • the control system 50 includes a computer system.
  • the control system 50 includes an arithmetic processing unit including a processor such as a CPU (Central Processing Unit), a nonvolatile memory such as a RAM (Random Access Memory), and a memory including a volatile memory such as a ROM (Random Access Memory).
  • Communication antenna 26 ⁇ / b> A is connected to communication device 26.
  • the communication device 26 can perform data communication with at least one of the server 61, the portable terminal device 64, and the control system 50ot of another hydraulic excavator 1ot via the communication line NTW.
  • the detection processing device 51 calculates the three-dimensional data of the construction target based on at least the pair of two-dimensional image data of the construction target imaged by the pair of imaging devices 30.
  • the detection processing device 51 calculates three-dimensional data indicating the coordinates of a plurality of parts of the construction target in the three-dimensional coordinate system by performing image processing on the pair of two-dimensional image data of the construction target in a stereo manner.
  • Stereo image processing refers to a technique for obtaining the distance to a subject from two images obtained by observing the same subject from two different imaging devices 30.
  • the distance to the shooting target is expressed as, for example, a distance image in which the distance data to the shooting target is visualized by contrast.
  • the hub 31, the imaging switch 32, the identifier assignment switch 33, and the input unit 34 are connected to the detection processing device 51.
  • the hub 31 is connected to a plurality of imaging devices 30a, 30b, 30c, and 30d.
  • the two-dimensional image data acquired by the imaging devices 30a, 30b, 30c, and 30d is supplied to the detection processing device 51 via the hub 31.
  • the hub 31 may be omitted.
  • the imaging switch 32 is installed in the cab 4. In the present embodiment, when the imaging switch 32 is operated by the operator of the cab 4, the imaging of the construction target by the imaging device 30 is performed.
  • the identifier assignment switch 33 is installed in the cab 4. In the present embodiment, when the identifier assignment switch 33 is operated by the operator of the cab 4, an identifier is assigned to the two-dimensional image data acquired by the imaging device 30. As will be described later, the identifier is information indicating whether or not a geological boundary is included in the two-dimensional image data captured by the imaging device.
  • the input unit 34 includes, for example, a computer keyboard or touch panel.
  • the construction data generation device 52 generates target terrain data indicating the target shape of the construction target.
  • the construction data generation device 52 generates target terrain data based on the three-dimensional data of the construction target calculated by the detection processing device 51.
  • the three-dimensional data of the construction target calculated by the detection processing device 51 is current terrain data indicating the current shape of the construction target.
  • the construction data generation device 52 generates target terrain data based on the current terrain data to be constructed.
  • the target terrain data is defined in the global coordinate system.
  • the construction management device 57 manages the state of the hydraulic excavator 1 and the status of construction by the hydraulic excavator 1.
  • the construction management device 57 acquires, for example, completed construction data indicating a construction result at the end stage of work on one day, and transmits it to at least one of the server 61 and the mobile terminal device 64. Further, the construction management device 57 acquires intermediate construction data indicating the result of construction in the middle of the day's work, and transmits it to at least one of the server 61 and the portable terminal device 64.
  • the completed construction data and the intermediate construction data include the three-dimensional data of the construction target calculated by the detection processing device 51 based on the two-dimensional image data acquired by the imaging device 30.
  • the current terrain data of the construction target in the middle stage and the end stage of the daily work is transmitted to at least one of the server 61 and the mobile terminal device 64.
  • the display device 58 includes a flat panel display such as a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL display (OELD: Organic Electroluminescence Display).
  • LCD Liquid Crystal Display
  • OELD Organic Electroluminescence Display
  • the portable terminal device 64 is carried by an administrator who manages the work of the excavator 1, for example.
  • the server 61 includes a computer system.
  • the server 61 includes an arithmetic processing device including a processor such as a CPU, and a storage device including a nonvolatile memory such as a RAM and a volatile memory such as a ROM.
  • a communication device 62 and a display device 65 are connected to the server 61.
  • the communication device 62 is connected to the communication antenna 63.
  • the communication device 62 is capable of data communication with at least one of the control system 50 of the excavator 1, the portable terminal device 64, and the control system 50ot of another excavator 1ot via the communication line NTW.
  • FIG. 4 is a functional block diagram showing an example of the detection processing device 51 according to the present embodiment.
  • the detection processing device 51 includes a computer system having an arithmetic processing device including a processor, a storage device including a nonvolatile memory and a volatile memory, and an input / output interface.
  • the detection processing device 51 includes a two-dimensional image data acquisition unit 101, a three-dimensional data acquisition unit 102, a position data acquisition unit 103, an attitude data acquisition unit 104, an orientation data acquisition unit 105, and a geological data acquisition unit 106.
  • 2D image data acquisition unit 101 3D data acquisition unit 102, position data acquisition unit 103, orientation data acquisition unit 104, orientation data acquisition unit 105, geological data acquisition unit 106, identifier assignment unit 107, and display control unit 108
  • the function is exhibited by the arithmetic processing unit.
  • the function of the storage unit 109 is exhibited by the storage device.
  • the function of the input / output unit 110 is exhibited by the input / output interface.
  • the two-dimensional image data acquisition unit 101 acquires, from the pair of imaging devices 30, the construction target two-dimensional image data captured by at least the pair of imaging devices 30 provided in the excavator 1. That is, the two-dimensional image data acquisition unit 101 acquires stereo two-dimensional image data from at least a pair of imaging devices 30.
  • the 3D data acquisition unit 102 acquires 3D data of the construction target based on the 2D image data acquired by the 2D image data acquisition unit 101.
  • the three-dimensional data acquisition unit 102 acquires the three-dimensional position data of the construction target in the camera coordinate system based on the two-dimensional image data acquired by the two-dimensional image data acquisition unit 101.
  • the position data acquisition unit 103 acquires the position data of the excavator 1 from the position detector 23.
  • the position data of the excavator 1 includes position data indicating the position of the swing body 3 in the global coordinate system detected by the position detector 23.
  • the attitude data acquisition unit 104 acquires the attitude data of the excavator 1 from the attitude detector 24.
  • the attitude data of the excavator 1 includes attitude data indicating the attitude of the swing body 3 in the global coordinate system detected by the attitude detector 24.
  • the azimuth data acquisition unit 105 acquires the azimuth data of the excavator 1 from the azimuth detector 25.
  • the azimuth data of the excavator 1 includes azimuth data indicating the azimuth of the revolving unit 3 in the global coordinate system detected by the azimuth detector 25.
  • the three-dimensional data acquisition unit 102 is the position data of the swing body 3 acquired by the position data acquisition unit 103, the posture data of the swing body 3 acquired by the posture data acquisition unit 104, and the rotation acquired by the direction data acquisition unit 105. Based on the orientation data of the body 3 and the two-dimensional image data of the construction target acquired by the two-dimensional image data acquisition unit 101, the three-dimensional data of the construction target in the global coordinate system is calculated.
  • the three-dimensional data of the construction target in the global coordinate system includes the three-dimensional position data of the construction target in the global coordinate system.
  • the three-dimensional data acquisition unit 102 converts the three-dimensional data of the construction target in the camera coordinate system based on the position data of the revolving structure 3, the posture data of the revolving structure 3, and the orientation data of the revolving structure 3, and Calculate the three-dimensional data of the construction object in the coordinate system.
  • the geological data acquisition part 106 acquires the geological data of construction object.
  • the geological data of the construction target includes various data on the geology such as the geology of the construction target, soil quality (such as clay and true sand), rock quality, and ground hardness. Further, the geological data includes information on the boundary of the geology to be constructed, specifically, the position of the boundary.
  • the geological boundary of the construction target includes a boundary between the first geological area and a second geological area different from the geology of the first geological area.
  • the geological data acquisition unit 106 acquires input data generated by operating the input unit 34.
  • the input unit 34 is operated by, for example, an operator of the cab 4.
  • input data for specifying the geological data to be constructed is generated.
  • the geological data acquisition unit 106 acquires geological data from the input unit 34.
  • the operator looks at the two-dimensional image data of the construction target acquired by the two-dimensional image data acquisition unit 101 and displayed on the display device 58, specifies the position of the geological boundary of the construction target, and inputs the input unit 34 is input to input boundary data indicating that there is a boundary at the boundary position of the geology in the two-dimensional image data to be constructed. By doing so, it is possible to reflect and store the geological boundary position information on the three-dimensional data to be constructed.
  • the operator operates the input unit 34 to input geological data (geology, soil, rock, etc.) to a geological region defined based on the geological boundary, that is, a ground region having the same geology. input.
  • geological data geology, soil, rock, etc.
  • the input geological data can be stored for a certain geological region on the three-dimensional data to be constructed.
  • the operator inputs different geological data on one side and the other side of the boundary.
  • 3D data is composed of elements provided at predetermined intervals such as a mesh.
  • the geological data may be stored in units of geological regions defined based on the boundary of the geology, or the geological data may be stored in units of each element (partial region). Also good.
  • the geological data it is possible to store the ground hardness information in the three-dimensional data.
  • the soil hardness information may be stored together with the geological data stored in a certain geological region.
  • the identifier assigning unit 107 assigns an identifier to the two-dimensional image data including the boundary of the soil to be constructed based on the input data generated by the operation of the identifier assigning switch 33.
  • the operator determines that the construction target two-dimensional image data acquired by the two-dimensional image data acquisition unit 101 and displayed on the display device 58 includes the geological boundary of the construction target, the operator operates the identifier assignment switch 33.
  • an identifier can be given to the two-dimensional image data including the boundary of the geology to be constructed.
  • the two-dimensional image data provided with the identifier is appropriately referred to as specific two-dimensional image data.
  • the three-dimensional data acquisition unit 102 acquires the three-dimensional data of the boundary of the geology to be constructed based on the specific two-dimensional image data provided with the identifier and the pair of two-dimensional image data for further stereo processing. .
  • the three-dimensional data acquisition unit 102 combines the three-dimensional data composed of a plurality of specific two-dimensional image data, and acquires the three-dimensional data of the region formed by the specific geology.
  • the display control unit 108 causes the display device 58 to display the construction target 3D data calculated by the 3D data acquisition unit 102. In addition, the display control unit 108 causes the display device 58 to display three-dimensional data including the geological boundary data acquired by the three-dimensional data acquisition unit 102. The display control unit 108 causes the display device 58 to display the geological area data acquired by the three-dimensional data acquisition unit 102. The display control unit 108 converts the construction target 3D data and the geological area data acquired by the 3D data acquisition unit 102 into display data that can be displayed by the display device 58, and displays the display data. It is displayed on the device 58.
  • FIG. 5 is a schematic diagram illustrating an example of processing of the imaging device 30 and the detection processing device 51 according to the present embodiment.
  • the construction target OBP is a part of the construction site where the construction machine 2 of the hydraulic excavator 1 is constructed.
  • the construction target OBP may be a construction target to be constructed by at least one of another hydraulic excavator 1 ot, a working machine different from the hydraulic excavator 1, and an operator.
  • the construction target OBP may be not only the construction target before construction, but also the construction target during construction and the construction target after construction.
  • the construction target OBP exists in front of the swivel body 3.
  • the construction target OBP is imaged by at least the pair of imaging devices 30.
  • imaging by the imaging device 30 is performed.
  • Input data indicating a shooting command generated by operating the imaging switch 32 is supplied to the detection processing device 51.
  • the detection processing device 51 causes the imaging device 30 to image the construction target OBP based on the input data supplied from the imaging switch 32.
  • the 2D image data of the construction target OBP imaged by at least the pair of imaging devices 30 is acquired by the 2D image data acquisition unit 101 of the detection processing device 51.
  • the three-dimensional data acquisition unit 102 performs image processing on the two-dimensional image data of the construction target OBP captured by the at least one pair of imaging devices 30 acquired by the two-dimensional image data acquisition unit 101 in a stereo manner, and performs the processing of the construction target OBP.
  • Acquire 3D data The three-dimensional data acquired based on the two-dimensional image data acquired by the two-dimensional image data acquisition unit 101 is three-dimensional data in the camera coordinate system. Three-dimensional data in the camera coordinate system is converted into three-dimensional data in the global coordinate system.
  • the three-dimensional data acquisition unit 102 converts the three-dimensional data in the camera coordinate system into the three-dimensional data in the global coordinate system based on the posture data of the excavator 1 acquired by the posture data acquisition unit 104.
  • the three-dimensional data acquisition unit 102 acquires the position Ps (xs, ys, zs) of the construction target OBP in the camera coordinate system based on at least the two-dimensional image data imaged by the pair of imaging devices 30, and in the global coordinate system Convert to position Pg (xg, yg, zg).
  • the three-dimensional data acquisition unit 102 converts the three-dimensional data of the construction target OBP in the camera coordinate system acquired based on the two-dimensional image data acquired by the two-dimensional image data acquisition unit 101 into the position data acquisition unit. Using the position data of the excavator 1 acquired in 103, the attitude data of the excavator 1 acquired in the attitude data acquisition unit 104, and the azimuth data of the excavator 1 acquired in the azimuth data acquisition unit 105, coordinate conversion is performed. Thus, the three-dimensional data of the construction target OBP in the global coordinate system can be acquired.
  • the three-dimensional data acquisition unit 102 acquires the position Pr (Xg, Yg, Zg) of the surface of the construction target OBP in at least the entire region of the construction target OBP imaged by the pair of imaging devices 30.
  • FIG. 6 is a diagram schematically showing a construction object OBPf having uniform geology.
  • FIG. 7 is a diagram schematically showing a construction target OBPd whose geology changes. As shown in FIGS. 6 and 7, depending on the construction site, there may be a construction target OBPf whose geology is uniform and a construction target OBPd whose geology changes.
  • the three-dimensional data acquisition unit 102 acquires three-dimensional data of a region including the boundary of the geology in the construction target OBPd whose geology changes. For example, as shown in FIG. 7, when the construction target OBPd includes the first geology and the second geology, the three-dimensional data acquisition unit 102 is an area including the boundary between the first geology and the second geology. Acquire 3D data.
  • the geological boundary is a geological boundary on the surface (surface) of the construction target OBPd.
  • the three-dimensional data of the region including the boundary of the geology is the three-dimensional data of the region including the boundary of the geology on the surface (the ground surface) of the construction target OBPd.
  • FIG. 8 is a diagram schematically illustrating an example of the two-dimensional image data acquired by the two-dimensional image data acquisition unit 101 according to the present embodiment.
  • the operator changes the position or orientation of the imaging device 30 by performing at least one of the turning of the turning body 3 and the running of the traveling body 5, and images each of the plurality of construction target OBPs at the construction site. Thereby, the two-dimensional image data about each of several construction object OBP in a construction site is acquired.
  • two-dimensional image data of the construction target OBP is acquired by the imaging device 30 when the imaging switch 32 is operated by the operator.
  • the 2D image data acquisition unit 101 acquires a plurality of 2D image data for each of the plurality of construction target OBPs.
  • FIG. 8 shows an example in which the two-dimensional image data acquisition unit 101 acquires N number of two-dimensional image data.
  • the two-dimensional image data 1 is two-dimensional image data that does not include a geological boundary.
  • the two-dimensional image data 2 is two-dimensional image data including a geological boundary.
  • the two-dimensional image data 3 is two-dimensional image data that does not include a geological boundary.
  • the two-dimensional image data 4 is two-dimensional image data including a geological boundary.
  • the two-dimensional image data 5 is two-dimensional image data that does not include a geological boundary.
  • the two-dimensional image data 6 is two-dimensional image data that does not include a geological boundary.
  • the two-dimensional image data 7 is two-dimensional image data including a geological boundary.
  • the two-dimensional image data N is two-dimensional image data that does not include a geological boundary.
  • the identifier assigning unit 107 assigns an identifier to the two-dimensional image data including the boundary of the construction target geology based on the operation of the identifier assigning switch 33 by the operator of the cab 4.
  • identifiers D1, D2, and D3 are assigned to the two-dimensional image data 2, the two-dimensional image data 4, and the two-dimensional image data 7.
  • no identifier is given to the two-dimensional image data 1, the two-dimensional image data 3, the two-dimensional image data 5, the two-dimensional image data 6, and the two-dimensional image data N.
  • the 2D image data 1 to 2D image data N acquired by the 2D image data acquisition unit 101 are displayed on the display device 58.
  • the operator visually checks the display device 58 and determines whether or not the two-dimensional image data displayed on the display device 58 includes a geological boundary.
  • the imaging device 30 can acquire two-dimensional image data with image quality at a level at which boundaries between different geological features can be visually determined. Therefore, the operator can determine whether or not a geological boundary is included in the two-dimensional image data by viewing the two-dimensional image data.
  • the imaging device 30 is in a state in which a geological boundary line is determined by inspecting the geological structure in advance before photographing, and a mark is provided at the geological boundary of the construction target OBP. Imaging may be performed.
  • the marks may be, for example, colored powder sprayed along the geological boundary, rod members arranged at regular intervals along the geological boundary, or arranged at regular intervals along the geological boundary. A reflective member such as a prism may also be used.
  • the operator captures the 2D image data of the construction target OBP by the imaging device 30, so that the operator visually observes the mark included in the 2D image data. It can be easily determined whether or not the geological boundary is included in the dimensional image data.
  • the operator visually operates the two-dimensional image data displayed on the display device 58 and operates the identifier assigning switch 33 when determining that the two-dimensional image data includes a geological boundary.
  • Input data generated by operating the identifier assigning switch 33 is supplied to the identifier assigning unit 107.
  • the identifier assigning unit 107 assigns an identifier to the two-dimensional image data including the boundary of the geology to be constructed.
  • the operator visually observes the display device 58 and adds the geological features to the two-dimensional image data 2 displayed on the display device 58. It is determined that a boundary is included, and the identifier assignment switch 33 is operated. Thereby, the identifier D1 is given to the two-dimensional image data 2.
  • the identifier assignment switch 33 is operated by the operator, and the identifier D ⁇ b> 2 is assigned to the two-dimensional image data 4.
  • the identifier assigning switch 33 is operated by the operator, and the identifier D3 is assigned to the two-dimensional image data 7.
  • the operator looks at the display device 58 and if the two-dimensional image data 1 displayed on the display device 58 does not include a geological boundary.
  • the identifier assignment switch 33 is not operated. Thereby, no identifier is given to the two-dimensional image data 1.
  • Specific 2D image data which is 2D image data to which an identifier is assigned, is stored in the storage unit 109.
  • the specific two-dimensional image data is three of the two-dimensional image data 2, 4, 7. Actually, a large number of specific two-dimensional image data is stored in the storage unit 109. Two-dimensional image data to which no identifier is assigned is also stored in the storage unit 109.
  • the specific two-dimensional image data to which the identifier is assigned is transmitted to the server 61 via the communication line NTW.
  • two-dimensional image data to which no identifier is assigned is also transmitted to the server 61 via the communication line NTW.
  • the operator looks at the specific two-dimensional image data 2, 4, 7 displayed on the display device 58, determines the position of the boundary of the geology in the specific two-dimensional image data 2, 4, 7, and uses the input unit 34.
  • boundary data indicating the position of the boundary of the geology in the specific two-dimensional image data 2, 4, 7 is input.
  • the operator looks at the specific two-dimensional image data 2, 4, and 7 displayed on the display device 58, and the first geological data indicating the first geology forming the boundary and the second geological data indicating the second geology. Are input via the input unit 34.
  • the operator views the two-dimensional image data 1, 3, 5, 6, N displayed on the display device 58 and inputs the geological data displayed on the display device 58 via the input unit 34.
  • the 3D data acquisition unit 102 acquires 3D data including geological boundaries in the camera coordinate system based on the specific 2D image data. By performing stereo processing based on the specific two-dimensional image data including the boundary data, the acquired three-dimensional data reflects the boundary between the first geological area and the second geological area, and the first The second geological area and the second geological area are identified.
  • the three-dimensional data of the construction target includes the three-dimensional data of the first geological area including the first geological data, and the three-dimensional data of the second geological area including the second geological data. , Including boundary data indicating a boundary between the first geological area and the second geological area.
  • the three-dimensional data acquisition unit 102 stores the position data of the excavator 1 acquired by the position data acquisition unit 103, the posture data of the excavator 1 acquired by the posture data acquisition unit 104, and the direction data acquisition unit 105. Based on the obtained azimuth data of the excavator 1, the three-dimensional data of the geological boundary in the camera coordinate system is coordinate-transformed to obtain the three-dimensional data of the geological boundary in the global coordinate system. Three-dimensional data of geological boundaries in the global coordinate system is also stored in the storage unit 109.
  • the three-dimensional data indicating the geological boundary in the global coordinate system acquired by the three-dimensional data acquisition unit 102 is transmitted to the server 61 via the communication line NTW.
  • the three-dimensional data of the construction target OBP in the global coordinate system not including the geological boundary is also transmitted to the server 61 via the communication line NTW.
  • the three-dimensional data acquisition unit 102 synthesizes the three-dimensional data including the geological boundary stored in the storage unit 109 to acquire specific geological area data.
  • the three-dimensional data acquisition unit 102 acquires specific geological area data by connecting a plurality of geological boundary three-dimensional data. can do.
  • the three-dimensional data acquisition unit 102 connects the first geological area data or the plurality of specific two-dimensional image data including the first geology and the second geology. Second geological area data can be acquired.
  • the display control unit 108 causes the display device 58 to display the acquired geological area data.
  • FIG. 9 is a diagram schematically illustrating an example of the display device 58 that displays the geological area data according to the present embodiment.
  • the three-dimensional data acquisition unit 102 includes, for example, a plurality of specific two-dimensional images including a first geology and a second geology that approximate the specific two-dimensional image data 2, 4, 7 and the specific two-dimensional image data 2, 4, 7, Get geological area data by data.
  • the display control unit 108 causes the display device 58 to display the geological area data acquired by the three-dimensional data acquisition unit 102.
  • the display control unit 108 may cause the display device 58 to display the three-dimensional data of the geological boundary acquired by the three-dimensional data acquisition unit 102.
  • FIG. 10 is a flowchart illustrating an example of the construction management method according to the present embodiment.
  • a plurality of construction target OBPs at the construction site are imaged by the imaging device 30.
  • the two-dimensional image data acquisition unit 101 acquires two-dimensional image data for a plurality of construction target OBPs from the imaging device 30 (step SP1).
  • the 2D image data of the construction target OBP acquired by the 2D image data acquisition unit 101 is displayed on the display device 58.
  • the operator of the hydraulic excavator 1 visually checks the two-dimensional image data displayed on the display device 58 and determines whether or not the two-dimensional image data includes a geological boundary to be constructed. When the operator determines that the two-dimensional image data includes the boundary of the target geology, the operator operates the identifier assignment switch 33.
  • the identifier assignment unit 107 assigns an identifier to the two-dimensional image data (step SP2).
  • the operator of the hydraulic excavator 1 visually checks the two-dimensional image data displayed on the display device 58 and specifies the geology of the construction target in the two-dimensional image data.
  • the operator specifies the construction target geology in the two-dimensional image data, and then operates the input unit 34 to input the construction target geological data.
  • Geological data includes boundary data indicating the position of the geological boundary.
  • the operator specifies the position of the boundary of the geology to be constructed in the two-dimensional image data. After specifying the position of the geological boundary, the operator operates the input unit 34 to input boundary data indicating the position of the data boundary.
  • the geological data including the geological boundary data generated by the operation of the input unit 34 is acquired by the geological data acquisition unit 106 (step SP3).
  • the three-dimensional data acquisition unit 102 acquires three-dimensional data including geological data in the camera coordinate system by performing stereo processing on a plurality of images captured by the imaging device 30 (step SP4).
  • the position data of the swing body 3 is acquired by the position data acquisition unit 103.
  • the posture data acquisition unit 104 acquires the posture data of the revolving structure 3.
  • the azimuth data of the swing body 3 is acquired by the azimuth data acquisition unit 105.
  • the three-dimensional data acquisition unit 102 converts the three-dimensional data of the construction target in the camera coordinate system based on the position data, the posture data, and the orientation data of the revolving structure 3, and performs the three-dimensional construction target in the global coordinate system. Data is acquired (step SP5).
  • the three-dimensional data acquisition unit 102 acquires a specific geological area data by combining a plurality of specific two-dimensional image data (step SP6).
  • the display control unit 108 displays the acquired geological area data on the display device 58 (step SP7).
  • the three-dimensional data to be constructed in the global coordinate system acquired in step SP5 is transmitted from the control system 50 of the excavator 1 to the server 61 via the communication line NTW (step SP8).
  • the geological area data acquired in step SP6 is transmitted from the control system 50 of the excavator 1 to the server 61 via the communication line NTW.
  • specific two-dimensional image data including a geological boundary in the global coordinate system and two-dimensional image data not including a geological boundary in the global coordinate system are also transmitted from the control system 50 of the excavator 1 to the server via the communication line NTW. 61 is transmitted.
  • the specific two-dimensional image data including the geological boundary in the global coordinate system is obtained by coordinate conversion of the specific two-dimensional image data such as the two-dimensional image data 2, 4, and 7 described with reference to FIG. Two-dimensional image data.
  • the two-dimensional image data that does not include the geological boundary in the global coordinate system is obtained by coordinate-transforming two-dimensional image data such as the two-dimensional image data 1, 3, 5, 6, N described with reference to FIG. It is the acquired two-dimensional image data.
  • the server 61 includes not only the hydraulic excavator 1 but also a plurality of other hydraulic excavators 1 ot, specific two-dimensional data including three-dimensional data of geological boundaries in the global coordinate system, geological area data, and geological boundaries in the global coordinate system. Image data and two-dimensional image data that does not include geological boundaries in the global coordinate system are transmitted.
  • the server 61 creates a database of three-dimensional data of construction objects in the global coordinate system supplied from the excavator 1 and other excavators 1 ot. As described above, the server 61 includes an arithmetic processing device and a storage device. The three-dimensional data of the construction object supplied from the hydraulic excavator 1 and other hydraulic excavators 1 ot is made into a database and stored in the storage device of the server 61.
  • geological area data supplied from the hydraulic excavator 1 and other hydraulic excavators 1 ot, specific two-dimensional image data including geological boundaries in the global coordinate system, and two-dimensional image data not including geological boundaries in the global coordinate system Is also made into a database and stored in the storage device of the server 61.
  • the arithmetic processing unit of the server 61 integrates the three-dimensional data of the construction target in the global coordinate system supplied from the hydraulic excavator 1 and other hydraulic excavators 1ot (step SP9). Thereby, the three-dimensional data of the construction target including the geological data in the entire construction site is acquired.
  • the server 61 causes the display device 65 to display construction target three-dimensional data including the acquired geological data for the entire construction site. Thereby, the administrator can recognize the geology and the boundary of the geology in the whole construction site. Since the three-dimensional data of the construction target including the geological data in the entire construction site is displayed on the display device 65, the administrator can intuitively recognize the geological boundary in the entire construction site.
  • the arithmetic processing unit of the server 61 integrates geological area data supplied from the hydraulic excavator 1 and other hydraulic excavators 1 ot, integrates specific two-dimensional image data including geological boundaries in the global coordinate system, and global coordinates. Integration of two-dimensional image data that does not include geological boundaries in the system can be performed.
  • the integrated geological area data, the specific two-dimensional image data including the geological boundary in the integrated global coordinate system, and the two-dimensional image data not including the geological boundary in the integrated global coordinate system are displayed on the display device 65. Is done. Thereby, the administrator can intuitively recognize the geological distribution of the entire construction site and the progress of construction.
  • the imaging device 30 is used as completed construction data indicating the result of construction at the end stage of the day's work and intermediate construction data indicating the result of construction during the stage of the day's work.
  • the current terrain data that is the three-dimensional data of the construction target acquired by the detection processing device 51 is transmitted to the server 61. Therefore, the manager can intuitively recognize the progress of construction based on the current terrain data that is three-dimensional data displayed on the display device 65 connected to the server 61.
  • the geological data including the geological boundary data is acquired, and the three-dimensional data including the geological boundary of the construction target is acquired based on the geological data. Therefore, the three-dimensional data of the construction target including the geological data is efficiently acquired.
  • the construction amount or construction period that can be performed per unit time may vary depending on the geology of the construction target. For example, in the case of geology that is easy to construct, such as soft geology, the construction amount increases and the construction period is shortened. In the case of geology that is difficult to construct, such as hard geology, the construction amount is reduced and the construction period is prolonged. Thus, the geology of the construction target affects the construction amount or construction period that can be performed per unit time. Therefore, it is important to investigate the geology of the construction target and acquire data on the geology.
  • an identifier is given to the two-dimensional image data including the soil boundary. Therefore, three-dimensional data including the boundary data of the geology of the construction target OBP is efficiently acquired based on the specific two-dimensional image data to which the identifier is assigned.
  • the number of the two-dimensional image data acquired by the imaging device 30 is enormous, and the two-dimensional image data including the geological boundary and the two-dimensional image data not including the geological boundary are included. If they are mixed, complicated processing may be required to acquire the three-dimensional data of the geological boundary, or it may take a long time to acquire the three-dimensional data of the geological boundary. .
  • an identifier is assigned by the identifier assigning unit 107 to the two-dimensional image data including a geological boundary.
  • the geological features defined by the camera coordinate system are based on the position data of the revolving structure 3 on which the imaging device 30 is mounted, the attitude data of the revolving structure 3, and the orientation data of the revolving structure 3.
  • the two-dimensional image data of the boundary is subjected to coordinate transformation, and the three-dimensional data of the geological boundary in the global coordinate system is acquired.
  • specific geological area data is acquired by synthesizing the three-dimensional data of the geological boundary. Therefore, it is possible to grasp the geological distribution at the construction site.
  • the three-dimensional data and the geological area data to be constructed are displayed on the display device 58 or the display device 65.
  • the operator or the administrator can intuitively recognize the geological boundary or the geological distribution by looking at the display device 65.
  • the geological boundary is included in the two-dimensional image data acquired by the imaging device 30 . If determined, the identifier assignment switch 33 is operated. Thereby, an identifier can be given to the two-dimensional image data including the boundary of the geology without performing advanced image processing on the two-dimensional image data acquired by the imaging device 30.
  • the three-dimensional data acquired by the excavator 1 is supplied to the server 61.
  • the server 61 is supplied with three-dimensional data not only from the excavator 1 but also from other excavators 1 ot. Therefore, the server 61 can construct the three-dimensional data of the entire construction site based on the supplied three-dimensional data.
  • the operator operates the identifier assigning switch 33 to assign an identifier to the two-dimensional image data.
  • the control system 50 performs image processing on the two-dimensional image data acquired by the imaging device 30, and determines whether or not a geological boundary is included in the two-dimensional image data based on the result of the image processing. Good.
  • the control system 50 can determine whether or not a geological boundary is included in the two-dimensional image data by detecting an edge of the two-dimensional image data or binarizing the two-dimensional image data. it can.
  • the server 61 may have a part or all of the functions of the detection processing device 51. That is, the server 61 includes a two-dimensional image data acquisition unit 101, a three-dimensional data acquisition unit 102, a position data acquisition unit 103, an orientation data acquisition unit 104, an orientation data acquisition unit 105, a geological data acquisition unit 106, an identifier assignment unit 107, You may have at least one of the display control part 108, the memory
  • the orientation data of the revolving structure 3 detected by the device 25 and the input data generated by the identifier assignment switch 33 may be supplied to the server 61 via the communication device 26 and the communication line NTW.
  • the identifier assigning unit 107 of the server 61 assigns an identifier to the two-dimensional image data including the boundary of the target geology based on the two-dimensional image data and the input data supplied via the communication device 26 and the communication line NTW. be able to.
  • the three-dimensional data acquisition unit 102 of the server 61 can acquire three-dimensional data including geological boundary data based on the specific two-dimensional image data to which the identifier is assigned. Further, the three-dimensional data acquisition unit 102 of the server 61 uses the geological boundary in the global coordinate system based on the position data, posture data, and direction data of the swivel body 3 supplied via the communication device 26 and the communication line NTW. 3D data can be acquired. The three-dimensional data acquisition unit 102 of the server 61 can acquire specific geological area data by combining a plurality of specific two-dimensional image data.
  • the server 61 is supplied with both two-dimensional image data including a geological boundary and two-dimensional image data not including a geological boundary from the hydraulic excavator 1 and a plurality of other hydraulic excavators 1 ot. A huge number of two-dimensional image data is transmitted to the server 61 from the hydraulic excavator 1 and a plurality of other hydraulic excavators 1ot.
  • the server 61 extracts only the specific two-dimensional image data to which the identifier is given, If image processing is performed, the three-dimensional data of the geological boundary of the construction target OBP can be efficiently acquired.
  • the three-dimensional data includes geological data. At least one of the first geological data about the first geological area, the second geological data about the second geological area, and the boundary data between the first geological area and the second geological area is stored in the server 61. It may be stored in the storage unit 109.
  • the operator specifies a geological boundary, inputs the boundary data by operating the input unit 34, and based on the boundary data input by the operation of the input unit 34, the first geology The area and the second geological area were determined.
  • the two-dimensional image data acquired by the two-dimensional image data acquisition unit 101 may be subjected to image processing in a computer system, and the geological boundary may be specified by the computer system.
  • the identifier is given to the two-dimensional image data including the boundary.
  • the identifier may not be given to the two-dimensional image data including the boundary.
  • three-dimensional data is acquired by a stereo camera.
  • Three-dimensional data may be acquired by one camera and a three-dimensional measuring device such as a laser scanner.
  • three-dimensional data may not be acquired.
  • Two-dimensional image data including the boundary of the construction target geology imaged by the imaging device 30 provided in the excavator 1 is acquired by the two-dimensional image data acquisition unit 101, and the position data of the excavator 1 is acquired by the position data acquisition unit 103.
  • the storage unit 109 provided in the server 61 acquires the 2D image data as the 2D image data.
  • the position data, posture data, and time data when the two-dimensional image data of the hydraulic excavator 1 is acquired may be added and stored.
  • the storage unit 109 may store not only the position data, the posture data, and the time point data of the excavator 1 but also the geological data of the construction target in addition to the two-dimensional image data.
  • produced in the construction object may be linked
  • the three-dimensional data acquisition unit 102 that acquires the three-dimensional data of the construction target may acquire three-dimensional data including geological data, information about what kind of event has occurred (information about the event), and event position data. .
  • the events that have occurred in the construction target include, for example, the generation of water in the construction of the construction target, and a sudden increase in the load on the work implement.
  • the position data acquisition unit 103 can specify event position data indicating a position where water is generated based on the position data of the blade edge 8BT.
  • the storage unit 109 may add and store event position data to the three-dimensional data.
  • the work machine 1 is a hydraulic excavator.
  • the work machine 1 may be a work machine capable of constructing a construction target, and may be a drilling machine capable of excavating the construction target and a transport machine capable of transporting earth and sand.
  • the work machine 1 may be a wheel loader, a bulldozer, or a dump truck, for example.

Abstract

施工管理システムは、施工対象の地質データを取得する地質データ取得部と、施工対象の３次元データを取得する３次元データ取得部と、を備え、３次元データ取得部は、地質データに基づいて、施工対象の地質の境界を含む３次元データを取得する。

Description

施工管理システム
　本発明は、施工管理システムに関する。
　撮像装置を搭載した作業機械が知られている。特許文献１には、施工計画データとステレオカメラの位置情報に基づき施工計画画像データを作成し、施工計画画像データとステレオカメラで撮像された現況画像データとを重合わせ、重合わせた合成画像を３次元表示装置に３次元表示させる技術が開示されている。
特開２０１３－０３６２４３号公報
　施工対象の地質によって単位時間当たりに実施可能な施工量又は工期が変動する可能性がある。施工し易い地質の場合、施工量が増大し工期が短期化する。施工し難い地質の場合、施工量が低減し工期が長期化する。このように、施工対象の地質は、単位時間当たりに実施可能な施工量又は工期に影響を及ぼす可能性がある。そのため、施工計画の段階において施工対象の地質の調査が実施され、地質についてのデータが取得される。
　施工計画の段階において調査された地質と施工実施の段階において認識される地質とが異なる場合、施工実施の段階において地質の調査を再度実施する必要がある。施工対象において地質が変化する場合、地質データを含む施工対象の３次元データを効率良く取得できる技術が要望される。
　本発明の態様は、地質データを含む施工対象の３次元データを効率良く取得できる施工管理システムを提供することを目的とする。
　本発明の第１の態様に従えば、作業機械に設けられた撮像装置で撮影された対象の２次元画像データを取得する２次元画像データ取得部と、前記作業機械に取り付けられ、前記対象の３次元データを取得する３次元データ取得部と、前記２次元画像データに地質データを入力する入力部と、入力された前記地質データを、前記３次元データに付与する地質データ取得部と、を備える、施工管理システムが提供される。
　本発明の第２の態様に従えば、作業機械に設けられた撮像装置で撮影された対象の２次元画像データを取得する２次元画像データ取得部と、前記撮像装置によって前記２次元画像データが撮影された時点の位置データを取得する位置データ取得部と、前記２次元画像データ内に含まれる地面の地質に関する地質データを取得する地質データ取得部と、前記２次元画像データに、前記２次元画像データが取得された時点の前記作業機械の前記位置データ、前記２次元画像データ内に含まれる地面の地質データ、及び前記２次元画像データが取得された時点の時点データを付加して記憶する記憶部と、を備える施工管理システムが提供される。
　本発明の第３の態様に従えば、作業機械に取り付けられ、施工対象の３次元データを取得する３次元データ取得部と、前記施工対象において発生した事象の位置を示す事象位置データを取得する事象位置データ取得部と、を備え、前記３次元データ取得部は、前記３次元データ取得部により得られた３次元データに、前記事象に関する情報及び前記事象位置データを付与する、施工管理システムが提供される。
　本発明の態様によれば、地質データを含む施工対象の３次元データを効率良く取得できる施工管理システムが提供される。
図１は、本実施形態に係る作業機械の一例を示す斜視図である。 図２は、本実施形態に係る撮像装置の一例を示す斜視図である。 図３は、本実施形態に係る作業機械の制御システム及び施工管理システムの一例を模式的に示す図である。 図４は、本実施形態に係る検出処理装置の一例を示す機能ブロック図である。 図５は、本実施形態に係る撮像装置及び検出処理装置の処理の一例を示す模式図である。 図６は、地質が均一である施工対象を模式的に示す図である。 図７は、地質が変化する施工対象を模式的に示す図である。 図８は、本実施形態に係る２次元画像データ取得部に取得された２次元画像データの一例を模式的に示す図である。 図９は、本実施形態に係る地質エリアデータを表示する表示装置の一例を模式的に示す図である。 図１０は、本実施形態に係る施工管理方法の一例を示すフローチャートである。
　以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
　以下の説明においては、３次元のグローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）、３次元の車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）、及び３次元のカメラ座標系（Ｘｓ，Ｙｓ，Ｚｓ）を規定して、各部の位置関係について説明する。
　グローバル座標系は、水平面内のＸｇ軸と、水平面内においてＸｇ軸と直交するＹｇ軸と、Ｘｇ軸及びＹｇ軸と直交するＺｇ軸とによって規定される。Ｘｇ軸と平行な方向をＸｇ軸方向とし、Ｙｇ軸と平行な方向をＹｇ軸方向とし、Ｚｇ軸と平行な方向をＺｇ軸方向とする。また、Ｘｇ軸を中心とする回転又は傾斜方向をθＸｇ方向とし、Ｙｇ軸を中心とする回転又は傾斜方向をθＹｇ方向とし、Ｚｇ軸を中心とする回転又は傾斜方向をθＺｇ方向とする。Ｚｇ軸方向は鉛直方向である。
　車体座標系は、作業機械の車体に規定された原点を基準として一方向に延在するＸｍ軸と、Ｘｍ軸と直交するＹｍ軸と、Ｘｍ軸及びＹｍ軸と直交するＺｍ軸とによって規定される。Ｘｍ軸と平行な方向をＸｍ軸方向とし、Ｙｍ軸と平行な方向をＹｍ軸方向とし、Ｚｍ軸と平行な方向をＺｍ軸方向とする。Ｘｍ軸方向は作業機械の前後方向であり、Ｙｍ軸方向は作業機械の車幅方向であり、Ｚｍ軸方向は作業機械の上下方向である。
　カメラ座標系は、撮像装置に規定された原点を基準として一方向に延在するＸｓ軸と、Ｘｓ軸と直交するＹｓ軸と、Ｘｓ軸及びＹｓ軸と直交するＺｓ軸とによって規定される。Ｘｓ軸と平行な方向をＸｓ軸方向とし、Ｙｓ軸と平行な方向をＹｓ軸方向とし、Ｚｓ軸と平行な方向をＺｓ軸方向とする。Ｘｓ軸方向は撮像装置の上下方向であり、Ｙｓ軸方向は撮像装置の幅方向であり、Ｚｓ軸方向は撮像装置の前後方向である。Ｚｓ軸方向は撮像装置の光学系の光軸と平行である。
［作業機械］
　図１は、本実施形態に係る作業機械１の一例を示す斜視図である。本実施形態においては、作業機械１が油圧ショベルである例について説明する。以下の説明においては、作業機械１を適宜、油圧ショベル１、と称する。
　図１に示すように、油圧ショベル１は、車体１Ｂと、作業機２とを有する。車体１Ｂは、旋回体３と、旋回体３を旋回可能に支持する走行体５とを有する。
　旋回体３は、旋回軸Ｚｒを中心に旋回可能である。旋回軸ＺｒとＺｍ軸とは平行である。旋回体３は、運転室４を有する。油圧ポンプ及び内燃機関が旋回体３に配置される。走行体５は、履帯５ａ，５ｂを有する。履帯５ａ，５ｂが回転することにより、油圧ショベル１が走行する。
　作業機２は、旋回体３に連結される。作業機２は、旋回体３に連結されるブーム６と、ブーム６に連結されるアーム７と、アーム７に連結されるバケット８と、ブーム６を駆動するブームシリンダ１０と、アーム７を駆動するアームシリンダ１１と、バケット８を駆動するバケットシリンダ１２とを有する。ブームシリンダ１０、アームシリンダ１１、及びバケットシリンダ１２はそれぞれ、油圧によって駆動される油圧シリンダである。
　バケット８は、複数の刃８Ｂを有する。複数の刃８Ｂは、車体座標系のＹｍ軸方向に配置される。刃８Ｂは、刃先８ＢＴを有する。刃先８ＢＴは、刃８Ｂの先端部に設けられる。バケット８は、作業具の一種である。なお、アーム７に連結される作業具は、バケット８に限定されない。作業具は、アーム７に連結される作業具は、例えばチルトバケットでもよいし、法面バケット又は削岩用のチップを備えた削岩用のアタッチメントでもよい。
　本実施形態において、グローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）で規定される旋回体３の位置が検出される。グローバル座標系は、地球に固定された原点を基準とする座標系である。グローバル座標系は、ＧＮＳＳ（Global　Navigation　Satellite　System）によって規定される座標系である。ＧＮＳＳとは、全地球航法衛星システムをいう。全地球航法衛星システムの一例として、ＧＰＳ（Global　Positioning　System）が挙げられる。ＧＮＳＳは、複数の測位衛星を有する。ＧＮＳＳは、緯度、経度、及び高度の座標データで規定される位置を検出する。
　車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）は、旋回体３に固定された原点を基準とする座標系である。車体座標系の原点は、例えば旋回体３のスイングサークルの中心である。スイングサークルの中心は、旋回体３の旋回軸Ｚｒに存在する。車体座標系のＺｍ軸は、旋回体３の旋回軸Ｚｒと一致する。Ｘｍ軸方向は、旋回体３の前後方向である。Ｙｍ軸方向は、旋回体３の車幅方向である。Ｚｍ軸方向は、旋回体３の上下方向である。
　油圧ショベル１は、旋回体３の位置を検出する位置検出器２３と、旋回体３の姿勢を検出する姿勢検出器２４と、旋回体３の方位を検出する方位検出器２５とを有する。
　位置検出器２３は、ＧＰＳ受信機を含む。位置検出器２３は、旋回体３に設けられる。位置検出器２３は、グローバル座標系で規定される旋回体３の位置である絶対位置を検出する。旋回体３の絶対位置は、Ｘｇ軸方向の座標データ、Ｙｇ軸方向の座標データ、及びＺｇ軸方向の座標データを含む。
　旋回体３に一対のＧＰＳアンテナ２１，２２が設けられる。本実施形態において、ＧＰＳアンテナ２１，２２は、旋回体３の上部に設けられた手すり９に設けられる。ＧＰＳアンテナ２１，２２は、車体座標系のＹｍ軸方向に配置される。ＧＰＳアンテナ２１，２２は、一定距離だけ離れている。ＧＰＳアンテナ２１，２２は、ＧＰＳ衛星から電波を受信して、受信した電波に基づいて生成した信号を位置検出器２３に出力する。位置検出器２３は、ＧＰＳアンテナ２１，２２から供給された信号に基づいて、グローバル座標系で規定されるＧＰＳアンテナ２１，２２の位置である絶対位置を検出する。位置検出器２３は、ＧＰＳアンテナ２１，２２の絶対位置に基づいて、旋回体３の絶対位置を検出する。
　位置検出器２３は、一方のＧＰＳアンテナ２１の絶対位置及び他方のＧＰＳアンテナ２２の絶対位置のそれぞれを検出する。位置検出器２３は、ＧＰＳアンテナ２１の絶対位置及びＧＰＳアンテナ２２の絶対位置の少なくとも一方に基づいて演算処理を実施して、旋回体３の絶対位置を算出する。
　姿勢検出器２４は、慣性計測装置（ＩＭＵ：Inertial　Measurement　Unit）を含む。姿勢検出器２４は、旋回体３に設けられる。姿勢検出器２４は、グローバル座標系で規定される水平面（ＸｇＹｇ平面）に対する旋回体３の傾斜角度を算出する。水平面に対する旋回体３の傾斜角度は、Ｙｍ軸方向（車幅方向）における旋回体３の傾斜角度を示すロール角θｒと、Ｘｍ軸方向（前後方向）における旋回体３の傾斜角度を示すピッチ角θｐとを含む。
　姿勢検出器２４は、姿勢検出器２４に作用する加速度及び角速度を検出する。姿勢検出器２４に作用する加速度及び角速度が検出されることにより、旋回体３に作用する加速度及び角速度が検出される。旋回体３に作用する加速度及び角速度に基づいて、旋回体３の姿勢が算出される。
　方位検出器２５は、一方のＧＰＳアンテナ２１の絶対位置と他方のＧＰＳアンテナ２２の絶対位置とに基づいて、グローバル座標系で規定される基準方位に対する旋回体３の方位を算出する。基準方位は、例えば北である。方位検出器２５は、ＧＰＳアンテナ２１の絶対位置とＧＰＳアンテナ２２の絶対位置とに基づいて演算処理を実施して、基準方位に対する旋回体３の方位を算出する。方位検出器２５は、ＧＰＳアンテナ２１の絶対位置とＧＰＳアンテナ２２の絶対位置とを結ぶ直線を算出し、算出した直線と基準方位とがなす角度に基づいて、基準方位に対する旋回体３の方位を算出する。基準方位に対する旋回体３の方位は、基準方位と旋回体３の方位とがなす角度を示すヨー角（方位角）θｙを含む。
［撮像装置］
　図２は、本実施形態に係る撮像装置３０の一例を示す斜視図である。図２は、油圧ショベル１の運転室４の近傍を示す斜視図である。
　図２に示すように、油圧ショベル１は、撮像装置３０を有する。撮像装置３０は、運転室４の内側に設けられる。撮像装置３０は、運転室４の前方（＋Ｘｍ方向）かつ上方（＋Ｚｍ方向）に配置される。
　撮像装置３０は、旋回体３の前方に存在する撮影対象を撮影する。本実施形態において、撮影対象は、施工現場において施工される施工対象を含む。施工対象は、油圧ショベル１の作業機２で掘削される掘削対象を含む。なお、施工対象は、他の油圧ショベル１ｏｔ（図３参照）の作業機２で掘削される掘削対象でもよいし、撮像装置３０を有する油圧ショベル１とは別の作業機械によって施工される施工対象でもよい。なお、施工対象は、作業者によって施工される施工対象でもよい。
　また、施工対象は、施工前の施工対象、施工中の施工対象、及び施工後の施工対象を含む概念である。
　撮像装置３０は、光学系と、イメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple　Charged　Device）イメージセンサ又はＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサを含む。撮像装置３０は、少なくとも施工対象の地質を目視で判断できるレベルの画質の２次元画像データを取得可能である。例えば、施工対象が異なる複数の地質で形成されている場合、撮像装置３０は、異なる地質の境界を目視で判断できるレベルの画質の２次元画像データを取得可能である。
　本実施形態において、撮像装置３０は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを含む。撮像装置３０ａ，３０ｃは、撮像装置３０ｂ，３０ｄよりも＋Ｙｍ側（作業機２側）に配置される。撮像装置３０ａと撮像装置３０ｂとはＹｍ軸方向に間隔をあけて配置される。撮像装置３０ｃと撮像装置３０ｄとはＹｍ軸方向に間隔をあけて配置される。撮像装置３０ａ，３０ｂは、撮像装置３０ｃ，３０ｄよりも＋Ｚｍ側に配置される。Ｚｍ軸方向において、撮像装置３０ａと撮像装置３０ｂとは実質的に同一の位置に配置される。Ｚｍ軸方向において、撮像装置３０ｃと撮像装置３０ｄとは実質的に同一の位置に配置される。
　４つの撮像装置３０（３０ａ，３０ｂ，３０ｃ，３０ｄ）のうち２つの撮像装置３０の組合せによりステレオカメラが構成される。ステレオカメラとは、撮影対象を複数の異なる方向から同時に撮影することにより、撮影対象の奥行き方向についてのデータも取得できるカメラをいう。本実施形態においては、撮像装置３０ａ，３０ｂの組合せにより第１のステレオカメラが構成され、撮像装置３０ｃ，３０ｄの組合せにより第２のステレオカメラが構成される。
　本実施形態において、撮像装置３０ａ，３０ｂは上方（＋Ｚｍ方向）を向く。撮像装置３０ｃ，３０ｄは下方（－Ｚｍ方向）を向く。また、撮像装置３０ａ，３０ｃは、前方（＋Ｘｍ方向）を向く。撮像装置３０ｂ，３０ｄは、前方よりも僅かに＋Ｙｍ側（作業機２側）を向く。すなわち、撮像装置３０ａ，３０ｃは、旋回体３の正面を向き、撮像装置３０ｂ，３０ｄは、撮像装置３０ａ，３０ｃ側を向く。なお、撮像装置３０ｂ，３０ｄが旋回体３の正面を向き、撮像装置３０ａ，３０ｃが撮像装置３０ｂ，３０ｄ側を向いてもよい。
　撮像装置３０は、旋回体３の前方に存在する撮影対象をステレオ撮影する。本実施形態においては、少なくとも一対の撮像装置３０によるステレオ２次元画像データを用いて施工対象が３次元計測され、施工対象の３次元データが算出される。施工対象の３次元データは、施工対象の表面（地表）の３次元データである。施工対象の３次元データは、グローバル座標系における施工対象の３次元位置データ及び３次元形状データを含む。
　複数の撮像装置３０（３０ａ，３０ｂ，３０ｃ，３０ｄ）のそれぞれについてカメラ座標系（Ｘｓ，Ｙｓ，Ｚｓ）が規定される。カメラ座標系は、撮像装置３０に固定された原点を基準とする座標系である。カメラ座標系のＺｓ軸は撮像装置３０の光学系の光軸と一致する。Ｘｓ軸方向は撮像装置３０の上下方向である。Ｙｓ軸方向は撮像装置３０の幅方向である。Ｚｓ軸方向は撮像装置３０の前後方向である。また、本実施形態においては、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄのうち、撮像装置３０ｃが基準撮像装置に設定される。
［施工管理システム］
　図３は、本実施形態に係る油圧ショベル１の制御システム５０及びサーバ６１を含む施工管理システム１００の一例を模式的に示す図である。
　制御システム５０は、油圧ショベル１に配置される。サーバ６１は、油圧ショベル１の遠隔地に設けられる。制御システム５０とサーバ６１とは、通信回線ＮＴＷを介してデータ通信可能である。また、通信回線ＮＴＷには、制御システム５０及びサーバ６１のみならず、携帯端末装置６４及び他の油圧ショベル１ｏｔの制御システム５０ｏｔが接続される。油圧ショベル１の制御システム５０と、サーバ６１と、携帯端末装置６４と、他の油圧ショベル１ｏｔの制御システム５０ｏｔとは、通信回線ＮＴＷを介してデータ通信可能である。通信回線ＮＴＷは、携帯電話網及びインターネットの少なくとも一方を含む。なお、通信回線ＮＴＷが無線ＬＡＮ（Local　Area　Network）を含んでもよい。
　制御システム５０は、複数の撮像装置３０（３０ａ，３０ｂ，３０ｃ，３０ｄ）と、検出処理装置５１と、施工データ生成装置５２と、施工管理装置５７と、表示装置５８と、通信装置２６とを有する。
　また、制御システム５０は、位置検出器２３と、姿勢検出器２４と、方位検出器２５とを有する。
　検出処理装置５１、施工データ生成装置５２、施工管理装置５７、表示装置５８、通信装置２６、位置検出器２３、姿勢検出器２４、及び方位検出器２５は、信号線５９に接続され相互にデータ通信可能である。信号線５９に適用される通信規格は、例えばＣＡＮ（Controller　Area　Network）である。
　制御システム５０は、コンピュータシステムを含む。制御システム５０は、ＣＰＵ（Central　Processing　Unit）のようなプロセッサを含む演算処理装置と、ＲＡＭ（Random　Access　Memory）のような不揮発性メモリ及びＲＯＭ（Random　Access　Memory）のような揮発性メモリを含む記憶装置とを有する。通信用アンテナ２６Ａが通信装置２６と接続される。通信装置２６は、サーバ６１、携帯端末装置６４、及び他の油圧ショベル１ｏｔの制御システム５０ｏｔの少なくとも１つと通信回線ＮＴＷを介してデータ通信可能である。
　検出処理装置５１は、少なくとも一対の撮像装置３０によって撮像された施工対象の一対の２次元画像データに基づいて、施工対象の３次元データを算出する。検出処理装置５１は、施工対象の一対の２次元画像データをステレオ方式で画像処理することにより、３次元座標系における施工対象の複数の部位の座標を示す３次元データを算出する。ステレオ方式の画像処理とは、同一の撮影対象を２つの異なる撮像装置３０から観測して得られる２つの画像から、その撮影対象までの距離を得る手法をいう。撮影対象までの距離は、例えば撮影対象までの距離データを濃淡により可視化した距離画像として表現される。
　ハブ３１、撮像スイッチ３２、識別子付与スイッチ３３、及び入力部３４が検出処理装置５１に接続される。ハブ３１は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄと接続される。撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄで取得された２次元画像データは、ハブ３１を介して検出処理装置５１に供給される。なお、ハブ３１は省略されてもよい。
　撮像スイッチ３２は、運転室４に設置される。本実施形態においては、運転室４のオペレータによって撮像スイッチ３２が操作されたとき、撮像装置３０による施工対象の撮像が実施される。
　識別子付与スイッチ３３は、運転室４に設置される。本実施形態においては、運転室４のオペレータによって識別子付与スイッチ３３が操作されたとき、撮像装置３０によって取得された２次元画像データに識別子が付与される。識別子とは、後述するが、撮像装置により撮像した２次元画像データ内に地質の境界が含まれているか否かを示す情報である。
　入力部３４は、例えばコンピュータ用のキーボード又はタッチパネルを含む。
　施工データ生成装置５２は、施工対象の目標形状を示す目標地形データを生成する。本実施形態において、施工データ生成装置５２は、検出処理装置５１で算出された施工対象の３次元データに基づいて、目標地形データを生成する。検出処理装置５１で算出された施工対象の３次元データは、施工対象の現況形状を示す現況地形データである。施工データ生成装置５２は、施工対象の現況地形データに基づいて、目標地形データを生成する。本実施形態において、目標地形データは、グローバル座標系において規定される。
　施工管理装置５７は、油圧ショベル１の状態及び油圧ショベル１による施工の状況を管理する。施工管理装置５７は、例えば１日の作業の終了段階における施工の結果を示す完了施工データを取得して、サーバ６１及び携帯端末装置６４の少なくとも一方に送信する。また、施工管理装置５７は、１日の作業の途中段階における施工の結果を示す中間施工データを取得して、サーバ６１及び携帯端末装置６４の少なくとも一方に送信する。
　完了施工データ及び中間施工データは、撮像装置３０で取得された２次元画像データに基づいて検出処理装置５１で算出された施工対象の３次元データを含む。すなわち、１日の作業の途中段階及び終了段階における施工対象の現況地形データがサーバ６１及び携帯端末装置６４の少なくとも一方に送信される。
　表示装置５８は、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic　Electroluminescence　Display）のようなフラットパネルディスプレイを含む。
　携帯端末装置６４は、例えば油圧ショベル１の作業を管理する管理者に所持される。
　サーバ６１は、コンピュータシステムを含む。サーバ６１は、ＣＰＵのようなプロセッサを含む演算処理装置と、ＲＡＭのような不揮発性メモリ及びＲＯＭのような揮発性メモリを含む記憶装置とを含む。通信装置６２及び表示装置６５がサーバ６１と接続される。通信装置６２は、通信用アンテナ６３と接続される。通信装置６２は、油圧ショベル１の制御システム５０、携帯端末装置６４、及び他の油圧ショベル１ｏｔの制御システム５０ｏｔの少なくとも１つと通信回線ＮＴＷを介してデータ通信可能である。
　図４は、本実施形態に係る検出処理装置５１の一例を示す機能ブロック図である。検出処理装置５１は、プロセッサを含む演算処理装置と、不揮発性メモリ及び揮発性メモリを含む記憶装置と、入出力インターフェースとを有するコンピュータシステムを含む。
　検出処理装置５１は、２次元画像データ取得部１０１と、３次元データ取得部１０２と、位置データ取得部１０３と、姿勢データ取得部１０４と、方位データ取得部１０５と、地質データ取得部１０６と、識別子付与部１０７と、表示制御部１０８と、記憶部１０９と、入出力部１１０と、を有する。
　２次元画像データ取得部１０１、３次元データ取得部１０２、位置データ取得部１０３、姿勢データ取得部１０４、方位データ取得部１０５、地質データ取得部１０６、識別子付与部１０７、及び表示制御部１０８の機能は、演算処理装置によって発揮される。記憶部１０９の機能は、記憶装置によって発揮される。入出力部１１０の機能は、入出力インターフェースによって発揮される。
　図４に記載された各構成は、入出力部１１０を介してデータ通信可能である。
　２次元画像データ取得部１０１は、油圧ショベル１に設けられた少なくとも一対の撮像装置３０で撮影された施工対象の２次元画像データを一対の撮像装置３０から取得する。すなわち、２次元画像データ取得部１０１は、少なくとも一対の撮像装置３０によるステレオ２次元画像データを取得する。
　３次元データ取得部１０２は、２次元画像データ取得部１０１で取得された２次元画像データに基づいて、施工対象の３次元データを取得する。３次元データ取得部１０２は、２次元画像データ取得部１０１で取得された２次元画像データに基づいて、カメラ座標系における施工対象の３次元位置データを取得する。
　位置データ取得部１０３は、油圧ショベル１の位置データを位置検出器２３から取得する。油圧ショベル１の位置データは、位置検出器２３で検出されたグローバル座標系における旋回体３の位置を示す位置データを含む。
　姿勢データ取得部１０４は、油圧ショベル１の姿勢データを姿勢検出器２４から取得する。油圧ショベル１の姿勢データは、姿勢検出器２４で検出されたグローバル座標系における旋回体３の姿勢を示す姿勢データを含む。
　方位データ取得部１０５は、油圧ショベル１の方位データを方位検出器２５から取得する。油圧ショベル１の方位データは、方位検出器２５で検出されたグローバル座標系における旋回体３の方位を示す方位データを含む。
　３次元データ取得部１０２は、位置データ取得部１０３で取得された旋回体３の位置データ、姿勢データ取得部１０４で取得された旋回体３の姿勢データ、方位データ取得部１０５で取得された旋回体３の方位データ、及び２次元画像データ取得部１０１で取得された施工対象の２次元画像データに基づいて、グローバル座標系における施工対象の３次元データを算出する。グローバル座標系における施工対象の３次元データは、グローバル座標系における施工対象の３次元位置データを含む。３次元データ取得部１０２は、旋回体３の位置データ、旋回体３の姿勢データ、及び旋回体３の方位データに基づいて、カメラ座標系における施工対象の３次元データを座標変換して、グローバル座標系における施工対象の３次元データを算出する。
　地質データ取得部１０６は、施工対象の地質データを取得する。施工対象の地質データは、施工対象の地質、土質（粘土質、真砂土等）、岩質、及び地盤の堅さのような地質についての種々のデータを含む。また、地質データは、施工対象の地質の境界に関する情報、具体的には境界の位置を含む。施工対象の地質の境界は、第１の地質エリアと、第１の地質エリアの地質とは異なる第２の地質エリアとの境界を含む。
　地質データ取得部１０６は、入力部３４の操作により生成された入力データを取得する。入力部３４は、例えば運転室４のオペレータに操作される。オペレータにより入力部３４が操作されると、施工対象の地質データを特定するための入力データが生成される。地質データ取得部１０６は、入力部３４から地質データを取得する。
　本実施形態において、オペレータは、２次元画像データ取得部１０１に取得され表示装置５８に表示された施工対象の２次元画像データを見て、施工対象の地質の境界の位置を特定し、入力部３４を操作して、施工対象の２次元画像データ内の地質の境界位置に、境界があることを示す境界データを入力する。そうすることにより、施工対象の３次元データ上に地質の境界位置情報を反映させるとともに記憶させることができる。
　また、オペレータは、入力部３４を操作して、地質の境界に基づいて規定される地質領域、すなわち同一の地質からなる地面の領域に対して、地質データ（地質、土質、岩質等）を入力する。そうすることにより、施工対象の３次元データ上におけるある地質領域に対して、入力した地質データを記憶させることができる。なお、オペレータは、境界の一方側と他方側に、異なる地質データを入力する。
　３次元データは、メッシュのように所定間隔毎に設けられる要素により構成される。地質データを３次元データに記憶する方法として、地質の境界に基づいて規定される地質領域単位で地質データを記憶してもよいし、各要素単位（一部領域）で地質データを記憶してもよい。
　地質データとして、地盤の堅さ情報を３次元データに記憶させることができる。例えば、ある地質領域に記憶させた地質データに併せて地盤の堅さ情報も記憶できるようにしてもよい。
　識別子付与部１０７は、識別子付与スイッチ３３の操作により生成された入力データに基づいて、施工対象の土質の境界を含む２次元画像データに識別子を付与する。オペレータは、２次元画像データ取得部１０１で取得され表示装置５８に表示された施工対象の２次元画像データに施工対象の地質の境界が含まれていると判定した場合、識別子付与スイッチ３３を操作し、施工対象の地質の境界を含む２次元画像データに識別子を付与することができる。
　以下の説明においては、識別子が付与された２次元画像データを適宜、特定２次元画像データ、と称する。
　３次元データ取得部１０２は、識別子が付与された特定２次元画像データと、更にステレオ処理するためのペアの２次元画像データとに基づいて、施工対象の地質の境界の３次元データを取得する。
　また、３次元データ取得部１０２は、複数の特定２次元画像データからなる３次元データを合成して、特定の地質により形成される領域の３次元データを取得する。
　表示制御部１０８は、３次元データ取得部１０２で算出された施工対象の３次元データを表示装置５８に表示させる。また、表示制御部１０８は、３次元データ取得部１０２で取得された地質の境界データを含む３次元データを表示装置５８に表示させる。また、表示制御部１０８は、３次元データ取得部１０２で取得された地質エリアデータを表示装置５８に表示させる。表示制御部１０８は、３次元データ取得部１０２で取得された施工対象の３次元データ、及び地質エリアデータを表示装置５８が表示可能な表示形式の表示データに変換して、その表示データを表示装置５８に表示させる。
［施工対象の撮像及び形状データの生成］
　図５は、本実施形態に係る撮像装置３０及び検出処理装置５１の処理の一例を示す模式図である。以下の説明においては、施工対象ＯＢＰが油圧ショベル１の作業機２によって施工される施工現場の一部分であることとする。なお、上述のように、施工対象ＯＢＰは、他の油圧ショベル１ｏｔ、油圧ショベル１とは別の作業機械、及び作業者の少なくとも一つによって施工される施工対象でもよい。また、施工対象ＯＢＰは、施工前の施工対象のみならず、施工中の施工対象、及び施工後の施工対象でもよい。
　施工対象ＯＢＰは、旋回体３の前方に存在する。少なくとも一対の撮像装置３０によって施工対象ＯＢＰが撮像される。本実施形態においては、運転室４に搭乗している油圧ショベル１のオペレータが撮像スイッチ３２を操作したとき、撮像装置３０による撮像が実施される。撮像スイッチ３２が操作されることにより生成された撮影の指令を示す入力データが検出処理装置５１に供給される。検出処理装置５１は、撮像スイッチ３２から供給された入力データに基づいて、撮像装置３０に施工対象ＯＢＰを撮像させる。
　少なくとも一対の撮像装置３０で撮像された施工対象ＯＢＰの２次元画像データは、検出処理装置５１の２次元画像データ取得部１０１に取得される。３次元データ取得部１０２は、２次元画像データ取得部１０１に取得された少なくとも一対の撮像装置３０で撮像された施工対象ＯＢＰの２次元画像データをステレオ方式で画像処理して、施工対象ＯＢＰの３次元データを取得する。２次元画像データ取得部１０１に取得された２次元画像データに基づいて取得された３次元データは、カメラ座標系における３次元データである。カメラ座標系における３次元データがグローバル座標系における３次元データに変換される。３次元データ取得部１０２は、姿勢データ取得部１０４に取得された油圧ショベル１の姿勢データに基づいて、カメラ座標系における３次元データをグローバル座標系における３次元データに変換する。
　３次元データ取得部１０２は、少なくとも一対の撮像装置３０によって撮像された２次元画像データに基づいてカメラ座標系における施工対象ＯＢＰの位置Ｐｓ（ｘｓ，ｙｓ，ｚｓ）を取得し、グローバル座標系における位置Ｐｇ（ｘｇ，ｙｇ，ｚｇ）に変換する。
　このように、３次元データ取得部１０２は、２次元画像データ取得部１０１に取得された２次元画像データに基づいて取得されたカメラ座標系における施工対象ＯＢＰの３次元データを、位置データ取得部１０３に取得された油圧ショベル１の位置データ、姿勢データ取得部１０４に取得された油圧ショベル１の姿勢データ、及び方位データ取得部１０５に取得された油圧ショベル１の方位データを使って座標変換して、グローバル座標系における施工対象ＯＢＰの３次元データを取得することができる。
　３次元データ取得部１０２は、少なくとも一対の撮像装置３０によって撮像された施工対象ＯＢＰの領域の全部において、施工対象ＯＢＰの表面の位置Ｐｒ（Ｘｇ，Ｙｇ，Ｚｇ）を取得する。
［地質データを含む３次元データ］
　図６は、地質が均一である施工対象ＯＢＰｆを模式的に示す図である。図７は、地質が変化する施工対象ＯＢＰｄを模式的に示す図である。図６及び図７に示すように、施工現場によっては、地質が均一である施工対象ＯＢＰｆと、地質が変化する施工対象ＯＢＰｄとが存在する場合がある。
　本実施形態において、３次元データ取得部１０２は、地質が変化する施工対象ＯＢＰｄにおける地質の境界を含む領域の３次元データを取得する。例えば図７に示すように、施工対象ＯＢＰｄが第１の地質と第２の地質とを含む場合、３次元データ取得部１０２は、第１の地質と第２の地質との境界を含む領域の３次元データを取得する。地質の境界は、施工対象ＯＢＰｄの表面（地表）における地質の境界である。地質の境界を含む領域の３次元データは、施工対象ＯＢＰｄの表面（地表）における地質の境界を含む領域の３次元データである。
　図８は、本実施形態に係る２次元画像データ取得部１０１に取得された２次元画像データの一例を模式的に示す図である。オペレータは、旋回体３の旋回及び走行体５の走行の少なくとも一方を実施して撮像装置３０の位置又は向きを変え、施工現場における複数の施工対象ＯＢＰのそれぞれを撮像装置３０で撮像する。これにより、施工現場における複数の施工対象ＯＢＰのそれぞれについての２次元画像データが取得される。上述のように、撮像スイッチ３２がオペレータに操作されることにより、施工対象ＯＢＰの２次元画像データが撮像装置３０によって取得される。
　２次元画像データ取得部１０１は、複数の施工対象ＯＢＰのそれぞれについての複数の２次元画像データを取得する。図８は、２次元画像データ取得部１０１がＮ数の２次元画像データを取得した例を示す。
　図８に示す例において、２次元画像データ１は、地質の境界を含まない２次元画像データである。２次元画像データ２は、地質の境界を含む２次元画像データである。２次元画像データ３は、地質の境界を含まない２次元画像データである。２次元画像データ４は、地質の境界を含む２次元画像データである。２次元画像データ５は、地質の境界を含まない２次元画像データである。２次元画像データ６は、地質の境界を含まない２次元画像データである。２次元画像データ７は、地質の境界を含む２次元画像データである。２次元画像データＮは、地質の境界を含まない２次元画像データである。
　識別子付与部１０７は、運転室４のオペレータによる識別子付与スイッチ３３の操作に基づいて、施工対象の地質の境界を含む２次元画像データに識別子を付与する。図８に示す例では、２次元画像データ２、２次元画像データ４、及び２次元画像データ７に識別子Ｄ１，Ｄ２，Ｄ３が付与される。一方、２次元画像データ１、２次元画像データ３、２次元画像データ５、２次元画像データ６、及び２次元画像データＮには識別子が付与されない。
　２次元画像データ取得部１０１に取得された２次元画像データ１から２次元画像データＮは、表示装置５８に表示される。オペレータは、表示装置５８を目視して、表示装置５８に表示されている２次元画像データに地質の境界が含まれているか否かを判定する。
　上述のように、本実施形態において、撮像装置３０は、異なる地質の境界を目視で判断できるレベルの画質の２次元画像データを取得可能である。したがって、オペレータは、２次元画像データを目視することにより、その２次元画像データに地質の境界が含まれているか否かを判定することができる。
　なお、目視による判定が困難な場合、撮影前に予め地質を詳細に調査して地質の境界線を決定した上で、施工対象ＯＢＰの地質の境界にマークが設けられた状態で、撮像装置３０による撮像が実施されてもよい。マークは、例えば地質の境界に沿って噴霧された有色粉末でもよいし、地質の境界に沿って一定の間隔で配置された棒部材でもよいし、地質の境界に沿って一定の間隔で配置されたプリズムのような反射部材でもよい。地質の境界にマークが設けられた状態で、撮像装置３０により施工対象ＯＢＰの２次元画像データが取得されることにより、オペレータは、２次元画像データに含まれているマークを目視して、２次元画像データに地質の境界が含まれているか否かを容易に判定することができる。
　オペレータは、表示装置５８に表示されている２次元画像データを目視して、その２次元画像データに地質の境界が含まれていると判定したとき、識別子付与スイッチ３３を操作する。識別子付与スイッチ３３が操作されることにより生成された入力データは、識別子付与部１０７に供給される。識別子付与部１０７は、識別子付与スイッチ３３において生成された入力データに基づいて、施工対象の地質の境界を含む２次元画像データに識別子を付与する。
　図８に示す例では、例えば２次元画像データ２が表示装置５８に表示されたとき、オペレータは、表示装置５８を目視して、表示装置５８に表示されている２次元画像データ２に地質の境界が含まれていると判定し、識別子付与スイッチ３３を操作する。これにより、２次元画像データ２に識別子Ｄ１が付与される。同様に、２次元画像データ４が表示装置５８に表示されたとき、オペレータにより識別子付与スイッチ３３が操作され、２次元画像データ４に識別子Ｄ２が付与される。同様に、２次元画像データ７が表示装置５８に表示されたとき、オペレータにより識別子付与スイッチ３３が操作され、２次元画像データ７に識別子Ｄ３が付与される。
　例えば２次元画像データ１が表示装置５８に表示されたとき、オペレータは、表示装置５８を目視して、表示装置５８に表示されている２次元画像データ１に地質の境界が含まれていないと判定し、識別子付与スイッチ３３を操作しない。これにより、２次元画像データ１には識別子が付与されない。２次元画像データ３，５，６，Ｎについても同様である。
　識別子が付与された２次元画像データである特定２次元画像データは、記憶部１０９に記憶される。図８に示す例においては、説明を簡素化するため、特定２次元画像データが２次元画像データ２，４，７の３つであることとした。実際には多数の特定２次元画像データが記憶部１０９に記憶される。また、識別子が付与されていない２次元画像データも、記憶部１０９に記憶される。
　また、識別子が付与された特定２次元画像データは、通信回線ＮＴＷを介してサーバ６１に送信される。また、識別子が付与されていない２次元画像データも、通信回線ＮＴＷを介してサーバ６１に送信される。
　また、オペレータは、表示装置５８に表示された特定２次元画像データ２，４，７を見て、特定２次元画像データ２，４，７における地質の境界の位置を判定し、入力部３４を操作して、特定２次元画像データ２，４，７における地質の境界の位置を示す境界データを入力する。また、オペレータは、表示装置５８に表示された特定２次元画像データ２，４，７を見て、境界を形成する第１の地質を示す第１の地質データと第２の地質を示す第２の地質データとを、入力部３４を介して入力する。また、オペレータは、表示装置５８に表示された２次元画像データ１，３，５，６，Ｎを見て、表示装置５８に表示されている地質データを、入力部３４を介して入力する。
　３次元データ取得部１０２は、特定２次元画像データに基づいて、カメラ座標系における地質の境界を含む３次元データを取得する。境界データを含む特定２次元画像データに基づいてステレオ処理が実施されることにより、取得された３次元データにおいては、第１の地質エリアと第２の地質エリアとの境界が反映され、第１の地質エリアと第２の地質エリアとが特定される。
　すなわち、本実施形態において、施工対象の３次元データは、第１の地質データを含む第１の地質エリアの３次元データと、第２の地質データを含む第２の地質エリアの３次元データと、第１の地質エリアと第２の地質エリアとの境界を示す境界データとを含む。
　また、３次元データ取得部１０２は、位置データ取得部１０３に取得された油圧ショベル１の位置データと、姿勢データ取得部１０４に取得された油圧ショベル１の姿勢データと、方位データ取得部１０５に取得された油圧ショベル１の方位データとに基づいて、カメラ座標系における地質の境界の３次元データを座標変換して、グローバル座標系における地質の境界の３次元データを取得する。グローバル座標系における地質の境界の３次元データも、記憶部１０９に記憶されている。
　また、３次元データ取得部１０２で取得されたグローバル座標系における地質の境界を示す３次元データは、通信回線ＮＴＷを介してサーバ６１に送信される。また、地質の境界を含まないグローバル座標系における施工対象ＯＢＰの３次元データも、通信回線ＮＴＷを介してサーバ６１に送信される。
　また、３次元データ取得部１０２は、記憶部１０９に記憶されている地質の境界を含む３次元データを合成して、特定の地質エリアデータを取得する。グローバル座標系で規定されている地質の境界の３次元データが複数存在する場合、３次元データ取得部１０２は、複数の地質の境界の３次元データを繋ぎ合わせて、特定の地質エリアデータを取得することができる。例えば図８に示した例においては、３次元データ取得部１０２は、第１の地質と第２の地質とを含む複数の特定２次元画像データを繋ぎ合わせることにより、第１の地質エリアデータ又は第２の地質エリアデータを取得することができる。
　表示制御部１０８は、取得された地質エリアデータを表示装置５８に表示させる。図９は、本実施形態に係る地質エリアデータを表示する表示装置５８の一例を模式的に示す図である。３次元データ取得部１０２は、例えば特定２次元画像データ２，４，７及び特定２次元画像データ２，４，７に近似する第１の地質及び第２の地質を含む複数の特定２次元画像データによって地質エリアデータを取得する。図９に示すように、表示制御部１０８は、３次元データ取得部１０２で取得された地質エリアデータを表示装置５８に表示させる。なお、表示制御部１０８は、３次元データ取得部１０２で取得された地質の境界の３次元データを表示装置５８に表示させてもよい。
［施工管理方法］
　次に、本実施形態に係る施工管理方法の一例について説明する。図１０は、本実施形態に係る施工管理方法の一例を示すフローチャートである。
　施工現場の複数の施工対象ＯＢＰが撮像装置３０によって撮像される。２次元画像データ取得部１０１は、複数の施工対象ＯＢＰについての２次元画像データを撮像装置３０から取得する（ステップＳＰ１）。
　２次元画像データ取得部１０１に取得された施工対象ＯＢＰの２次元画像データが表示装置５８に表示される。油圧ショベル１のオペレータは、表示装置５８に表示された２次元画像データを目視して、その２次元画像データに施工対象の地質の境界が含まれているか否かを判定する。オペレータは、２次元画像データに施工対象の地質の境界が含まれていると判定した場合、識別子付与スイッチ３３を操作する。
　識別子付与スイッチ３３が操作されることにより、識別子付与部１０７は、２次元画像データに識別子を付与する（ステップＳＰ２）。
　また、油圧ショベル１のオペレータは、表示装置５８に表示された２次元画像データを目視して、その２次元画像データにおける施工対象の地質を特定する。オペレータは、２次元画像データにおける施工対象の地質を特定した後、入力部３４を操作して、施工対象の地質データを入力する。
　地質データは、地質の境界の位置を示す境界データを含む。オペレータは、２次元画像データにおける施工対象の地質の境界の位置を特定する。オペレータは、地質の境界の位置を特定した後、入力部３４を操作して、データの境界の位置を示す境界データを入力する。
　入力部３４の操作により生成された、地質の境界データを含む地質データは、地質データ取得部１０６に取得される（ステップＳＰ３）。
　３次元データ取得部１０２は、撮像装置３０によって撮像された複数の画像をステレオ処理することによって、カメラ座標系における地質データを含む３次元データを取得する（ステップＳＰ４）。
　旋回体３の位置データが位置データ取得部１０３に取得される。旋回体３の姿勢データが姿勢データ取得部１０４に取得される。旋回体３の方位データが方位データ取得部１０５に取得される。３次元データ取得部１０２は、旋回体３の位置データ、姿勢データ、及び方位データに基づいて、カメラ座標系における施工対象の３次元データを座標変換して、グローバル座標系における施工対象の３次元データを取得する（ステップＳＰ５）。
　また、３次元データ取得部１０２は、複数の特定２次元画像データを合成して、特定の地質エリアデータを取得する（ステップＳＰ６）。
　表示制御部１０８は、取得された地質エリアデータを表示装置５８に表示させる（ステップＳＰ７）。
　また、ステップＳＰ５で取得されたグローバル座標系における施工対象の３次元データが、通信回線ＮＴＷを介して、油圧ショベル１の制御システム５０からサーバ６１に送信される（ステップＳＰ８）。
　また、ステップＳＰ６で取得された地質エリアデータも、通信回線ＮＴＷを介して、油圧ショベル１の制御システム５０からサーバ６１に送信される。
　また、グローバル座標系における地質の境界を含む特定２次元画像データ、及びグローバル座標系における地質の境界を含まない２次元画像データも、通信回線ＮＴＷを介して、油圧ショベル１の制御システム５０からサーバ６１に送信される。グローバル座標系における地質の境界を含む特定２次元画像データは、例えば図８を参照して説明した２次元画像データ２，４，７のような特定２次元画像データを座標変換して取得された２次元画像データである。グローバル座標系における地質の境界を含まない２次元画像データは、例えば図８を参照して説明した２次元画像データ１，３，５，６，Ｎのような２次元画像データを座標変換して取得された２次元画像データである。
　サーバ６１には、油圧ショベル１のみならず、複数の他の油圧ショベル１ｏｔからも、グローバル座標系における地質の境界の３次元データ、地質エリアデータ、グローバル座標系における地質の境界を含む特定２次元画像データ、及びグローバル座標系における地質の境界を含まない２次元画像データが送信される。
　サーバ６１は、油圧ショベル１及び他の油圧ショベル１ｏｔから供給されたグローバル座標系における施工対象の３次元データのデータベースを作成する。上述のように、サーバ６１は、演算処理装置及び記憶装置を有する。油圧ショベル１及び他の油圧ショベル１ｏｔから供給された施工対象の３次元データは、データベース化され、サーバ６１の記憶装置に記憶される。
　同様に、油圧ショベル１及び他の油圧ショベル１ｏｔから供給された地質エリアデータ、グローバル座標系における地質の境界を含む特定２次元画像データ、及びグローバル座標系における地質の境界を含まない２次元画像データも、データベース化され、サーバ６１の記憶装置に記憶される。
　サーバ６１の演算処理装置は、油圧ショベル１及び他の油圧ショベル１ｏｔから供給されたグローバル座標系における施工対象の３次元データを統合する（ステップＳＰ９）。これにより、施工現場全体における地質データを含む施工対象の３次元データが取得される。サーバ６１は、取得した施工現場全体における地質データを含む施工対象の３次元データを表示装置６５に表示させる。これにより、管理者は、施工現場全体における地質及び地質の境界を認識することができる。施工現場全体における地質データを含む施工対象の３次元データが表示装置６５に表示されるため、管理者は、施工現場全体における地質の境界を直感的に認識することができる。
　同様に、サーバ６１の演算処理装置は、油圧ショベル１及び他の油圧ショベル１ｏｔから供給された地質エリアデータの統合、グローバル座標系における地質の境界を含む特定２次元画像データの統合、及びグローバル座標系における地質の境界を含まない２次元画像データの統合を実施することができる。統合された地質エリアデータ、統合されたグローバル座標系における地質の境界を含む特定２次元画像データ、及び統合されたグローバル座標系における地質の境界を含まない２次元画像データは、表示装置６５に表示される。これにより、管理者は、施工現場全体の地質分布及び施工の進捗状況を直感的に認識することができる。
　上述のように、本実施形態においては、１日の作業の終了段階における施工の結果を示す完了施工データ、及び１日の作業の途中段階における施工の結果を示す中間施工データとして、撮像装置３０で取得された２次元画像データに基づいて検出処理装置５１で取得された施工対象の３次元データである現況地形データがサーバ６１に送信される。したがって、管理者は、サーバ６１に接続された表示装置６５に表示された３次元データである現況地形データに基づいて、施工の進捗状況を直感的に認識することができる。
［作用及び効果］
　以上説明したように、本実施形態によれば、地質の境界データを含む地質データが取得され、地質データに基づいて、施工対象の地質の境界を含む３次元データが取得される。したがって、地質データを含む施工対象の３次元データが効率良く取得される。
　施工現場においては、礫質土、砂質土、及び粘性土など、様々な地質の領域が存在する。施工対象の地質によって単位時間当たりに実施可能な施工量又は工期が変動する可能性がある。例えば軟らかい地質のような施工し易い地質の場合、施工量は増大し工期は短期化する。硬い地質のような施工し難い地質の場合、施工量は低減し工期は長期化する。このように、施工対象の地質は、単位時間当たりに実施可能な施工量又は工期に影響を及ぼす。そのため、施工対象の地質を調査し、地質についてのデータを取得することが重要である。本実施形態によれば、施工対象ＯＢＰの２次元画像データに基づいて、施工対象ＯＢＰの地質の種類のみならず、地質の境界を効率良く認識することができる。したがって、地質の種類及び地質の境界を含む地質についてのデータに基づいて、良好な作業効率で施工を実施することができる。
　また、本実施形態においては、土質の境界を含む２次元画像データに識別子が付与される。したがって、識別子が付与された特定２次元画像データに基づいて、施工対象ＯＢＰの地質の境界データを含む３次元データが効率良く取得される。
　地質の境界データを取得したい場合において、撮像装置３０によって取得される２次元画像データの数が膨大であり、地質の境界を含む２次元画像データと地質の境界を含まない２次元画像データとが混在している場合、地質の境界の３次元データを取得するために煩雑な処理が必要となったり、地質の境界の３次元データを取得するまでに長時間を要したりする可能性がある。本実施形態においては、撮像装置３０によって２次元画像データが取得されたとき、地質の境界を含む２次元画像データに識別子付与部１０７により識別子が付与される。したがって、地質の境界の３次元データを取得したいときには、識別子が付与された特定２次元画像データのみを抽出して、画像処理を実施すれば、施工対象ＯＢＰの地質の境界の３次元データを効率良く取得することができる。
　また、本実施形態においては、撮像装置３０が搭載されている旋回体３の位置データ、旋回体３の姿勢データ、及び旋回体３の方位データに基づいて、カメラ座標系で規定される地質の境界の２次元画像データが座標変換され、グローバル座標系における地質の境界の３次元データが取得される。これにより、例えば測量機を使った地形測量が実施されなくても、撮像装置３０で取得された２次元画像データに基づいて、グローバル座標系における施工対象の３次元データを取得することができる。
　また、本実施形態においては、地質の境界の３次元データが合成されることにより、特定の地質エリアデータが取得される。したがって、施工現場における地質分布を把握することができる。
　また、本実施形態においては、施工対象の３次元データ及び地質エリアデータが表示装置５８又は表示装置６５に表示される。これにより、オペレータ又は管理者は、表示装置６５を見て、地質の境界又は地質分布を直感的に認識することができる。
　また、本実施形態においては、撮像装置３０で取得された２次元画像データに地質の境界が含まれているか否かがオペレータによって判定され、２次元画像データに地質の境界が含まれていると判定された場合、識別子付与スイッチ３３が操作される。これにより、撮像装置３０で取得された２次元画像データに対して高度な画像処理を実施しなくても、地質の境界を含む２次元画像データに識別子を付与することができる。
　また、本実施形態においては、油圧ショベル１で取得された３次元データがサーバ６１に供給される。サーバ６１には、油圧ショベル１のみならず他の油圧ショベル１ｏｔからも３次元データが供給される。したがって、サーバ６１は、供給された複数の３次元データに基づいて、施工現場全体の３次元データを構築することができる。
　なお、上述の実施形態においては、オペレータが識別子付与スイッチ３３を操作して、２次元画像データに識別子を付与することとした。制御システム５０が、撮像装置３０で取得された２次元画像データを画像処理し、その画像処理の結果に基づいて、２次元画像データに地質の境界が含まれているか否かを判定してもよい。例えば、制御システム５０は、２次元画像データをエッジ検出したり、２次元画像データを２値化したりすることによって、２次元画像データに地質の境界が含まれているか否かを判定することができる。
　なお、上述の実施形態においては、油圧ショベル１に撮像装置３０が４つ設けられる例について説明した。撮像装置３０は、油圧ショベル１に少なくとも２つ設けられていればよい。
　なお、上述の実施形態において、サーバ６１が検出処理装置５１の一部又は全部の機能を有してもよい。すなわち、サーバ６１が、２次元画像データ取得部１０１、３次元データ取得部１０２、位置データ取得部１０３、姿勢データ取得部１０４、方位データ取得部１０５、地質データ取得部１０６、識別子付与部１０７、表示制御部１０８、記憶部１０９、及び入出力部１１０の少なくとも一つを有してもよい。例えば、油圧ショベル１の撮像装置３０で撮像された２次元画像データ、位置検出器２３で検出された旋回体３の位置データ、姿勢検出器２４で検出された旋回体３の姿勢データ、方位検出器２５で検出された旋回体３の方位データ、及び識別子付与スイッチ３３で生成された入力データが、通信装置２６及び通信回線ＮＴＷを介して、サーバ６１に供給されてもよい。サーバ６１の識別子付与部１０７は、通信装置２６及び通信回線ＮＴＷを介して供給された２次元画像データ及び入力データに基づいて、施工対象の地質の境界を含む２次元画像データに識別子を付与することができる。サーバ６１の３次元データ取得部１０２は、識別子が付与された特定２次元画像データに基づいて、地質の境界データを含む３次元データを取得することができる。また、サーバ６１の３次元データ取得部１０２は、通信装置２６及び通信回線ＮＴＷを介して供給された旋回体３の位置データ、姿勢データ、及び方位データに基づいて、グローバル座標系における地質の境界の３次元データを取得することができる。また、サーバ６１の３次元データ取得部１０２は、複数の特定２次元画像データを合成して、特定の地質エリアデータを取得することができる。
　サーバ６１には、油圧ショベル１及び複数の他の油圧ショベル１ｏｔから、地質の境界を含む２次元画像データ及び地質の境界を含まない２次元画像データの両方が供給される。油圧ショベル１及び複数の他の油圧ショベル１ｏｔからサーバ６１には膨大な数の２次元画像データが送信される。地質の境界を含む２次元画像データに識別子が付与されることにより、地質の境界の３次元データを取得したいときには、サーバ６１は、識別子が付与された特定２次元画像データのみを抽出して、画像処理を実施すれば、施工対象ＯＢＰの地質の境界の３次元データを効率良く取得することができる。
　また、上述のように、３次元データは、地質データを含む。第１の地質エリアについての第１の地質データ、第２の地質エリアについての第２の地質データ、及び第１の地質エリアと第２の地質エリアとの境界データの少なくとも一つが、サーバ６１の記憶部１０９に記憶されてもよい。
　なお、上述の実施形態においては、オペレータが地質の境界を特定し、入力部３４を操作して境界データを入力し、入力部３４の操作により入力された境界データに基づいて、第１の地質エリア及び第２の地質エリアが特定されることとした。２次元画像データ取得部１０１で取得された２次元画像データがコンピュータシステムにおいて画像処理され、コンピュータシステムによって地質の境界が特定されてもよい。
　なお、上述の実施形態においては、境界を含む２次元画像データに識別子が付与されることとした。境界を含む２次元画像データに識別子が付与されなくてもよい。
　なお、上述の実施形態においては、ステレオカメラによって３次元データが取得されることとした。１つのカメラとレーザスキャナのような３次元計測装置とによって３次元データが取得されてもよい。
　なお、上述の実施形態において、３次元データは取得されなくてもよい。油圧ショベル１に設けられた撮像装置３０で撮影された施工対象の地質の境界を含む２次元画像データが２次元画像データ取得部１０１に取得され、油圧ショベル１の位置データが位置データ取得部１０３に取得され、油圧ショベル１の姿勢データが姿勢データ取得部１０４に取得された場合において、サーバ６１に設けられている記憶部１０９が、２次元画像データに、２次元画像データが取得された時点の油圧ショベル１の位置データ、姿勢データ、及び２次元画像データが取得された時点データを付加して記憶してもよい。また、記憶部１０９は、２次元画像データに、油圧ショベル１の位置データ、姿勢データ、及び時点データのみならず、施工対象の地質データを付加して、記憶してもよい。
　なお、施工対象の３次元データに、施工対象において発生した事象の位置を示す事象位置データが関連付けられてもよい。例えば、施工対象の地質データが地質データ取得部１０６に取得され、施工対象において発生した事象の位置を示す事象位置データが事象位置データ取得部として機能する位置データ取得部１０３に取得された場合、施工対象の３次元データを取得する３次元データ取得部１０２は、地質データ、どのような事象が発生したかという情報（事象に関する情報）及び事象位置データを含む３次元データを取得してもよい。施工対象において発生した事象は、例えば施工対象の施工において水が発生すること、作業機の負荷が急激に増大すること、などを含む。例えば水が発生した位置に刃先８ＢＴが位置付けられることにより、位置データ取得部１０３は、刃先８ＢＴの位置データに基づいて、水が発生した位置を示す事象位置データを特定することができる。記憶部１０９は、３次元データに、事象位置データを付与して、記憶してもよい。
　なお、上述の実施形態においては、作業機械１が油圧ショベルであることとした。作業機械１は、施工対象を施工可能な作業機械であればよく、施工対象を掘削可能な掘削機械及び土砂を運搬可能な運搬機械でもよい。作業機械１は、例えばホイールローダでもよいし、ブルドーザでもよいし、ダンプトラックでもよい。
　１　油圧ショベル（作業機械）、１Ｂ　車体、２　作業機、３　旋回体、４　運転室、５　走行体、６　ブーム、７　アーム、８　バケット、８Ｂ　刃、８ＢＴ　刃先、１０　ブームシリンダ、１１　アームシリンダ、１２　バケットシリンダ、２１，２２　ＧＰＳアンテナ、２３　位置検出器、２４　姿勢検出器、２５　方位検出器、２６　通信装置、２６Ａ　通信用アンテナ、３０（３０ａ，３０ｂ，３０ｃ，３０ｄ）　撮像装置、３１　ハブ、３２　撮像スイッチ、３３　識別子付与スイッチ、３４　入力部、５１　検出処理装置、５２　施工データ生成装置、５７　施工管理装置、５８　表示装置、６１　サーバ、６２　通信装置、６３　通信用アンテナ、６４　携帯端末装置、６５　表示装置、１００　施工管理システム、１０１　２次元画像データ取得部、１０２　３次元データ取得部、１０３　位置データ取得部、１０４　姿勢データ取得部、１０５　方位データ取得部、１０６　地質データ取得部、１０７　識別子付与部、１０８　表示制御部、１０９　記憶部、１１０　入出力部、ＮＴＷ　通信回線。

Claims (8)

  1. 　作業機械に設けられた撮像装置で撮影された対象の２次元画像データを取得する２次元画像データ取得部と、
    　前記作業機械に取り付けられ、前記対象の３次元データを取得する３次元データ取得部と、
    　前記２次元画像データに地質データを入力する入力部と、
    　入力された前記地質データを、前記３次元データに付与する地質データ取得部と、を備える、
    　施工管理システム。
  2. 　前記地質データは、少なくとも地質の境界を含み、
    　前記地質データ取得部は、前記地質の境界の一方側に対応する３次元データに対して第１の地質データを付与し、前記地質の境界の他方側に対応する３次元データに対して第２の地質データを付与する、
    　請求項１に記載の施工管理システム。
  3. 　前記地質データ取得部は、前記地質の境界に基づいて規定される地質領域に対して前記地質データを付与する、又は前記３次元データの一部領域に対して前記地質データを付与する、
    　請求項１又は請求項２に記載の施工管理システム。
  4. 　前記地質データは、地質、土質、岩質、地盤の堅さ、地質の境界の位置、を含む、
    　請求項１から請求項３のいずれか一項に記載の施工管理システム。
  5. 　前記対象において発生した事象の位置を示す事象位置データを取得する事象位置データ取得部を備え、
    　前記３次元データ取得部は、前記３次元データに、前記事象に関する情報、及び前記事象位置データを付与する、
    　請求項１から請求項４のいずれか一項に記載の施工管理システム。
  6. 　前記事象は、地盤からの水の発生、又は作業負荷の増大が含まれる、
    　請求項５に記載の施工管理システム。
  7. 　作業機械に設けられた撮像装置で撮影された対象の２次元画像データを取得する２次元画像データ取得部と、
    　前記撮像装置によって前記２次元画像データが撮影された時点の位置データを取得する位置データ取得部と、
    　前記２次元画像データ内に含まれる地面の地質に関する地質データを取得する地質データ取得部と、
    　前記２次元画像データに、前記２次元画像データが取得された時点の前記作業機械の前記位置データ、前記２次元画像データ内に含まれる地面の地質データ、及び前記２次元画像データが取得された時点の時点データを付加して記憶する記憶部と、
    　を備える施工管理システム。
  8. 　作業機械に取り付けられ、施工対象の３次元データを取得する３次元データ取得部と、
    　前記施工対象において発生した事象の位置を示す事象位置データを取得する事象位置データ取得部と、
    を備え、
    　前記３次元データ取得部は、前記３次元データ取得部により得られた３次元データに、前記事象に関する情報及び前記事象位置データを付与する、
    　施工管理システム。
PCT/JP2017/028494 2016-08-05 2017-08-04 施工管理システム WO2018026019A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/090,326 US11966990B2 (en) 2016-08-05 2017-08-04 Construction management system
AU2017305111A AU2017305111B2 (en) 2016-08-05 2017-08-04 Construction management system
CN201780016276.0A CN108779985B (zh) 2016-08-05 2017-08-04 施工管理系统
DE112017001522.7T DE112017001522T5 (de) 2016-08-05 2017-08-04 Bauverwaltungssystem

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016155103A JP6887229B2 (ja) 2016-08-05 2016-08-05 施工管理システム
JP2016-155103 2016-08-05

Publications (1)

Publication Number Publication Date
WO2018026019A1 true WO2018026019A1 (ja) 2018-02-08

Family

ID=61073552

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/028494 WO2018026019A1 (ja) 2016-08-05 2017-08-04 施工管理システム

Country Status (6)

Country Link
US (1) US11966990B2 (ja)
JP (1) JP6887229B2 (ja)
CN (1) CN108779985B (ja)
AU (1) AU2017305111B2 (ja)
DE (1) DE112017001522T5 (ja)
WO (1) WO2018026019A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7301514B2 (ja) * 2018-09-21 2023-07-03 日立建機株式会社 座標変換システム及び作業機械
JP7183744B2 (ja) * 2018-11-30 2022-12-06 コベルコ建機株式会社 建設機械の遠隔操作装置
JP2022185846A (ja) * 2021-06-03 2022-12-15 コベルコ建機株式会社 土質情報取得システムおよびこれを備える作業機械

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH063145A (ja) * 1992-06-18 1994-01-11 Shimizu Corp トンネル切羽画像収録処理システム
JPH11211473A (ja) * 1998-01-22 1999-08-06 Komatsu Ltd 地形形状計測装置
JP2000034890A (ja) * 1998-07-16 2000-02-02 Kajima Corp Ｔｂｍ切羽及び周辺地質のリアルタイム評価方法及び装置
US20060265914A1 (en) * 2005-05-31 2006-11-30 Caterpillar Inc. Work machine having boundary tracking system
JP2008267843A (ja) * 2007-04-17 2008-11-06 Tobishima Corp トンネル切羽面の測量システム
US20160163088A1 (en) * 2014-12-05 2016-06-09 Caterpillar Inc. Terrain mapping system using moved material estimation

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07190767A (ja) * 1993-12-27 1995-07-28 Mitsui Constr Co Ltd 三次元形状測量装置及び、三次元形状測量方法
US5553407A (en) * 1995-06-19 1996-09-10 Vermeer Manufacturing Company Excavator data acquisition and control system and method of use
JPH1010690A (ja) * 1996-06-19 1998-01-16 Konica Corp ハロゲン化銀カラー写真感光材料
AUPR678401A0 (en) * 2001-08-02 2001-08-23 Singfield, Christian Network image server
JP2006064585A (ja) * 2004-08-27 2006-03-09 Canon Inc 画像処理方法、画像処理装置
CN100450152C (zh) * 2005-10-28 2009-01-07 中国水电顾问集团中南勘测设计研究院 地质数码影像编录系统及其使用方法
CA2659020C (en) * 2006-06-21 2018-08-07 Terraspark Geosciences, L.P. Extraction of depositional systems
US8184159B2 (en) * 2007-03-26 2012-05-22 Trw Automotive U.S. Llc Forward looking sensor system
US8768667B2 (en) * 2010-10-25 2014-07-01 Trimble Navigation Limited Water erosion management incorporating topography, soil type, and weather statistics
JP5802476B2 (ja) 2011-08-09 2015-10-28 株式会社トプコン 建設機械制御システム
JP6029306B2 (ja) * 2012-03-29 2016-11-24 住友建機株式会社 作業機械用周辺監視装置
CN102707332A (zh) * 2012-05-11 2012-10-03 北京科技大学 一种水库区工程地质调查的解译与评价方法
CA2912432C (en) * 2012-05-15 2020-09-15 Tesman Inc. Mapping of mining excavations
US9639978B2 (en) * 2013-12-04 2017-05-02 Verizon Telematics Inc. Method and system for avatar replay based on mobile sensor information
US9489576B2 (en) * 2014-03-26 2016-11-08 F12 Solutions, LLC. Crop stand analysis
US9401030B2 (en) * 2014-04-25 2016-07-26 Tazco Soil Service Co. Image processing system for soil characterization
CN104183017A (zh) * 2014-07-29 2014-12-03 浙江大学 基于地面三维激光点云实现地质体产状自动提取的方法
CN104331931B (zh) 2014-10-10 2017-05-17 北京航空航天大学 一种面向油藏数值模拟的地质断裂层面pebi网格处理方法
CN204331743U (zh) * 2014-11-13 2015-05-13 中国矿业大学(北京) 一种基于图像频域特征提取及分类识别的煤岩分界系统
US10013509B2 (en) * 2015-03-19 2018-07-03 Trimble Inc. Agricultural drainage design based on soil modeling
JP6496182B2 (ja) * 2015-04-28 2019-04-03 株式会社小松製作所 施工計画システム
WO2017024254A1 (en) * 2015-08-05 2017-02-09 Iteris, Inc. Customized land surface modeling for irrigation decision support in a crop and agronomic advisory service in precision agriculture
KR101581037B1 (ko) 2015-10-20 2015-12-29 한국지질자원연구원 드론을 이용한 지질 경계 탐색 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH063145A (ja) * 1992-06-18 1994-01-11 Shimizu Corp トンネル切羽画像収録処理システム
JPH11211473A (ja) * 1998-01-22 1999-08-06 Komatsu Ltd 地形形状計測装置
JP2000034890A (ja) * 1998-07-16 2000-02-02 Kajima Corp Ｔｂｍ切羽及び周辺地質のリアルタイム評価方法及び装置
US20060265914A1 (en) * 2005-05-31 2006-11-30 Caterpillar Inc. Work machine having boundary tracking system
JP2008267843A (ja) * 2007-04-17 2008-11-06 Tobishima Corp トンネル切羽面の測量システム
US20160163088A1 (en) * 2014-12-05 2016-06-09 Caterpillar Inc. Terrain mapping system using moved material estimation

Also Published As

Publication number Publication date
US20200394726A1 (en) 2020-12-17
US11966990B2 (en) 2024-04-23
JP2018021885A (ja) 2018-02-08
CN108779985B (zh) 2021-04-06
AU2017305111B2 (en) 2019-11-14
DE112017001522T5 (de) 2018-12-06
AU2017305111A1 (en) 2018-10-25
JP6887229B2 (ja) 2021-06-16
CN108779985A (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
JP6777375B2 (ja) 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
WO2017061518A1 (ja) 施工管理システム、施工管理方法、及び管理装置
KR101695914B1 (ko) 토공공사 수행시 굴삭기의 형상정보를 실시간 제공하는 굴삭기 3d 토공 bim 시스템
US11585490B2 (en) Management system
JP6927821B2 (ja) 表示システム、及び表示装置
WO2018062523A1 (ja) 作業機械の検出処理装置及び作業機械の検出処理方法
JP6322612B2 (ja) 施工管理システム及び形状計測方法
US11873948B2 (en) Management system
JP6925816B2 (ja) 位置計測システム、作業機械、及び位置計測方法
JP6585697B2 (ja) 施工管理システム
JP6918716B2 (ja) 建設機械
WO2018026019A1 (ja) 施工管理システム
JP2022164713A (ja) 作業機械の画像表示システム及び作業機械の画像表示方法
JP6606230B2 (ja) 形状計測システム
JP6616149B2 (ja) 施工方法、作業機械の制御システム及び作業機械
WO2020121933A1 (ja) 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置
JP6684004B1 (ja) 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置
JP7065002B2 (ja) 作業機械

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017305111

Country of ref document: AU

Date of ref document: 20170804

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17837120

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17837120

Country of ref document: EP

Kind code of ref document: A1