WO2022209437A1 - 施工管理システム、データ処理装置、及び施工管理方法 - Google Patents

施工管理システム、データ処理装置、及び施工管理方法 Download PDF

Info

Publication number
WO2022209437A1
WO2022209437A1 PCT/JP2022/007307 JP2022007307W WO2022209437A1 WO 2022209437 A1 WO2022209437 A1 WO 2022209437A1 JP 2022007307 W JP2022007307 W JP 2022007307W WO 2022209437 A1 WO2022209437 A1 WO 2022209437A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
detection
construction
construction site
unit
Prior art date
Application number
PCT/JP2022/007307
Other languages
English (en)
French (fr)
Inventor
駿 川本
翼 蓮實
みなみ 杉村
鯉 董
翔大 平間
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to CN202280013211.1A priority Critical patent/CN116868223A/zh
Priority to AU2022248060A priority patent/AU2022248060A1/en
Priority to US18/278,465 priority patent/US20240135469A1/en
Priority to DE112022000560.2T priority patent/DE112022000560T5/de
Publication of WO2022209437A1 publication Critical patent/WO2022209437A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the present disclosure relates to a construction management system, a data processing device, and a construction management method.
  • construction management systems such as those disclosed in Patent Document 1 are known.
  • the purpose of this disclosure is to confirm the progress of construction.
  • a current topography data creation unit that creates current topography data of a construction site where a work machine operates, a detection data acquisition unit that acquires detection data of a detection device that detects the construction site, and a A construction management system is provided that includes a reflection unit that generates reflection data to be reflected in terrain data, and an output unit that outputs the reflection data to a display device.
  • FIG. 1 is a schematic diagram showing a construction management system according to an embodiment.
  • FIG. 2 is a perspective view showing the hydraulic excavator according to the embodiment.
  • FIG. 3 is a perspective view showing the crawler dump according to the embodiment.
  • FIG. 4 is a functional block diagram showing the construction management system according to the embodiment.
  • FIG. 5 is a flow chart showing a construction management method according to the embodiment.
  • FIG. 6 is a diagram showing current terrain data according to the embodiment.
  • FIG. 7 is a diagram showing reflection data according to the embodiment.
  • FIG. 8 is a diagram showing reflection data according to the embodiment.
  • FIG. 9 is a diagram showing reflection data according to the embodiment.
  • FIG. 10 is a diagram showing reflection data according to the embodiment.
  • FIG. 11 is a diagram showing reflection data according to the embodiment.
  • FIG. 12 is a diagram showing reflection data according to the embodiment.
  • FIG. 13 is a block diagram of a computer system according to the embodiment.
  • FIG. 1 is a schematic diagram showing a construction management system 1 according to an embodiment.
  • a construction management system 1 manages construction at a construction site 2 .
  • a plurality of work machines 20 operate at the construction site 2 .
  • work machine 20 includes excavator 21 , bulldozer 22 , and crawler dumper 23 .
  • the work machine 20 may include a wheel loader.
  • a person WM is present at the construction site 2 .
  • a worker who works at the construction site 2 is exemplified as the person WM.
  • the person WM may be a supervisor who manages construction.
  • the person WM may be a spectator.
  • the construction management system 1 includes a management device 3, a server 4, an information terminal 5, a detection device 9, and a detection device 12.
  • the management device 3 includes a computer system located at the construction site 2.
  • the management device 3 is supported by the travel device 6 .
  • the management device 3 can travel on the construction site 2 by the travel device 6 .
  • Examples of the traveling device 6 include an aerial work vehicle, a truck, and a traveling robot.
  • the server 4 is a data processing device including a computer system.
  • the server 4 may be located at the construction site 2 or may be located at a remote location from the construction site 2 .
  • the information terminal 5 is a computer system arranged at a remote location 13 of the construction site 2 .
  • a personal computer or a smart phone is exemplified as the information terminal 5 .
  • the management device 3 , the server 4 and the information terminal 5 communicate with each other via the communication system 10 .
  • Examples of the communication system 10 include the Internet, a local area network (LAN), a mobile phone communication network, and a satellite communication network.
  • the detection device 9 detects the construction site 2.
  • the detection device 9 acquires three-dimensional data of the construction site 2 .
  • Examples of objects to be detected by the detection device 9 include the topography of the construction site 2 and objects present on the construction site 2 .
  • An object includes one or both of a movable body and a stationary body.
  • the work machine 20 and the person WM are exemplified as movable bodies.
  • Wood or material is exemplified as the stationary body.
  • the three-dimensional data acquired by the detection device 9 includes image data of the construction site 2.
  • the image data acquired by the detection device 9 may be moving image data or still image data.
  • a stereo camera is exemplified as the detection device 9 .
  • the detection device 9 may include a monocular camera and a three-dimensional measurement device.
  • a laser sensor LIDAR: Light Detection and Ranging
  • the three-dimensional measurement device may be an infrared sensor that detects an object by emitting infrared light or a radar sensor (RADAR: Radio Detection and Ranging) that detects an object by emitting radio waves.
  • the detection device 9 is mounted on the flying object 8.
  • an unmanned aerial vehicle UAV: Unmanned Aerial Vehicle
  • UAV Unmanned Aerial Vehicle
  • the detection device 9 detects the construction site 2 from above the construction site 2 .
  • the flying object 8 and the management device 3 are connected by a cable 7.
  • Detection data of the detection device 9 is transmitted to the management device 3 via the cable 7 .
  • the detection data of the detection device 9 transmitted to the management device 3 is transmitted to the server 4 via the communication system 10 .
  • the management device 3 includes a power supply or generator.
  • the management device 3 can supply power to the aircraft 8 via the cable 7 .
  • the detection device 12 detects the construction site 2. Similar to the detection device 9 , the detection device 12 acquires three-dimensional data of the construction site 2 .
  • the three-dimensional data acquired by the detection device 12 includes image data of the construction site 2 .
  • the detection device 12 is mounted on the flying object 11.
  • the detection device 12 detects the construction site 2 from above the construction site 2 .
  • Detection data of the detection device 12 is transmitted to the server 4 via the communication system 10 .
  • the flying object 11 can fly higher than the flying object 8.
  • the flying object 11 can fly over a wider range than the flying object 8.
  • the detection device 12 can detect a wider area of the construction site 2 than the detection device 9 can.
  • the detection device 12 detects the entire construction site 2 .
  • a detection device 9 detects a portion of the construction site 2 .
  • FIG. 2 is a perspective view showing the hydraulic excavator 21 according to the embodiment.
  • the hydraulic excavator 21 includes a traveling body 24, a revolving body 25 supported by the traveling body 24, a work machine 26 supported by the revolving body 25, and a hydraulic cylinder 27 for driving the work machine 26. and
  • the running body 24 has a pair of crawler belts.
  • the hydraulic excavator 21 can travel on the construction site 2 by the traveling body 24 .
  • the revolving body 25 revolves while being supported by the traveling body 24 .
  • Work implement 26 includes a boom 26A connected to revolving body 25, an arm 26B connected to boom 26A, and a bucket 26C connected to arm 26B.
  • the hydraulic cylinders 27 include a boom cylinder 27A that operates the boom 26A, an arm cylinder 27B that operates the arm 26B, and a bucket cylinder 27C that operates the bucket 26C.
  • the hydraulic excavator 21 operates. Examples of the motions of the hydraulic excavator 21 include the traveling motion of the traveling body 24, the turning motion of the revolving body 25, the raising and lowering motions of the boom 26A, the digging motion and dumping motion of the arm 26B, and the digging motion and dumping motion of the bucket 26C. be done.
  • FIG. 3 is a perspective view showing the crawler dump 23 according to the embodiment.
  • the crawler dump 23 has a traveling body 28 , a vehicle body 29 and a dump body 30 .
  • the running body 28 has a pair of crawler belts.
  • the crawler dump 23 can travel the construction site 2 by the traveling body 28 .
  • the dump body 30 is a member on which cargo is loaded.
  • the hydraulic excavator 21 can load a cargo onto the dump body 30 using the working machine 26 .
  • the dump body 30 can be lifted by a hoist cylinder (not shown) to discharge the cargo.
  • the crawler dump 23 operates. Examples of the operation of the crawler dump 23 include a traveling operation of the traveling body 28 and a lowering operation and a dumping operation of the dump body 30 .
  • FIG. 4 is a functional block diagram showing the construction management system 1 according to the embodiment.
  • the construction management system 1 includes an aircraft 8, an aircraft 11, a management device 3 placed at the construction site 2, a server 4, and a remote location 13 located at the construction site 2. and an information terminal 5 .
  • the flying object 8 has a position sensor 14, an attitude sensor 15, and a detection device 9.
  • the position sensor 14 detects the position of the flying object 8.
  • a position sensor 14 detects the position of the aircraft 8 using the Global Navigation Satellite System (GNSS).
  • the position sensor 14 includes a GNSS receiver (GNSS sensor) and detects the position of the aircraft 8 in the global coordinate system.
  • the attitude sensor 15 detects the attitude of the aircraft 8 .
  • an inertial measurement unit IMU: Inertial Measurement Unit
  • IMU Inertial Measurement Unit
  • the flying object 11 has a position sensor 16, an attitude sensor 17, and a detection device 12.
  • the position sensor 16 includes a GNSS receiver and detects the position of the aircraft 11 in the global coordinate system.
  • the attitude sensor 17 detects the attitude of the aircraft 11 .
  • an inertial measurement unit IMU: Inertial Measurement Unit
  • IMU Inertial Measurement Unit
  • the server 4 has a current terrain data creation unit 41 , a detection data acquisition unit 42 , a recognition unit 43 , a reflection unit 44 , an output unit 45 and a storage unit 46 .
  • the current topography data creation unit 41 creates current topography data indicating the current topography of the construction site 2 where the work machine 20 operates.
  • the current topography data is three-dimensional topography data representing the current topography of the construction site 2 .
  • Existing terrain includes reference terrain before a given construction is started.
  • the current topography data creation unit 41 creates current topography data based on the detection data of the detection device 12 . As described above, the detection device 12 detects the entire construction site 2 . The current topography data indicates the current topography of the construction site 2 as a whole.
  • the detection device 12 detects the construction site 2 with a first frequency.
  • the detection device 12 detects the construction site 2 only once, for example, before the start of work for the day.
  • the detection device 12 detects the current landform indicating the reference landform before the start of the predetermined construction at the construction site 2 .
  • the current topography data creation unit 41 creates current topography data with a first frequency.
  • the current landform data created by the current landform data creation unit 41 is stored in the storage unit 46 .
  • the current terrain data stored in the storage unit 46 is updated at a first frequency.
  • the timing at which the detection device 12 detects the construction site 2 is not limited to before the start of work of the day, and may be any timing.
  • the detection data acquisition unit 42 acquires the detection data of the detection device 9 that has detected the work machine 20 and the construction area around the work machine 20 .
  • the detection device 9 detects a portion of the construction site 2.
  • the portion of the construction site 2 detected by the detection device 9 includes a work machine 20 that performs work.
  • the portion of the construction site 2 detected by the detection device 9 includes the construction area around the work machine 20 that performs the work.
  • An example of a construction area detected by the detection device 9 is a construction area in which construction is being performed by the work machine 20 .
  • the detection device 9 detects the construction site 2 with a second frequency higher than the first frequency.
  • the detection device 9 continuously detects the construction site 2, for example, for a certain period of time.
  • the detection device 9 continuously detects the construction site 2, for example, only while the working machine 20 is working. Note that the detection device 9 may always detect the construction site 2 .
  • the detection data acquisition unit 42 acquires the detection data of the detection device 9 at a second frequency.
  • the detection data acquired by the detection data acquisition unit 42 is updated more frequently than the current terrain data.
  • the recognition unit 43 recognizes objects on the construction site 2 based on the detection data acquired by the detection data acquisition unit 42 . As described above, the work machine 20 and the person WM are exemplified as objects.
  • the recognition unit 43 recognizes objects using artificial intelligence (AI) that analyzes input data by an algorithm and outputs output data.
  • AI artificial intelligence
  • the input data is the image data of the construction site 2 acquired by the detection device 9, and the output data is the object.
  • the recognition unit 43 has a learning model generated by learning the feature amount of the object.
  • the learning model includes a learning model generated by learning the feature amount of work machine 20 and a learning model generated by learning the feature amount of person WM.
  • machine learning is performed using a learning image including an object as teacher data, thereby generating a learning model that takes as input the feature amount of the object and outputs the object.
  • the recognition unit 43 can recognize the object by inputting the image data of the construction site 2 acquired by the detection device 9 into the learning model.
  • the reflection unit 44 generates reflection data in which the detection data acquired by the detection data acquisition unit 42 is reflected in the current terrain data.
  • the current topographical data is three-dimensional topographical data of the entire construction site 2 detected by the detecting device 12 at the first frequency.
  • the detection data includes three-dimensional terrain data of a construction area that is part of the construction site 2 detected by the detection device 9 at the second frequency.
  • the detection data acquired by the detection data acquisition unit 42 are sequentially updated at the second frequency.
  • the reflection unit 44 sequentially reflects the detection data acquired by the detection data acquisition unit 42 on a part of the current terrain data at a second frequency. At least part of the current terrain data is sequentially updated with the detection data acquired by the detection data acquisition unit 42 .
  • the detection data acquired by the detection data acquisition unit 42 includes updated topography data indicating the updated topography of the construction area.
  • Post-update topography includes the latest topography during or after construction.
  • the updated terrain data is updated with a second frequency.
  • the reflection unit 44 reflects the updated terrain data acquired by the detection data acquisition unit 42 on the current terrain data stored in the storage unit 46 .
  • the detection data acquired by the detection data acquisition unit 42 includes non-terrain data indicating objects on the construction site 2 .
  • the non-terrain data is three-dimensional data representing objects on the construction site 2 .
  • Non-terrain data is updated at a second frequency.
  • the reflection unit 44 reflects the non-terrain data acquired by the detected data acquisition unit 42 on the current terrain data stored in the storage unit 46 .
  • the reflection unit 44 reflects the updated topography data of the construction area from which the non-topography data has been removed from the detection data acquired by the detection data acquisition unit 42, in the current topography data.
  • Non-terrain data representing an object is recognized by the recognition unit 43 .
  • the reflecting unit 44 removes the non-terrain data from the detection data to generate updated terrain data.
  • the reflection unit 44 generates reflection data in which the object is reflected.
  • the reflection data generated by the reflection unit 44 includes the updated terrain data of the construction area.
  • the reflected data generated by the reflecting unit 44 includes the object recognized by the recognizing unit 43.
  • the reflected data generated by the reflecting unit 44 includes the three-dimensional model of the working machine 20 recognized by the recognizing unit 43 .
  • the three-dimensional model of work machine 20 includes computer graphics (CG) of work machine 20 .
  • the three-dimensional model of the work machine 20 is a three-dimensional model that represents the work machine 20, and is constructed for each part that constitutes the work machine 20, such as the traveling body 24, the revolving body 25, and the work machine 26, for example. be.
  • a three-dimensional model of the work machine 20 is pre-stored in the storage unit 46 .
  • the reflected data generated by the reflecting unit 44 includes a symbol image indicating the position of the object.
  • a symbol image is image data that emphasizes the position of an object.
  • a reflecting unit 44 generates a symbol image based on the recognition result of the recognizing unit 43 .
  • the output unit 45 outputs the reflection data generated by the reflection unit 44 to the information terminal 5 .
  • the output unit 45 transmits the reflection data to the information terminal 5 via the communication system 10 .
  • the information terminal 5 has an input device 51 and a display device 52 .
  • the input device 51 is operated by an administrator at the remote location 13.
  • the input device 51 generates input data based on the administrator's operation. Examples of the input device 51 include a touch panel, a computer keyboard, a mouse, or operation buttons.
  • the input device 51 may be a non-contact input device including an optical sensor, or may be a voice input device.
  • the display device 52 displays display data.
  • An administrator at the remote location 13 can confirm the display data displayed on the display device 52 .
  • the output section 45 outputs the reflection data generated by the reflection section 44 to the display device 52 .
  • the display device 52 displays the reflection data generated by the reflection unit 44 as display data.
  • the display device 52 is exemplified by a flat panel display such as a liquid crystal display (LCD) or an organic electroluminescence display (OELD).
  • the flying object 8 is equipped with the position sensor 14 and the attitude sensor 15 .
  • a position sensor 14 can detect the position of the detection device 9 .
  • the orientation sensor 15 can detect the orientation of the detection device 9 .
  • Attitude includes, for example, roll angle, pitch angle, and yaw angle. The yaw angle may be calculated based on detection data from two GNSS sensors provided on the aircraft 8 .
  • a detection device 9 detects three-dimensional data of the construction site 2 .
  • the three-dimensional data of the construction site 2 includes relative distances and relative positions between the detection device 9 and each of a plurality of detection points defined as detection targets.
  • the recognition unit 43 and the reflection unit 44 recognize the position of the three-dimensional data to be detected in the global coordinate system, for example, based on the detection data of the position sensor 14, the detection data of the orientation sensor 15, and the detection data of the detection device 9. can be calculated. Further, the recognition unit 43 and the reflection unit 44 can perform a predetermined coordinate transformation to calculate the position of the three-dimensional data to be detected in the local coordinate system defined for the construction site 2, for example.
  • the detection target of the detection device 9 includes updated landforms and objects.
  • the current topography data creation unit 41 generates a map in a local coordinate system defined for the construction site 2, for example, based on the detection data of the position sensor 16, the detection data of the orientation sensor 17, and the detection data of the detection device 12.
  • the position of the three-dimensional data to be detected can be calculated.
  • the detection target of the detection device 12 includes the current terrain.
  • the recognition unit 43 can recognize the presence or absence of an object and the position of the object based on the detection data acquired by the detection data acquisition unit 42 .
  • the recognition unit 43 when recognizing the position of the person WM, the recognition unit 43 recognizes the person WM based on the two-dimensional image acquired by the monocular camera of the detection device 9 .
  • the recognition unit 43 also acquires the three-dimensional topographical data of the construction site 2 .
  • the recognition unit 43 can recognize the position of the person WM at the construction site 2 based on the person WM recognized based on the two-dimensional image.
  • a person WM recognized based on two-dimensional images acquired by two monocular cameras that constitute a stereo camera is subjected to image processing based on the principle of triangulation to determine the three-dimensional position of the person WM.
  • the position of the person WM at the construction site 2 can be recognized by calculating and correlating it with the three-dimensional topographical data of the construction site 2 .
  • by calculating the three-dimensional position of the person WM recognized based on the two-dimensional image using the detection values of the laser sensor and the radar sensor and making it correspond to the three-dimensional topography data of the construction site 2, may recognize the position of the person WM in .
  • the recognition unit 43 may recognize the position of the person WM from the three-dimensional data of the construction site 2 .
  • the recognition unit 43 may recognize the position of the person WM based on the detection data of the position sensor possessed by the person WM.
  • the recognition unit 43 can recognize the position of the person WM based on the detection data of the GNSS sensor of the smartphone.
  • the position sensor possessed by the person WM may be a beacon.
  • the position of the person WM at the construction site 2 can be determined from the coordinates of the person WM on the two-dimensional image recognized based on the two-dimensional image, the three-dimensional position and posture of the detection device 9, and the three-dimensional terrain data. It may be estimated by geometric calculation.
  • the recognition unit 43 can recognize the operation of the working machine 20 based on the detection data acquired by the detection data acquisition unit 42 .
  • the hydraulic excavator 21 can operate the traveling body 24 , the revolving body 25 , and the working machine 26 .
  • the crawler dump 23 can operate the traveling body 28 and the dump body 30 .
  • the reflecting unit 44 can move the three-dimensional model in synchronization with the work machine 20 .
  • FIG. 5 is a flow chart showing a construction management method according to the embodiment.
  • the current topography data creation unit 41 creates current topography data of the construction site 2 where the work machine 20 operates (step S1).
  • FIG. 6 is a diagram showing current terrain data according to the embodiment.
  • the current topography data is three-dimensional topography data representing the current topography of the entire construction site 2 .
  • the current topography data creation unit 41 acquires the detection data of the detection device 12 .
  • the current topography data creation unit 41 creates current topography data based on the detection data of the detection device 12 .
  • the current topography data created by the current topography data creation unit 41 is stored in the storage unit 46 .
  • the output unit 45 can transmit the current terrain data to the information terminal 5 .
  • the display device 52 can display the current terrain as shown in FIG.
  • a detection device 9 mounted on the aircraft 8 detects the construction site 2 .
  • the detection device 9 detects, for example, the work machine 20 that is performing work and the construction area around the work machine 20 .
  • Detection data of the detection device 9 is transmitted to the management device 3 via the cable 7 .
  • the management device 3 transmits detection data of the detection device 9 to the server 4 .
  • the detection data acquisition unit 42 acquires the detection data of the detection device 9 that has detected the work machine 20 and the construction area around the work machine 20 (step S2).
  • the recognition unit 43 determines whether an object exists at the construction site 2 based on the detection data acquired by the detection data acquisition unit 42 . In the embodiment, the recognition unit 43 determines whether or not an object exists in the construction area (step S3).
  • the reflection unit 44 stores the detection data acquired by the detection data acquisition unit 42 in the current terrain stored in the storage unit 46. Reflected in data to generate reflected data.
  • the detection data acquired by the detection data acquisition unit 42 includes updated terrain data of the construction area indicating a portion of the construction site 2 .
  • the reflecting unit 44 reflects the updated topographical data in the current topographical data (step S4).
  • the detection data including the excavation location is acquired by the detection data acquisition unit 42 as updated terrain data.
  • the updated terrain data includes excavation locations excavated by the hydraulic excavator 21 .
  • the reflecting unit 44 synthesizes a part of the current terrain data and the updated terrain data.
  • the reflecting unit 44 applies the updated topographic data to a part of the current topographic data. As a result, reflection data is generated in which the updated landform data including the excavation location is reflected.
  • step S3 if it is determined that an object exists in the construction area (step S3: Yes), the reflection unit 44 removes the non-topography data indicating the object recognized by the recognition unit 43 from the detection data, and updates the topography data. is generated (step S5).
  • the reflecting unit 44 After the updated topographical data is generated, the reflecting unit 44 reflects the updated topographical data on the current topographical data to generate reflected data. Moreover, when the object exists, the reflecting unit 44 generates reflection data in which the object is reflected (step S6).
  • the reflection unit 44 may generate reflection data in which the object is not reflected even when the object exists.
  • the output unit 45 outputs the reflection data generated in at least one of steps S4 and S6 to the information terminal 5.
  • the display device 52 displays the reflected data transmitted from the output unit 45 (step S7).
  • FIG. 7 is a diagram showing reflected data according to the embodiment.
  • FIG. 7 shows reflected data when there is no object in the construction area.
  • the reflected data includes image data of the construction area. For example, as construction progresses in the construction area, at least a portion of the topography of the construction site 2 changes, as shown in FIG. In the example shown in FIG. 7, the excavation work of the hydraulic excavator 21 creates an excavation location in the construction area.
  • the detection data acquired by the detection data acquisition unit 42 includes updated terrain data of the construction area.
  • the reflecting unit 44 reflects changes in the topography of the construction site 2 on the current topography in real time.
  • the reflecting unit 44 reflects the updated topographical data on the current topographical data in real time.
  • the display device 52 can display the reflection data reflecting the excavation location. By checking the reflected data displayed on the display device 52, the administrator of the remote location 13 can recognize the progress of construction at the construction site 2 in real time.
  • FIG. 8 is a diagram showing reflected data according to the embodiment.
  • FIG. 8 shows reflected data when the hydraulic excavator 21, the crawler dump truck 23, and the man WM are present as objects in the construction area.
  • the reflected data includes three-dimensional terrain data in which the updated terrain data is reflected in part of the current terrain data.
  • the reflected data includes the three-dimensional model of work machine 20 recognized by recognition unit 43 .
  • the three-dimensional model of the working machine 20 includes a three-dimensional model 21D of the hydraulic excavator 21 and a three-dimensional model 23D of the crawler dump 23 .
  • the recognition unit 43 calculates the position (three-dimensional position) of the work machine 20 based on the detection data of the detection device 12 acquired by the detection data acquisition unit 42. and posture.
  • the attitude of the work machine 20 includes the inclination of the revolving body 25 with respect to the horizontal plane and the revolving angle of the revolving body 25 with respect to the traveling body 24 .
  • the attitude of work machine 20 includes the angle of work machine 26 .
  • the angle of work implement 26 includes the angle of boom 26A, the angle of arm 26B, and the angle of bucket 26C.
  • the detection data of the detection device 12 includes images acquired by the stereo cameras.
  • the recognition unit 43 can calculate the three-dimensional position and orientation of the work machine 20 based on the detection data of the detection device 12 .
  • the reflection unit 44 adjusts the three-dimensional model stored in the storage unit 46 so that the three-dimensional model is placed at the position calculated by the recognition unit 43 and has the posture calculated by the recognition unit 43. , to generate reflection data.
  • the three-dimensional model of the working machine 20 is constructed for each part that constitutes the working machine 20, such as the traveling body 24, the revolving body 25, and the working machine 26, for example.
  • the reflecting unit 44 Based on the angle of the boom 26A, the angle of the arm 26B, the angle of the bucket 26C, and the turning angle of the turning body 25, the reflecting unit 44 changes the angles of the corresponding parts of the three-dimensional model to reproduce the three-dimensional model. adjust.
  • the output unit 45 outputs the reflection data including the three-dimensional model generated by the reflection unit 44 to the display device 52 .
  • the recognition unit 43 may calculate the position of the work machine 20 based on the detection data of one GNSS sensor. Further, the recognition unit 43 may calculate the inclination and the turning angle of the turning body 25 based on the detection data of each of the two GNSS sensors. Further, when a stroke sensor is provided for each of boom cylinder 27A, arm cylinder 27B, and bucket cylinder 27C, recognition unit 43 may calculate the angle of work implement 26 based on the detection data of the stroke sensors. good.
  • FIG. 9 is a diagram showing reflected data according to the embodiment.
  • the reflected data includes a symbolic image that indicates the position of the object.
  • the reflected data includes a symbol image 31 indicating the position of the person WM.
  • the reflection unit 44 generates the symbol image 31 based on the position of the person WM recognized by the recognition unit 43 .
  • the reflection unit 44 generates reflection data so that the person WM and the symbol image 31 are superimposed and displayed.
  • the symbol image 31 is frame-shaped (box-shaped) surrounding the person WM.
  • the symbol image 31 may have any shape as long as it can emphasize the person WM.
  • the symbol image 31 may be displayed adjacent to the person WM.
  • FIG. 10 is a diagram showing reflected data according to the embodiment.
  • the reflected data includes the symbol image 32 indicating the position of the hydraulic excavator 21 .
  • the reflection unit 44 can generate the symbol image 32 based on the position of the excavator 21 recognized by the recognition unit 43 .
  • the symbol image 32 is frame-shaped (box-shaped) surrounding the three-dimensional model 21D.
  • the reflection unit 44 generates reflection data such that the three-dimensional model 21D of the hydraulic excavator 21 and the symbol image 32 are displayed in a superimposed manner.
  • the symbol image 32 may have any shape as long as the hydraulic excavator 21 can be emphasized.
  • FIG. 11 is a diagram showing reflected data according to the embodiment.
  • the reflected data includes a three-dimensional model 21D that moves in synchronization with the excavator 21.
  • the recognition unit 43 can recognize the motion of the work machine 20 .
  • the reflection unit 44 can move the three-dimensional model 21D on the display device 52 based on the motion of the hydraulic excavator 21 recognized by the recognition unit 43 so as to synchronize with the motion of the hydraulic excavator 21 .
  • FIG. 11 shows an example in which the boom of the three-dimensional model 21D is raised in synchronization with the boom 26A of the hydraulic excavator 21 being raised.
  • the reflection unit 44 can move the three-dimensional model 23D on the display device 52 based on the motion of the crawler dump 23 recognized by the recognition unit 43 so as to synchronize with the motion of the crawler dump 23 .
  • FIG. 12 is a diagram showing reflected data according to the embodiment.
  • the reflected data includes a symbol image 31 indicating the position of the person WM, a symbol image 32 indicating the position of the excavator 21 and a symbol image 33 indicating the position of the crawler dump 23 .
  • the reflection unit 44 generates reflection data such that the three-dimensional model 23D of the crawler dump 23 and the symbol image 33 are superimposed and displayed, for example.
  • the reflection unit 44 determines whether or not construction of the construction area has been completed (step S8).
  • step S8 If it is determined in step S8 that construction has not been completed (step S8: No), the processing from step S2 to step S7 is repeated. If it is determined in step S8 that the construction has ended (step S8: Yes), the construction management method according to the embodiment ends.
  • FIG. 13 is a block diagram showing a computer system 1000 according to an embodiment.
  • the server 4 described above includes a computer system 1000 .
  • a computer system 1000 includes a processor 1001 such as a CPU (Central Processing Unit), a main memory 1002 including non-volatile memory such as ROM (Read Only Memory) and volatile memory such as RAM (Random Access Memory), It has a storage 1003 and an interface 1004 including an input/output circuit.
  • the functions of the server 4 described above are stored in the storage 1003 as computer programs.
  • the processor 1001 reads a computer program from the storage 1003, develops it in the main memory 1002, and executes the above-described processing according to the program. Note that the computer program may be distributed to the computer system 1000 via a network.
  • the computer program or computer system 1000 stores the current terrain data of the construction site 2 where the work machine 20 operates, and acquires the detection data of the detection device 9 that detects the construction site 2, according to the above-described embodiment. , generating reflected data that reflects the detected data on the current terrain data, and displaying the reflected data on the display device 52 .
  • current topography data representing the reference topography of the construction site 2 before construction is created.
  • the work machine 20 and the construction area around the work machine 20 are detected by the detection device 9 .
  • Reflected data in which the detected data is reflected in the current terrain data is displayed on the display device 52 .
  • the administrator of the remote site 13 can check the progress of construction in the construction area in real time.
  • a manager at the remote site 13 can remotely monitor the progress of construction.
  • the detection data reflected in the current terrain data is updated more frequently than the current terrain data. Therefore, the administrator of the remote site 13 can check the latest status of the construction area.
  • the detection data reflected in the current terrain data includes the updated terrain data of the construction area. This allows the administrator of the remote site 13 to check the latest topography of the construction area during or after construction.
  • the detection data reflected in the current terrain data includes non-terrain data indicating objects on the construction site 2.
  • the reflection unit 44 reflects the updated topography data obtained by removing the non-topography data from the detection data acquired by the detection data acquisition unit 42 in the current topography data.
  • the administrator of the remote site 13 can confirm the latest topography of the construction area in which the effects of objects are suppressed.
  • the detection data reflected in the current terrain data includes non-terrain data indicating objects on the construction site 2.
  • the administrator of the remote site 13 can confirm not only the latest topography of the construction site, but also the status of objects on the construction site 2 in real time.
  • the reflected data displayed on the display device 52 includes objects recognized by the recognition unit 43 .
  • the display device 52 displays the reflected data in which the latest terrain and objects are distinguished. As a result, the administrator of the remote site 13 can appropriately confirm both the latest topography of the construction site and the status of objects on the construction site 2 in real time.
  • the reflected data displayed on the display device 52 includes the three-dimensional model of the work machine 20.
  • the administrator at the remote location 13 can properly check the status of the work machine 20 in real time.
  • the recognition unit 43 recognizes the operation of the working machine 20 based on the detection data acquired by the detection data acquisition unit 42 .
  • the reflection unit 44 can move the three-dimensional model in synchronization with the working machine 20 based on the recognition result of the recognition unit 43 .
  • a manager at the remote location 13 can properly confirm the status of the work machine 20 in real time by confirming the three-dimensional model that moves in synchronization with the actual work machine 20 .
  • the recognition unit 43 recognizes the person WM based on the detection data acquired by the detection data acquisition unit 42 . By checking the person WM displayed on the display device 52, the administrator of the remote location 13 can appropriately check the situation of the person WM in real time.
  • the reflected data displayed on the display device 52 includes a symbol image indicating the position of the object.
  • the administrator at the remote location 13 can properly confirm the position of the object by confirming the symbol image displayed on the display device 52 .
  • the detection device 9 is mounted on the flying object 8. Thereby, the detection device 9 can collectively detect the work machine 20 and the construction area from above.
  • the recognition unit 43 recognizes the position of the working machine 20 based on the detection data of the detection device 9 .
  • work machine 20 may be provided with a position sensor that detects the position of work machine 20, and recognition unit 43 may recognize the position of work machine 20 based on the detection data of the position sensor.
  • the recognition unit 43 recognizes the operation of the work machine 20 based on the detection data of the detection device 9.
  • a motion sensor that detects the motion of work machine 20 may be provided in work machine 20, and recognition unit 43 may recognize the motion of work machine 20 based on detection data of the motion sensor.
  • motion sensors include an angle sensor that detects the motion of the work machine 26 and a stroke sensor that detects the amount of expansion and contraction of the hydraulic cylinder 27 .
  • the recognition unit 43 may recognize objects based on pattern matching, for example, without using artificial intelligence.
  • the recognition unit 43 can recognize the object by matching the template representing the person WM with the image data of the construction site 2 .
  • the detection device 9 does not have to be mounted on the aircraft 8.
  • the detection device 9 may be mounted, for example, on the work machine 20 or may be attached to a structure present at the construction site 2 . The same applies to the detection device 12 as well.
  • each of the current terrain data creation unit 41, the detection data acquisition unit 42, the recognition unit 43, the reflection unit 44, the output unit 45, and the storage unit 46 may be configured by separate hardware.
  • at least one of the functions of the current terrain data creation unit 41, the detection data acquisition unit 42, the recognition unit 43, the reflection unit 44, the output unit 45, and the storage unit 46 is 3, or may be provided in a server different from the server 4.
  • the management device 3 is supported by the traveling device 6 and can travel on the construction site 2.
  • the management device 3 may be mounted on the work machine 20 or installed at a predetermined position on the construction site 2 .
  • the detection device 12 detects the entire construction site 2, and the detection device 9 detects a part of the construction site 2.
  • the detection device 9 may detect the entire construction site 2 .
  • the detection targets of the detection device 9 are not limited to the topography of the construction site 2, the work machine 20 and the man WM. In other embodiments, the detection device 9 may detect construction materials.
  • the information terminal 5 does not have to be located at the remote location 13 of the construction site 2.
  • the information terminal 5 may be mounted on the work machine 20, for example. Also, the information terminal 5 may be omitted.
  • the progress of construction may be output from the monitor to work machine 20 .
  • a monitor may include an input device as well as a display device.
  • the working machine 20 is not limited to including the hydraulic excavator 21, the bulldozer 22, and the crawler dump 23.
  • work machine 20 may include excavator 21 , bulldozer 22 , and portions of crawler dump 23 . It may also include other types of work machines.
  • the position of the flying object 8 is detected using the global navigation satellite system (GNSS) and the attitude of the flying object 8 is detected using the inertial measurement device.
  • GNSS global navigation satellite system
  • SLAM Simultaneous Localization and Mapping
  • SLAM may be used to detect the position and attitude of the aircraft 8 .
  • SLAM may be used to detect the position and orientation of the flying object 11 and work machine 20 .
  • SYMBOLS 1... Construction management system, 2... Construction site, 3... Management apparatus, 4... Server (data processing apparatus), 5... Information terminal, 6... Running apparatus, 7... Cable, 8... Aircraft, 9... Detecting apparatus, 10 Communication system 11 Aircraft 12 Detecting device 13 Remote location 14 Position sensor 15 Attitude sensor 16 Position sensor 17 Attitude sensor 20 Working machine 21 Hydraulic excavator 21D ... three-dimensional model, 22 ... bulldozer, 23 ... crawler dump, 23D ... three-dimensional model, 24 ... running body, 25 ... rotating body, 26 ... working machine, 26A ... boom, 26B ... arm, 26C ... bucket, 27 ...

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Conveying And Assembling Of Building Elements In Situ (AREA)

Abstract

施工管理システムは、作業機械が稼働する施工現場の現況地形データを作成する現況地形データ作成部と、施工現場を検出する検出装置の検出データを取得する検出データ取得部と、検出データを現況地形データに反映する反映データを生成する反映部と、反映データを表示装置に出力する出力部と、を備える。

Description

施工管理システム、データ処理装置、及び施工管理方法
　本開示は、施工管理システム、データ処理装置、及び施工管理方法に関する。
　施工管理システムに係る技術分野において、特許文献１に開示されているような施工管理システムが知られている。
国際公開第２０１９／０１２９９３号
　施工現場の施工効率の低下を抑制するためには、施工の進捗状況を適正に確認できることが好ましい。
　本開示は、施工の進捗状況を確認することを目的とする。
　本開示に従えば、作業機械が稼働する施工現場の現況地形データを作成する現況地形データ作成部と、施工現場を検出する検出装置の検出データを取得する検出データ取得部と、検出データを現況地形データに反映する反映データを生成する反映部と、反映データを表示装置に出力する出力部と、を備える、施工管理システムが提供される。
　本開示によれば、施工の進捗状況を確認することができる。
図１は、実施形態に係る施工管理システムを示す模式図である。 図２は、実施形態に係る油圧ショベルを示す斜視図である。 図３は、実施形態に係るクローラダンプを示す斜視図である。 図４は、実施形態に係る施工管理システムを示す機能ブロック図である。 図５は、実施形態に係る施工管理方法を示すフローチャートである。 図６は、実施形態に係る現況地形データを示す図である。 図７は、実施形態に係る反映データを示す図である。 図８は、実施形態に係る反映データを示す図である。 図９は、実施形態に係る反映データを示す図である。 図１０は、実施形態に係る反映データを示す図である。 図１１は、実施形態に係る反映データを示す図である。 図１２は、実施形態に係る反映データを示す図である。 図１３は、実施形態に係るコンピュータシステムを示すブロック図である。
　以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
［施工管理システム］
　図１は、実施形態に係る施工管理システム１を示す模式図である。施工管理システム１は、施工現場２の施工を管理する。施工現場２において複数の作業機械２０が稼働する。実施形態において、作業機械２０は、油圧ショベル２１、ブルドーザ２２、及びクローラダンプ２３を含む。なお、作業機械２０は、ホイールローダを含んでもよい。また、施工現場２に人ＷＭが存在する。人ＷＭとして、施工現場２で作業する作業者が例示される。なお、人ＷＭは、施工を管理する監督者でもよい。人ＷＭは、見学者でもよい。
　図１に示すように、施工管理システム１は、管理装置３と、サーバ４と、情報端末５と、検出装置９と、検出装置１２とを備える。
　管理装置３は、施工現場２に配置されるコンピュータシステムを含む。管理装置３は、走行装置６に支持される。管理装置３は、走行装置６により施工現場２を走行することができる。走行装置６として、高所作業車、トラック、及び走行ロボットが例示される。サーバ４は、コンピュータシステムを含むデータ処理装置である。サーバ４は、施工現場２に配置されてもよいし、施工現場２の遠隔地に配置されてもよい。情報端末５は、施工現場２の遠隔地１３に配置されるコンピュータシステムである。情報端末５として、パーソナルコンピュータ又はスマートフォンが例示される。管理装置３とサーバ４と情報端末５とは、通信システム１０を介して通信する。通信システム１０として、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local　Area　Network）、携帯電話通信網、及び衛星通信網が例示される。
　検出装置９は、施工現場２を検出する。検出装置９は、施工現場２の３次元データを取得する。検出装置９の検出対象として、施工現場２の地形及び施工現場２に存在する物体が例示される。物体は、可動体及び静止体の一方又は両方を含む。可動体として、作業機械２０及び人ＷＭが例示される。静止体として、木材又は資材が例示される。
　検出装置９により取得される３次元データは、施工現場２の画像データを含む。検出装置９により取得される画像データは、動画データでもよいし静止画データでもよい。検出装置９として、ステレオカメラが例示される。なお、検出装置９は、単眼カメラと３次元計測装置とを含んでもよい。３次元計測装置として、レーザ光を射出することにより検出対象を検出するレーザセンサ（ＬＩＤＡＲ：Light　Detection　and　Ranging）が例示される。なお、３次元計測装置は、赤外光を射出することにより物体を検出する赤外線センサ又は電波を射出することにより物体を検出するレーダセンサ（ＲＡＤＡＲ：Radio　Detection　and　Ranging）でもよい。
　検出装置９は、飛行体８に搭載される。飛行体８として、ドローンのような無人航空機（ＵＡＶ：Unmanned　Aerial　Vehicle）が例示される。検出装置９は、施工現場２の上方から施工現場２を検出する。
　実施形態において、飛行体８と管理装置３とは、ケーブル７により接続される。検出装置９の検出データは、ケーブル７を介して管理装置３に送信される。管理装置３に送信された検出装置９の検出データは、通信システム１０を介してサーバ４に送信される。
　実施形態において、管理装置３は、電源又は発電機を含む。管理装置３は、ケーブル７を介して飛行体８に電力を供給することができる。
　検出装置１２は、施工現場２を検出する。検出装置９と同様、検出装置１２は、施工現場２の３次元データを取得する。検出装置１２により取得される３次元データは、施工現場２の画像データを含む。
　検出装置１２は、飛行体１１に搭載される。検出装置１２は、施工現場２の上方から施工現場２を検出する。検出装置１２の検出データは、通信システム１０を介してサーバ４に送信される。
　飛行体１１は、飛行体８よりも上空を飛行することができる。飛行体１１は、飛行体８よりも広範囲を飛行することができる。検出装置１２は、検出装置９よりも施工現場２の広範囲を検出することができる。実施形態において、検出装置１２は、施工現場２の全体を検出する。検出装置９は、施工現場２の一部分を検出する。
［作業機械］
　図２は、実施形態に係る油圧ショベル２１を示す斜視図である。図２に示すように、油圧ショベル２１は、走行体２４と、走行体２４に支持される旋回体２５と、旋回体２５に支持される作業機２６と、作業機２６を駆動する油圧シリンダ２７とを備える。
　走行体２４は、一対の履帯を有する。油圧ショベル２１は、走行体２４により施工現場２を走行することができる。旋回体２５は、走行体２４に支持された状態で旋回する。作業機２６は、旋回体２５に連結されるブーム２６Ａと、ブーム２６Ａに連結されるアーム２６Ｂと、アーム２６Ｂに連結されるバケット２６Ｃとを含む。油圧シリンダ２７は、ブーム２６Ａを動作させるブームシリンダ２７Ａと、アーム２６Ｂを動作させるアームシリンダ２７Ｂと、バケット２６Ｃを動作させるバケットシリンダ２７Ｃとを含む。
　油圧ショベル２１は、動作する。油圧ショベル２１の動作として、走行体２４の走行動作、旋回体２５の旋回動作、ブーム２６Ａの上げ動作及び下げ動作、アーム２６Ｂの掘削動作及びダンプ動作、並びにバケット２６Ｃの掘削動作及びダンプ動作が例示される。
　図３は、実施形態に係るクローラダンプ２３を示す斜視図である。図３に示すように、クローラダンプ２３は、走行体２８と、車体２９と、ダンプボディ３０とを有する。
　走行体２８は、一対の履帯を有する。クローラダンプ２３は、走行体２８により施工現場２を走行することができる。ダンプボディ３０は、積荷が積み込まれる部材である。油圧ショベル２１は、作業機２６を用いてダンプボディ３０に積荷を積み込むことができる。ダンプボディ３０は、不図示のホイストシリンダにより上昇して、積荷を排出することができる。
　クローラダンプ２３は、動作する。クローラダンプ２３の動作として、走行体２８の走行動作、並びにダンプボディ３０の下げ動作及びダンプ動作が例示される。
［サーバ］
　図４は、実施形態に係る施工管理システム１を示す機能ブロック図である。図４に示すように、施工管理システム１は、飛行体８と、飛行体１１と、施工現場２に配置された管理装置３と、サーバ４と、施工現場２の遠隔地１３に配置された情報端末５とを有する。
　飛行体８は、位置センサ１４と、姿勢センサ１５と、検出装置９とを有する。
　位置センサ１４は、飛行体８の位置を検出する。位置センサ１４は、全地球航法衛星システム（ＧＮＳＳ）を利用して飛行体８の位置を検出する。位置センサ１４は、ＧＮＳＳ受信機（ＧＮＳＳセンサ）を含み、飛行体８のグローバル座標系の位置を検出する。姿勢センサ１５は、飛行体８の姿勢を検出する。姿勢センサ１５として、慣性計測装置（ＩＭＵ：Inertial　Measurement　Unit）が例示される。
　飛行体１１は、位置センサ１６と、姿勢センサ１７と、検出装置１２とを有する。
　位置センサ１６は、ＧＮＳＳ受信機を含み、飛行体１１のグローバル座標系の位置を検出する。姿勢センサ１７は、飛行体１１の姿勢を検出する。姿勢センサ１７として、慣性計測装置（ＩＭＵ：Inertial　Measurement　Unit）が例示される。
　サーバ４は、現況地形データ作成部４１と、検出データ取得部４２と、認識部４３と、反映部４４と、出力部４５と、記憶部４６とを有する。
　現況地形データ作成部４１は、作業機械２０が稼働する施工現場２の現況地形を示す現況地形データを作成する。現況地形データは、施工現場２の現況地形を示す３次元地形データである。現況地形は、所定の施工が開始される前の基準地形を含む。
　現況地形データ作成部４１は、検出装置１２の検出データに基づいて現況地形データを作成する。上述のように、検出装置１２は、施工現場２の全体を検出する。現況地形データは、施工現場２の全体の現況地形を示す。
　実施形態において、検出装置１２は、第１の頻度で施工現場２を検出する。検出装置１２は、例えば１日の始業前に１回だけ施工現場２を検出する。検出装置１２は、施工現場２において所定の施工が開始される前の基準地形を示す現況地形を検出する。現況地形データ作成部４１は、第１の頻度で現況地形データを作成する。現況地形データ作成部４１により作成された現況地形データは、記憶部４６に記憶される。記憶部４６に記憶される現況地形データは、第１の頻度で更新される。
　なお、検出装置１２が施工現場２を検出するタイミングは、１日の始業前に限定されず、任意のタイミングでもよい。
　検出データ取得部４２は、作業機械２０及び作業機械２０の周辺の施工エリアを検出した検出装置９の検出データを取得する。
　上述のように、検出装置９は、施工現場２の一部分を検出する。検出装置９により検出される施工現場２の一部分は、作業を実施する作業機械２０を含む。検出装置９により検出される施工現場２の一部分は、作業を実施する作業機械２０の周辺の施工エリアを含む。検出装置９により検出される施工エリアとして、作業機械２０により施工が進行している施工エリアが例示される。
　実施形態において、検出装置９は、第１の頻度よりも高い第２の頻度で施工現場２を検出する。検出装置９は、例えば一定期間だけ施工現場２を連続的に検出する。検出装置９は、例えば作業機械２０の作業が実施されている期間だけ施工現場２を連続的に検出する。なお、検出装置９は、施工現場２を常時検出してもよい。検出データ取得部４２は、第２の頻度で検出装置９の検出データを取得する。検出データ取得部４２により取得される検出データは、現況地形データよりも高頻度で更新される。
　認識部４３は、検出データ取得部４２により取得された検出データに基づいて、施工現場２の物体を認識する。上述のように、物体として、作業機械２０及び人ＷＭが例示される。
　認識部４３は、入力データをアルゴリズムにより解析して出力データを出力する人工知能（ＡＩ：Artificial　Intelligence）を利用して物体を認識する。入力データは検出装置９により取得された施工現場２の画像データであり、出力データは物体である。
　認識部４３は、物体の特徴量を学習することにより生成された学習モデルを保有する。学習モデルは、作業機械２０の特徴量を学習することにより生成された学習モデルと、人ＷＭの特徴量を学習することにより生成された学習モデルとを含む。学習モデルの生成においては、物体を含む学習画像を教師データとして機械学習が実施されることにより、物体の特徴量を入力とし物体を出力する学習モデルが生成される。認識部４３は、検出装置９により取得された施工現場２の画像データを学習モデルに入力して、物体を認識することができる。
　反映部４４は、検出データ取得部４２により取得された検出データを現況地形データに反映した反映データを生成する。現況地形データは、検出装置１２により第１の頻度で検出された施工現場２の全体の３次元地形データである。検出データは、検出装置９により第２の頻度で検出された施工現場２の一部分である施工エリアの３次元地形データを含む。検出データ取得部４２により取得される検出データは、第２の頻度で順次更新される。反映部４４は、検出データ取得部４２により取得された検出データを現況地形データの一部分に第２の頻度で順次反映する。現況地形データの少なくとも一部は、検出データ取得部４２により取得された検出データにより順次更新される。
　検出データ取得部４２により取得される検出データは、施工エリアの更新後の地形を示す更新地形データを含む。更新後の地形は、施工中又は施工後の最新地形を含む。更新地形データは、第２の頻度で更新される。反映部４４は、検出データ取得部４２により取得された更新地形データを、記憶部４６に記憶されている現況地形データに反映する。
　検出データ取得部４２により取得される検出データは、施工現場２の物体を示す非地形データを含む。非地形データは、施工現場２の物体を示す３次元データである。非地形データは、第２の頻度で更新される。反映部４４は、検出データ取得部４２により取得された非地形データを、記憶部４６に記憶されている現況地形データに反映する。
　実施形態において、反映部４４は、検出データ取得部４２により取得された検出データから非地形データが除去された施工エリアの更新地形データを現況地形データに反映する。物体を示す非地形データは、認識部４３により認識される。反映部４４は、検出データから非地形データを除去して更新地形データを生成する。また、施工現場２に物体が存在する場合、反映部４４は、物体が反映された反映データを生成する。
　反映部４４により生成される反映データは、施工エリアの更新地形データを含む。
　反映部４４により生成される反映データは、認識部４３により認識された物体を含む。
　反映部４４により生成される反映データは、認識部４３により認識された作業機械２０の３次元モデルを含む。作業機械２０の３次元モデルは、作業機械２０のコンピュータグラフィックス（ＣＧ：Computer　Graphics）を含む。
　作業機械２０の３次元モデルとは、作業機械２０を表した３次元モデルであって、例えば走行体２４、旋回体２５、及び作業機２６のような作業機械２０を構成するパーツごとに構築される。作業機械２０の３次元モデルは、記憶部４６に予め記憶されている。
　反映部４４により生成される反映データは、物体の位置を示すシンボル画像を含む。シンボル画像は、物体の位置を強調する画像データである。反映部４４は、認識部４３の認識結果に基づいて、シンボル画像を生成する。
　出力部４５は、反映部４４により生成された反映データを情報端末５に出力する。出力部４５は、通信システム１０を介して、反映データを情報端末５に送信する。
　情報端末５は、入力装置５１と表示装置５２とを有する。
　入力装置５１は、遠隔地１３に存在する管理者に操作される。入力装置５１は、管理者の操作に基づいて、入力データを生成する。入力装置５１として、タッチパネル、コンピュータ用キーボード、マウス、又は操作ボタンが例示される。なお、入力装置５１は、光学センサを含む非接触型入力装置でもよいし、音声入力装置でもよい。
　表示装置５２は、表示データを表示する。遠隔地１３の管理者は、表示装置５２に表示された表示データを確認することができる。実施形態において、出力部４５は、反映部４４により生成された反映データを表示装置５２に出力する。表示装置５２は、表示データとして、反映部４４により生成された反映データを表示する。表示装置５２として、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic　Electroluminescence　Display）のようなフラットパネルディスプレイが例示される。
［検出装置と３次元データとの関係］
　上述のように、飛行体８には、位置センサ１４及び姿勢センサ１５が搭載されている。位置センサ１４は、検出装置９の位置を検出することができる。姿勢センサ１５は、検出装置９の姿勢を検出することができる。姿勢は、例えばロール角、ピッチ角、及びヨー角を含む。ヨー角は、飛行体８に設けられた２つのＧＮＳＳセンサの検出データに基づいて算出されてもよい。検出装置９は、施工現場２の３次元データを検出する。施工現場２の３次元データは、検出装置９と検出対象に規定される複数の検出点のそれぞれとの相対距離及び相対位置を含む。認識部４３及び反映部４４は、位置センサ１４の検出データと、姿勢センサ１５の検出データと、検出装置９の検出データとに基づいて、例えばグローバル座標系における検出対象の３次元データの位置を算出することができる。また、認識部４３及び反映部４４は、所定の座標変換を実施して、例えば施工現場２に規定されたローカル座標系における検出対象の３次元データの位置を算出することができる。検出装置９の検出対象は、更新後の地形及び物体を含む。
　同様に、現況地形データ作成部４１は、位置センサ１６の検出データと、姿勢センサ１７の検出データと、検出装置１２の検出データとに基づいて、例えば施工現場２に規定されたローカル座標系における検出対象の３次元データの位置を算出することができる。検出装置１２の検出対象は、現況地形を含む。
　認識部４３は、検出データ取得部４２により取得された検出データに基づいて、物体の存否及び物体の位置を認識することができる。
　例えば人ＷＭの位置を認識する場合、認識部４３は、検出装置９の単眼カメラで取得された２次元画像に基づいて人ＷＭを認識する。また、認識部４３は、施工現場２の３次元地形データを取得する。認識部４３は、２次元画像に基づいて認識された人ＷＭに基づいて、施工現場２における人ＷＭの位置を認識することができる。例えば、ステレオカメラを構成する２つの単眼カメラで取得された２次元画像に基づいて認識された人ＷＭを、三角測量の原理に基づいて画像処理を実施して、人ＷＭの三次元の位置を算出し、施工現場２の３次元地形データに対応させることにより、施工現場２における人ＷＭの位置を認識することができる。また、レーザセンサやレーダセンサの検出値を用いて２次元画像に基づいて認識された人ＷＭの三次元の位置を算出し、施工現場２の３次元地形データに対応させることにより、施工現場２における人ＷＭの位置を認識してもよい。なお、認識部４３は、施工現場２の３次元データから人ＷＭの位置を認識してもよい。なお、認識部４３は、人ＷＭが所持している位置センサの検出データに基づいて、人ＷＭの位置を認識してもよい。例えば人ＷＭがスマートフォンを所持しており、スマートフォンにＧＮＳＳセンサが搭載されている場合、認識部４３は、スマートフォンのＧＮＳＳセンサの検出データに基づいて、人ＷＭの位置を認識することができる。なお、人ＷＭが所持する位置センサは、ビーコン（Beacon）でもよい。なお、２次元画像に基づいて認識された人ＷＭの２次元画像上の座標と、検出装置９の３次元の位置及び姿勢と、３次元地形データとから、施工現場２における人ＷＭの位置を幾何学計算で推定してもよい。
　また、認識部４３は、検出データ取得部４２により取得された検出データに基づいて、作業機械２０の動作を認識することができる。油圧ショベル２１は、走行体２４、旋回体２５、及び作業機２６を動作させることができる。クローラダンプ２３は、走行体２８及びダンプボディ３０を動作させることができる。反映部４４は、作業機械２０に同期して、３次元モデルを動かすことができる。
［施工管理方法］
　図５は、実施形態に係る施工管理方法を示すフローチャートである。現況地形データ作成部４１は、作業機械２０が稼働する施工現場２の現況地形データを作成する（ステップＳ１）。
　図６は、実施形態に係る現況地形データを示す図である。現況地形データは、施工現場２の全体の現況地形を示す３次元地形データである。現況地形データ作成部４１は、検出装置１２の検出データを取得する。現況地形データ作成部４１は、検出装置１２の検出データに基づいて、現況地形データを作成する。
　現況地形データ作成部４１で作成された現況地形データは、記憶部４６に記憶される。出力部４５は、現況地形データを情報端末５に送信することができる。表示装置５２は、図６に示すような現況地形を表示することができる。
　施工現場２において作業機械２０の作業が開始されると、施工現場２の地形が変化する。飛行体８に搭載されている検出装置９は、施工現場２を検出する。検出装置９は、例えば作業を実施している作業機械２０及び作業機械２０の周辺の施工エリアを検出する。検出装置９の検出データは、ケーブル７を介して管理装置３に送信される。管理装置３は、検出装置９の検出データをサーバ４に送信する。検出データ取得部４２は、作業機械２０及び作業機械２０の周辺の施工エリアを検出した検出装置９の検出データを取得する（ステップＳ２）。
　認識部４３は、検出データ取得部４２により取得された検出データに基づいて、施工現場２に物体が存在するか否かを判定する。実施形態において、認識部４３は、施工エリアに物体が存在するか否かを判定する（ステップＳ３）。
　ステップＳ３において、施工エリアに物体が存在しないと判定された場合（ステップＳ３：Ｎｏ）、反映部４４は、検出データ取得部４２により取得された検出データを記憶部４６に記憶されている現況地形データに反映して、反映データを生成する。検出データ取得部４２により取得された検出データは、施工現場２の一部分を示す施工エリアの更新地形データを含む。反映部４４は、更新地形データを現況地形データに反映させる（ステップＳ４）。
　例えば油圧ショベル２１により施工現場２の一部が掘削された場合、掘削箇所を含む検出データが更新地形データとして検出データ取得部４２に取得される。更新地形データは、油圧ショベル２１により掘削された掘削箇所を含む。反映部４４は、現況地形データの一部と更新地形データとを合成する。反映部４４は、現況地形データの一部に更新地形データを当てはめる。これにより、掘削箇所を含む更新地形データが反映された反映データが生成される。
　ステップＳ３において、施工エリアに物体が存在すると判定された場合（ステップＳ３：Ｙｅｓ）、反映部４４は、認識部４３により認識された物体を示す非地形データを検出データから除去して更新地形データを生成する（ステップＳ５）。
　更新地形データが生成された後、反映部４４は、更新地形データを現況地形データに反映して反映データを生成する。また、物体が存在する場合、反映部４４は、物体が反映された反映データを生成する（ステップＳ６）。
　なお、反映部４４は、物体が存在する場合でも、物体が反映されない反映データを生成してもよい。
　出力部４５は、ステップＳ４及びステップＳ６の少なくとも一方で生成された反映データを情報端末５に出力する。表示装置５２は、出力部４５から送信された反映データを表示する（ステップＳ７）。
　図７は、実施形態に係る反映データを示す図である。図７は、施工エリアに物体が存在しない場合の反映データを示す。反映データは、施工エリアの画像データを含む。例えば施工エリアにおける施工が進行すると、図７に示すように、施工現場２の地形の少なくとも一部が変化する。図７に示す例においては、油圧ショベル２１の掘削作業により施工エリアに掘削箇所が生成される。検出データ取得部４２により取得される検出データは、施工エリアの更新地形データを含む。反映部４４は、施工現場２の地形の変化をリアルタイムで現況地形に反映させる。反映部４４は、更新地形データを現況地形データにリアルタイムに反映させる。図７に示すように、表示装置５２は、掘削箇所が反映された反映データを表示することができる。遠隔地１３の管理者は、表示装置５２に表示された反映データを確認することにより、施工現場２の施工の進捗状況をリアルタイムに認識することができる。
　図８は、実施形態に係る反映データを示す図である。図８は、施工エリアに物体として油圧ショベル２１とクローラダンプ２３と人ＷＭとが存在する場合の反映データを示す。反映データは、現況地形データの一部に更新地形データを反映させた３次元地形データを含む。反映データは、認識部４３により認識された作業機械２０の３次元モデルを含む。図８に示す例において、作業機械２０の３次元モデルは、油圧ショベル２１の３次元モデル２１Ｄ及びクローラダンプ２３の３次元モデル２３Ｄを含む。
　作業機械２０の３次元モデルを表示装置５２に表示させる場合、認識部４３は、検出データ取得部４２により取得された検出装置１２の検出データに基づいて、作業機械２０の位置（３次元位置）及び姿勢を算出する。作業機械２０の姿勢は、水平面に対する旋回体２５の傾き及び走行体２４に対する旋回体２５の旋回角度を含む。また、作業機械２０の姿勢は、作業機２６の角度を含む。作業機２６の角度は、ブーム２６Ａの角度、アーム２６Ｂの角度、及びバケット２６Ｃの角度を含む。検出装置１２の検出データは、ステレオカメラにより取得された画像を含む。そのため、認識部４３は、検出装置１２の検出データに基づいて、作業機械２０の３次元位置及び姿勢を算出することができる。反映部４４は、記憶部４６に記憶されている３次元モデルが、認識部４３により算出された位置に配置され且つ認識部４３により算出された姿勢になるように、３次元モデルを調整して、反映データを生成する。
　上述のように、作業機械２０の３次元モデルは、例えば、走行体２４、旋回体２５、及び作業機２６のような作業機械２０を構成するパーツごとに構築される。反映部４４は、ブーム２６Ａの角度、アーム２６Ｂの角度、バケット２６Ｃの角度、及び旋回体２５の旋回角度に基づいて、３次元モデルの対応する部分の角度を変更することによって、３次元モデルを調整する。
　出力部４５は、反映部４４により生成された３次元モデルを含む反映データを表示装置５２に出力する。
　なお、作業機械２０の旋回体２５に２つのＧＮＳＳセンサが搭載されている場合、認識部４３は、１つのＧＮＳＳセンサの検出データに基づいて、作業機械２０の位置を算出してもよい。また、認識部４３は、２つのＧＮＳＳセンサのそれぞれの検出データに基づいて、旋回体２５の傾き及び旋回角度を算出してもよい。また、ブームシリンダ２７Ａ、アームシリンダ２７Ｂ、及びバケットシリンダ２７Ｃのそれぞれにストロークセンサが設けられている場合、認識部４３は、ストロークセンサの検出データに基づいて、作業機２６の角度を算出してもよい。
　図９は、実施形態に係る反映データを示す図である。反映データは、物体の位置を示すシンボル画像を含む。図９に示す例において、反映データは、人ＷＭの位置を示すシンボル画像３１を含む。反映部４４は、認識部４３により認識された人ＷＭの位置に基づいて、シンボル画像３１を生成する。反映部４４は、人ＷＭとシンボル画像３１とが重畳して表示されるように反映データを生成する。図９に示す例において、シンボル画像３１は、人ＷＭを囲むフレーム状（ボックス状）である。なお、シンボル画像３１の形状は任意であり、人ＷＭを強調できればよい。なお、シンボル画像３１は、人ＷＭに隣接して表示されてもよい。人ＷＭがシンボル画像３１により強調されることにより、遠隔地１３の管理者は、人ＷＭの存在を円滑に認識することができる。
　図１０は、実施形態に係る反映データを示す図である。図１０に示す例において、反映データは、油圧ショベル２１の位置を示すシンボル画像３２を含む。反映部４４は、認識部４３により認識された油圧ショベル２１の位置に基づいて、シンボル画像３２を生成することができる。図１０に示す例において、シンボル画像３２は、３次元モデル２１Ｄを囲むフレーム状（ボックス状）である。反映部４４は、油圧ショベル２１の３次元モデル２１Ｄとシンボル画像３２とが重畳して表示されるように反映データを生成する。なお、シンボル画像３２の形状は任意であり、油圧ショベル２１を強調できればよい。
　図１１は、実施形態に係る反映データを示す図である。図１１に示す例において、反映データは、油圧ショベル２１に同期して動く３次元モデル２１Ｄを含む。上述のように、認識部４３は、作業機械２０の動作を認識することができる。反映部４４は、認識部４３により認識された油圧ショベル２１の動作に基づいて、油圧ショベル２１の動作に同期するように、表示装置５２において３次元モデル２１Ｄを動かすことができる。図１１には、油圧ショベル２１のブーム２６Ａの上げ動作に同期して、３次元モデル２１Ｄのブームが上げ動作する例が示されている。同様に、反映部４４は、認識部４３により認識されたクローラダンプ２３の動作に基づいて、クローラダンプ２３の動作に同期するように、表示装置５２において３次元モデル２３Ｄを動かすことができる。
　図１２は、実施形態に係る反映データを示す図である。図１２に示す例において、反映データは、人ＷＭの位置を示すシンボル画像３１と、油圧ショベル２１の位置を示すシンボル画像３２と、クローラダンプ２３の位置を示すシンボル画像３３とを含む。反映部４４は、例えばクローラダンプ２３の３次元モデル２３Ｄとシンボル画像３３とが重畳して表示されるように反映データを生成する。
　反映部４４は、施工エリアの施工が終了したか否かを判定する（ステップＳ８）。
　ステップＳ８において施工が終了していないと判定された場合（ステップＳ８：Ｎｏ）、ステップＳ２からステップＳ７の処理が繰り返される。ステップＳ８において施工が終了したと判定された場合（ステップＳ８：Ｙｅｓ）、実施形態に係る施工管理方法が終了する。
［コンピュータシステム］
　図１３は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述のサーバ４は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central　Processing　Unit）のようなプロセッサ１００１と、ＲＯＭ（Read　Only　Memory）のような不揮発性メモリ及びＲＡＭ（Random　Access　Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述のサーバ４の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。
　コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、作業機械２０が稼働する施工現場２の現況地形データを記憶することと、施工現場２を検出する検出装置９の検出データを取得することと、検出データを現況地形データに反映する反映データを生成することと、反映データを表示装置５２に表示することと、を実行することができる。
［効果］
　以上説明したように、実施形態によれば、施工前の施工現場２の基準地形を示す現況地形データが作成される。施工中において、作業機械２０及び作業機械２０の周辺の施工エリアが検出装置９により検出される。現況地形データに検出データが反映された反映データが表示装置５２に表示される。遠隔地１３の管理者は、表示装置５２を確認することにより、施工エリアの施工の進捗状況をリアルタイムで確認することができる。遠隔地１３の管理者は、施工の進捗状況を遠隔監視することができる。
　現況地形データに反映される検出データは、現況地形データよりも高頻度で更新される。そのため、遠隔地１３の管理者は、施工エリアの最新状況を確認することができる。
　現況地形データに反映される検出データは、施工エリアの更新地形データを含む。これにより、遠隔地１３の管理者は、施工中又は施工後の施工エリアの最新地形を確認することができる。
　現況地形データに反映される検出データは、施工現場２の物体を示す非地形データを含む。反映部４４は、検出データ取得部４２により取得された検出データから非地形データが除去された更新地形データを現況地形データに反映する。これにより、遠隔地１３の管理者は、物体の影響が抑制された施工エリアの最新地形を確認することができる。
　現況地形データに反映される検出データは、施工現場２の物体を示す非地形データを含む。これにより、遠隔地１３の管理者は、施工現場の最新地形のみならず、施工現場２の物体の状況をリアルタイムで確認することができる。
　表示装置５２に表示される反映データは、認識部４３により認識された物体を含む。表示装置５２には、最新地形と物体とが区別された反映データが表示される。これにより、遠隔地１３の管理者は、施工現場の最新地形と施工現場２の物体の状況との両方をリアルタイムで適正に確認することができる。
　表示装置５２に表示される反映データは、作業機械２０の３次元モデルを含む。遠隔地１３の管理者は、表示装置５２に表示された３次元モデルを確認することにより、作業機械２０の状況をリアルタイムで適正に確認することができる。
　認識部４３は、検出データ取得部４２により取得された検出データに基づいて、作業機械２０の動作を認識する。反映部４４は、認識部４３の認識結果に基づいて、作業機械２０に同期して３次元モデルを動かすことができる。遠隔地１３の管理者は、実際の作業機械２０に同期して動く３次元モデルを確認することにより、作業機械２０の状況をリアルタイムで適正に確認することができる。
　認識部４３は、検出データ取得部４２により取得された検出データに基づいて、人ＷＭを認識する。遠隔地１３の管理者は、表示装置５２に表示された人ＷＭを確認することにより、人ＷＭの状況をリアルタイムで適正に確認することができる。
　表示装置５２に表示される反映データは、物体の位置を示すシンボル画像を含む。遠隔地１３の管理者は、表示装置５２に表示されたシンボル画像を確認することにより、物体の位置を適正に確認することができる。
　検出装置９は、飛行体８に搭載される。これにより、検出装置９は、作業機械２０及び施工エリアを上空から一括して検出することができる。
［その他の実施形態］
　上述の実施形態において、認識部４３は、検出装置９の検出データに基づいて、作業機械２０の位置を認識することとした。例えば作業機械２０の位置を検出する位置センサが作業機械２０に設けられ、認識部４３は、位置センサの検出データに基づいて、作業機械２０の位置を認識してもよい。
　上述の実施形態において、認識部４３は、検出装置９の検出データに基づいて、作業機械２０の動作を認識することとした。例えば作業機械２０の動作を検出する動作センサが作業機械２０に設けられ、認識部４３は、動作センサの検出データに基づいて、作業機械２０の動作を認識してもよい。動作センサとして、例えば作業機２６の動作を検出する角度センサ又は油圧シリンダ２７の伸縮量を検出するストロークセンサが例示される。
　上述の実施形態において、認識部４３は、人工知能を利用せずに、例えばパターンマッチング法に基づいて物体を認識してもよい。認識部４３は、人ＷＭを示すテンプレートと施工現場２の画像データとを照合することにより、物体を認識することができる。
　上述の実施形態において、検出装置９は、飛行体８に搭載されなくてもよい。検出装置９は、例えば作業機械２０に搭載されてもよいし、施工現場２に存在する構造物に取り付けられてもよい。検出装置１２についても同様である。
　上述の実施形態において、現況地形データ作成部４１、検出データ取得部４２、認識部４３、反映部４４、出力部４５、及び記憶部４６のそれぞれが、別々のハードウエアにより構成されてもよい。例えば、現況地形データ作成部４１の機能、検出データ取得部４２の機能、認識部４３の機能、反映部４４の機能、出力部４５の機能、及び記憶部４６の機能の少なくとも一つが、管理装置３に設けられてもよいし、サーバ４とは別のサーバに設けられてもよい。
　上述の実施形態において、管理装置３は、走行装置６に支持され、施工現場２を走行することができることとした。管理装置３は、作業機械２０に搭載されてもよいし、施工現場２の所定の位置に設置されてもよい。
　上述の実施形態において、検出装置１２が施工現場２の全体を検出し、検出装置９が施工現場２の一部分を検出することとした。検出装置９が施工現場２の全体を検出してもよい。
　上述の実施形態において、検出装置９の検出対象は、施工現場２の地形、作業機械２０及び人ＷＭに限られない。他の実施形態においては、検出装置９は、施工用の資材を検出するようにしてもよい。
　上述の実施形態において、情報端末５は、施工現場２の遠隔地１３に配置されなくてもよい。情報端末５は、例えば作業機械２０に搭載されてもよい。また、情報端末５は省略されてもよい。施工の進捗状況が、作業機械２０にモニタから出力されてもよい。モニタは、表示装置のみならず入力装置を備えてもよい。
　上述の実施形態において、作業機械２０は、油圧ショベル２１、ブルドーザ２２、及びクローラダンプ２３を含むものに限られない。他の実施形態においては、作業機械２０は、油圧ショベル２１、ブルドーザ２２、及びクローラダンプ２３の一部を含むものであってよい。また、他の種類の作業機械を含むものであってもよい。
　上述の実施形態において、全地球航法衛星システム（ＧＮＳＳ）を利用して飛行体８の位置を検出し、慣性計測装置を利用して飛行体８の姿勢を検出するものに限られない。他の実施形態においては、ＳＬＡＭ(Simultaneous　Localization　and　Mapping)を利用して飛行体８の位置、及び姿勢を検出してもよい。同様にＳＬＡＭを利用して、飛行体１１や作業機械２０の位置、及び姿勢を検出してもよい。
　１…施工管理システム、２…施工現場、３…管理装置、４…サーバ（データ処理装置）、５…情報端末、６…走行装置、７…ケーブル、８…飛行体、９…検出装置、１０…通信システム、１１…飛行体、１２…検出装置、１３…遠隔地、１４…位置センサ、１５…姿勢センサ、１６…位置センサ、１７…姿勢センサ、２０…作業機械、２１…油圧ショベル、２１Ｄ…３次元モデル、２２…ブルドーザ、２３…クローラダンプ、２３Ｄ…３次元モデル、２４…走行体、２５…旋回体、２６…作業機、２６Ａ…ブーム、２６Ｂ…アーム、２６Ｃ…バケット、２７…油圧シリンダ、２７Ａ…ブームシリンダ、２７Ｂ…アームシリンダ、２７Ｃ…バケットシリンダ、２８…走行体、２９…車体、３０…ダンプボディ、３１…シンボル画像、３２…シンボル画像、３３…シンボル画像、４１…現況地形データ作成部、４２…検出データ取得部、４３…認識部、４４…反映部、４５…出力部、４６…記憶部、５１…入力装置、５２…表示装置、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、ＷＭ…人。

Claims (20)

  1. 　作業機械が稼働する施工現場の現況地形データを作成する現況地形データ作成部と、
    　前記施工現場を検出する検出装置の検出データを取得する検出データ取得部と、
    　前記検出データを前記現況地形データに反映する反映データを生成する反映部と、
    　前記反映データを表示装置に出力する出力部と、を備える、
    　施工管理システム。
  2. 　前記検出データは、前記現況地形データよりも高頻度で更新される、
    　請求項１に記載の施工管理システム。
  3. 　前記検出データは、前記施工現場の更新地形データを含む、
    　請求項１又は請求項２に記載の施工管理システム。
  4. 　前記検出データは、前記施工現場の物体を示す非地形データを含み、
    　前記反映部は、前記検出データから前記非地形データが除去された前記施工現場の更新地形データを前記現況地形データに反映する、
    　請求項１又は請求項２に記載の施工管理システム。
  5. 　前記検出データは、前記施工現場の物体を示す非地形データを含む、
    　請求項１又は請求項２に記載の施工管理システム。
  6. 　前記検出データに基づいて前記施工現場の物体を認識する認識部を備え、
    　前記反映データは、前記認識部により認識された前記物体を含む、
    　請求項１又は請求項２に記載の施工管理システム。
  7. 　前記物体は、前記作業機械を含み、
    　前記反映データは、前記作業機械の３次元モデルを含む、
    　請求項６に記載の施工管理システム。
  8. 　前記認識部は、前記作業機械の動作を認識し、
    　前記反映部は、前記作業機械に同期して前記３次元モデルを動かす、
    　請求項７に記載の施工管理システム。
  9. 　前記物体は、人を含む、
    　請求項６から請求項８のいずれか一項に記載の施工管理システム。
  10. 　前記認識部は、前記物体の位置を認識し、
    　前記反映データは、前記物体の位置を示すシンボル画像を含む、
    　請求項６から請求項９のいずれか一項に記載の施工管理システム。
  11. 　前記検出装置は、飛行体に搭載される、
    　請求項１から請求項１０のいずれか一項に記載の施工管理システム。
  12. 　前記検出装置は、前記作業機械及び前記作業機械の周辺の施工エリアを検出する、
    　請求項１から請求項１１のいずれか一項に記載の施工管理システム。
  13. 　作業機械が稼働する施工現場の現況地形データを作成する現況地形データ作成部と、
    　前記施工現場を検出する検出装置の検出データを取得する検出データ取得部と、
    　前記検出データを前記現況地形データに反映する反映データを生成する反映部と、
    　前記反映データを表示装置に出力する出力部と、を備える、
    　データ処理装置。
  14. 　作業機械が稼働する施工現場の現況地形データを記憶することと、
    　前記施工現場を検出する検出装置の検出データを取得することと、
    　前記検出データを前記現況地形データに反映する反映データを生成することと、
    　前記反映データを表示装置に表示することと、を含む、
    　施工管理方法。
  15. 　前記検出データは、前記現況地形データよりも高頻度で更新される、
    　請求項１４に記載の施工管理方法。
  16. 　前記検出データは、前記施工現場の更新地形データを含む、
    　請求項１４又は請求項１５に記載の施工管理方法。
  17. 　前記検出データは、前記施工現場の物体を示す非地形データを含み、
    　前記検出データから前記非地形データが除去された前記施工現場の更新地形データを前記現況地形データに反映する、
    　請求項１４又は請求項１５に記載の施工管理方法。
  18. 　前記検出データは、前記施工現場の物体を示す非地形データを含む、
    　請求項１４又は請求項１５に記載の施工管理方法。
  19. 　前記検出データに基づいて前記施工現場の物体を認識することと、を含み、
    　前記反映データは、認識された前記物体を含む、
    　請求項１４又は請求項１５に記載の施工管理方法。
  20. 　前記物体は、前記作業機械を含み、
    　前記反映データは、前記作業機械の３次元モデルを含む、
    　請求項１９に記載の施工管理方法。
PCT/JP2022/007307 2021-03-30 2022-02-22 施工管理システム、データ処理装置、及び施工管理方法 WO2022209437A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202280013211.1A CN116868223A (zh) 2021-03-31 2022-02-22 施工管理系统、数据处理装置、以及施工管理方法
AU2022248060A AU2022248060A1 (en) 2021-03-31 2022-02-22 Construction management system, data processing device, and construction management method
US18/278,465 US20240135469A1 (en) 2021-03-30 2022-02-22 Construction management system, data processing device, and construction management method
DE112022000560.2T DE112022000560T5 (de) 2021-03-31 2022-02-22 Bauverwaltungssystem, datenverarbeitungsvorrichtung und bauverwaltungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-061691 2021-03-31
JP2021061691A JP2022157458A (ja) 2021-03-31 2021-03-31 施工管理システム、データ処理装置、及び施工管理方法

Publications (1)

Publication Number Publication Date
WO2022209437A1 true WO2022209437A1 (ja) 2022-10-06

Family

ID=83455898

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007307 WO2022209437A1 (ja) 2021-03-30 2022-02-22 施工管理システム、データ処理装置、及び施工管理方法

Country Status (6)

Country Link
US (1) US20240135469A1 (ja)
JP (1) JP2022157458A (ja)
CN (1) CN116868223A (ja)
AU (1) AU2022248060A1 (ja)
DE (1) DE112022000560T5 (ja)
WO (1) WO2022209437A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003253661A (ja) * 2002-02-28 2003-09-10 Hazama Gumi Ltd 建設工事の精密施工支援システム及びプログラム、並びにこれらを用いた精密施工法
WO2017170651A1 (ja) * 2016-03-31 2017-10-05 住友重機械工業株式会社 建設機械用作業管理システム及び建設機械
JP2018059268A (ja) * 2016-09-30 2018-04-12 株式会社小松製作所 作業機械の検出処理装置及び作業機械の検出処理方法
JP2021038571A (ja) * 2019-09-03 2021-03-11 日立建機株式会社 現場管理システムおよび作業機械

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019012993A1 (ja) 2017-07-14 2019-01-17 株式会社小松製作所 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003253661A (ja) * 2002-02-28 2003-09-10 Hazama Gumi Ltd 建設工事の精密施工支援システム及びプログラム、並びにこれらを用いた精密施工法
WO2017170651A1 (ja) * 2016-03-31 2017-10-05 住友重機械工業株式会社 建設機械用作業管理システム及び建設機械
JP2018059268A (ja) * 2016-09-30 2018-04-12 株式会社小松製作所 作業機械の検出処理装置及び作業機械の検出処理方法
JP2021038571A (ja) * 2019-09-03 2021-03-11 日立建機株式会社 現場管理システムおよび作業機械

Also Published As

Publication number Publication date
CN116868223A (zh) 2023-10-10
AU2022248060A1 (en) 2023-09-14
DE112022000560T5 (de) 2023-11-23
US20240135469A1 (en) 2024-04-25
JP2022157458A (ja) 2022-10-14

Similar Documents

Publication Publication Date Title
JP6987186B2 (ja) 表示システム、建設機械、及び表示方法
US9322148B2 (en) System and method for terrain mapping
US11230825B2 (en) Display system, display method, and display apparatus
US11120577B2 (en) Position measurement system, work machine, and position measurement method
US20140236477A1 (en) Positioning system utilizing enhanced perception-based localization
JP6867132B2 (ja) 作業機械の検出処理装置及び作業機械の検出処理方法
JPH11211473A (ja) 地形形状計測装置
US11585073B2 (en) Construction system and construction method
US20220170243A1 (en) Working machine
JP7080750B2 (ja) 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
CN110741124A (zh) 用于工程机械的信息系统
US20220254054A1 (en) Construction machine work information generation system and work information generation method
JP6887229B2 (ja) 施工管理システム
WO2022209437A1 (ja) 施工管理システム、データ処理装置、及び施工管理方法
WO2022209434A1 (ja) 施工管理システム、データ処理装置、及び施工管理方法
US20220316188A1 (en) Display system, remote operation system, and display method
WO2023106324A1 (ja) 表示システム及び表示方法
JP7107792B2 (ja) 建設機械
WO2023106323A1 (ja) 施工管理システム及び施工管理方法
WO2023106076A1 (ja) 表示システム及び表示方法
KR20190060127A (ko) 굴삭기 작업반경 표시 방법
JP2023167539A (ja) 環境データ生成装置、環境データ生成方法、プログラム
JP2022186143A (ja) 環境データ生成装置、建設機械、環境データ生成方法、およびプログラム
KR100910203B1 (ko) 자율이동플랫폼 장치의 지형영상 출력장치, 이를 구비하는 자율이동플랫폼 장치 및 자율이동플랫폼 장치의 지형영상 출력방법
JP2023006464A (ja) 情報処理装置、情報処理装置の制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22779662

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280013211.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18278465

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022248060

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 112022000560

Country of ref document: DE

ENP Entry into the national phase

Ref document number: 2022248060

Country of ref document: AU

Date of ref document: 20220222

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 22779662

Country of ref document: EP

Kind code of ref document: A1