WO2022209434A1 - 施工管理システム、データ処理装置、及び施工管理方法 - Google Patents

施工管理システム、データ処理装置、及び施工管理方法 Download PDF

Info

Publication number
WO2022209434A1
WO2022209434A1 PCT/JP2022/007262 JP2022007262W WO2022209434A1 WO 2022209434 A1 WO2022209434 A1 WO 2022209434A1 JP 2022007262 W JP2022007262 W JP 2022007262W WO 2022209434 A1 WO2022209434 A1 WO 2022209434A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
machine
work machine
data
unit
Prior art date
Application number
PCT/JP2022/007262
Other languages
English (en)
French (fr)
Inventor
駿 川本
翼 蓮實
鯉 董
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to US18/279,075 priority Critical patent/US20240127372A1/en
Priority to CN202280020883.5A priority patent/CN117015790A/zh
Priority to AU2022247649A priority patent/AU2022247649A1/en
Priority to DE112022000845.8T priority patent/DE112022000845T5/de
Publication of WO2022209434A1 publication Critical patent/WO2022209434A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2054—Fleet management
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the present disclosure relates to a construction management system, a data processing device, and a construction management method.
  • a remote control system as disclosed in Patent Document 1 is known in the technical field related to construction management systems.
  • the purpose of this disclosure is to suppress a decline in construction efficiency at construction sites.
  • an output unit for displaying a remotely operable work machine on a display device, a selection data acquisition unit for acquiring machine selection data indicating that the work machine has been specified, and a work machine based on the machine selection data. and a remote operation permitting unit for permitting start of remote operation of the machine.
  • FIG. 1 is a schematic diagram showing a construction management system according to an embodiment.
  • FIG. 2 is a perspective view showing the hydraulic excavator according to the embodiment.
  • FIG. 3 is a perspective view showing the crawler dump according to the embodiment.
  • FIG. 4 is a functional block diagram showing the construction management system according to the embodiment.
  • FIG. 5 is a flow chart showing a construction management method according to the embodiment.
  • FIG. 6 is a diagram showing current terrain data according to the embodiment.
  • FIG. 7 is a diagram showing a display example of the display device according to the embodiment.
  • FIG. 8 is a diagram showing a display example of the display device according to the embodiment.
  • FIG. 9 is a diagram showing a display example of the display device according to the embodiment.
  • FIG. 10 is a diagram showing a display example of the display device according to the embodiment.
  • FIG. 11 is a diagram showing a display example of the display device according to the embodiment.
  • FIG. 12 is a block diagram of a computer system according to the
  • FIG. 1 is a schematic diagram showing a construction management system 1 according to an embodiment.
  • a construction management system 1 manages construction at a construction site 2 .
  • a plurality of work machines 20 operate at the construction site 2 .
  • work machine 20 includes excavator 21 , bulldozer 22 , and crawler dumper 23 .
  • the work machine 20 may include a wheel loader.
  • a person WM is present at the construction site 2 .
  • a worker who works at the construction site 2 is exemplified as the person WM.
  • the person WM may be a supervisor who manages construction.
  • the person WM may be a spectator.
  • the construction management system 1 includes a management device 3, a server 4, an information terminal 5, a detection device 9, and a detection device 12.
  • the management device 3 includes a computer system located at the construction site 2.
  • the management device 3 is supported by the travel device 6 .
  • the management device 3 can travel on the construction site 2 by the travel device 6 .
  • Examples of the traveling device 6 include an aerial work vehicle, a truck, and a traveling robot.
  • the server 4 is a data processing device including a computer system.
  • the server 4 may be located at the construction site 2 or may be located at a remote location from the construction site 2 .
  • the information terminal 5 is a computer system arranged at a remote location 13 of the construction site 2 .
  • a personal computer or a smart phone is exemplified as the information terminal 5 .
  • the management device 3 , the server 4 and the information terminal 5 communicate with each other via the communication system 10 .
  • Examples of the communication system 10 include the Internet, a local area network (LAN), a mobile phone communication network, and a satellite communication network.
  • the detection device 9 detects the construction site 2.
  • the detection device 9 acquires three-dimensional data of the construction site 2 .
  • Examples of objects to be detected by the detection device 9 include the topography of the construction site 2 and objects present on the construction site 2 .
  • An object includes one or both of a movable body and a stationary body.
  • the work machine 20 and the person WM are exemplified as movable bodies.
  • Wood or material is exemplified as the stationary body.
  • the three-dimensional data acquired by the detection device 9 includes image data of the construction site 2.
  • the image data acquired by the detection device 9 may be moving image data or still image data.
  • a stereo camera is exemplified as the detection device 9 .
  • the detection device 9 may include a monocular camera and a three-dimensional measurement device.
  • a laser sensor LIDAR: Light Detection and Ranging
  • the three-dimensional measurement device may be an infrared sensor that detects an object by emitting infrared light or a radar sensor (RADAR: Radio Detection and Ranging) that detects an object by emitting radio waves.
  • the detection device 9 is mounted on the flying object 8.
  • an unmanned aerial vehicle UAV: Unmanned Aerial Vehicle
  • UAV Unmanned Aerial Vehicle
  • the detection device 9 detects the construction site 2 from above the construction site 2 .
  • the flying object 8 and the management device 3 are connected by a cable 7.
  • Detection data of the detection device 9 is transmitted to the management device 3 via the cable 7 .
  • the detection data of the detection device 9 transmitted to the management device 3 is transmitted to the server 4 via the communication system 10 .
  • the management device 3 includes a power supply or generator.
  • the management device 3 can supply power to the aircraft 8 via the cable 7 .
  • the detection device 12 detects the construction site 2. Similar to the detection device 9 , the detection device 12 acquires three-dimensional data of the construction site 2 .
  • the three-dimensional data acquired by the detection device 12 includes image data of the construction site 2 .
  • the detection device 12 is mounted on the flying object 11.
  • the detection device 12 detects the construction site 2 from above the construction site 2 . No cable is connected to the flying object 11 . Detection data of the detection device 12 is transmitted to the server 4 via the communication system 10 .
  • the flying object 11 can fly higher than the flying object 8.
  • the flying object 11 can fly over a wider range than the flying object 8.
  • the detection device 12 can detect a wider area of the construction site 2 than the detection device 9 can.
  • the detection device 12 detects the entire construction site 2 .
  • a detection device 9 detects a portion of the construction site 2 .
  • FIG. 2 is a perspective view showing the hydraulic excavator 21 according to the embodiment.
  • the hydraulic excavator 21 includes a traveling body 24, a revolving body 25 supported by the traveling body 24, a work machine 26 supported by the revolving body 25, and a hydraulic cylinder 27 for driving the work machine 26. and
  • the running body 24 has a pair of crawler belts.
  • the hydraulic excavator 21 can travel on the construction site 2 by the traveling body 24 .
  • the revolving body 25 revolves while being supported by the traveling body 24 .
  • Work implement 26 includes a boom 26A connected to revolving body 25, an arm 26B connected to boom 26A, and a bucket 26C connected to arm 26B.
  • the hydraulic cylinders 27 include a boom cylinder 27A that operates the boom 26A, an arm cylinder 27B that operates the arm 26B, and a bucket cylinder 27C that operates the bucket 26C.
  • the hydraulic excavator 21 operates. Examples of the motions of the hydraulic excavator 21 include the traveling motion of the traveling body 24, the turning motion of the revolving body 25, the raising and lowering motions of the boom 26A, the digging motion and dumping motion of the arm 26B, and the digging motion and dumping motion of the bucket 26C. be done.
  • FIG. 3 is a perspective view showing the crawler dump 23 according to the embodiment.
  • the crawler dump 23 has a traveling body 28 , a vehicle body 29 and a dump body 30 .
  • the running body 28 has a pair of crawler belts.
  • the crawler dump 23 can travel the construction site 2 by the traveling body 28 .
  • the dump body 30 is a member on which cargo is loaded.
  • the hydraulic excavator 21 can load a cargo onto the dump body 30 using the working machine 26 .
  • the dump body 30 can be lifted by a hoist cylinder (not shown) to discharge the cargo.
  • the crawler dump 23 operates. Examples of the operation of the crawler dump 23 include a traveling operation of the traveling body 28 and a lowering operation and a dumping operation of the dump body 30 .
  • FIG. 4 is a functional block diagram showing the construction management system 1 according to the embodiment.
  • the construction management system 1 includes an aircraft 8, an aircraft 11, a management device 3 placed at the construction site 2, a server 4, and a remote location 13 located at the construction site 2. and an information terminal 5 .
  • the flying object 8 has a position sensor 14, an attitude sensor 15, and a detection device 9.
  • the position sensor 14 detects the position of the flying object 8.
  • a position sensor 14 detects the position of the aircraft 8 using the Global Navigation Satellite System (GNSS).
  • the position sensor 14 includes a GNSS receiver (GNSS sensor) and detects the position of the aircraft 8 in the global coordinate system.
  • the attitude sensor 15 detects the attitude of the aircraft 8 .
  • an inertial measurement unit IMU: Inertial Measurement Unit
  • IMU Inertial Measurement Unit
  • the flying object 11 has a position sensor 16, an attitude sensor 17, and a detection device 12.
  • the position sensor 16 includes a GNSS receiver and detects the position of the aircraft 11 in the global coordinate system.
  • the attitude sensor 17 detects the attitude of the aircraft 11 .
  • an inertial measurement unit IMU: Inertial Measurement Unit
  • IMU Inertial Measurement Unit
  • the information terminal 5 has an input device 51 and a display device 52 .
  • the input device 51 is operated by an administrator at the remote location 13.
  • the input device 51 generates input data based on the administrator's operation. Examples of the input device 51 include a touch panel, a computer keyboard, a mouse, or operation buttons.
  • the input device 51 may be a non-contact input device including an optical sensor, or may be a voice input device.
  • the display device 52 displays display data.
  • An administrator at the remote location 13 can confirm the display data displayed on the display device 52 .
  • the display device 52 is exemplified by a flat panel display such as a liquid crystal display (LCD) or an organic electroluminescence display (OELD).
  • LCD liquid crystal display
  • OELD organic electroluminescence display
  • the server 4 includes a current terrain data creation unit 41, a detection data acquisition unit 42, a recognition unit 43, a reflection unit 44, an output unit 45, a selection data acquisition unit 46, a remote operation permission unit 47, a remote operation It has a command section 48 , a current terrain storage section 61 , a work type storage section 62 , a work target storage section 63 and a three-dimensional model storage section 64 .
  • the current topography data creation unit 41 creates current topography data indicating the current topography of the construction site 2 where the work machine 20 operates.
  • the current topography data is three-dimensional topography data representing the current topography of the construction site 2 .
  • Existing terrain includes reference terrain before a given construction is started.
  • the current topography data creation unit 41 creates current topography data based on the detection data of the detection device 12 . As described above, the detection device 12 detects the entire construction site 2 . The current topography data indicates the current topography of the construction site 2 as a whole.
  • the detection device 12 detects the construction site 2 with a first frequency.
  • the detection device 12 detects the construction site 2 only once, for example, before the start of work for the day.
  • the detection device 12 detects the current landform indicating the reference landform before the start of the predetermined construction at the construction site 2 .
  • the current topography data creation unit 41 creates current topography data with a first frequency.
  • the current landform data created by the current landform data creation unit 41 is stored in the current landform storage unit 61 .
  • the current terrain data stored in the current terrain storage unit 61 is updated at a first frequency.
  • the timing at which the detection device 12 detects the construction site 2 is not limited to before the start of work of the day, and may be any timing.
  • the detection data acquisition unit 42 acquires the detection data of the detection device 9 that has detected the work machine 20 and the construction area around the work machine 20 .
  • the detection device 9 detects a portion of the construction site 2.
  • the portion of the construction site 2 detected by the detection device 9 includes a work machine 20 that performs work.
  • the portion of the construction site 2 detected by the detection device 9 includes the construction area around the work machine 20 that performs the work.
  • An example of a construction area detected by the detection device 9 is a construction area in which construction is being performed by the work machine 20 .
  • the detection device 9 detects the construction site 2 with a second frequency higher than the first frequency.
  • the detection device 9 continuously detects the construction site 2, for example, for a certain period of time.
  • the detection device 9 continuously detects the construction site 2, for example, only while the working machine 20 is working. Note that the detection device 9 may always detect the construction site 2 .
  • the detection data acquisition unit 42 acquires the detection data of the detection device 9 at a second frequency.
  • the detection data acquired by the detection data acquisition unit 42 is updated more frequently than the current terrain data.
  • the recognition unit 43 recognizes objects on the construction site 2 based on the detection data acquired by the detection data acquisition unit 42 . As described above, the work machine 20 and the person WM are exemplified as objects.
  • the recognition unit 43 recognizes objects using artificial intelligence (AI) that analyzes input data by an algorithm and outputs output data.
  • AI artificial intelligence
  • the input data is the image data of the construction site 2 acquired by the detection device 9, and the output data is the object.
  • the recognition unit 43 has a learning model generated by learning the feature amount of the object.
  • the learning model includes a learning model generated by learning the feature amount of work machine 20 and a learning model generated by learning the feature amount of person WM.
  • machine learning is performed using a learning image including an object as teacher data, thereby generating a learning model that takes as input the feature amount of the object and outputs the object.
  • the recognition unit 43 can recognize the object by inputting the image data of the construction site 2 acquired by the detection device 9 into the learning model.
  • the reflection unit 44 generates reflection data in which the detection data acquired by the detection data acquisition unit 42 is reflected in the current terrain data.
  • the current topographical data is three-dimensional topographical data of the entire construction site 2 detected by the detecting device 12 at the first frequency.
  • the detection data includes three-dimensional terrain data of a construction area that is part of the construction site 2 detected by the detection device 9 at the second frequency.
  • the detection data acquired by the detection data acquisition unit 42 are sequentially updated at the second frequency.
  • the reflection unit 44 sequentially reflects the detection data acquired by the detection data acquisition unit 42 on a part of the current terrain data at a second frequency. At least part of the current terrain data is sequentially updated with the detection data acquired by the detection data acquisition unit 42 .
  • the detection data acquired by the detection data acquisition unit 42 includes updated topography data indicating the updated topography of the construction area.
  • Post-update topography includes the latest topography during or after construction.
  • the updated terrain data is updated with a second frequency.
  • the reflection unit 44 reflects the updated terrain data acquired by the detection data acquisition unit 42 on the current terrain data stored in the current terrain storage unit 61 .
  • the detection data acquired by the detection data acquisition unit 42 includes non-terrain data indicating objects on the construction site 2 .
  • the non-terrain data is three-dimensional data representing objects on the construction site 2 .
  • Non-terrain data is updated at a second frequency.
  • the reflection unit 44 reflects the non-terrain data acquired by the detection data acquisition unit 42 on the current terrain data stored in the current terrain storage unit 61 .
  • the reflection unit 44 reflects the updated topography data of the construction area from which the non-topography data has been removed from the detection data acquired by the detection data acquisition unit 42, in the current topography data.
  • Non-terrain data representing an object is recognized by the recognition unit 43 .
  • the reflecting unit 44 removes the non-terrain data from the detection data to generate updated terrain data.
  • the reflection unit 44 generates reflection data in which the object is reflected.
  • the reflection data generated by the reflection unit 44 includes the updated terrain data of the construction area.
  • the reflected data generated by the reflecting unit 44 includes the object recognized by the recognizing unit 43.
  • the reflected data generated by the reflecting unit 44 includes the three-dimensional model of the working machine 20 recognized by the recognizing unit 43 .
  • the three-dimensional model of work machine 20 includes computer graphics (CG) of work machine 20 .
  • the three-dimensional model of the work machine 20 is a three-dimensional model that represents the work machine 20, and is constructed for each part that constitutes the work machine 20, such as the traveling body 24, the revolving body 25, and the work machine 26, for example. be.
  • a three-dimensional model of work machine 20 is stored in advance in three-dimensional model storage unit 64 .
  • the reflected data generated by the reflecting unit 44 includes a symbol image indicating the position of the object.
  • a symbol image is image data that emphasizes the position of an object.
  • a reflecting unit 44 generates a symbol image based on the recognition result of the recognizing unit 43 .
  • the output unit 45 outputs the reflection data generated by the reflection unit 44 to the information terminal 5 .
  • the output unit 45 transmits the reflection data to the information terminal 5 via the communication system 10 .
  • the output unit 45 causes the display device 52 to display the reflection data generated by the reflection unit 44 .
  • the output unit 45 causes the display device 52 to display the work machine 20 that can be remotely controlled.
  • the output unit 45 causes the display device 52 to display the reflection data reflecting the updated landform data together with the work machine 20 .
  • the output unit 45 causes the display device 52 to display the three-dimensional model of the work machine 20 .
  • the selection data acquisition unit 46 acquires machine selection data indicating that the remote-controlled work machine 20 among the work machines 20 displayed on the display device 52 has been designated.
  • the administrator at the remote location 13 can operate the input device 51 to specify the work machine 20 to be remotely controlled.
  • Machine selection data is generated by operating the input device 51 .
  • the selection data acquisition unit 46 acquires from the input device 51 machine selection data indicating that the remote-controlled work machine 20 has been specified.
  • the remote operation permitting unit 47 permits starting remote operation of the work machine 20 based on the machine selection data acquired by the selection data acquisition unit 46 .
  • the remote control command unit 48 transmits a remote control command to the work machine 20 permitted to start remote control.
  • a work type corresponding to each of the plurality of work machines 20 is stored in the work type storage unit 62 .
  • the work target storage unit 63 stores work targets corresponding to each of a plurality of work types.
  • a three-dimensional model of the working machine 20 is stored in the three-dimensional model storage unit 64 .
  • the flying object 8 is equipped with the position sensor 14 and the attitude sensor 15 .
  • a position sensor 14 can detect the position of the detection device 9 .
  • the orientation sensor 15 can detect the orientation of the detection device 9 .
  • the orientation sensor 15 can detect the orientation of the detection device 9 .
  • Attitude includes, for example, roll angle, pitch angle, and yaw angle. The yaw angle may be calculated based on detection data from two GNSS sensors provided on the aircraft 8 .
  • a detection device 9 detects three-dimensional data of the construction site 2 .
  • the three-dimensional data of the construction site 2 includes relative distances and relative positions between the detection device 9 and each of a plurality of detection points defined as detection targets.
  • the recognition unit 43 and the reflection unit 44 recognize the position of the three-dimensional data to be detected in the global coordinate system, for example, based on the detection data of the position sensor 14, the detection data of the orientation sensor 15, and the detection data of the detection device 9. can be calculated. Further, the recognition unit 43 and the reflection unit 44 can perform a predetermined coordinate transformation to calculate the position of the three-dimensional data to be detected in the local coordinate system defined for the construction site 2, for example.
  • the detection target of the detection device 9 includes updated landforms and objects.
  • the current topography data creation unit 41 generates a map in a local coordinate system defined for the construction site 2, for example, based on the detection data of the position sensor 16, the detection data of the orientation sensor 17, and the detection data of the detection device 12.
  • the position of the three-dimensional data to be detected can be calculated.
  • the detection target of the detection device 12 includes the current terrain.
  • the recognition unit 43 can recognize the presence or absence of an object and the position of the object based on the detection data acquired by the detection data acquisition unit 42 .
  • the recognition unit 43 when recognizing the position of the person WM, the recognition unit 43 recognizes the person WM based on the two-dimensional image acquired by the monocular camera of the detection device 9 .
  • the recognition unit 43 also acquires the three-dimensional topographical data of the construction site 2 .
  • the recognition unit 43 can recognize the position of the person WM at the construction site 2 based on the person WM recognized based on the two-dimensional image.
  • a person WM recognized based on two-dimensional images acquired by two monocular cameras that constitute a stereo camera is subjected to image processing based on the principle of triangulation to determine the three-dimensional position of the person WM.
  • the position of the person WM at the construction site 2 can be recognized by calculating and correlating it with the three-dimensional topographical data of the construction site 2 .
  • by calculating the three-dimensional position of the person WM recognized based on the two-dimensional image using the detection values of the laser sensor and the radar sensor and making it correspond to the three-dimensional topography data of the construction site 2, may recognize the position of the person WM in .
  • the recognition unit 43 may recognize the position of the person WM from the three-dimensional data of the construction site 2 .
  • the recognition unit 43 may recognize the position of the person WM based on the detection data of the position sensor possessed by the person WM.
  • the recognition unit 43 can recognize the position of the person WM based on the detection data of the GNSS sensor of the smartphone.
  • the position sensor possessed by the person WM may be a beacon.
  • the position of the person WM at the construction site 2 can be determined from the coordinates of the person WM on the two-dimensional image recognized based on the two-dimensional image, the three-dimensional position and posture of the detection device 9, and the three-dimensional terrain data. It may be estimated by geometric calculation.
  • the recognition unit 43 can recognize the operation of the working machine 20 based on the detection data acquired by the detection data acquisition unit 42 .
  • the hydraulic excavator 21 can operate the traveling body 24 , the revolving body 25 , and the working machine 26 .
  • the crawler dump 23 can operate the traveling body 28 and the dump body 30 .
  • the reflecting unit 44 can move the three-dimensional model in synchronization with the work machine 20 .
  • FIG. 5 is a flow chart showing a construction management method according to the embodiment.
  • the current topography data creation unit 41 creates current topography data of the construction site 2 where the work machine 20 operates (step S1).
  • FIG. 6 is a diagram showing current terrain data according to the embodiment.
  • the current topography data is three-dimensional topography data representing the current topography of the entire construction site 2 .
  • the current topography data creation unit 41 acquires the detection data of the detection device 12 .
  • the current topography data creation unit 41 creates current topography data based on the detection data of the detection device 12 .
  • the current topography data created by the current topography data creation unit 41 is stored in the current topography storage unit 61 .
  • the output unit 45 can transmit the current terrain data to the information terminal 5 .
  • the display device 52 can display the current terrain as shown in FIG.
  • a detection device 9 mounted on the aircraft 8 detects the construction site 2 .
  • the detection device 9 detects, for example, the work machine 20 that is performing work and the construction area around the work machine 20 .
  • Detection data of the detection device 9 is transmitted to the management device 3 via the cable 7 .
  • the management device 3 transmits detection data of the detection device 9 to the server 4 .
  • the detection data acquisition unit 42 acquires the detection data of the detection device 9 that has detected the work machine 20 and the construction area around the work machine 20 (step S2).
  • the recognition unit 43 recognizes that an object exists at the construction site 2 based on the detection data acquired by the detection data acquisition unit 42 (step S3).
  • the reflection unit 44 reflects the detection data acquired by the detection data acquisition unit 42 on the current landform data stored in the current landform storage unit 61 to generate reflection data.
  • the detection data acquired by the detection data acquisition unit 42 includes updated terrain data of the construction area indicating a portion of the construction site 2 .
  • the reflecting unit 44 reflects the updated topographical data on the current topographical data.
  • the detection data including the excavation location is acquired by the detection data acquisition unit 42 as updated terrain data.
  • the updated terrain data includes excavation locations excavated by the hydraulic excavator 21 .
  • the reflecting unit 44 synthesizes a part of the current terrain data and the updated terrain data.
  • the reflecting unit 44 applies the updated topographic data to a part of the current topographic data. As a result, reflection data is generated in which the updated landform data including the excavation location is reflected.
  • the detection data acquired by the detection data acquisition unit 42 includes updated terrain data of the construction area.
  • the reflecting unit 44 generates reflected data by reflecting the updated topographical data on the current topographical data.
  • the reflection unit 44 generates reflection data in which the object is reflected.
  • the output unit 45 outputs the reflection data generated by the reflection unit 44 to the information terminal 5 .
  • the display device 52 displays the reflected data transmitted from the output unit 45 .
  • FIG. 7 is a diagram showing a display example of the display device 52 according to the embodiment.
  • the display device 52 can display the reflected data.
  • the reflected data includes image data of the construction area. For example, as construction progresses in the construction area, at least a portion of the topography of the construction site 2 changes, as shown in FIG. In the example shown in FIG. 7, the excavation work of the hydraulic excavator 21 creates an excavation location in the construction area.
  • the detection data acquired by the detection data acquisition unit 42 includes updated terrain data of the construction area.
  • the reflecting unit 44 reflects changes in the topography of the construction site 2 on the current topography in real time.
  • the reflecting unit 44 reflects the updated topographical data on the current topographical data in real time.
  • the display device 52 can display the reflection data reflecting the excavation location. By checking the reflected data displayed on the display device 52, the administrator of the remote location 13 can recognize the progress of construction at the construction site 2 in real time.
  • the reflected data includes three-dimensional terrain data in which the updated terrain data is reflected in part of the current terrain data.
  • the reflected data includes the three-dimensional model of work machine 20 recognized by recognition unit 43 .
  • the three-dimensional model of the work machine 20 includes a three-dimensional model 21D of the hydraulic excavator 21, a three-dimensional model 23D of the crawler dump 23, a three-dimensional model 3D of the management device 3, and a three-dimensional model of the flying object 8. Includes Model 8D.
  • the recognition unit 43 calculates the position (three-dimensional position) of the work machine 20 based on the detection data of the detection device 12 acquired by the detection data acquisition unit 42. and posture.
  • the attitude of the work machine 20 includes the inclination of the revolving body 25 with respect to the horizontal plane and the revolving angle of the revolving body 25 with respect to the traveling body 24 .
  • the attitude of work machine 20 includes the angle of work machine 26 .
  • the angle of work implement 26 includes the angle of boom 26A, the angle of arm 26B, and the angle of bucket 26C.
  • the detection data of the detection device 12 includes images acquired by the stereo cameras.
  • the recognition unit 43 can calculate the three-dimensional position and orientation of the work machine 20 based on the detection data of the detection device 12 .
  • the reflection unit 44 updates the three-dimensional model stored in the three-dimensional model storage unit 64 so that the three-dimensional model is placed at the position calculated by the recognition unit 43 and has the posture calculated by the recognition unit 43. Adjust to generate reflected data.
  • the three-dimensional model of the working machine 20 is constructed for each part that constitutes the working machine 20, such as the traveling body 24, the revolving body 25, and the working machine 26, for example.
  • the reflecting unit 44 Based on the angle of the boom 26A, the angle of the arm 26B, the angle of the bucket 26C, and the turning angle of the turning body 25, the reflecting unit 44 changes the angles of the corresponding parts of the three-dimensional model to reproduce the three-dimensional model. adjust.
  • the output unit 45 outputs the reflection data including the three-dimensional model generated by the reflection unit 44 to the display device 52 .
  • the recognition unit 43 may calculate the position of the work machine 20 based on the detection data of one GNSS sensor. Further, the recognition unit 43 may calculate the inclination and the turning angle of the turning body 25 based on the detection data of each of the two GNSS sensors. Further, when a stroke sensor is provided for each of boom cylinder 27A, arm cylinder 27B, and bucket cylinder 27C, recognition unit 43 may calculate the angle of work implement 26 based on the detection data of the stroke sensors. good.
  • the recognition unit 43 detects the flying object based on the detection data of at least one of the two GNSS sensors mounted on the flying object 8. 8 can be calculated.
  • the recognition unit 43 can also calculate the inclination of the flying object 8 based on the detection data of the two GNSS sensors.
  • the recognition unit 43 may calculate the inclination of the flying object 8 based on the detection data of the inertial measurement unit.
  • a recognition unit 43 stores a three-dimensional model of the flying object 8 .
  • the recognition unit 43 adjusts the stored three-dimensional model so that the three-dimensional model is arranged at the calculated position and has the calculated inclination, and displays it on the display device 52 .
  • the reflected data includes a symbol image that indicates the position of the object.
  • the reflected data includes a symbol image 31 indicating the position of the hydraulic excavator 21, a symbol image 32 indicating the position of the crawler dump truck 23, a symbol image 33 indicating the position of the management device 3, and a symbol image 33 indicating the position of the man WM. and a symbol image 34 indicating the position.
  • the reflected data may include at least one of the symbol image 31, the symbol image 32, the symbol image 33, and the symbol image .
  • the reflection unit 44 can generate the symbol image 31 based on the position of the hydraulic excavator 21 recognized by the recognition unit 43 .
  • the symbol image 31 is frame-shaped (box-shaped) surrounding the three-dimensional model 21D.
  • the reflection unit 44 generates reflection data so that the three-dimensional model 21D of the hydraulic excavator 21 and the symbol image 31 are superimposed and displayed.
  • the symbol image 31 may be displayed adjacent to the three-dimensional model 21D.
  • the symbol image 31 may have any shape as long as the hydraulic excavator 21 can be emphasized. Note that the symbol image 31 may be displayed and the three-dimensional model 21D may not be displayed.
  • the reflection unit 44 can generate the symbol image 32 based on the position of the crawler dump 23 recognized by the recognition unit 43 .
  • the reflecting unit 44 can generate the symbol image 33 based on the position of the management device 3 recognized by the recognizing unit 43 .
  • the reflection unit 44 generates the symbol image 34 based on the position of the person WM recognized by the recognition unit 43 .
  • each of the hydraulic excavator 21 and the crawler dump 23 is a work machine 20 that can be remotely controlled.
  • the output unit 45 causes the display device 52 to display the work machine 20 that can be remotely controlled.
  • the remotely controllable work machine 20 displayed on the display device 52 includes the hydraulic excavator 21 (first work machine) and the crawler dump 23 (second work machine) (step S4).
  • the administrator of the remote location 13 operates the input device 51 to designate the work machine 20 to be remotely controlled from the work machines 20 displayed on the display device 52 .
  • FIG. 8 is a diagram showing a display example of the display device 52 according to the embodiment.
  • the input device 51 includes a mouse that operates a pointer that moves on the display screen of the display device 52 .
  • the administrator designates a three-dimensional model 21D showing the hydraulic excavator 21 via the input device 51.
  • the symbol image 31 is highlighted.
  • the display form of the 3D model 21D may be changed.
  • the color of the three-dimensional model 21D may be changed, or the line type of the frame showing the three-dimensional model 21D may be changed.
  • the selection data acquisition unit 46 acquires machine selection data indicating that the hydraulic excavator 21 has been specified (step S5).
  • the output unit 45 causes the display device 52 to display the work type corresponding to the specified hydraulic excavator 21 (step S6).
  • the work type of the work machine 20 refers to the type of operation or work that the work machine 20 can perform.
  • a work type corresponding to the work machine 20 is predetermined and stored in the work type storage unit 62 .
  • the work type storage unit 62 stores work types corresponding to each of the plurality of work machines 20 .
  • the work type storage unit 62 stores work types for each working machine, such as a work type corresponding to the hydraulic excavator 21, a work type corresponding to the bulldozer 22, and a work type corresponding to the crawler dump 23.
  • the output unit 45 outputs a signal for displaying the work type on the display device 52 based on the machine selection data acquired by the selection data acquisition unit 46 and the data stored in the work type storage unit 62 .
  • the machine selection data indicating that the hydraulic excavator 21 has been specified is acquired by the selection data acquisition unit 46 .
  • the output unit 45 causes the display device 52 to display the work type corresponding to the excavator 21 among the work types of the plurality of work machines 20 stored in the work type storage unit 62 .
  • “movement”, “turning”, “loading”, “excavation”, “recovery”, and “manual operation” are displayed as work types of the hydraulic excavator 21.
  • work machine 20 is self-operating.
  • “Movement” refers to an operation in which the traveling body 24 automatically travels.
  • “Turn” refers to an operation in which the turning body 25 automatically turns.
  • “Loading” refers to an operation in which the work machine 26 automatically loads a load onto a loading object.
  • “Excavation” refers to an operation in which the work machine 26 automatically excavates an object to be excavated.
  • “Collecting” refers to the operation of automatically collecting the cargo dropped on the ground by the working machine 26 in one place.
  • “Manual operation” means remote operation of the hydraulic excavator 21 using an operation lever provided at the remote location 13 .
  • the administrator of the remote location 13 operates the input device 51 to specify the type of work to be performed by the hydraulic excavator 21 from the plurality of work types displayed on the display device 52 .
  • FIG. 9 is a diagram showing a display example of the display device 52 according to the embodiment.
  • the operator operates the input device 51 to designate "loading".
  • the selection data acquisition unit 46 acquires type selection data indicating that "loading" is specified as the type of work to be performed by the hydraulic excavator 21 (step S7).
  • the output unit 45 causes the display device 52 to display the work target corresponding to the specified "loading" (step S8).
  • the work target of the work machine 20 refers to the target on which the work machine 20 performs work.
  • a work target corresponding to the work type is determined in advance and stored in the work target storage unit 63 .
  • the work target storage unit 63 stores work targets corresponding to each of a plurality of work types.
  • the work object storage unit 63 stores a work object corresponding to "moving", a work object corresponding to "swing", a work object corresponding to "loading”, a work object corresponding to "excavation”, and a work object corresponding to "excavation”.
  • a work target corresponding to "recovery” is stored.
  • a “destination” is exemplified as a work target corresponding to "move”.
  • a “turn destination” is exemplified as a work target corresponding to "turn".
  • work targets corresponding to "loading” include “crawler dump” and “loading destination”.
  • An example of an operation target corresponding to "excavation” is “excavation destination”.
  • a “collection destination” is exemplified as an operation target corresponding to "collection”.
  • the output unit 45 outputs a signal for displaying the work target on the display device 52 based on the type selection data acquired by the selection data acquisition unit 46 and the data stored in the work target storage unit 63 .
  • the selection data acquisition unit 46 acquires type selection data indicating that "loading" has been specified.
  • the output unit 45 causes the display device 52 to display the work target corresponding to “loading” among the plurality of work targets stored in the work target storage unit 63 .
  • FIG. 10 is a diagram showing a display example of the display device 52 according to the embodiment.
  • the administrator of the remote site 13 operates the input device 51 to specify a three-dimensional model 23D representing the crawler dump 23 from among the plurality of work targets displayed on the display device 52. do.
  • the symbol image 32 is highlighted.
  • the selection data acquisition unit 46 acquires target selection data indicating that the crawler dump 23 has been specified as the work target (step S9).
  • the administrator at the remote site 13 After specifying the hydraulic excavator 21, the work type, and the work target, the administrator at the remote site 13 starts remote control of the hydraulic excavator 21.
  • FIG. 11 is a diagram showing a display example of the display device 52 according to the embodiment.
  • the display device 52 displays the "execute” symbol.
  • the operator operates the “execute” symbol via the input device 51 .
  • the remote operation permitting unit 47 determines whether or not to permit the start of remote operation based on the designated work type and the surrounding conditions of the hydraulic excavator 21 (step S10).
  • the remote operation permitting unit 47 performs remote operation. does not allow the start of
  • the recognition unit 43 can recognize obstacles based on the detection data acquired by the detection data acquisition unit 42 .
  • the recognition unit 43 can recognize obstacles by using artificial intelligence, for example. If the recognized obstacle exists around work machine 20, remote operation permission unit 47 does not determine to permit the start of remote operation. Further, when the recognized obstacle is between the work machine 20 and the work target, the remote operation permission unit 47 may not determine to permit the start of the remote operation.
  • the recognition unit 43 can recognize the loading target, which is the work target, by using artificial intelligence, for example.
  • the remote operation permitting unit 47 does not determine to permit the start of remote operation.
  • the recognition unit 43 can recognize the current load amount of the dump body 30 and the load amount of the work machine 20 by using artificial intelligence, for example. When the recognizing unit 43 recognizes that there is a situation in which the dump body 30 cannot be loaded based on the current load amount of the dump body 30 and the load amount of the work machine 20, the remote operation permitting unit 47 does not determine to permit the start of remote operation.
  • step S10 if the start of remote control is not permitted (step S10: No), remote control of the hydraulic excavator 21 is not performed. No remote operation command is output from the remote operation command unit 48 .
  • step S10 when the start of remote operation is permitted (step S10: Yes), a remote operation command is transmitted from the remote operation command unit 48 to the hydraulic excavator 21 (step S11).
  • the hydraulic excavator 21 starts loading the crawler dump 23 based on the remote control command.
  • the reflected data displayed on the display device 52 includes the three-dimensional model 21D that moves in synchronization with the hydraulic excavator 21.
  • the recognition unit 43 can recognize the motion of the work machine 20 .
  • the reflection unit 44 can move the three-dimensional model 21D on the display device 52 based on the motion of the hydraulic excavator 21 recognized by the recognition unit 43 so as to synchronize with the motion of the hydraulic excavator 21 .
  • the three-dimensional model 21D of the excavator 21 moves in synchronization with the excavator 21 on the display device 52 .
  • FIG. 11 shows an example in which the boom of the three-dimensional model 21D is raised in synchronization with the boom 26A of the hydraulic excavator 21 being raised.
  • the remote operation permission unit 47 determines whether or not the remote operation has ended (step S12).
  • step S12 If it is determined in step S12 that the remote operation has ended (step S12: Yes), the construction management method according to the embodiment ends. If it is determined in step S12 that the remote operation has not ended (step S12: No), the processing from step S2 to step S11 is repeated.
  • the administrator at the remote site 13 operates the input device 51 to switch the remotely controlled work machine 20 from the hydraulic excavator 21 to the crawler dump truck 23 .
  • the administrator of the remote site 13 designates the three-dimensional model 23D of the crawler dump 23 displayed on the display device 52 via the input device 51 .
  • the selection data acquiring unit 46 acquires machine selection data indicating that the crawler dump truck 23 has been specified (step S5).
  • the work type corresponding to the crawler dump 23 is displayed on the display device 52 (step S6).
  • the selection data acquisition unit 46 acquires target selection data indicating that the "first unloading position" has been specified (step S9).
  • the "first unloading position” is specified, it is determined whether or not to permit the start of remote control (step S10). For example, if there is an obstacle between the loading position and the first unloading position, the start of remote control is not permitted.
  • the crawler dump truck 23 leaves the loading position and starts traveling toward the first dumping position.
  • the remote operation command may be transmitted to the other work machine 20 until the remote operation command is transmitted from the remote operation command unit 48 to the work machine 20 and the remote operation of the work machine 20 is completed. .
  • the remote control of the working machine 20 is completed, another working machine 20 displayed on the display device 52 is designated, and the work type and work target of the other working machine 20 are designated. good too. Further, it may be determined whether or not to permit the start of remote control of another work machine 20 .
  • FIG. 12 is a block diagram showing a computer system 1000 according to an embodiment.
  • the server 4 described above includes a computer system 1000 .
  • a computer system 1000 includes a processor 1001 such as a CPU (Central Processing Unit), a main memory 1002 including non-volatile memory such as ROM (Read Only Memory) and volatile memory such as RAM (Random Access Memory), It has a storage 1003 and an interface 1004 including an input/output circuit.
  • the functions of the server 4 described above are stored in the storage 1003 as computer programs.
  • the processor 1001 reads a computer program from the storage 1003, develops it in the main memory 1002, and executes the above-described processing according to the program. Note that the computer program may be distributed to the computer system 1000 via a network.
  • a computer program or computer system 1000 causes display device 52 to display remotely operable work machine 20, obtains machine selection data indicating that work machine 20 has been designated, and permitting initiation of remote control of work machine 20 based on the machine selection data.
  • the remotely controllable working machine 20 is displayed on the display device 52 .
  • the administrator of the remote location 13 can designate the working machine 20 to be remotely controlled via the input device 51 .
  • the manager of the remote site 13 can arbitrarily select the work machine 20 to be remotely controlled according to the situation of the construction site 2 .
  • machine selection data is generated indicating that the work machine 20 to be remotely controlled has been designated. Once the machine selection data is generated, remote control of the designated work machine 20 is permitted to begin. If work machine 20 is not specified, remote control of work machine 20 is not permitted.
  • the manager of the remote site 13 can arbitrarily select the work machine 20 that he wishes to remotely control according to the situation of the construction site 2 . Therefore, a decrease in construction efficiency at the construction site 2 is suppressed.
  • remote control of the hydraulic excavator 21 is permitted to start. If crawler dump 23 is specified, start of remote control of crawler dump 23 is permitted.
  • a manager at the remote location 13 can remotely operate the plurality of work machines 20 in sequence.
  • the work type corresponding to the work machine 20 designated as a remote control target is displayed on the display device 52 . This allows the administrator of the remote site 13 to select the type of work.
  • a work type corresponding to each of the plurality of work machines 20 is stored in the work type storage unit 62 in advance. Therefore, the output unit 45 can display the work type on the display device 52 based on the machine selection data and the data stored in the work type storage unit 62 .
  • a work target corresponding to the type of work to be performed by the work machine 20 designated as a remote control target is displayed on the display device 52 . This allows the administrator at the remote location 13 to select a work target.
  • Work targets corresponding to each of a plurality of work types are stored in the work target storage unit 63 in advance. Therefore, the output unit 45 can display the work target on the display device 52 based on the type selection data and the data stored in the work target storage unit 63 .
  • the remote operation permitting unit 47 determines whether or not to permit the start of remote operation based on the specified work type and the surrounding conditions of the work machine 20 . As a result, remote control is not started in situations where remote control is inappropriate.
  • the other work machine 20 displayed on the display device 52 is specified, and the other work machine 20 is designated.
  • the work type and work target of the work machine 20 can be specified. As a result, remote control of the plurality of work machines 20 can be efficiently performed.
  • only one remotely controllable work machine 20 may be displayed on the display device 52 .
  • the start of remote control of the work machine 20 is permitted. If the work machine 20 displayed on the display device 52 is not specified via the input device 51, the start of remote control of the work machine 20 is not permitted.
  • the administrator at the remote site 13 can remotely operate the work machine 20 after being permitted to start remote operation of the work machine 20 .
  • the administrator at the remote site 13 operates the mouse as the input device 51 to designate the work machine 20 to be remotely controlled, select the work type, and designate the work target. It was decided to.
  • the manager at the remote location 13 can specify the work machine 20 to be remotely controlled, specify the work type, or specify the work target by voice. You can
  • the output unit 45 causes the display device 52 to display the work type corresponding to the designated work machine 20, or causes the display device 52 to display the work target corresponding to the designated work type.
  • the output unit 45 may cause the voice output device to output the work type corresponding to the designated work machine 20, or may output the work type corresponding to the designated work type.
  • the work target may be output to an audio output device.
  • the work machine 20 may have a driver on board.
  • the administrator at the remote site 13 can operate the input device 51 to specify the work type and work target.
  • the type selection data and object selection data specified by the input device 51 are transmitted to the hydraulic excavator 21 via the communication system 10 .
  • An output device for outputting the type selection data and the object selection data specified by the input device 51 is arranged in the driver's cab of the hydraulic excavator 21 .
  • a monitor and a speaker are exemplified as an output device.
  • a driver of the hydraulic excavator 21 may operate the hydraulic excavator 21 based on the type selection data and the target selection data designated by the input device 51 . For example, when "loading" is specified and "first dump truck" is specified as a loading target, the operator of the hydraulic excavator 21 operates the hydraulic excavator 21 to load the "first dump truck". Loading operations can be carried out.
  • the recognition unit 43 recognizes the position of the work machine 20 based on the detection data of the detection device 9.
  • work machine 20 may be provided with a position sensor that detects the position of work machine 20, and recognition unit 43 may recognize the position of work machine 20 based on the detection data of the position sensor.
  • the recognition unit 43 recognizes the operation of the work machine 20 based on the detection data of the detection device 9.
  • a motion sensor that detects the motion of work machine 20 may be provided in work machine 20, and recognition unit 43 may recognize the motion of work machine 20 based on detection data of the motion sensor.
  • motion sensors include an angle sensor that detects the motion of the work machine 26 and a stroke sensor that detects the amount of expansion and contraction of the hydraulic cylinder 27 .
  • the recognition unit 43 may recognize objects based on pattern matching, for example, without using artificial intelligence.
  • the recognition unit 43 can recognize the object by matching the template representing the person WM with the image data of the construction site 2 .
  • the detection device 9 does not have to be mounted on the aircraft 8.
  • the detection device 9 may be mounted, for example, on the work machine 20 or may be attached to a structure present at the construction site 2 . The same applies to the detection device 12 as well.
  • the work type storage unit 62 pre-stores work types corresponding to each of the plurality of work machines 20 . Further, the work target storage unit 63 stores in advance work targets corresponding to each of a plurality of work types. In another embodiment, the work machine 20 transmits information indicating work types and work targets corresponding to each of a plurality of work types to the server 4 via the communication system 10, and the output unit 45 receives Based on the information, the work type and the work target may be displayed on the display device 52 .
  • Each of the terrain storage unit 61, the work type storage unit 62, and the work target storage unit 63 may be configured by separate hardware.
  • the functions of the current terrain data creation unit 41, the functions of the detection data acquisition unit 42, the functions of the recognition unit 43, the functions of the reflection unit 44, the functions of the output unit 45, the functions of the selection data acquisition unit 46, and the remote operation permission unit 47 , the function of the remote operation command unit 48, the function of the current terrain storage unit 61, the function of the work type storage unit 62, and the function of the work target storage unit 63 may be provided in the management device 3. , may be provided in a server different from the server 4 .
  • the management device 3 is supported by the traveling device 6 and can travel on the construction site 2.
  • the management device 3 may be mounted on the work machine 20 or installed at a predetermined position on the construction site 2 .
  • the detection device 12 detects the entire construction site 2, and the detection device 9 detects a part of the construction site 2.
  • the detection device 9 may detect the entire construction site 2 .
  • the detection targets of the detection device 9 are not limited to the topography of the construction site 2, the work machine 20 and the man WM. In other embodiments, the detection device 9 may detect construction materials.
  • the information terminal 5 does not have to be located at the remote location 13 of the construction site 2.
  • the information terminal 5 may be mounted on the work machine 20, for example. Also, the information terminal 5 may be omitted.
  • the progress of construction may be output from the monitor to work machine 20 .
  • a monitor may include an input device as well as a display device.
  • the output unit 45 causes the display device 52 to display the work machine 20 that can be remotely controlled.
  • the display device 52 may display the remotely operable work machine 20 and the non-remotely operable work machine 20 .
  • the working machine 20 is not limited to including the hydraulic excavator 21, the bulldozer 22, and the crawler dump 23.
  • work machine 20 may include excavator 21 , bulldozer 22 , and portions of crawler dump 23 . It may also include other types of work machines.
  • the position of the flying object 8 is detected using the global navigation satellite system (GNSS) and the attitude of the flying object 8 is detected using the inertial measurement device.
  • GNSS global navigation satellite system
  • SLAM Simultaneous Localization and Mapping
  • SLAM may be used to detect the position and attitude of the aircraft 8 .
  • SLAM may be used to detect the position and orientation of the flying object 11 and work machine 20 .
  • SYMBOLS 1 Construction management system, 2... Construction site, 3... Management apparatus, 3D... Three-dimensional model, 4... Server (data processing apparatus), 5... Information terminal, 6... Traveling device, 7... Cable, 8... Aircraft, 8D Three-dimensional model 9 Detecting device 10 Communication system 11 Flight object 12 Detecting device 13 Remote location 14 Position sensor 15 Attitude sensor 16 Position sensor 17 Attitude sensor , 20... Working machine, 21... Hydraulic excavator, 21D... Three-dimensional model, 22... Bulldozer, 23... Crawler dump, 23D... Three-dimensional model, 24... Traveling body, 25... Rotating body, 26... Working machine, 26A... Boom , 26B... arm, 26C... bucket, 27... hydraulic cylinder, 27A...

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Structural Engineering (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Strategic Management (AREA)
  • Mining & Mineral Resources (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Conveying And Assembling Of Building Elements In Situ (AREA)

Abstract

施工管理システムは、遠隔操作可能な作業機械を表示装置に表示させる出力部と、作業機械が指定されたことを示す機械選択データを取得する選択データ取得部と、機械選択データに基づいて作業機械の遠隔操作の開始を許可する遠隔操作許可部と、を備える。

Description

施工管理システム、データ処理装置、及び施工管理方法
　本開示は、施工管理システム、データ処理装置、及び施工管理方法に関する。
　施工管理システムに係る技術分野において、特許文献１に開示されているような遠隔操作システムが知られている。
特開２０１６－１６０７４１号公報
　施工現場に複数の作業機械が存在する場合、施工現場の状況に合わせて遠隔操作する作業機械を任意に選択できれば、施工現場の施工効率の低下を抑制できる可能性がある。
　本開示は、施工現場の施工効率の低下を抑制することを目的とする。
　本開示に従えば、遠隔操作可能な作業機械を表示装置に表示させる出力部と、作業機械が指定されたことを示す機械選択データを取得する選択データ取得部と、機械選択データに基づいて作業機械の遠隔操作の開始を許可する遠隔操作許可部と、を備える、施工管理システムが提供される。
　本開示によれば、施工現場の施工効率の低下を抑制することができる。
図１は、実施形態に係る施工管理システムを示す模式図である。 図２は、実施形態に係る油圧ショベルを示す斜視図である。 図３は、実施形態に係るクローラダンプを示す斜視図である。 図４は、実施形態に係る施工管理システムを示す機能ブロック図である。 図５は、実施形態に係る施工管理方法を示すフローチャートである。 図６は、実施形態に係る現況地形データを示す図である。 図７は、実施形態に係る表示装置の表示例を示す図である。 図８は、実施形態に係る表示装置の表示例を示す図である。 図９は、実施形態に係る表示装置の表示例を示す図である。 図１０は、実施形態に係る表示装置の表示例を示す図である。 図１１は、実施形態に係る表示装置の表示例を示す図である。 図１２は、実施形態に係るコンピュータシステムを示すブロック図である。
　以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
［施工管理システム］
　図１は、実施形態に係る施工管理システム１を示す模式図である。施工管理システム１は、施工現場２の施工を管理する。施工現場２において複数の作業機械２０が稼働する。実施形態において、作業機械２０は、油圧ショベル２１、ブルドーザ２２、及びクローラダンプ２３を含む。なお、作業機械２０は、ホイールローダを含んでもよい。また、施工現場２に人ＷＭが存在する。人ＷＭとして、施工現場２で作業する作業者が例示される。なお、人ＷＭは、施工を管理する監督者でもよい。人ＷＭは、見学者でもよい。
　図１に示すように、施工管理システム１は、管理装置３と、サーバ４と、情報端末５と、検出装置９と、検出装置１２とを備える。
　管理装置３は、施工現場２に配置されるコンピュータシステムを含む。管理装置３は、走行装置６に支持される。管理装置３は、走行装置６により施工現場２を走行することができる。走行装置６として、高所作業車、トラック、及び走行ロボットが例示される。サーバ４は、コンピュータシステムを含むデータ処理装置である。サーバ４は、施工現場２に配置されてもよいし、施工現場２の遠隔地に配置されてもよい。情報端末５は、施工現場２の遠隔地１３に配置されるコンピュータシステムである。情報端末５として、パーソナルコンピュータ又はスマートフォンが例示される。管理装置３とサーバ４と情報端末５とは、通信システム１０を介して通信する。通信システム１０として、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local　Area　Network）、携帯電話通信網、及び衛星通信網が例示される。
　検出装置９は、施工現場２を検出する。検出装置９は、施工現場２の３次元データを取得する。検出装置９の検出対象として、施工現場２の地形及び施工現場２に存在する物体が例示される。物体は、可動体及び静止体の一方又は両方を含む。可動体として、作業機械２０及び人ＷＭが例示される。静止体として、木材又は資材が例示される。
　検出装置９により取得される３次元データは、施工現場２の画像データを含む。検出装置９により取得される画像データは、動画データでもよいし静止画データでもよい。検出装置９として、ステレオカメラが例示される。なお、検出装置９は、単眼カメラと３次元計測装置とを含んでもよい。３次元計測装置として、レーザ光を射出することにより検出対象を検出するレーザセンサ（ＬＩＤＡＲ：Light　Detection　and　Ranging）が例示される。なお、３次元計測装置は、赤外光を射出することにより物体を検出する赤外線センサ又は電波を射出することにより物体を検出するレーダセンサ（ＲＡＤＡＲ：Radio　Detection　and　Ranging）でもよい。
　検出装置９は、飛行体８に搭載される。飛行体８として、ドローンのような無人航空機（ＵＡＶ：Unmanned　Aerial　Vehicle）が例示される。検出装置９は、施工現場２の上方から施工現場２を検出する。
　実施形態において、飛行体８と管理装置３とは、ケーブル７により接続される。検出装置９の検出データは、ケーブル７を介して管理装置３に送信される。管理装置３に送信された検出装置９の検出データは、通信システム１０を介してサーバ４に送信される。
　実施形態において、管理装置３は、電源又は発電機を含む。管理装置３は、ケーブル７を介して飛行体８に電力を供給することができる。
　検出装置１２は、施工現場２を検出する。検出装置９と同様、検出装置１２は、施工現場２の３次元データを取得する。検出装置１２により取得される３次元データは、施工現場２の画像データを含む。
　検出装置１２は、飛行体１１に搭載される。検出装置１２は、施工現場２の上方から施工現場２を検出する。飛行体１１にケーブルは接続されない。検出装置１２の検出データは、通信システム１０を介してサーバ４に送信される。
　飛行体１１は、飛行体８よりも上空を飛行することができる。飛行体１１は、飛行体８よりも広範囲を飛行することができる。検出装置１２は、検出装置９よりも施工現場２の広範囲を検出することができる。実施形態において、検出装置１２は、施工現場２の全体を検出する。検出装置９は、施工現場２の一部分を検出する。
［作業機械］
　図２は、実施形態に係る油圧ショベル２１を示す斜視図である。図２に示すように、油圧ショベル２１は、走行体２４と、走行体２４に支持される旋回体２５と、旋回体２５に支持される作業機２６と、作業機２６を駆動する油圧シリンダ２７とを備える。
　走行体２４は、一対の履帯を有する。油圧ショベル２１は、走行体２４により施工現場２を走行することができる。旋回体２５は、走行体２４に支持された状態で旋回する。作業機２６は、旋回体２５に連結されるブーム２６Ａと、ブーム２６Ａに連結されるアーム２６Ｂと、アーム２６Ｂに連結されるバケット２６Ｃとを含む。油圧シリンダ２７は、ブーム２６Ａを動作させるブームシリンダ２７Ａと、アーム２６Ｂを動作させるアームシリンダ２７Ｂと、バケット２６Ｃを動作させるバケットシリンダ２７Ｃとを含む。
　油圧ショベル２１は、動作する。油圧ショベル２１の動作として、走行体２４の走行動作、旋回体２５の旋回動作、ブーム２６Ａの上げ動作及び下げ動作、アーム２６Ｂの掘削動作及びダンプ動作、並びにバケット２６Ｃの掘削動作及びダンプ動作が例示される。
　図３は、実施形態に係るクローラダンプ２３を示す斜視図である。図３に示すように、クローラダンプ２３は、走行体２８と、車体２９と、ダンプボディ３０とを有する。
　走行体２８は、一対の履帯を有する。クローラダンプ２３は、走行体２８により施工現場２を走行することができる。ダンプボディ３０は、積荷が積み込まれる部材である。油圧ショベル２１は、作業機２６を用いてダンプボディ３０に積荷を積み込むことができる。ダンプボディ３０は、不図示のホイストシリンダにより上昇して、積荷を排出することができる。
　クローラダンプ２３は、動作する。クローラダンプ２３の動作として、走行体２８の走行動作、並びにダンプボディ３０の下げ動作及びダンプ動作が例示される。
［サーバ］
　図４は、実施形態に係る施工管理システム１を示す機能ブロック図である。図４に示すように、施工管理システム１は、飛行体８と、飛行体１１と、施工現場２に配置された管理装置３と、サーバ４と、施工現場２の遠隔地１３に配置された情報端末５とを有する。
　飛行体８は、位置センサ１４と、姿勢センサ１５と、検出装置９とを有する。
　位置センサ１４は、飛行体８の位置を検出する。位置センサ１４は、全地球航法衛星システム（ＧＮＳＳ）を利用して飛行体８の位置を検出する。位置センサ１４は、ＧＮＳＳ受信機（ＧＮＳＳセンサ）を含み、飛行体８のグローバル座標系の位置を検出する。姿勢センサ１５は、飛行体８の姿勢を検出する。姿勢センサ１５として、慣性計測装置（ＩＭＵ：Inertial　Measurement　Unit）が例示される。
　飛行体１１は、位置センサ１６と、姿勢センサ１７と、検出装置１２とを有する。
　位置センサ１６は、ＧＮＳＳ受信機を含み、飛行体１１のグローバル座標系の位置を検出する。姿勢センサ１７は、飛行体１１の姿勢を検出する。姿勢センサ１７として、慣性計測装置（ＩＭＵ：Inertial　Measurement　Unit）が例示される。
　情報端末５は、入力装置５１と表示装置５２とを有する。
　入力装置５１は、遠隔地１３に存在する管理者に操作される。入力装置５１は、管理者の操作に基づいて、入力データを生成する。入力装置５１として、タッチパネル、コンピュータ用キーボード、マウス、又は操作ボタンが例示される。なお、入力装置５１は、光学センサを含む非接触型入力装置でもよいし、音声入力装置でもよい。
　表示装置５２は、表示データを表示する。遠隔地１３の管理者は、表示装置５２に表示された表示データを確認することができる。。表示装置５２として、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic　Electroluminescence　Display）のようなフラットパネルディスプレイが例示される。
　サーバ４は、現況地形データ作成部４１と、検出データ取得部４２と、認識部４３と、反映部４４と、出力部４５と、選択データ取得部４６と、遠隔操作許可部４７と、遠隔操作指令部４８と、現況地形記憶部６１と、作業種別記憶部６２と、作業対象記憶部６３と、３次元モデル記憶部６４とを有する。
　現況地形データ作成部４１は、作業機械２０が稼働する施工現場２の現況地形を示す現況地形データを作成する。現況地形データは、施工現場２の現況地形を示す３次元地形データである。現況地形は、所定の施工が開始される前の基準地形を含む。
　現況地形データ作成部４１は、検出装置１２の検出データに基づいて現況地形データを作成する。上述のように、検出装置１２は、施工現場２の全体を検出する。現況地形データは、施工現場２の全体の現況地形を示す。
　実施形態において、検出装置１２は、第１の頻度で施工現場２を検出する。検出装置１２は、例えば１日の始業前に１回だけ施工現場２を検出する。検出装置１２は、施工現場２において所定の施工が開始される前の基準地形を示す現況地形を検出する。現況地形データ作成部４１は、第１の頻度で現況地形データを作成する。現況地形データ作成部４１により作成された現況地形データは、現況地形記憶部６１に記憶される。現況地形記憶部６１に記憶される現況地形データは、第１の頻度で更新される。
　なお、検出装置１２が施工現場２を検出するタイミングは、１日の始業前に限定されず、任意のタイミングでもよい。
　検出データ取得部４２は、作業機械２０及び作業機械２０の周辺の施工エリアを検出した検出装置９の検出データを取得する。
　上述のように、検出装置９は、施工現場２の一部分を検出する。検出装置９により検出される施工現場２の一部分は、作業を実施する作業機械２０を含む。検出装置９により検出される施工現場２の一部分は、作業を実施する作業機械２０の周辺の施工エリアを含む。検出装置９により検出される施工エリアとして、作業機械２０により施工が進行している施工エリアが例示される。
　実施形態において、検出装置９は、第１の頻度よりも高い第２の頻度で施工現場２を検出する。検出装置９は、例えば一定期間だけ施工現場２を連続的に検出する。検出装置９は、例えば作業機械２０の作業が実施されている期間だけ施工現場２を連続的に検出する。なお、検出装置９は、施工現場２を常時検出してもよい。検出データ取得部４２は、第２の頻度で検出装置９の検出データを取得する。検出データ取得部４２により取得される検出データは、現況地形データよりも高頻度で更新される。
　認識部４３は、検出データ取得部４２により取得された検出データに基づいて、施工現場２の物体を認識する。上述のように、物体として、作業機械２０及び人ＷＭが例示される。
　認識部４３は、入力データをアルゴリズムにより解析して出力データを出力する人工知能（ＡＩ：Artificial　Intelligence）を利用して物体を認識する。入力データは検出装置９により取得された施工現場２の画像データであり、出力データは物体である。
　認識部４３は、物体の特徴量を学習することにより生成された学習モデルを保有する。学習モデルは、作業機械２０の特徴量を学習することにより生成された学習モデルと、人ＷＭの特徴量を学習することにより生成された学習モデルとを含む。学習モデルの生成においては、物体を含む学習画像を教師データとして機械学習が実施されることにより、物体の特徴量を入力とし物体を出力する学習モデルが生成される。認識部４３は、検出装置９により取得された施工現場２の画像データを学習モデルに入力して、物体を認識することができる。
　反映部４４は、検出データ取得部４２により取得された検出データを現況地形データに反映した反映データを生成する。現況地形データは、検出装置１２により第１の頻度で検出された施工現場２の全体の３次元地形データである。検出データは、検出装置９により第２の頻度で検出された施工現場２の一部分である施工エリアの３次元地形データを含む。検出データ取得部４２により取得される検出データは、第２の頻度で順次更新される。反映部４４は、検出データ取得部４２により取得された検出データを現況地形データの一部分に第２の頻度で順次反映する。現況地形データの少なくとも一部は、検出データ取得部４２により取得された検出データにより順次更新される。
　検出データ取得部４２により取得される検出データは、施工エリアの更新後の地形を示す更新地形データを含む。更新後の地形は、施工中又は施工後の最新地形を含む。更新地形データは、第２の頻度で更新される。反映部４４は、検出データ取得部４２により取得された更新地形データを、現況地形記憶部６１に記憶されている現況地形データに反映する。
　検出データ取得部４２により取得される検出データは、施工現場２の物体を示す非地形データを含む。非地形データは、施工現場２の物体を示す３次元データである。非地形データは、第２の頻度で更新される。反映部４４は、検出データ取得部４２により取得された非地形データを、現況地形記憶部６１に記憶されている現況地形データに反映する。
　実施形態において、反映部４４は、検出データ取得部４２により取得された検出データから非地形データが除去された施工エリアの更新地形データを現況地形データに反映する。物体を示す非地形データは、認識部４３により認識される。反映部４４は、検出データから非地形データを除去して更新地形データを生成する。また、施工現場２に物体が存在する場合、反映部４４は、物体が反映された反映データを生成する。
　反映部４４により生成される反映データは、施工エリアの更新地形データを含む。
　反映部４４により生成される反映データは、認識部４３により認識された物体を含む。
　反映部４４により生成される反映データは、認識部４３により認識された作業機械２０の３次元モデルを含む。作業機械２０の３次元モデルは、作業機械２０のコンピュータグラフィックス（ＣＧ：Computer　Graphics）を含む。
　作業機械２０の３次元モデルとは、作業機械２０を表した３次元モデルであって、例えば走行体２４、旋回体２５、及び作業機２６のような作業機械２０を構成するパーツごとに構築される。作業機械２０の３次元モデルは、３次元モデル記憶部６４に予め記憶されている。
　反映部４４により生成される反映データは、物体の位置を示すシンボル画像を含む。シンボル画像は、物体の位置を強調する画像データである。反映部４４は、認識部４３の認識結果に基づいて、シンボル画像を生成する。
　出力部４５は、反映部４４により生成された反映データを情報端末５に出力する。出力部４５は、通信システム１０を介して、反映データを情報端末５に送信する。
　出力部４５は、反映部４４により生成された反映データを表示装置５２に表示させる。出力部４５は、遠隔操作可能な作業機械２０を表示装置５２に表示させる。出力部４５は、更新地形データが反映された反映データを作業機械２０とともに表示装置５２に表示させる。出力部４５は、作業機械２０の３次元モデルを表示装置５２に表示させる。
　選択データ取得部４６は、表示装置５２に表示された作業機械２０のうち遠隔操作する作業機械２０が指定されたことを示す機械選択データを取得する。遠隔地１３の管理者は、入力装置５１を操作して、遠隔操作する作業機械２０を指定することができる。入力装置５１が操作されることにより、機械選択データが生成される。選択データ取得部４６は、遠隔操作される作業機械２０が指定されたことを示す機械選択データを入力装置５１から取得する。
　遠隔操作許可部４７は、選択データ取得部４６により取得された機械選択データに基づいて、作業機械２０の遠隔操作の開始を許可する。
　遠隔操作指令部４８は、遠隔操作の開始が許可された作業機械２０に遠隔操作指令を送信する。
　作業種別記憶部６２には、複数の作業機械２０のそれぞれに対応する作業種別が記憶されている。
　作業対象記憶部６３には、複数の作業種別のそれぞれに対応する作業対象が記憶されている。
　３次元モデル記憶部６４には、作業機械２０の３次元モデルが記憶されている。
［検出装置と３次元データとの関係］
　上述のように、飛行体８には、位置センサ１４及び姿勢センサ１５が搭載されている。位置センサ１４は、検出装置９の位置を検出することができる。姿勢センサ１５は、検出装置９の姿勢を検出することができる。姿勢センサ１５は、検出装置９の姿勢を検出することができる。姿勢は、例えばロール角、ピッチ角、及びヨー角を含む。ヨー角は、飛行体８に設けられた２つのＧＮＳＳセンサの検出データに基づいて算出されてもよい。検出装置９は、施工現場２の３次元データを検出する。施工現場２の３次元データは、検出装置９と検出対象に規定される複数の検出点のそれぞれとの相対距離及び相対位置を含む。認識部４３及び反映部４４は、位置センサ１４の検出データと、姿勢センサ１５の検出データと、検出装置９の検出データとに基づいて、例えばグローバル座標系における検出対象の３次元データの位置を算出することができる。また、認識部４３及び反映部４４は、所定の座標変換を実施して、例えば施工現場２に規定されたローカル座標系における検出対象の３次元データの位置を算出することができる。検出装置９の検出対象は、更新後の地形及び物体を含む。
　同様に、現況地形データ作成部４１は、位置センサ１６の検出データと、姿勢センサ１７の検出データと、検出装置１２の検出データとに基づいて、例えば施工現場２に規定されたローカル座標系における検出対象の３次元データの位置を算出することができる。検出装置１２の検出対象は、現況地形を含む。
　認識部４３は、検出データ取得部４２により取得された検出データに基づいて、物体の存否及び物体の位置を認識することができる。
　例えば人ＷＭの位置を認識する場合、認識部４３は、検出装置９の単眼カメラで取得された２次元画像に基づいて人ＷＭを認識する。また、認識部４３は、施工現場２の３次元地形データを取得する。認識部４３は、２次元画像に基づいて認識された人ＷＭに基づいて、施工現場２における人ＷＭの位置を認識することができる。例えば、ステレオカメラを構成する２つの単眼カメラで取得された２次元画像に基づいて認識された人ＷＭを、三角測量の原理に基づいて画像処理を実施して、人ＷＭの三次元の位置を算出し、施工現場２の３次元地形データに対応させることにより、施工現場２における人ＷＭの位置を認識することができる。また、レーザセンサやレーダセンサの検出値を用いて２次元画像に基づいて認識された人ＷＭの三次元の位置を算出し、施工現場２の３次元地形データに対応させることにより、施工現場２における人ＷＭの位置を認識してもよい。なお、認識部４３は、施工現場２の３次元データから人ＷＭの位置を認識してもよい。なお、認識部４３は、人ＷＭが所持している位置センサの検出データに基づいて、人ＷＭの位置を認識してもよい。例えば人ＷＭがスマートフォンを所持しており、スマートフォンにＧＮＳＳセンサが搭載されている場合、認識部４３は、スマートフォンのＧＮＳＳセンサの検出データに基づいて、人ＷＭの位置を認識することができる。なお、人ＷＭが所持する位置センサは、ビーコン（Beacon）でもよい。なお、２次元画像に基づいて認識された人ＷＭの２次元画像上の座標と、検出装置９の３次元の位置及び姿勢と、３次元地形データとから、施工現場２における人ＷＭの位置を幾何学計算で推定してもよい。
　また、認識部４３は、検出データ取得部４２により取得された検出データに基づいて、作業機械２０の動作を認識することができる。油圧ショベル２１は、走行体２４、旋回体２５、及び作業機２６を動作させることができる。クローラダンプ２３は、走行体２８及びダンプボディ３０を動作させることができる。反映部４４は、作業機械２０に同期して、３次元モデルを動かすことができる。
［施工管理方法］
　図５は、実施形態に係る施工管理方法を示すフローチャートである。現況地形データ作成部４１は、作業機械２０が稼働する施工現場２の現況地形データを作成する（ステップＳ１）。
　図６は、実施形態に係る現況地形データを示す図である。現況地形データは、施工現場２の全体の現況地形を示す３次元地形データである。現況地形データ作成部４１は、検出装置１２の検出データを取得する。現況地形データ作成部４１は、検出装置１２の検出データに基づいて、現況地形データを作成する。
　現況地形データ作成部４１で作成された現況地形データは、現況地形記憶部６１に記憶される。出力部４５は、現況地形データを情報端末５に送信することができる。表示装置５２は、図６に示すような現況地形を表示することができる。
　施工現場２において作業機械２０の作業が開始されると、施工現場２の地形が変化する。飛行体８に搭載されている検出装置９は、施工現場２を検出する。検出装置９は、例えば作業を実施している作業機械２０及び作業機械２０の周辺の施工エリアを検出する。検出装置９の検出データは、ケーブル７を介して管理装置３に送信される。管理装置３は、検出装置９の検出データをサーバ４に送信する。検出データ取得部４２は、作業機械２０及び作業機械２０の周辺の施工エリアを検出した検出装置９の検出データを取得する（ステップＳ２）。
　認識部４３は、検出データ取得部４２により取得された検出データに基づいて、施工現場２に物体が存在することを認識する（ステップＳ３）。
　反映部４４は、検出データ取得部４２により取得された検出データを現況地形記憶部６１に記憶されている現況地形データに反映して、反映データを生成する。検出データ取得部４２により取得された検出データは、施工現場２の一部分を示す施工エリアの更新地形データを含む。反映部４４は、更新地形データを現況地形データに反映させる。
　例えば油圧ショベル２１により施工現場２の一部が掘削された場合、掘削箇所を含む検出データが更新地形データとして検出データ取得部４２に取得される。更新地形データは、油圧ショベル２１により掘削された掘削箇所を含む。反映部４４は、現況地形データの一部と更新地形データとを合成する。反映部４４は、現況地形データの一部に更新地形データを当てはめる。これにより、掘削箇所を含む更新地形データが反映された反映データが生成される。
　検出データ取得部４２により取得された検出データは、施工エリアの更新地形データを含む。反映部４４は、更新地形データを現況地形データに反映して反映データを生成する。また、反映部４４は、物体が反映された反映データを生成する。
　出力部４５は、反映部４４により生成された反映データを情報端末５に出力する。表示装置５２は、出力部４５から送信された反映データを表示する。
　図７は、実施形態に係る表示装置５２の表示例を示す図である。図７に示すように、表示装置５２は、反映データを表示することができる。反映データは、施工エリアの画像データを含む。例えば施工エリアにおける施工が進行すると、図７に示すように、施工現場２の地形の少なくとも一部が変化する。図７に示す例においては、油圧ショベル２１の掘削作業により施工エリアに掘削箇所が生成される。検出データ取得部４２により取得される検出データは、施工エリアの更新地形データを含む。反映部４４は、施工現場２の地形の変化をリアルタイムで現況地形に反映させる。反映部４４は、更新地形データを現況地形データにリアルタイムに反映させる。図７に示すように、表示装置５２は、掘削箇所が反映された反映データを表示することができる。遠隔地１３の管理者は、表示装置５２に表示された反映データを確認することにより、施工現場２の施工の進捗状況をリアルタイムに認識することができる。
　また、図７に示す例において、施工エリアに物体として油圧ショベル２１とクローラダンプ２３と管理装置３と飛行体８と人ＷＭとが存在する。反映データは、現況地形データの一部に更新地形データを反映させた３次元地形データを含む。反映データは、認識部４３により認識された作業機械２０の３次元モデルを含む。図７に示す例において、作業機械２０の３次元モデルは、油圧ショベル２１の３次元モデル２１Ｄ、クローラダンプ２３の３次元モデル２３Ｄ、管理装置３の３次元モデル３Ｄ、及び飛行体８の３次元モデル８Ｄを含む。
　作業機械２０の３次元モデルを表示装置５２に表示させる場合、認識部４３は、検出データ取得部４２により取得された検出装置１２の検出データに基づいて、作業機械２０の位置（３次元位置）及び姿勢を算出する。作業機械２０の姿勢は、水平面に対する旋回体２５の傾き及び走行体２４に対する旋回体２５の旋回角度を含む。また、作業機械２０の姿勢は、作業機２６の角度を含む。作業機２６の角度は、ブーム２６Ａの角度、アーム２６Ｂの角度、及びバケット２６Ｃの角度を含む。検出装置１２の検出データは、ステレオカメラにより取得された画像を含む。そのため、認識部４３は、検出装置１２の検出データに基づいて、作業機械２０の３次元位置及び姿勢を算出することができる。反映部４４は、３次元モデル記憶部６４に記憶されている３次元モデルが、認識部４３により算出された位置に配置され且つ認識部４３により算出された姿勢になるように、３次元モデルを調整して、反映データを生成する。
　上述のように、作業機械２０の３次元モデルは、例えば、走行体２４、旋回体２５、及び作業機２６のような作業機械２０を構成するパーツごとに構築される。反映部４４は、ブーム２６Ａの角度、アーム２６Ｂの角度、バケット２６Ｃの角度、及び旋回体２５の旋回角度に基づいて、３次元モデルの対応する部分の角度を変更することによって、３次元モデルを調整する。
　出力部４５は、反映部４４により生成された３次元モデルを含む反映データを表示装置５２に出力する。
　なお、作業機械２０の旋回体２５に２つのＧＮＳＳセンサが搭載されている場合、認識部４３は、１つのＧＮＳＳセンサの検出データに基づいて、作業機械２０の位置を算出してもよい。また、認識部４３は、２つのＧＮＳＳセンサのそれぞれの検出データに基づいて、旋回体２５の傾き及び旋回角度を算出してもよい。また、ブームシリンダ２７Ａ、アームシリンダ２７Ｂ、及びバケットシリンダ２７Ｃのそれぞれにストロークセンサが設けられている場合、認識部４３は、ストロークセンサの検出データに基づいて、作業機２６の角度を算出してもよい。
　例えば飛行体８の３次元モデルを表示装置５２に表示させる場合、認識部４３は、飛行体８に搭載されている２つのＧＮＳＳセンサのうち少なくとも一方のＧＮＳＳセンサの検出データに基づいて、飛行体８の位置を算出することができる。また、認識部４３は、２つのＧＮＳＳセンサのそれぞれの検出データに基づいて、飛行体８の傾きを算出することができる。なお、飛行体８に慣性計測装置（ＩＭＵ）が搭載されている場合、認識部４３は、慣性計測装置の検出データに基づいて、飛行体８の傾きを算出してもよい。認識部４３は、飛行体８の３次元モデルを記憶している。認識部４３は、記憶している３次元モデルが算出された位置に配置され算出された傾きになるように、３次元モデルを調整して、表示装置５２に表示させる。
　反映データは、物体の位置を示すシンボル画像を含む。図７に示す例において、反映データは、油圧ショベル２１の位置を示すシンボル画像３１と、クローラダンプ２３の位置を示すシンボル画像３２と、管理装置３の位置を示すシンボル画像３３と、人ＷＭの位置を示すシンボル画像３４とを含む。なお、反映データは、シンボル画像３１、シンボル画像３２、シンボル画像３３、及びシンボル画像３４の少なくとも一つを含んでいればよい。
　反映部４４は、認識部４３により認識された油圧ショベル２１の位置に基づいて、シンボル画像３１を生成することができる。図７に示す例において、シンボル画像３１は、３次元モデル２１Ｄを囲むフレーム状（ボックス状）である。反映部４４は、油圧ショベル２１の３次元モデル２１Ｄとシンボル画像３１とが重畳して表示されるように反映データを生成する。なお、シンボル画像３１は、３次元モデル２１Ｄに隣接して表示されてもよい。３次元モデル２１Ｄがシンボル画像３１により強調されることにより、遠隔地１３の管理者は、油圧ショベル２１の存在を円滑に認識することができる。なお、シンボル画像３１の形状は任意であり、油圧ショベル２１を強調できればよい。なお、シンボル画像３１が表示され、３次元モデル２１Ｄは表示されなくてもよい。
　同様に、反映部４４は、認識部４３により認識されたクローラダンプ２３の位置に基づいて、シンボル画像３２を生成することができる。反映部４４は、認識部４３により認識された管理装置３の位置に基づいて、シンボル画像３３を生成することができる。反映部４４は、認識部４３により認識された人ＷＭの位置に基づいて、シンボル画像３４を生成する。
　実施形態において、油圧ショベル２１及びクローラダンプ２３のそれぞれは、遠隔操作可能な作業機械２０である。出力部４５は、遠隔操作可能な作業機械２０を表示装置５２に表示させる。表示装置５２に表示される遠隔操作可能な作業機械２０は、油圧ショベル２１（第１作業機械）とクローラダンプ２３（第２作業機械）とを含む（ステップＳ４）。
　遠隔地１３の管理者は、入力装置５１を操作して、表示装置５２に表示された作業機械２０から遠隔操作する作業機械２０を指定する。
　図８は、実施形態に係る表示装置５２の表示例を示す図である。実施形態において、入力装置５１は、表示装置５２の表示画面において移動するポインタを操作するマウスを含む。図８に示す例において、管理者は、入力装置５１を介して油圧ショベル２１を示す３次元モデル２１Ｄを指定する。３次元モデル２１Ｄが選択されると、シンボル画像３１が強調表示される。
　なお、３次元モデル２１Ｄが指令された場合、３次元モデル２１Ｄの表示形態が変更されてもよい。例えば、３次元モデル２１Ｄが指令された場合、３次元モデル２１Ｄの色彩が変更されてもよいし、３次元モデル２１Ｄを示すフレームの線種が変更されてもよい。
　選択データ取得部４６は、油圧ショベル２１が指定されたことを示す機械選択データを取得する（ステップＳ５）。
　出力部４５は、指定された油圧ショベル２１に対応する作業種別を表示装置５２に表示させる（ステップＳ６）。
　作業機械２０の作業種別とは、作業機械２０が実施可能な動作又は作業の種類をいう。作業機械２０に対応する作業種別は、予め定められており、作業種別記憶部６２に記憶されている。作業種別記憶部６２には、複数の作業機械２０のそれぞれに対応する作業種別が記憶されている。実施形態において、作業種別記憶部６２には、油圧ショベル２１に対応する作業種別、ブルドーザ２２に対応する作業種別、及びクローラダンプ２３に対応する作業種別などの作業機械ごとの作業種別が記憶されている。
　出力部４５は、選択データ取得部４６により取得された機械選択データと作業種別記憶部６２の記憶データとに基づいて、作業種別を表示装置５２に表示するための信号を出力する。
　実施形態においては、油圧ショベル２１が指定されたことを示す機械選択データが選択データ取得部４６により取得される。出力部４５は、作業種別記憶部６２に記憶されている複数の作業機械２０の作業種別のうち、油圧ショベル２１に対応する作業種別を表示装置５２に表示させる。
　図８に示すように、油圧ショベル２１の作業種別として、「移動」、「旋回」、「積込」、「掘削」、「回収」、及び「マニュアル操作」が表示される。実施形態において、作業機械２０は、自動運転される。「移動」とは、走行体２４が自動で走行する動作をいう。「旋回」とは、旋回体２５が自動で旋回する動作をいう。「積込」とは、作業機２６が自動で積荷を積込対象に積み込む作業をいう。「掘削」とは、作業機２６が自動で掘削対象を掘削する作業をいう。「回収」とは、作業機２６が自動で地面に落下している積荷を一カ所に集める作業をいう。「マニュアル操作」とは、遠隔地１３に設けられている操作レバーを用いて油圧ショベル２１を遠隔操作することをいう。
　遠隔地１３の管理者は、入力装置５１を操作して、表示装置５２に表示された複数の作業種別から油圧ショベル２１に実施させる作業種別を指定する。
　図９は、実施形態に係る表示装置５２の表示例を示す図である。図９に示す例において、操作者は、入力装置５１を操作して、「積込」を指定する。
　選択データ取得部４６は、油圧ショベル２１に実施させる作業種別として「積込」が指定されたことを示す種別選択データを取得する（ステップＳ７）。
　出力部４５は、指定された「積込」に対応する作業対象を表示装置５２に表示させる（ステップＳ８）。
　作業機械２０の作業対象とは、作業機械２０が作業を実施する対象をいう。作業種別に対応する作業対象は、予め定められており、作業対象記憶部６３に記憶されている。作業対象記憶部６３には、複数の作業種別のそれぞれに対応する作業対象が記憶されている。実施形態において、作業対象記憶部６３には、「移動」に対応する作業対象、「旋回」に対応する作業対象、「積込」に対応する作業対象、「掘削」に対応する作業対象、及び「回収」に対応する作業対象が記憶されている。「移動」に対応する作業対象として、「移動先」が例示される。「旋回」に対応する作業対象として、「旋回先」が例示される。「積込」に対応する作業対象として、「クローラダンプ」、「積込先」が例示される。「掘削」に対応する作業対象として、「掘削先」が例示される。「回収」に対応する作業対象として、「回収先」が例示される。
　出力部４５は、選択データ取得部４６により取得された種別選択データと作業対象記憶部６３の記憶データとに基づいて、作業対象を表示装置５２に表示するための信号を出力する。
　実施形態においては、「積込」が指定されたことを示す種別選択データが選択データ取得部４６により取得される。出力部４５は、作業対象記憶部６３に記憶されている複数の作業対象のうち、「積込」に対応する作業対象を表示装置５２に表示させる。
　「積込」に対応する作業対象として、「クローラダンプ」、「積込先」が例示される。
　図１０は、実施形態に係る表示装置５２の表示例を示す図である。図１０に示す例において、遠隔地１３の管理者は、入力装置５１を操作して、作業対象として、表示装置５２に表示された複数の作業対象からクローラダンプ２３を示す３次元モデル２３Ｄを指定する。３次元モデル２３Ｄが選択されると、シンボル画像３２が強調表示される。
　選択データ取得部４６は、作業対象としてクローラダンプ２３が指定されたことを示す対象選択データを取得する（ステップＳ９）。
　油圧ショベル２１と作業種別と作業対象とが指定された後、遠隔地１３の管理者は、油圧ショベル２１の遠隔操作を開始する。
　図１１は、実施形態に係る表示装置５２の表示例を示す図である。図１１に示す例において、表示装置５２に「実行」のシンボルが表示される。操作者は、入力装置５１を介して「実行」のシンボルを操作する。
　遠隔操作許可部４７は、指定された作業種別と油圧ショベル２１の周辺の状況とに基づいて、遠隔操作の開始を許可するか否かを判定する（ステップＳ１０）。
　例えば、油圧ショベル２１の周囲に障害物が存在する場合、積込対象が存在しない場合、又はダンプボディ３０に積荷を積み込めない状況が発生している場合、遠隔操作許可部４７は、遠隔操作の開始を許可しない。認識部４３は、検出データ取得部４２により取得された検出データに基づいて、障害物を認識することができる。認識部４３は、例えば、人工知能を利用することにより障害物を認識することができる。認識した障害物が作業機械２０の周囲にある場合、遠隔操作許可部４７は、遠隔操作の開始を許可すると判定しない。また、認識した障害物が、作業機械２０と作業対象の間にあるとき、遠隔操作許可部４７は、遠隔操作の開始を許可すると判定しないようにしてもよい。同様に、認識部４３は、例えば、人工知能を利用することにより作業対象である積込対象を認識することができる。積込対象が認識されない場合、遠隔操作許可部４７は、遠隔操作の開始を許可すると判定しない。同様に、認識部４３は、例えば、人工知能を利用することによりダンプボディ３０の現在の積荷量と作業機械２０が積込量を認識することができる。認識部４３が、ダンプボディ３０の現在の積荷量と作業機械２０が積込量に基づいて、ダンプボディ３０に積荷を積み込めない状況が発生していると認識する場合、遠隔操作許可部４７は、遠隔操作の開始を許可すると判定しない。
　ステップＳ１０において、遠隔操作の開始が許可されない場合（ステップＳ１０：Ｎｏ）、油圧ショベル２１の遠隔操作は実施されない。遠隔操作指令部４８から遠隔操作指令は出力されない。ステップＳ１０において、遠隔操作の開始が許可された場合（ステップＳ１０：Ｙｅｓ）、遠隔操作指令部４８から油圧ショベル２１に遠隔操作指令が送信される（ステップＳ１１）。
　油圧ショベル２１は、遠隔操作指令に基づいて、クローラダンプ２３に対する積込作業を開始する。
　表示装置５２に表示される反映データは、油圧ショベル２１に同期して動く３次元モデル２１Ｄを含む。上述のように、認識部４３は、作業機械２０の動作を認識することができる。反映部４４は、認識部４３により認識された油圧ショベル２１の動作に基づいて、油圧ショベル２１の動作に同期するように、表示装置５２において３次元モデル２１Ｄを動かすことができる。遠隔操作が開始され、油圧ショベル２１の動作が開始されると、表示装置５２において油圧ショベル２１の３次元モデル２１Ｄが油圧ショベル２１に同期して動く。図１１には、油圧ショベル２１のブーム２６Ａの上げ動作に同期して、３次元モデル２１Ｄのブームが上げ動作する例が示されている。
　遠隔操作許可部４７は、遠隔操作が終了したか否かを判定する（ステップＳ１２）。
　ステップＳ１２において遠隔操作が終了したと判定された場合（ステップＳ１２：Ｙｅｓ）、実施形態に係る施工管理方法が終了する。ステップＳ１２において遠隔操作が終了していないと判定された場合（ステップＳ１２：Ｎｏ）、ステップＳ２からステップＳ１１の処理が繰り返される。
　例えば、クローラダンプ２３に対する油圧ショベル２１の積込が終了すると、遠隔地１３の管理者は、入力装置５１を操作して、遠隔操作する作業機械２０を油圧ショベル２１からクローラダンプ２３に切り換える。遠隔地１３の管理者は、入力装置５１を介して、表示装置５２に表示されているクローラダンプ２３の３次元モデル２３Ｄを指定する。クローラダンプ２３が指定されると、選択データ取得部４６は、クローラダンプ２３が指定されたことを示す機械選択データを取得する（ステップＳ５）。クローラダンプ２３が指定されると、クローラダンプ２３に対応する作業種別が表示装置５２に表示される（ステップＳ６）。クローラダンプ２３に対応する作業種別として、「積込位置への進入」、「積込位置からの退去」、及び「ダンプ動作」が例示される。遠隔地１３の管理者は、例えば「積込位置からの退去」を指定する。選択データ取得部４６は、「積込位置からの退去」が指定されたことを示す種別選択データを取得する（ステップＳ７）。「積込位置からの退去」が指定されると、「積込位置からの退去」に対応する作業対象が表示装置５２に表示される（ステップＳ８）。「積込位置からの退去」に対応する作業対象として、「第１の排土位置」、「第２の排土位置」、及び「第３の排土位置」が例示される。遠隔地１３の管理者は、例えば「第１の排土位置」を指定する。選択データ取得部４６は、「第１の排土位置」が指定されたことを示す対象選択データを取得する（ステップＳ９）。「第１の排土位置」が指定されると、遠隔操作の開始を許可するか否かが判定される（ステップＳ１０）。例えば積込位置と第１の排土位置とに間に障害物が存在する場合、遠隔操作の開始は許可されない。ステップＳ１０において遠隔操作の開始が許可されると、クローラダンプ２３は、積込位置から退去して第１の排土位置に向かって走行を開始する。
　なお、遠隔操作指令部４８から作業機械２０に遠隔操作指令を送信され、作業機械２０の遠隔操作が完了するまでの間に、他の作業機械２０に遠隔操作指令を送信するようにしてもよい。例えば、作業機械２０の遠隔操作が完了するまでの間に、表示装置５２に表示されている他の作業機械２０を指定し、他の作業機械２０の作業種別、作業対象を指定するようにしてもよい。また、他の作業機械２０の遠隔操作の開始を許可するか否かを判定するようにしてもよい。
［コンピュータシステム］
　図１２は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述のサーバ４は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central　Processing　Unit）のようなプロセッサ１００１と、ＲＯＭ（Read　Only　Memory）のような不揮発性メモリ及びＲＡＭ（Random　Access　Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述のサーバ４の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。
　コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、遠隔操作可能な作業機械２０を表示装置５２に表示させることと、作業機械２０が指定されたことを示す機械選択データを取得することと、機械選択データに基づいて作業機械２０の遠隔操作の開始を許可することと、を実行することができる。
［効果］
　以上説明したように、実施形態によれば、遠隔操作可能な作業機械２０が表示装置５２に表示される。遠隔地１３の管理者は、入力装置５１を介して、遠隔操作したい作業機械２０を指定することができる。施工現場２に複数の作業機械２０が存在する場合、遠隔地１３の管理者は、施工現場２の状況に合わせて遠隔操作する作業機械２０を任意に選択することができる。遠隔操作する作業機械２０が指定されると、遠隔操作する作業機械２０が指定されたことを示す機械選択データが生成される。機械選択データが生成されると、指定された作業機械２０の遠隔操作の開始が許可される。作業機械２０が指定されない場合、作業機械２０の遠隔操作は許可されない。遠隔地１３の管理者は、施工現場２の状況に合わせて、遠隔操作したい作業機械２０を任意に選択することができる。そのため、施工現場２の施工効率の低下が抑制される。
　遠隔操作可能な複数の作業機械２０が表示装置５２に表示された場合において、油圧ショベル２１が指定された場合、油圧ショベル２１の遠隔操作の開始が許可される。クローラダンプ２３が指定された場合、クローラダンプ２３の遠隔操作の開始が許可される。遠隔地１３の管理者は、複数の作業機械２０を順次遠隔操作することができる。
　遠隔操作対象に指定された作業機械２０に対応する作業種別が表示装置５２に表示される。これにより、遠隔地１３の管理者は、作業種別を選択することができる。
　複数の作業機械２０のそれぞれに対応する作業種別が作業種別記憶部６２に予め記憶されている。そのため、出力部４５は、機械選択データと作業種別記憶部６２の記憶データとに基づいて、表示装置５２に作業種別を表示させることができる。
　遠隔操作対象に指定された作業機械２０に実施させる作業種別に対応する作業対象が表示装置５２に表示される。これにより、遠隔地１３の管理者は、作業対象を選択することができる。
　複数の作業種別のそれぞれに対応する作業対象が作業対象記憶部６３に予め記憶されている。そのため、出力部４５は、種別選択データと作業対象記憶部６３の記憶データとに基づいて、表示装置５２に作業対象を表示させることができる。
　遠隔操作許可部４７は、指定された作業種別と作業機械２０の周辺の状況とに基づいて、遠隔操作の開始を許可するか否かを判定する。これにより、遠隔操作が不適切な状況においては、遠隔操作が開始されない。
　遠隔操作指令部４８から作業機械２０に遠隔操作指令が送信され、作業機械２０の遠隔操作が完了するまでの間に、表示装置５２に表示されている他の作業機械２０を指定し、他の作業機械２０の作業種別、作業対象を指定することができる。これにより、複数の作業機械２０の遠隔操作を効率良く行うことができる。
［その他の実施形態］
　上述の実施形態において、表示装置５２に表示される遠隔操作可能な作業機械２０は、１台でもよい。表示装置５２に表示された作業機械２０が入力装置５１を介して指定されることにより、作業機械２０の遠隔操作の開始が許可される。表示装置５２に表示された作業機械２０が入力装置５１を介して指定されない場合、作業機械２０の遠隔操作の開始は許可されない。遠隔地１３の管理者は、作業機械２０の遠隔操作の開始が許可された後、作業機械２０を遠隔操作することができる。
　上述の実施形態において、遠隔地１３の管理者は、入力装置５１としてマウスを操作することにより、遠隔操作する作業機械２０を指定したり、作業種別をしてしたり、作業対象を指定したりすることとした。例えば音声入力装置が情報端末５に設けられている場合、遠隔地１３の管理者は、音声により、遠隔操作する作業機械２０を指定したり、作業種別をしてしたり、作業対象を指定したりしてもよい。
　上述の実施形態において、出力部４５は、指定された作業機械２０に対応する作業種別を表示装置５２に表示させたり、指定された作業種別に対応する作業対象を表示装置５２に表示させたりすることとした。例えば音声出力装置が情報端末に設けられている場合、出力部４５は、指定された作業機械２０に対応する作業種別を音声出力装置に出力させてもよいし、指定された作業種別に対応する作業対象を音声出力装置に出力させてもよい。
　上述の実施形態において、作業機械２０に運転者が搭乗していてもよい。例えば油圧ショベル２１に運転者が搭乗している場合、遠隔地１３の管理者は、入力装置５１を操作して、作業種別及び作業対象を指定することができる。入力装置５１により指定された種別選択データ及び対象選択データは、通信システム１０を介して油圧ショベル２１に送信される。油圧ショベル２１の運転室には、入力装置５１により指定された種別選択データ及び対象選択データを出力する出力装置が配置される。出力装置として、モニタ及びスピーカが例示される。油圧ショベル２１の運転者は、入力装置５１により指定された種別選択データ及び対象選択データに基づいて、油圧ショベル２１を操作してもよい。例えば「積込」が指定され、積込対象として「第１のダンプトラック」が指定された場合、油圧ショベル２１の運転者は、油圧ショベル２１を操作して、「第１のダンプトラック」に対する積込作業を実施することができる。
　上述の実施形態において、認識部４３は、検出装置９の検出データに基づいて、作業機械２０の位置を認識することとした。例えば作業機械２０の位置を検出する位置センサが作業機械２０に設けられ、認識部４３は、位置センサの検出データに基づいて、作業機械２０の位置を認識してもよい。
　上述の実施形態において、認識部４３は、検出装置９の検出データに基づいて、作業機械２０の動作を認識することとした。例えば作業機械２０の動作を検出する動作センサが作業機械２０に設けられ、認識部４３は、動作センサの検出データに基づいて、作業機械２０の動作を認識してもよい。動作センサとして、例えば作業機２６の動作を検出する角度センサ又は油圧シリンダ２７の伸縮量を検出するストロークセンサが例示される。
　上述の実施形態において、認識部４３は、人工知能を利用せずに、例えばパターンマッチング法に基づいて物体を認識してもよい。認識部４３は、人ＷＭを示すテンプレートと施工現場２の画像データとを照合することにより、物体を認識することができる。
　上述の実施形態において、検出装置９は、飛行体８に搭載されなくてもよい。検出装置９は、例えば作業機械２０に搭載されてもよいし、施工現場２に存在する構造物に取り付けられてもよい。検出装置１２についても同様である。
　上述の実施形態に置いて、作業種別記憶部６２は、複数の作業機械２０のそれぞれに対応する作業種別が予め記憶されていることとした。また、作業対象記憶部６３は、複数の作業種別のそれぞれに対応する作業対象が予め記憶されていることとした。他の実施形態においては、作業機械２０が作業種別、及び複数の作業種別のそれぞれに対応する作業対象を示す情報を、通信システム１０を介してサーバ４に送信し、出力部４５は、受信した情報に基づいて、表示装置５２に作業種別や作業対象を表示するようにしてもよい。
　上述の実施形態において、現況地形データ作成部４１、検出データ取得部４２、認識部４３、反映部４４、出力部４５、選択データ取得部４６、遠隔操作許可部４７、遠隔操作指令部４８、現況地形記憶部６１、作業種別記憶部６２、及び作業対象記憶部６３のそれぞれが、別々のハードウエアにより構成されてもよい。例えば、現況地形データ作成部４１の機能、検出データ取得部４２の機能、認識部４３の機能、反映部４４の機能、出力部４５の機能、選択データ取得部４６の機能、遠隔操作許可部４７の機能、遠隔操作指令部４８の機能、現況地形記憶部６１の機能、作業種別記憶部６２の機能、及び作業対象記憶部６３の機能の少なくとも一つが、管理装置３に設けられてもよいし、サーバ４とは別のサーバに設けられてもよい。
　上述の実施形態において、管理装置３は、走行装置６に支持され、施工現場２を走行することができることとした。管理装置３は、作業機械２０に搭載されてもよいし、施工現場２の所定の位置に設置されてもよい。
　上述の実施形態において、検出装置１２が施工現場２の全体を検出し、検出装置９が施工現場２の一部分を検出することとした。検出装置９が施工現場２の全体を検出してもよい。
　上述の実施形態において、検出装置９の検出対象は、施工現場２の地形、作業機械２０及び人ＷＭに限られない。他の実施形態においては、検出装置９は、施工用の資材を検出するようにしてもよい。
　上述の実施形態において、情報端末５は、施工現場２の遠隔地１３に配置されなくてもよい。情報端末５は、例えば作業機械２０に搭載されてもよい。また、情報端末５は省略されてもよい。施工の進捗状況が、作業機械２０にモニタから出力されてもよい。モニタは、表示装置のみならず入力装置を備えてもよい。
　上述の実施形態において、出力部４５は、遠隔操作可能な作業機械２０を表示装置５２に表示させることとした。他の実施形態においては、遠隔操作可能な作業機械２０と遠隔操作不可能な作業機械２０とを表示装置５２に表示させるようにしてもよい。
　上述の実施形態において、作業機械２０は、油圧ショベル２１、ブルドーザ２２、及びクローラダンプ２３を含むものに限られない。他の実施形態においては、作業機械２０は、油圧ショベル２１、ブルドーザ２２、及びクローラダンプ２３の一部を含むものであってよい。また、他の種類の作業機械を含むものであってもよい。
　上述の実施形態において、全地球航法衛星システム（ＧＮＳＳ）を利用して飛行体８の位置を検出し、慣性計測装置を利用して飛行体８の姿勢を検出するものに限られない。他の実施形態においては、ＳＬＡＭ(Simultaneous　Localization　and　Mapping)を利用して飛行体８の位置、及び姿勢を検出してもよい。同様にＳＬＡＭを利用して、飛行体１１や作業機械２０の位置、及び姿勢を検出してもよい。
　１…施工管理システム、２…施工現場、３…管理装置、３Ｄ…３次元モデル、４…サーバ（データ処理装置）、５…情報端末、６…走行装置、７…ケーブル、８…飛行体、８Ｄ…３次元モデル、９…検出装置、１０…通信システム、１１…飛行体、１２…検出装置、１３…遠隔地、１４…位置センサ、１５…姿勢センサ、１６…位置センサ、１７…姿勢センサ、２０…作業機械、２１…油圧ショベル、２１Ｄ…３次元モデル、２２…ブルドーザ、２３…クローラダンプ、２３Ｄ…３次元モデル、２４…走行体、２５…旋回体、２６…作業機、２６Ａ…ブーム、２６Ｂ…アーム、２６Ｃ…バケット、２７…油圧シリンダ、２７Ａ…ブームシリンダ、２７Ｂ…アームシリンダ、２７Ｃ…バケットシリンダ、２８…走行体、２９…車体、３０…ダンプボディ、３１…シンボル画像、３２…シンボル画像、３３…シンボル画像、３４…シンボル画像、４１…現況地形データ作成部、４２…検出データ取得部、４３…認識部、４４…反映部、４５…出力部、４６…選択データ取得部、４７…遠隔操作許可部、４８…遠隔操作指令部、５１…入力装置、５２…表示装置、６１…現況地形記憶部、６２…作業種別記憶部、６３…作業対象記憶部、６４…３次元モデル記憶部、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、ＷＭ…人。

Claims (20)

  1. 　遠隔操作可能な作業機械を表示装置に表示させる出力部と、
    　前記作業機械が指定されたことを示す機械選択データを取得する選択データ取得部と、
    　前記機械選択データに基づいて前記作業機械の遠隔操作の開始を許可する遠隔操作許可部と、を備える、
    　施工管理システム。
  2. 　前記表示装置に表示される前記作業機械は、第１作業機械と第２作業機械とを含み、
    　前記遠隔操作許可部は、前記第１作業機械が指定されたことを示す第１機械選択データが取得された場合、前記第１作業機械の遠隔操作の開始を許可し、前記第２作業機械が指定されたことを示す第２機械選択データが取得された場合、前記第２作業機械の遠隔操作の開始を許可する、
    　請求項１に記載の施工管理システム。
  3. 　前記出力部は、指定された前記作業機械に対応する作業種別を出力装置に出力させる、
    　請求項１又は請求項２に記載の施工管理システム。
  4. 　前記作業機械に対応する作業種別を記憶する作業種別記憶部を備え、
    　前記出力部は、前記機械選択データと前記作業種別記憶部の記憶データとに基づいて前記作業種別を出力させる、
    　請求項３に記載の施工管理システム。
  5. 　前記選択データ取得部は、前記作業機械に実施させる作業種別が指定されたことを示す種別選択データを取得し、
    　前記出力部は、指定された前記作業種別に対応する作業対象を出力装置に出力させる、
    　請求項３又は請求項４に記載の施工管理システム。
  6. 　前記作業種別に対応する作業対象を記憶する作業対象記憶部を備え、
    　前記出力部は、前記種別選択データと前記作業対象記憶部の記憶データとに基づいて前記作業対象を出力させる、
    　請求項５に記載の施工管理システム。
  7. 　前記遠隔操作許可部は、指定された前記作業種別と前記作業機械の周辺の状況とに基づいて、前記遠隔操作の開始を許可するか否かを判定する、
    　請求項４から請求項６のいずれか一項に記載の施工管理システム。
  8. 　前記作業機械が稼働する施工現場の現況地形データを作成する現況地形データ作成部と、
    　前記作業機械及び前記作業機械の周辺の施工エリアを検出した検出装置の検出データを取得する検出データ取得部と、
    　前記検出データを前記現況地形データに反映した反映データを生成する反映部と、を備え、
    　前記検出データは、前記施工エリアの更新地形データを含み、
    　前記出力部は、前記更新地形データが反映された前記反映データを前記作業機械とともに前記表示装置に表示させる、
    　請求項１から請求項７のいずれか一項に記載の施工管理システム。
  9. 　前記検出データに基づいて前記作業機械を認識する認識部を備え、
    　前記反映データは、前記認識部により認識された前記作業機械の３次元モデルを含み、
    　前記出力部は、前記３次元モデルを前記表示装置に表示させる、
    　請求項８に記載の施工管理システム。
  10. 　前記認識部は、前記作業機械の動作を認識し、
    　前記反映部は、前記作業機械に同期して前記３次元モデルを動かす、
    　請求項９に記載の施工管理システム。
  11. 　前記検出装置は、飛行体に搭載される、
    　請求項８から請求項１０のいずれか一項に記載の施工管理システム。
  12. 　前記第１作業機械の遠隔操作の開始が許可された後、前記第１作業機械の遠隔操作が完了するまでの間に前記第２機械選択データは取得され、前記第２作業機械の遠隔操作の開始を許可する、
    　請求項２に記載の施工管理システム。
  13. 　表示装置に表示される遠隔操作可能な作業機械が指定されたことを示す機械選択データを取得する選択データ取得部と、
    　前記機械選択データに基づいて前記作業機械の作業種別を表示するための信号を出力する出力部と、を備える、
    　施工管理システム。
  14. 　遠隔操作可能な作業機械を表示装置に表示させる出力部と、
    　前記作業機械が指定されたことを示す機械選択データを取得する選択データ取得部と、
    　前記機械選択データに基づいて前記作業機械の遠隔操作の開始を許可する遠隔操作許可部と、を備える、
    　データ処理装置。
  15. 　遠隔操作可能な作業機械を表示装置に表示させることと、
    　前記作業機械が指定されたことを示す機械選択データを取得することと、
    　前記機械選択データに基づいて前記作業機械の遠隔操作の開始を許可することと、を含む、
    　施工管理方法。
  16. 　前記表示装置に表示される前記作業機械は、第１作業機械と第２作業機械とを含み、
    　前記第１作業機械が指定されたことを示す第１機械選択データが取得された場合、前記第１作業機械の遠隔操作の開始を許可し、前記第２作業機械が指定されたことを示す第２機械選択データが取得された場合、前記第２作業機械の遠隔操作の開始を許可することと、を含む、
    　請求項１５に記載の施工管理方法。
  17. 　指定された前記作業機械に対応する作業種別を出力装置に出力させることと、を含む、
    　請求項１５又は請求項１６に記載の施工管理方法。
  18. 　前記作業機械に対応する作業種別を記憶することと、
    　前記機械選択データと前記作業種別の記憶データとに基づいて前記作業種別を出力させることと、を含む、
    　請求項１７に記載の施工管理方法。
  19. 　前記作業機械に実施させる作業種別が指定されたことを示す種別選択データを取得することと、
    　指定された前記作業種別に対応する作業対象を出力装置に出力させることと、を含む、
    　請求項１７又は請求項１８に記載の施工管理方法。
  20. 　前記作業種別に対応する作業対象を記憶することと、
    　前記種別選択データと前記作業対象の記憶データとに基づいて前記作業対象を出力させることと、を含む、
    　請求項１９に記載の施工管理方法。
PCT/JP2022/007262 2021-03-31 2022-02-22 施工管理システム、データ処理装置、及び施工管理方法 WO2022209434A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/279,075 US20240127372A1 (en) 2021-03-31 2022-02-22 Construction management system, data processing device, and construction management method
CN202280020883.5A CN117015790A (zh) 2021-03-31 2022-02-22 施工管理系统、数据处理装置、以及施工管理方法
AU2022247649A AU2022247649A1 (en) 2021-03-31 2022-02-22 Construction management system, data processing device, and construction management method
DE112022000845.8T DE112022000845T5 (de) 2021-03-31 2022-02-22 Bauverwaltungssystem, Datenverarbeitungsvorrichtung und Bauverwaltungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-061692 2021-03-31
JP2021061692A JP2022157459A (ja) 2021-03-31 2021-03-31 施工管理システム、データ処理装置、及び施工管理方法

Publications (1)

Publication Number Publication Date
WO2022209434A1 true WO2022209434A1 (ja) 2022-10-06

Family

ID=83455950

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007262 WO2022209434A1 (ja) 2021-03-31 2022-02-22 施工管理システム、データ処理装置、及び施工管理方法

Country Status (6)

Country Link
US (1) US20240127372A1 (ja)
JP (1) JP2022157459A (ja)
CN (1) CN117015790A (ja)
AU (1) AU2022247649A1 (ja)
DE (1) DE112022000845T5 (ja)
WO (1) WO2022209434A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1088624A (ja) * 1996-09-13 1998-04-07 Taisei Corp Ｇｐｓ無人施工管理システム
JP2020180451A (ja) * 2019-04-24 2020-11-05 株式会社小松製作所 作業機械を制御するためのシステムおよび方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6777375B2 (ja) 2015-03-05 2020-10-28 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1088624A (ja) * 1996-09-13 1998-04-07 Taisei Corp Ｇｐｓ無人施工管理システム
JP2020180451A (ja) * 2019-04-24 2020-11-05 株式会社小松製作所 作業機械を制御するためのシステムおよび方法

Also Published As

Publication number Publication date
JP2022157459A (ja) 2022-10-14
CN117015790A (zh) 2023-11-07
US20240127372A1 (en) 2024-04-18
DE112022000845T5 (de) 2023-11-16
AU2022247649A1 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
US9322148B2 (en) System and method for terrain mapping
AU2018333191B2 (en) Display system, display method, and display apparatus
KR101695914B1 (ko) 토공공사 수행시 굴삭기의 형상정보를 실시간 제공하는 굴삭기 3d 토공 bim 시스템
CN110741124B (zh) 用于工程机械的信息系统
JPH11211473A (ja) 地形形状計測装置
US20200149248A1 (en) System and method for autonomous operation of heavy machinery
JP2020002718A (ja) 表示制御装置、および表示制御方法
JP7203616B2 (ja) 作業機械
JP7372029B2 (ja) 表示制御装置、表示制御システムおよび表示制御方法
US20210140147A1 (en) A working machine provided with an image projection arrangement
US20240068202A1 (en) Autonomous Control Of Operations Of Powered Earth-Moving Vehicles Using Data From On-Vehicle Perception Systems
WO2022209434A1 (ja) 施工管理システム、データ処理装置、及び施工管理方法
WO2022209437A1 (ja) 施工管理システム、データ処理装置、及び施工管理方法
JP7449314B2 (ja) ショベル、遠隔操作支援装置
AU2020320149B2 (en) Display system, remote operation system, and display method
US20240135469A1 (en) Construction management system, data processing device, and construction management method
JP7107792B2 (ja) 建設機械
WO2023106324A1 (ja) 表示システム及び表示方法
WO2023106323A1 (ja) 施工管理システム及び施工管理方法
WO2023136326A1 (ja) 作業機械
US20230407605A1 (en) Design generation for earth-moving operations
JP2023086534A (ja) 表示システム及び表示方法
EA042868B1 (ru) Мониторинг автономных транспортных средств

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22779659

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18279075

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022247649

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 202280020883.5

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2022247649

Country of ref document: AU

Date of ref document: 20220222

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112022000845

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22779659

Country of ref document: EP

Kind code of ref document: A1