WO2017169598A1 - 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法 - Google Patents

端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法 Download PDF

Info

Publication number
WO2017169598A1
WO2017169598A1 PCT/JP2017/009287 JP2017009287W WO2017169598A1 WO 2017169598 A1 WO2017169598 A1 WO 2017169598A1 JP 2017009287 W JP2017009287 W JP 2017009287W WO 2017169598 A1 WO2017169598 A1 WO 2017169598A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
imaging
dimensional data
unit
terminal device
Prior art date
Application number
PCT/JP2017/009287
Other languages
English (en)
French (fr)
Inventor
浩樹 赤沼
雄一 根本
将登 制野
博義 山口
駿 川本
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016213793A external-priority patent/JP6767241B2/ja
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to DE112017000244.3T priority Critical patent/DE112017000244T5/de
Priority to CN201780005627.8A priority patent/CN108432234B/zh
Priority to AU2017242392A priority patent/AU2017242392B2/en
Priority to US16/069,573 priority patent/US10805597B2/en
Publication of WO2017169598A1 publication Critical patent/WO2017169598A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a terminal device, a control device, a data integration device, a work vehicle, an imaging system, and an imaging method.
  • This application claims priority to Japanese Patent Application No. 2016-069691 filed in Japan on March 30, 2016 and Japanese Patent Application No. 2016-213793 filed in Japan on October 31, 2016. This is incorporated here.
  • Patent Document 1 a technique for acquiring image data of a construction site using a stereo camera provided in a construction machine is known.
  • Stereo cameras are known as imaging devices capable of generating three-dimensional data.
  • a technique for generating three-dimensional data using image data captured by a stereo camera is known.
  • a stereo camera is mounted on the construction machine to image the topography of the construction site, and using the obtained imaging data, three-dimensional data of the topography of the construction site is generated, thereby making it possible to manage the progress of the construction site.
  • the line of sight of the driver of the construction machine does not necessarily match the line of sight of the imaging device.
  • the photographer is a driver of a construction machine equipped with a stereo camera, for example. Therefore, there is a possibility that the image data captured in accordance with the driver's instruction is not an image of a desired point.
  • An object of an aspect of the present invention is to provide a terminal device, a control device, a data integration device, a work vehicle, an imaging system, and an imaging method that can generate three-dimensional data relating to a desired point.
  • the terminal device includes an imaging data receiving unit that receives first imaging data captured by an imaging device provided in a work vehicle and capable of generating three-dimensional data, and the imaging data.
  • a display unit that displays the first imaging data received by the receiving unit, and an acquisition instruction that transmits an acquisition instruction that causes the work vehicle to acquire second imaging data that is captured by the imaging device and used to generate three-dimensional data.
  • a transmission unit is provided.
  • an imaging system includes a work vehicle and a terminal device, and the work vehicle is provided in a vehicle body, the vehicle body, and an imaging device capable of acquiring depth direction information;
  • an imaging data transmission unit that transmits first imaging data captured by the imaging device to the terminal device
  • an acquisition instruction reception unit that receives an acquisition instruction of second imaging data used to generate three-dimensional data
  • An imaging data acquisition unit that acquires the second imaging data from the imaging device
  • the terminal device receives an imaging data reception unit that receives the first imaging data from the work vehicle, and the imaging data reception unit receives A display unit that displays the first imaging data
  • an acquisition instruction transmission unit that transmits an acquisition instruction for causing the work vehicle to acquire the second imaging data.
  • the imaging method includes receiving first imaging data captured by an imaging device provided in a work vehicle and capable of acquiring depth direction information, and receiving the first image. Displaying the imaging data on the terminal device, and transmitting an acquisition instruction for causing the work vehicle to acquire the second imaging data which is captured by the imaging device and used to generate three-dimensional data.
  • the control device includes an imaging data transmission unit that transmits to the terminal device the first imaging data captured by the imaging device that is provided in the work vehicle and that can acquire depth information.
  • An acquisition instruction receiving unit that receives an acquisition instruction of second imaging data used for generating three-dimensional data, and an imaging data acquisition unit that acquires the second imaging data from the imaging device according to the acquisition instruction.
  • the data integration device includes a plurality of three-dimensional data generated based on imaging data obtained by imaging an installation site by an imaging device that is provided in a work vehicle and capable of acquiring depth direction information. And a three-dimensional data integration unit that integrates the plurality of three-dimensional data acquired by the three-dimensional data acquisition unit to generate integrated three-dimensional data.
  • the work vehicle receives a plurality of three-dimensional data based on a vehicle body, an imaging device provided in the vehicle body, and a plurality of imaging data captured by the imaging device.
  • a three-dimensional data generating unit that generates the integrated three-dimensional data by integrating a plurality of three-dimensional data generated by the three-dimensional data generating unit;
  • an imaging system includes a work vehicle and a data integration device, and the work vehicle includes a vehicle body, an imaging device provided in the vehicle body, and a plurality of images captured by the imaging device.
  • a three-dimensional data generation unit that generates a plurality of three-dimensional data based on each of the imaging data, and a data transmission unit that transmits the plurality of three-dimensional data to the data integration device,
  • a data receiving unit that receives the plurality of three-dimensional data from the work vehicle, and a three-dimensional data integration unit that generates the integrated three-dimensional data by integrating the plurality of three-dimensional data received by the data receiving unit.
  • a terminal device a control device, a data integration device, a work vehicle, an imaging system, and an imaging method capable of generating three-dimensional data relating to a desired point are provided.
  • FIG. 1 is a schematic diagram illustrating a configuration of a construction management system according to the first embodiment.
  • the construction management system 1 includes a plurality of construction machines 100, a plurality of terminal devices 200, and a server device 300.
  • FIG. 1 shows a construction management system 1 including a plurality of construction machines 100 and a plurality of terminal devices 200.
  • the construction management system 1 includes a single construction machine 100 and a plurality of terminal devices 200. There may be provided a plurality of terminal devices 200 and one terminal device 200.
  • the construction management system 1 may include one construction machine 100 and one terminal device 200.
  • the construction management system 1 is a system that manages the progress of construction by the construction machine 100 or manually.
  • the construction management system 1 generates three-dimensional data of a construction site from image data captured by a stereo camera provided in the construction machine 100.
  • the construction management system 1 is an example of an imaging system.
  • a driver D of the construction machine 100 is a photographer who can operate the terminal device 200.
  • a control device 126 which will be described later, provided in the construction machine 100 receives an instruction from the terminal device 200, and performs imaging with a stereo camera in accordance with the instruction.
  • the control device 126 of the construction machine 100 generates three-dimensional data from image data captured by the stereo camera. Examples of three-dimensional data include point cloud data, polygon data, and voxel data.
  • the construction machine 100 according to the first embodiment is a hydraulic excavator as a work vehicle.
  • the terminal device 200 for example, a mobile phone, a smartphone, or a portable computer can be used.
  • the terminal device 200 displays imaging data (first imaging data) by a first camera 1251 described later among the stereo cameras 125 provided in the construction machine 100.
  • the terminal device 200 transmits an acquisition instruction of imaging data (second imaging data) used for generating three-dimensional data to the construction machine 100 according to the driver's input.
  • the second imaging data is imaging data captured by all cameras (first camera 1251, second camera 1252, third camera 1253, and fourth camera 1254) of a stereo camera 125 described later.
  • the second imaging data may include the first imaging data acquired in the past or may not include the first imaging data acquired in the past. That is, when the second imaging data includes the first imaging data acquired in the past, the second imaging data acquired at the same timing, and the second imaging data including the first imaging data is stored in the control device 126 described later. It may be stored in a storage unit (not shown), and three-dimensional data may be generated using those image data.
  • Server device 300 receives imaging data and three-dimensional data from construction machine 100.
  • the server apparatus 300 can generate integrated three-dimensional data representing the entire construction site by integrating a plurality of three-dimensional data.
  • the construction machine 100, the terminal device 200, and the server device 300 are connected to each other via a network N.
  • the network N includes a mobile communication network or a satellite communication network.
  • FIG. 2 is a perspective view showing the configuration of the construction machine according to the first embodiment.
  • the construction machine 100 includes a working machine 110 that is operated by hydraulic pressure, a vehicle body 120 that serves as an upper swing body that supports the work machine 110, and a traveling device 130 that serves as a lower traveling body that supports the vehicle body 120.
  • a driver's cab 121 in which the driver D is boarded, a position detector 122 that detects the position of the vehicle body 120, an azimuth detector 123 that detects the direction in which the vehicle body 120 faces, and an attitude of the vehicle body 120 are detected.
  • a posture detector 124, a stereo camera 125 that images the front of the vehicle body 120 (+ Y direction), and a control device 126 that controls the construction machine 100 are provided.
  • the azimuth detector 123 also functions as a part of a position detector that detects the position of the vehicle body 120.
  • the cab 121 is installed in front of the vehicle body 120 (+ Y direction) and on the left side of the work machine 110 ( ⁇ X side).
  • the position detector 122 includes a first receiver 1221 that receives a positioning signal from an artificial satellite constituting a GNSS (Global Navigation Satellite System).
  • the position detector 122 detects, for example, the installation position of the first receiver 1221 based on the positioning signal received by the first receiver 1221 via the second receiver 1231 and the third receiver 1232 which are antennas.
  • NSS Global Navigation Satellite System
  • An example of NSS is GPS (Global Positioning System).
  • the azimuth detector 123 includes a second receiver 1231 and a third receiver 1232 that receive a positioning signal from an artificial satellite constituting the NSS.
  • the second receiver 1231 and the third receiver 1232 are installed at different positions on the vehicle body 120, respectively.
  • the direction detector 123 detects the installation position of the second receiver 1231 based on the positioning signal received by the second receiver 1231.
  • the direction detector 123 detects the installation position of the third receiver 1232 based on the positioning signal received by the third receiver 1232.
  • the direction detector 123 detects the direction in which the vehicle body 120 faces based on the relationship between the detected installation position of the second receiver 1231 and the detected installation position of the third receiver 1232.
  • the posture detector 124 measures the acceleration and angular velocity of the vehicle body 120 and detects the posture (for example, pitch, yaw and roll) of the vehicle body 120 based on the measurement result.
  • the attitude detector 124 is installed on the lower surface of the cab 121, for example.
  • an IMU Inertial Measurement Unit
  • an inertial measurement device can be used as the attitude detector 124.
  • Stereo camera 125 is installed forward (+ Y direction) and upward (+ Z direction) in cab 121. That is, the viewpoint of the stereo camera 125 is higher than the viewpoint of the driver D.
  • the stereo camera 125 images the front of the cab 121 through the windshield in front of the cab 121.
  • the stereo camera 125 includes two pairs of cameras. That is, the stereo camera 125 includes four cameras.
  • the stereo camera 125 includes a first camera 1251, a second camera 1252, a third camera 1253, and a fourth camera 1254 in order from the right side (+ X side).
  • the first camera 1251 and the third camera 1253 are paired cameras.
  • the first camera 1251 and the third camera 1253 are installed at an interval in the vehicle width direction so that their optical axes are substantially parallel to the floor surface of the cab 121.
  • the second camera 1252 and the fourth camera 1254 are paired cameras.
  • the second camera 1252 and the fourth camera 1254 have optical axes that are substantially parallel to each other, and the optical axes of the second camera 1252 and the fourth camera 1254 are lower than the front of the cab 121 (+ Y direction) with respect to the floor surface of the cab 121 ( ⁇ Z It is installed at intervals in the vehicle width direction so as to incline in the direction).
  • the stereo camera 125 is an example of an imaging device that can generate three-dimensional data. That is, the control device 126 can generate three-dimensional data from a pair of imaging data captured by at least one pair of the stereo cameras 125.
  • the “imaging device capable of generating three-dimensional data” may be any device that captures imaging data used to generate three-dimensional data, and the imaging device itself does not have to generate three-dimensional data.
  • FIG. 3 is a block diagram illustrating a configuration of the construction machine control device according to the first embodiment.
  • the control device 126 includes a beacon transmission unit 1261, an instruction reception unit 1262, an imaging data acquisition unit 1263, a vehicle information acquisition unit 1264, a three-dimensional data generation unit 1265, and a data transmission unit 1266.
  • the beacon transmission unit 1261 transmits a beacon signal including a vehicle ID as vehicle identification information for identifying the construction machine 100.
  • the reach distance of the beacon signal is, for example, about 50 meters.
  • a communication mode capable of short-range wireless communication can be used. Therefore, instead of the beacon signal, for example, a signal related to BLE (Bluetooth Low Energy, Bluetooth is a registered trademark) may be used.
  • BLE Bluetooth Low Energy, Bluetooth is a registered trademark
  • the instruction receiving unit 1262 receives an imaging instruction from the server device 300.
  • the imaging instruction is transmitted from the terminal device 200 to the server device 300 and transferred to the control device 126 by the server device 300.
  • the imaging instruction includes a terminal ID as terminal identification information for identifying the terminal device 200 that is the transmission source.
  • An example of the terminal ID is the IP address of the terminal device 200.
  • the instruction receiving unit 1262 receives an acquisition instruction for imaging data (second imaging data) used to generate three-dimensional data from the server device 300.
  • the instruction receiving unit 1262 is an example of an imaging instruction receiving unit and an acquisition instruction receiving unit.
  • the imaging data acquisition unit 1263 starts processing for acquiring imaging data (first imaging data) captured by the first camera 1251 from the stereo camera 125 at a constant period.
  • the imaging data acquisition unit 1263 acquires the first imaging data every 5 seconds after receiving the imaging instruction.
  • the imaging data acquisition unit 1263 captures images captured by each of the stereo cameras 125 (the first camera 1251, the second camera 1252, the third camera 1253, and the fourth camera 1254) when the instruction receiving unit 1262 receives the acquisition instruction.
  • Data (second imaging data) is acquired.
  • the vehicle information acquisition unit 1264 acquires vehicle information such as position information, azimuth information, and attitude information from the position detector 122, the azimuth detector 123, and the attitude detector 124, respectively.
  • the three-dimensional data generation unit 1265 generates three-dimensional data representing a range captured by the stereo camera 125 based on the second imaging data acquired by the imaging data acquisition unit 1263 and the information acquired by the vehicle information acquisition unit 1264. . Specifically, the three-dimensional data generation unit 1265 generates three-dimensional data according to the following procedure.
  • the three-dimensional data generation unit 1265 specifies the position of the stereo camera 125 in the global coordinate system and the line-of-sight direction from the position information, the direction information, and the posture information acquired by the vehicle information acquisition unit 1264.
  • the three-dimensional data generation unit 1265 generates three-dimensional data in the local coordinate system based on the position of the stereo camera 125 from the image data pairs captured by the first camera 1251 and the third camera 1253 by triangulation.
  • the three-dimensional data generation unit 1265 generates three-dimensional data in the local coordinate system based on the position of the stereo camera 125 from the imaging data pair captured by the second camera 1252 and the fourth camera 1254 by triangulation.
  • the three-dimensional data in the local coordinate system is three-dimensional data representing an overlapping range in the imaging data pair.
  • the three-dimensional data generation unit 1265 generates three-dimensional data representing the range captured by the stereo camera 125 by applying the three-dimensional data in the local coordinate system to the position and line-of-sight direction of the stereo camera 125 in the global coordinate system. .
  • the data transmission unit 1266 transmits the first imaging data acquired by the imaging data acquisition unit 1263 to the server device 300.
  • the first imaging data is transferred to the terminal device 200 by the server device 300.
  • the data transmission unit 1266 transmits the three-dimensional data and the second imaging data generated by the three-dimensional data generation unit 1265 to the server device 300.
  • the three-dimensional data and the second imaging data are stored in the server device 300.
  • the data transmission unit 1266 is an example of an imaging data transmission unit.
  • FIG. 4 is a block diagram illustrating a configuration of the terminal device according to the first embodiment.
  • the terminal device 200 includes a beacon reception unit 201, a data reception unit 202, a display control unit 203, an input reception unit 204, a target vehicle storage unit 205, an instruction transmission unit 206, and a display unit RP.
  • the beacon receiving unit 201 receives a beacon signal transmitted from the construction machine 100.
  • the beacon receiving unit 201 identifies the construction machine 100 from the vehicle ID included in the beacon signal.
  • the data reception unit 202 receives image data captured by the stereo camera 125 of the construction machine 100 or three-dimensional data representing a construction site from the server device 300.
  • the data receiving unit 202 is an example of an imaging data receiving unit and a three-dimensional data receiving unit.
  • the display control unit 203 displays the received data on a display that is the display unit RP. Examples of the display of the terminal device 200 include a touch panel, a liquid crystal display, and an organic EL (Electroluminescence) display.
  • the display control unit 203 causes the display to display a list of vehicles indicated by the vehicle ID received by the beacon receiving unit 201, imaging data captured by the stereo camera 125, or three-dimensional data representing a construction site.
  • the input reception unit 204 receives an input operation corresponding to the display content by the display control unit 203 from the driver D via the input device.
  • Examples of the input device of the terminal device 200 include a touch panel, buttons, and a keyboard.
  • the input reception unit 204 receives input of transmission triggers for imaging instructions, acquisition instructions, transmission instructions, integration instructions, and reflection instructions.
  • the input reception unit 204 is an example of an acquisition instruction reception unit.
  • the imaging instruction is an instruction for causing the control device 126 of the construction machine 100 to acquire imaging data.
  • the acquisition instruction is an instruction for causing the control device 126 of the construction machine 100 to acquire imaging data used for generating the three-dimensional data.
  • the transmission instruction is an instruction for causing the server apparatus 300 to transmit the imaging data and the three-dimensional data to the terminal apparatus 200.
  • the integration instruction is an instruction for causing the server apparatus 300 to integrate a plurality of three-dimensional data into one integrated three-dimensional data.
  • the reflection instruction is an instruction for the server apparatus 300 to reflect one or a plurality of three-dimensional data with the completed three-dimensional data and reflect the information on the construction progress based on the comparison result (construction progress information).
  • the completed three-dimensional data is information indicating the topography after completion of construction at the construction site.
  • the target vehicle storage unit 205 stores the vehicle ID of the construction machine 100 that is the destination of the imaging instruction and the acquisition instruction.
  • the instruction transmission unit 206 transmits an imaging instruction or an acquisition instruction for the construction machine 100 indicated by the vehicle ID stored in the target vehicle storage unit 205 to the server device 300 according to the input of the driver D.
  • the imaging instruction and the acquisition instruction are transferred to the construction machine 100 by the server device 300. That is, the instruction transmission unit 206 transmits an imaging instruction and an acquisition instruction to the construction machine 100 indicated by the vehicle ID stored in the target vehicle storage unit 205 via the server device 300.
  • the instruction transmission unit 206 transmits a three-dimensional data or imaging data transmission instruction to the server device 300 in accordance with the driver D input.
  • the instruction transmission unit 206 is an example of an imaging instruction transmission unit and an acquisition instruction transmission unit.
  • the display unit RP is a display provided in the terminal device 200.
  • an LCD Liquid Crystal Display
  • FIG. 5 is a block diagram illustrating a configuration of the server device according to the first embodiment.
  • the server device 300 includes an instruction transfer unit 301, a connection relationship storage unit 302, a data transfer unit 303, a data reception unit 304, a data storage unit 305, a three-dimensional data integration unit 306, an instruction reception unit 307, a data transmission unit 308, and field information.
  • a storage unit 309 is provided.
  • the instruction transfer unit 301 transfers the imaging instruction or the acquisition instruction received from the terminal device 200 to the construction machine 100 indicated by the vehicle ID included in the instruction.
  • the instruction transfer unit 301 stores the vehicle ID included in the imaging instruction and the terminal ID included in the imaging instruction in the connection relationship storage unit 302 in association with each other.
  • the data transfer unit 303 transfers the imaging data received from the construction machine 100 to the terminal device 200 indicated by the terminal ID associated with the vehicle ID of the construction machine 100 in the connection relation storage unit 302.
  • the data receiving unit 304 receives three-dimensional data and imaging data from the construction machine 100.
  • the data storage unit 305 stores the three-dimensional data and the imaging data received by the data receiving unit 304 and the three-dimensional data representing the finished shape.
  • the data storage unit 305 stores the three-dimensional data and the imaging data in association with the vehicle ID for identifying the construction machine 100 that is the source of these data.
  • the three-dimensional data integration unit 306 integrates two or more three-dimensional data stored in the data storage unit 305 into one three-dimensional data.
  • the three-dimensional data integration unit 306 stores the integrated three-dimensional data in the data storage unit 305.
  • the server device 300 is an example of a data integration device.
  • the instruction receiving unit 307 receives an instruction to transmit 3D data or imaging data from the terminal device 200.
  • the data transmission unit 308 transmits the three-dimensional data or the imaging data stored in the data storage unit 305 to the terminal device 200 that is the transmission source of the transmission instruction.
  • the site information storage unit 309 stores a vehicle ID that identifies the construction machine 100 that performs work on the construction site in association with the site ID for identifying the construction site.
  • FIG. 6 is a flowchart showing the operation of the terminal device according to the first embodiment.
  • the driver D operates the terminal device 200 to cause the terminal device 200 to execute an imaging control program for performing the imaging method according to the first embodiment.
  • the beacon receiving unit 201 starts a beacon signal reception process (step S101).
  • the beacon receiving unit 201 can receive the beacon signal emitted by the construction machine 100. That is, the beacon receiving unit 201 receives a beacon signal from a nearby construction machine 100.
  • the beacon receiving unit 201 identifies the vehicle ID included in the beacon signal having the strongest reception intensity among the received beacon signals (step S102).
  • the beacon receiving unit 201 stores the specified vehicle ID in the target vehicle storage unit 205 (step S103).
  • the terminal device 200 can specify the construction machine 100 driven by the driver D as the target vehicle.
  • the imaging instruction and the acquisition instruction output by the operation of the terminal device 200 are transmitted to the construction machine 100 indicated by the vehicle ID stored in the target vehicle storage unit 205.
  • the imaging instruction and the acquisition instruction may be transmitted to the target vehicle at the same time, or the acquisition instruction may be automatically transmitted to the target vehicle when the imaging instruction is transmitted to the target vehicle.
  • FIG. 7 is a diagram illustrating an example of a process selection screen displayed on the terminal device according to the first embodiment. That is, FIG. 7 is a diagram illustrating an example of a screen displayed on the display which is the display unit RP.
  • the display control unit 203 provides an execution button B1 for 3D data generation control processing and an execution button B2 for 3D data management processing on the display serving as the display unit RP.
  • a process selection screen including the page is displayed (step S104).
  • the input receiving unit 204 receives an input of pressing the displayed generation control process execution button B1 or management process execution button B2 (step S105).
  • step S105 generation control process
  • step S106 generation control process
  • step S105: management processing management processing for three-dimensional data
  • FIG. 8 is a first sequence diagram illustrating a three-dimensional data generation control process according to the first embodiment.
  • the first sequence diagram shows processing from the step in which the terminal device 200 transmits an imaging instruction to the step in which the terminal device 200 displays imaging data.
  • the instruction transmission unit 206 transmits an imaging instruction including the vehicle ID stored in the target vehicle storage unit 205 to the server device 300 (step S211). ).
  • the instruction transfer unit 301 of the server device 300 connects the vehicle ID included in the imaging instruction and the terminal ID indicating the terminal device 200 that is the transmission source of the imaging instruction in association with each other.
  • the relationship is stored in the relationship storage unit 302 (step S221).
  • connection relationship storage unit 302 The relationship between the vehicle ID and the terminal ID stored in the connection relationship storage unit 302 is retained at least until the connection between the terminal device 200 and the server device 300 is disconnected.
  • the instruction transfer unit 301 transfers the received imaging instruction to the construction machine 100 indicated by the vehicle ID included in the imaging instruction (step S222).
  • the imaging data acquisition unit 1263 acquires imaging data (first imaging data) from the first camera 1251 (step S231).
  • the first camera 1251 is provided closest to the work implement 110 among the cameras constituting the stereo camera 125, and is installed so that the optical axis is substantially parallel to the floor surface of the cab 121. Therefore, the image data captured by the first camera 1251 is a photograph of the frontal topography of the work implement 110.
  • the data transmission unit 308 transmits the first imaging data acquired by the imaging data acquisition unit 1263 to the server device 300 (step S232).
  • the construction machine 100 executes the acquisition and transmission of the first imaging data at a constant cycle (for example, every 5 seconds) until the connection between the terminal device 200 and the server device 300 is disconnected.
  • the construction machine 100 can detect the disconnection between the terminal device 200 and the server device 300 by receiving the disconnection notification from the server device 300.
  • the connection ID storage unit 302 obtains the terminal ID associated with the vehicle ID of the construction machine 100 that is the transmission source of the first imaging data. Specify (step S223).
  • the data transfer unit 303 transfers the first imaging data to the terminal device 200 indicated by the specified terminal ID (step S224).
  • the display control unit 203 transmits a second imaging data acquisition instruction transmission button used for generating three-dimensional data, and the received first imaging data. Is displayed on the display as the display unit RP (step S212).
  • the data transfer unit 303 of the server device 300 transfers the first imaging data received from the construction machine 100 at a constant cycle (for example, every 5 seconds) to the terminal device 200 at a constant cycle.
  • the data receiving unit 202 of the terminal device 200 receives the first imaging data from the data transfer unit 303 of the server device 300 at a fixed cycle, and the display control unit 203 switches the received first imaging data at a fixed cycle to the display. Display.
  • the data transfer unit 303 may transmit only the first imaging data first transmitted from the construction machine 100 to the terminal device 200, and the display control unit 203 may display the first imaging data on the display.
  • the pressing of the acquisition instruction transmission button is an example of an acquisition instruction transmission trigger. That is, after receiving the first image data, the input receiving unit 204 starts receiving an acquisition instruction transmission trigger.
  • FIG. 9 is a diagram illustrating an example of an imaging range confirmation screen displayed on the terminal device according to the first embodiment. That is, FIG. 9 is a diagram illustrating an example of a screen displayed on the display that is the display unit RP.
  • the imaging range confirmation screen includes a display area R for first imaging data and a transmission button B3 for obtaining instructions.
  • a frame F indicating the range used for generating the three-dimensional data is displayed in the display area R of the first imaging data.
  • the range used for generating the three-dimensional data is an overlapping portion of the imaging ranges of the paired cameras, and is a range where the terrain is measured.
  • the display control unit 203 causes the display to display a frame F indicating a portion overlapping the imaging range of the third camera 1253 in the imaging range of the first camera 1251 as measurement range information.
  • the size of the frame F is based on a known imaging range and is stored as graphic data in, for example, the display control unit 203.
  • the frame F is represented by a broken line.
  • the frame F may be highlighted as, for example, a red solid line instead of the broken line.
  • the display control unit 203 may display a character indicating the imaging range together with the frame F as the measurement range information.
  • the driver D who is the photographer, confirms that the desired topography is captured within the range used for generating the three-dimensional data (imaging range and contents), and then generates the three-dimensional data. It is possible to press a transmission button for acquiring an acquisition instruction of imaging data to be used.
  • FIG. 10 is a second sequence diagram illustrating the three-dimensional data generation control process according to the first embodiment.
  • the second sequence diagram shows processing from the step in which the terminal device 200 transmits an imaging data acquisition instruction to the step in which the server device 300 executes various types of processing (transmission, integration, or reflection of three-dimensional data).
  • the instruction transmission unit 206 transmits an imaging data acquisition instruction used for generating three-dimensional data to the server apparatus 300.
  • the acquisition instruction includes the vehicle ID stored in the target vehicle storage unit 205.
  • the instruction transfer unit 301 of the server device 300 transfers the received acquisition instruction to the construction machine 100 indicated by the vehicle ID included in the acquisition instruction (step S225).
  • the imaging data acquisition unit 1263 is configured so that all the cameras of the stereo camera 125 (the first camera 1251, the second camera 1252, the third camera 1253, and the fourth camera 1254).
  • Imaging data (second imaging data) is acquired from (step S233).
  • the imaging data includes a time stamp indicating the imaging time. In other embodiments, the time stamp is not included in the imaging data, and may be acquired as separate data associated with the imaging data.
  • the vehicle information acquisition unit 1264 acquires vehicle information such as position information, azimuth information, and attitude information from the position detector 122, the azimuth detector 123, and the attitude detector 124 (step S234).
  • the three-dimensional data generation unit 1265 generates three-dimensional data of the imaging range by the stereo camera 125 based on the acquired second imaging data, position information, orientation information, and orientation information (step S235).
  • the generated three-dimensional data includes a time stamp like the imaging data.
  • the time stamp value may be the imaging time of the imaging data used for generating the three-dimensional data, or may be the generation time of the three-dimensional data.
  • the data transmission unit 1266 transmits the generated three-dimensional data, second imaging data, position information, site ID, and vehicle ID of the construction machine 100 to the server device 300 (step S236).
  • the data transmission unit 1266 also transmits the time stamp to the server device 300.
  • the position information transmitted here may be position information specified by GNSS, or may be position information represented by a construction site address.
  • the data receiving unit 304 of the server device 300 stores the three-dimensional data, the second imaging data, the vehicle ID, the position information, and the site ID in the data storage unit 305 ( Step S226).
  • the data reception unit 304 When the time stamp is acquired as data separate from the imaging data and the three-dimensional data, the data reception unit 304 also records the time stamp in the data storage unit 305. Thereby, the terminal device 200 transmits the acquisition instruction of the imaging data used for generating the three-dimensional data to the construction machine 100 after allowing the driver D to check the imaging range and imaging contents used for generating the three-dimensional data. can do.
  • FIG. 11 is a sequence diagram showing the three-dimensional data management process (FIG. 6, step S107) according to the first embodiment.
  • the instruction transmission unit 206 transmits a transmission instruction of a list of the three-dimensional data and the imaging data to the server device 300 (step S311).
  • the transmission instruction includes the vehicle ID stored in the target vehicle storage unit 205.
  • the data transmitting unit 308 generates a list of three-dimensional data and imaging data stored in the data storage unit 305 and transmits the list to the terminal device 200 (step S321). .
  • the data transmission unit 308 generates a list by extracting data associated with the vehicle ID included in the transmission instruction from the data stored in the data storage unit 305 from the data storage unit 305.
  • the list includes a combination of three-dimensional data and imaging data used to generate the three-dimensional data as one constituent unit.
  • the display control unit 203 displays the received list on the display that is the display unit RP (step S312).
  • the input receiving unit 204 receives a selection of a combination of 3D data and imaging data included in the received list (step S313). At this time, a plurality of combinations may be selected. When receiving the selection of the combination of the three-dimensional data and the imaging data, the input receiving unit 204 receives the selection of the operation for the selected combination (step S314). Operation options include data browsing, data integration, and reflection on construction progress information.
  • the instruction transmission unit 206 transmits a transmission instruction of the selected data to the server device 300 (step S315).
  • the transmission instruction includes identification information of data to be transmitted.
  • the instruction reception unit 307 of the server device 300 receives the transmission instruction
  • the data transmission unit 308 reads the three-dimensional data and the imaging data indicated by the transmission instruction from the data storage unit 305 and transmits them to the terminal device 200 (step S322).
  • the display control unit 203 displays the received three-dimensional data and the imaging data on the display (step S316).
  • the three-dimensional data received by the data receiving unit 304 includes integrated three-dimensional data. Accordingly, the driver D can confirm whether or not the control device 126 of the construction machine 100 has generated three-dimensional data representing an appropriate range.
  • the display control unit 203 may display a time stamp associated with these data together with the three-dimensional data and the imaging data.
  • step S314 the instruction transmission unit 206 transmits an integration instruction for the selected data (a combination of three-dimensional data and imaging data) to the server apparatus 300 (Ste S317).
  • the integration instruction includes identification information of a plurality of data to be integrated.
  • the instruction receiving unit 307 of the server device 300 receives the integration instruction
  • the three-dimensional data integration unit 306 reads a plurality of three-dimensional data indicated by the identification information included in the integration instruction.
  • the three-dimensional data integration unit 306 integrates the plurality of read three-dimensional data into one integrated three-dimensional data (step S323).
  • the three-dimensional data to be integrated is three-dimensional data represented by an absolute coordinate system with a common reference position as the origin, as shown in the upper part of FIG.
  • the three-dimensional data integration unit 306 generates integrated three-dimensional data as shown in the lower part of FIG. 12 by integrating the three-dimensional data with the common origin. Details of the integration processing will be described later.
  • the three-dimensional data integration unit 306 stores the generated integrated three-dimensional data in the data storage unit 305 (step S324). Thereby, the integrated three-dimensional data is newly added to the list of three-dimensional data generated in step S321.
  • the driver D can confirm the integrated three-dimensional data by causing the terminal device 200 to execute the processes of steps S312 to S316. That is, the driver D selects the integrated three-dimensional data from the list displayed in step S312, and selects the browsing of the data in step S314, so that the integrated three-dimensional data is transferred from the server device 300 to the terminal device. 200, and the integrated three-dimensional data is displayed on the terminal device 200. As a result, the driver D can confirm the integrated three-dimensional data.
  • the instruction transmission unit 206 transmits an instruction to reflect the selected data to the server device 300 (step S318).
  • the reflection instruction includes identification information of data to be reflected.
  • the data to be reflected may be integrated three-dimensional data.
  • the instruction receiving unit 307 of the server apparatus 300 receives the reflection instruction
  • the three-dimensional data integration unit 306 displays the three-dimensional data (reflection target data) indicated by the identification information included in the reflection instruction, the three-dimensional data representing the finished shape, Is read.
  • the three-dimensional data representing the finished shape is information representing the topography after the completion of construction at the construction site, which is created in advance by a contractor or the like.
  • the three-dimensional data integration unit 306 for example, data representing the topography during construction (elapsed data), cut amount during construction, Acquired as data of the embankment amount (work amount data) (step S325).
  • the three-dimensional data integration unit 306 includes the position where the plane position overlaps (the position where the x and y coordinates are the same) among the already-stored elapsed data before reflection and the three-dimensional data to be reflected. ),
  • the progress data is updated by replacing the height data (z coordinate) of the progress data with the height data of the three-dimensional data to be reflected.
  • the three-dimensional data integration unit 306 determines the height of the pre-reflection progress data and the reflection target three-dimensional data for the position where the plane position overlaps between the pre-reflection progress data and the reflection target three-dimensional data. Work volume data is acquired based on the data difference.
  • the three-dimensional data integration unit 306 Progress data is generated using the height information of the latest data (data with the newest time stamp).
  • the three-dimensional data integration unit 306 stores the updated progress data in the data storage unit 305 (step S326). Thereby, the progress data is newly added to the list of the three-dimensional data generated in step S321.
  • the driver D can check the updated progress data by causing the terminal device 200 to execute the processes of steps S312 to S316. That is, the driver D selects the elapsed data from the list displayed in step S312 and selects the data browsing in step S314, so that the elapsed data is transmitted from the server device 300 to the terminal device 200. The progress data is displayed on the terminal device 200. As a result, the driver D can check the progress data.
  • FIG. 13 is a flowchart showing the integration process according to the first embodiment.
  • the three-dimensional data integration unit 306 reads the three-dimensional data indicated by the identification information included in the integration instruction received by the instruction reception unit 307 (step S401).
  • the three-dimensional data integration unit 306 calculates the time indicated by the time stamp associated with the read three-dimensional data and the time width of the time stamp (the time difference between the oldest time and the newest time) (step S402). ).
  • the three-dimensional data integration unit 306 determines whether or not the calculated time width is less than a predetermined time (step S403).
  • step S403 NO
  • the three-dimensional data integration unit 306 notifies the terminal device 200 that the three-dimensional data cannot be integrated (step S404), and ends the integration process. This is because, when the generation time of 3D data to be integrated is more than a predetermined time, the time between excavation and embankment, etc., between the generation of old 3D data and the generation of new 3D data This is because the terrain may have changed due to some construction.
  • the three-dimensional data integration unit 306 specifies a union of plane coordinates where height data exists from each read three-dimensional data (step S405).
  • the first three-dimensional data is a point group composed of coordinates (X1, Y1, Z1), coordinates (X2, Y2, Z2), and coordinates (X3, Y3, Z3). Is a point group composed of coordinates (X3, Y3, Z1), coordinates (X4, Y4, Z4), and coordinates (X5, Y5, Z5).
  • the coordinates (X, Y, Z) are coordinates specified by latitude X, longitude Y, and altitude Z.
  • the plane coordinates are coordinates represented by a combination of latitude X and longitude Y.
  • the union of the plane coordinates where the height data in the first three-dimensional data and the second three-dimensional data exists is the coordinates (X1, Y1), coordinates (X2, Y2), coordinates (X3, Y3).
  • the three-dimensional data integration unit 306 generates blank integrated three-dimensional data (step S406).
  • the three-dimensional data integration unit 306 selects the plane coordinates included in the union specified in step S405 one by one, and executes the processing from step S408 to step S411 shown below (step S407).
  • the three-dimensional data integration unit 306 determines whether or not there are a plurality of pieces of height information about the selected plane coordinates among the three-dimensional data read in step S401 (step S408). That is, the three-dimensional data integration unit 306 determines whether different three-dimensional data includes height information related to the same plane coordinate.
  • the height information related to the selected plane coordinate is included in only one three-dimensional data (step S408: NO)
  • the height information is reflected on the selected plane coordinate in the integrated three-dimensional data (step S408). S409).
  • the three-dimensional coordinates are recorded in the integrated three-dimensional data.
  • step S408 when the height information related to the selected plane coordinate is included in the plurality of three-dimensional data (step S408: YES), the three-dimensional data integration unit 306 calculates the average value of the heights from each height information. (Step S410). Then, the three-dimensional data integration unit 306 reflects the average value of the height as height information on the selected plane coordinates of the integrated three-dimensional data (step S411). As a result, the three-dimensional coordinates are recorded in the integrated three-dimensional data.
  • the three-dimensional data integration unit 306 can generate integrated three-dimensional data by executing the processing from step S408 to step S411 for all plane coordinates included in the union specified in step S407.
  • the terminal device 200 receives the imaging data captured by the stereo camera 125, displays the received imaging data on the display unit RP, and causes the construction machine 100 to generate three-dimensional data.
  • the acquisition instruction of the imaging data used for is transmitted.
  • the terminal device 200 can make the driver
  • the terminal device 200 receives an input of a transmission trigger for an acquisition instruction after the imaging data is displayed on the display unit RP. Accordingly, the driver D inputs the transmission trigger when the stereo camera 125 can confirm that the desired shooting range and the desired imaging content are being captured, and thus the three-dimensional data relating to the desired point can be obtained. It can be generated by the control device 126.
  • the terminal device 200 transmits an imaging instruction including a vehicle ID, and receives imaging data from the construction machine 100 indicated by the vehicle ID. Thereby, the terminal device 200 can receive imaging data from the desired construction machine 100 even when there are a plurality of construction machines 100 at the construction site.
  • the terminal device 200 receives the three-dimensional data from the server device 300 and displays the three-dimensional data. Thereby, the driver
  • the terminal device 200 causes the display unit RP to display measurement range information representing a range used for generating three-dimensional data together with imaging data. Accordingly, the driver D can confirm whether or not the desired point shown in the imaging data includes a range used for generating the three-dimensional data.
  • the server apparatus 300 can generate integrated three-dimensional data obtained by integrating a plurality of three-dimensional data.
  • operator D can confirm easily the presence or absence of the construction area
  • FIG. That is, when the integrated 3D data does not exist, the driver D checks the imaging data or the 3D data one by one to check whether there is a construction area that has failed to be imaged and an area that has failed to generate the 3D data. It is necessary to confirm.
  • the driver D can easily recognize the terrain after the entire work and the position of himself / herself by browsing the integrated three-dimensional data.
  • the purpose of the integrated 3D data is to easily confirm whether there is a construction area that has failed to be imaged or an area that has failed to generate 3D data, or to easily recognize the terrain after the overall work. It is.
  • the server device 300 integrates three-dimensional data when the time width of the time associated with a plurality of three-dimensional data to be integrated is less than a predetermined time.
  • the server device 300 has a low probability that the terrain has changed due to some construction such as excavation or embankment between the generation of the old 3D data and the generation of the new 3D data. Can generate integrated 3D data.
  • the beacon receiving unit 201 identifies a vehicle ID included in a beacon signal having the strongest reception intensity among beacon signals having a reception intensity equal to or higher than a predetermined intensity continuously for a predetermined time. May be. Further, for example, in another embodiment, the beacon receiving unit 201 causes the terminal device 200 or the like to display a list of vehicle IDs included in a beacon signal whose reception intensity is equal to or higher than a predetermined intensity, and the vehicle ID selected from the list is displayed. May be specified.
  • the server device 300 obtains an average value and reflects it in the integrated three-dimensional data when there is a plurality of height information for the same plane coordinate in the integration process.
  • the form is not limited to this.
  • the server apparatus 300 integrates height information relating to the latest three-dimensional data indicated by the time stamp (the latest three-dimensional data generation time). It may be reflected in the three-dimensional data.
  • the three-dimensional data integration unit 306 of the server device 300 updates the integrated three-dimensional data by reading out the three-dimensional data from the oldest and sequentially overwriting the height information instead of the processing from step S407 to step S411. May be.
  • the construction machine 100 may include the three-dimensional data integration unit 306, and the integration process may be performed by the construction machine 100.
  • the three-dimensional data generation unit 1265 of the construction machine 100 generates a plurality of three-dimensional data in step S2235 shown in FIG. 18, and the three-dimensional data integration unit 306 of the construction machine 100 integrates them by the method shown in FIG. After that, the data transmission unit 1266 transmits the second imaging data, the three-dimensional data, and the integrated three-dimensional data in step S2236.
  • the control device 126 of the construction machine 100 is an example of a data integration device.
  • the server device 300 determines whether or not the time width of the time associated with a plurality of three-dimensional data to be integrated is less than a predetermined time. But it is not limited to this.
  • the server apparatus 300 may generate integrated 3D data regardless of the time associated with a plurality of 3D data to be integrated.
  • the terminal device 200 may determine whether or not the time width of the time associated with the three-dimensional data to be integrated is less than a predetermined time. In this case, the terminal device 200 does not transmit an integration instruction when the time width of the time associated with the three-dimensional data selected in step S313 is greater than or equal to a predetermined time.
  • the terminal device 200 may not be able to select data integration in step S314 when the time width associated with the three-dimensional data selected in step S313 is equal to or greater than a predetermined time.
  • FIG. 14 is a schematic diagram illustrating a configuration of a construction management system according to the second embodiment.
  • the driver D operates the terminal device 200 to instruct the construction machine 100 to perform imaging and generation of three-dimensional data.
  • the manager A at the construction site becomes a photographer, and the manager A operates the terminal device 200 to capture images and generate three-dimensional data. Instruct.
  • the terminal device 200 according to the second embodiment for example, a smartphone, a mobile phone, or a portable computer can be used. Further, the terminal device 200 may be a personal computer (PC) provided with a display unit provided in an office away from the construction site, for example.
  • PC personal computer
  • the beacon signal of the target vehicle is transmitted to the terminal device 200 because the target vehicle does not include the beacon transmission unit 1261 or even if the target vehicle includes the beacon transmission unit 1261. Since it does not reach, determination of the target vehicle based on the beacon signal as in the first embodiment may be difficult. Therefore, the terminal device 200 according to the second embodiment determines the target vehicle without depending on the beacon signal.
  • FIG. 15 is a schematic block diagram illustrating a configuration of a terminal device according to the second embodiment.
  • the terminal device 200 according to the second embodiment includes a vehicle list storage unit 207 instead of the beacon receiving unit 201 of the terminal device 200 according to the first embodiment.
  • the vehicle list storage unit 207 stores a list in which a plurality of site IDs for identifying construction sites and vehicle IDs of the construction machines 100 that operate at the respective construction sites are managed.
  • the construction machine 100 according to the second embodiment may not include the beacon transmission unit 1261.
  • FIG. 16 is a flowchart illustrating the operation of the terminal device according to the second embodiment.
  • the driver D operates the terminal device 200 to cause the terminal device 200 to execute an imaging control program for performing the imaging method according to the second embodiment.
  • the display control unit 203 displays a list of construction sites stored in the vehicle list storage unit 207 on the display (step S1101). On the display, for example, a list representing the construction site is displayed by the address of the construction site.
  • the input receiving unit 204 receives an input for selecting one site ID from the displayed list (step S1102).
  • the input receiving unit 204 displays a list of the construction machines 100 associated with the input site ID on the display (step S1103).
  • a list representing the construction machine 100 by a combination of the model and the number of the construction machine 100 is displayed.
  • the input receiving unit 204 receives an input for selecting one vehicle ID from the displayed list (step S1104).
  • the input receiving unit 204 stores the input vehicle ID in the target vehicle storage unit 205 (step S1105). Thereby, the terminal device 200 can identify the target vehicle without receiving the beacon signal.
  • the display control unit 203 displays a three-dimensional data generation control processing execution button and a three-dimensional data management processing execution button on the display (Ste S1106).
  • the input receiving unit 204 receives an input of pressing the displayed generation control processing execution button or management processing execution button (step S1107).
  • the execution button of the generation control process is pressed (step S1107: generation control process)
  • the terminal device 200 executes a three-dimensional data generation control process (step S1108).
  • the execution button of the management process is pressed (step S1107: management process)
  • the terminal device 200 displays data, integrates data, and data according to the procedure shown in FIG. 11 as in the first embodiment.
  • step S1109 Is reflected (three-dimensional data management process) (step S1109). That is, the administrator A selects data to be confirmed from the list displayed in step S312 by the terminal device 200, and selects data browsing in step S314, so that the data is transferred from the server device 300 to the terminal device 200. The data is transmitted and displayed on the terminal device 200. Thereby, the manager A can confirm whether or not three-dimensional data representing an appropriate range has been generated by the control device 126 of the construction machine 100.
  • the terminal device 200 identifies the target vehicle by receiving an input for selecting a vehicle ID from a list stored in advance. Thereby, the terminal device 200 can identify the target vehicle without receiving the beacon signal. Therefore, the administrator A who is a photographer can cause the control device 126 to generate three-dimensional data related to a desired point after confirming the range captured by the stereo camera 125 and the captured content.
  • the terminal device 200 displays the list
  • the terminal device 200 transmits a site ID of a target construction site to the server device 300, and the server device 300 is associated with the site ID from the site information storage unit 309.
  • the list may be transmitted to the terminal device 200. That is, the construction management system 1 according to another embodiment causes the manager A or the driver D to select a construction machine 100 after selecting a target construction site from among a plurality of construction sites. May be.
  • the terminal device 200 identifies the construction machine 100 based on the beacon signal as in the first embodiment, and when the beacon signal cannot be received. Similarly to the second embodiment, the construction machine 100 may be specified based on the list.
  • the construction machine 100 and the terminal device 200 transmit and receive instructions and data via the server device 300.
  • the construction machine 100 and the terminal device 200 communicate with each other directly without going through the server device 300 in the three-dimensional data generation control process. And send and receive data.
  • the terminal device 200 is operated by the manager A or the driver D.
  • FIG. 17 is a first sequence diagram illustrating three-dimensional data generation control processing according to the third embodiment.
  • the instruction transmission unit 206 issues an imaging instruction to the construction machine 100 indicated by the vehicle ID stored in the target vehicle storage unit 205 by short-range wireless communication. Transmit (step S2211).
  • short-range wireless communication a driver D or an administrator A can use a wireless LAN (Local Area Network), Bluetooth (registered trademark), NFC (Near field radio communication).
  • the imaging data acquisition unit 1263 acquires imaging data (first imaging data) from the first camera 1251 (step S2231).
  • the data transmission unit 1266 transmits the first imaging data acquired by the imaging data acquisition unit 1263 to the terminal device 200 that is the transmission source of the imaging instruction (step S2232).
  • a vehicle ID that is vehicle identification information assigned to each construction machine 100 is stored in a predetermined storage device of the construction machine 100, and the data transmission unit 1266 stores the vehicle ID.
  • the vehicle ID may be read from a predetermined storage device and transmitted to the terminal device 200 together with the first imaging data.
  • the target vehicle storage unit 205 of the terminal device 200 stores the received vehicle ID.
  • the vehicle ID acquired in the past is selected from the object vehicle memory
  • the construction machine 100 executes the acquisition and transmission of the first imaging data every time a certain time (for example, 5 seconds) elapses until the connection with the terminal device 200 is disconnected.
  • the display control unit 203 causes the display to display an imaging range confirmation screen including a transmission button for an acquisition instruction and the received first imaging data (step) S2212).
  • FIG. 18 is a second sequence diagram illustrating a three-dimensional data generation control process according to the third embodiment.
  • the instruction transmission unit 206 transmits the acquisition instruction to the construction machine 100 indicated by the vehicle ID stored in the target vehicle storage unit 205.
  • the imaging data acquisition unit 1263 acquires imaging data (second imaging data) from all the cameras of the stereo camera 125 (step S2233).
  • the vehicle information acquisition unit 1264 acquires vehicle information such as position information, azimuth information, and attitude information from the position detector 122, the azimuth detector 123, and the attitude detector 124 (step S2234).
  • the three-dimensional data generation unit 1265 generates three-dimensional data of the imaging range of the stereo camera 125 based on the acquired second imaging data, position information, orientation information, and orientation information (step S2235).
  • the data transmission unit 1266 transmits the generated three-dimensional data and the second imaging data to the server device 300 (step S2236).
  • the data receiving unit 304 of the server device 300 stores the three-dimensional data and the second imaging data in the data storage unit 305 (step S2226).
  • the terminal device 200 can execute data display, data integration, and data reflection (three-dimensional data management processing) according to the procedure shown in FIG. 11 as in the first embodiment. That is, the manager A or the driver D selects data to be confirmed by the terminal device 200 from the list displayed in step S312, and selects data browsing in step S314, so that the data is received from the server device 300. The data is transmitted to the terminal device 200 and the data is displayed on the terminal device 200. Thereby, the manager A or the driver D can confirm whether or not three-dimensional data representing an appropriate range is generated by the control device 126 of the construction machine 100.
  • the terminal device 200 communicates with the construction machine 100 by short-range wireless communication. Thereby, compared with the case where it communicates via the network N and the server apparatus 300, the response time in communication between the terminal device 200 and the construction machine 100 can be shortened. Also in the third embodiment, the manager A or the driver D, who is the photographer, controls the three-dimensional data related to a desired point after confirming the range captured by the stereo camera 125 and the captured content. Device 126 can be generated.
  • the terminal device 200 according to the third embodiment is connected to the construction machine 100 by short-range wireless communication.
  • the construction machine 100 according to the fourth embodiment includes a terminal device 200, and the terminal device 200 and the control device 126 are connected by wire.
  • the terminal device 200 is installed in front of the seat in the cab 121 (+ Y direction). Thus, the driver D can check the terminal device 200 while the construction machine 100 is in operation.
  • the control device 126 according to the fourth embodiment may not include the beacon transmission unit 1261.
  • the terminal device 200 according to the fourth embodiment may not include the beacon receiving unit 201 and the target vehicle storage unit 205.
  • the target vehicle of the terminal device 200 according to the fourth embodiment is the construction machine 100 on which the terminal device 200 is always mounted.
  • the construction machine 100 according to the first embodiment acquires the second imaging data from the stereo camera 125 when receiving the acquisition instruction.
  • the construction machine 100 according to the fifth embodiment acquires what is used as the second imaging data from the plurality of stored first imaging data.
  • FIG. 19 is a schematic block diagram illustrating a configuration of the construction machine control device according to the fifth embodiment.
  • the control device 126 of the construction machine 100 according to the fifth embodiment further includes an imaging data recording unit 1267 and an imaging data storage unit 1268 in addition to the configuration of the first embodiment.
  • the imaging data recording unit 1267 is acquired by the first imaging data acquired by the imaging data acquisition unit 1263 from the stereo camera 125, the imaging ID as image identification information for specifying the first imaging data, and the vehicle information acquisition unit 1264.
  • the image data is stored in the image data storage unit 1268 in association with the vehicle information. Examples of the imaging ID include an imaging date and serial number.
  • FIG. 20 is a first sequence diagram illustrating a three-dimensional data generation control process according to the fifth embodiment.
  • the instruction transmission unit 206 sends an imaging instruction including the vehicle ID stored in the target vehicle storage unit 205 to the server device 300. Transmit (step S3211).
  • the instruction transfer unit 301 of the server device 300 connects the vehicle ID included in the imaging instruction and the terminal ID indicating the terminal device 200 that is the transmission source of the imaging instruction in association with each other. The relationship is stored in the relationship storage unit 302 (step S3221).
  • the instruction transfer unit 301 transfers the received imaging instruction to the construction machine 100 indicated by the vehicle ID included in the imaging instruction (step S3222).
  • the imaging data acquisition unit 1263 is configured to display all the cameras of the stereo camera 125 (the first camera 1251, the second camera 1252, the third camera 1253, and the first camera 1253).
  • the imaging data is acquired from the four cameras 1254) (step S3231).
  • the vehicle information acquisition unit 1264 acquires vehicle information such as position information, azimuth information, and attitude information from the position detector 122, the azimuth detector 123, and the attitude detector 124 (step S3232).
  • the imaging data recording unit 1267 stores the acquired imaging data and vehicle information in the imaging data storage unit 1268 in association with the imaging ID (step S3233).
  • the data transmission unit 308 transmits the image data (first image data) captured by the first camera 1251 among the image data with the image capturing ID (step S3234).
  • the connection relation storage unit 302 illustrated in FIG. 5 associates the data transfer unit 303 with the vehicle ID of the construction machine 100 that is the transmission source of the first imaging data.
  • the terminal ID is identified (step S3223).
  • the data transfer unit 303 transfers the first imaging data to the terminal device 200 indicated by the specified terminal ID (step S3224).
  • the display control unit 203 includes an imaging range including a transmission button B3 for transmitting an acquisition instruction to the construction machine 100 and the received first imaging data.
  • a confirmation screen is displayed on the display (step S3212).
  • FIG. 21 is a second sequence diagram illustrating three-dimensional data generation control processing according to the fifth embodiment.
  • the instruction transmission unit 206 identifies the imaging ID attached to the first imaging data received last by the data reception unit 202. (Step S3213). Thereby, the imaging ID of the first imaging data displayed on the display when the transmission button B3 is pressed can be specified.
  • the instruction transmission unit 206 transmits an acquisition instruction for the second imaging data to the server apparatus 300 (step S3214).
  • the acquisition instruction includes the identified imaging ID and the vehicle ID stored in the target vehicle storage unit 205.
  • the instruction transfer unit 301 of the server device 300 transfers the received acquisition instruction to the construction machine 100 indicated by the vehicle ID included in the acquisition instruction (step S3225).
  • the imaging data acquisition unit 1263 performs the second imaging at the same timing as the first imaging data associated with the imaging ID included in the acquisition instruction and the first imaging data.
  • Image data captured by the camera 1252, the third camera 1253, and the fourth camera 1254 are extracted from the image data storage unit 1268 and acquired as second image data (step S3235).
  • the imaging data acquisition unit 1263 acquires vehicle information associated with the imaging ID included in the acquisition instruction from the imaging data storage unit 1268.
  • the three-dimensional data generation unit 1265 generates three-dimensional data of the imaging range by the stereo camera 125 based on the acquired second imaging data and vehicle information (step S3236).
  • the data transmission unit 1266 transmits the generated three-dimensional data and the second imaging data to the server device 300 (step S3237).
  • the data receiving unit 304 of the server device 300 stores the three-dimensional data and the second imaging data in the data storage unit 305 (step S3226).
  • the terminal device 200 can transmit to the construction machine 100 the acquisition instruction of the imaging data displayed when the driver D presses the transmission button B3.
  • the imaging instruction transmitted by the terminal device 200 according to the above-described embodiment includes the terminal ID of the transmission source, but is not limited thereto.
  • the imaging instruction according to another embodiment may include a terminal ID indicating a device other than the terminal device 200 as the terminal ID of the transmission destination of the imaging data. That is, the terminal device 200 that transmits the imaging instruction may be different from the terminal device 200 that receives and displays the imaging data.
  • the construction machine 100 When the construction machine 100 according to the above-described embodiment receives the imaging instruction, the construction machine 100 transmits the imaging data every time a predetermined time elapses, but is not limited thereto.
  • the construction machine 100 according to another embodiment may start streaming delivery of imaging data captured by the first camera 1251 when receiving an imaging instruction. That is, the construction machine 100 according to another embodiment may transmit imaging data as a moving image.
  • the construction machine 100 includes the stereo camera 125 as an imaging device capable of acquiring depth direction information, but is not limited thereto.
  • the construction machine 100 according to another embodiment may include a 3D scanner, a depth sensor, or other imaging device as an imaging device capable of acquiring depth direction information.
  • the construction machine 100 transmits the imaging data captured by the first camera 1251, but is not limited thereto.
  • the construction machine 100 when receiving the imaging instruction, transmits imaging data captured by the second camera 1252, imaging data captured by the third camera 1253, or imaging data captured by the fourth camera 1254. May be.
  • two or more cameras among the first camera 1251, the second camera 1252, the third camera 1253, and the fourth camera 1254 are imaged. The captured image data may be transmitted.
  • the control device 126 of the construction machine 100 When receiving the acquisition instruction, acquires imaging data from the stereo camera 125 and generates three-dimensional data, but is not limited thereto.
  • the construction management system 1 transmits imaging data acquired by the construction machine 100 from the stereo camera 125 and vehicle information acquired by the vehicle information acquisition unit 1264 to the server device 300, and the server device 300 Three-dimensional data may be generated from the imaging data. That is, the construction machine 100 according to another embodiment may not include the three-dimensional data generation unit 1265.
  • the construction machine 100 includes the beacon transmission unit 1261 as a function of the control device 126, but is not limited thereto.
  • the construction machine 100 according to another embodiment may include a transmitter separate from the control device 126 as the beacon transmission unit 1261.
  • the construction machine 100 is a hydraulic excavator as a work vehicle, but is not limited thereto.
  • the construction machine 100 according to another embodiment may be a wheel loader, a bulldozer, a motor grader, a dump truck, or another construction machine as a work vehicle.
  • the terminal device 200 receives an input of pressing an acquisition instruction transmission button while imaging data is displayed, but is not limited thereto.
  • the terminal device 200 according to another embodiment may receive an input of pressing an acquisition instruction transmission button after erasing the display of imaging data from the display.
  • the driver D can transmit the acquisition instruction after confirming the imaging range.
  • the terminal device 200 receives an input of pressing the transmission button of the acquisition instruction after the imaging data is displayed, but is not limited thereto.
  • the terminal device 200 according to another embodiment may continue to transmit the acquisition instruction while the imaging data is displayed.
  • the driver D can confirm the imaging range of the imaging data used for generating the three-dimensional data.
  • the terminal device 200 receives the three-dimensional data and displays it on the display, but is not limited thereto.
  • the terminal device 200 may not have a three-dimensional data display function. In this case, the three-dimensional data generated by operating the terminal device 200 is confirmed using another device.
  • the terminal device 200 causes the display to display a frame indicating the range used for generating the three-dimensional data as the measurement range information together with the imaging data, but is not limited thereto.
  • the terminal device 200 may trim the captured data within a range used for generating three-dimensional data and display the trimmed data on a display.
  • the color of the imaging data may be different within and outside the range used for generating the three-dimensional data.
  • the characters “measurement range” may be displayed in the frame.
  • the terminal device 200 may not display a range used for generating three-dimensional data.
  • the transmission trigger of the imaging instruction, the acquisition instruction, the transmission instruction, the integration instruction, and the reflection instruction is a push of the transmission button, but is not limited thereto.
  • the transmission trigger according to another embodiment may be a predetermined voice input, detection of acceleration exceeding a certain value, reception of radio waves, or other triggers.
  • the acquisition instruction transmission trigger may be a press of an imaging button provided in the cab 121 of the construction machine 100 instead of a process for the terminal device 200. That is, in another embodiment, the driver D may acquire the second imaging data by pressing the button of the construction machine 100 after visually recognizing the first imaging data displayed on the terminal device 200. Good.
  • the server device 300 transfers the first imaging data to the terminal device 200 indicated by the terminal ID stored in the connection relationship storage unit 302 in association with the vehicle ID of the transmission source of the first imaging data. It is not limited to this.
  • the server device 300 may transfer the first imaging data to the terminal device 200 indicated by the terminal ID attached to the first imaging data received from the construction machine 100.
  • the server apparatus 300 transfers an imaging instruction including the transmission source terminal ID to the construction machine 100.
  • the control device 126 of the construction machine 100 transmits the terminal ID included in the imaging instruction to the first imaging data and transmits it to the server device 300.
  • the server device 300 transmits a list of imaging data and three-dimensional data captured by the construction machine 100 associated with the terminal device 200, but is not limited thereto.
  • the server device 300 may transmit a list of imaging data and three-dimensional data captured by the construction machine 100 related to the same construction site as the construction machine 100 associated with the terminal device 200.
  • the server device 300 identifies a vehicle ID associated with the same field ID as the vehicle ID included in the transmission instruction received from the terminal device 200 from the field information storage unit 309, and associates the vehicle ID with the vehicle ID to perform data
  • a list of data stored in the storage unit 305 may be transmitted to the terminal device 200.
  • the construction management system 1 can perform browsing of data, integration of data, and reflection in construction progress information for each construction site.
  • FIG. 22 is a schematic block diagram illustrating a configuration of a computer according to at least one embodiment.
  • the computer 99 includes a processor 991, a main memory 992, a storage 993, and an interface 994.
  • the control device 126, the terminal device 200, and the server device 300 according to the above-described embodiments include a computer 99.
  • the function of each processing unit described above is stored in the storage 993 as a program.
  • the processor 991 reads the program from the storage 993, expands it in the main memory 992, and executes the above-described processing according to the program.
  • the processor 991 secures a storage area corresponding to each of the storage units described above in the main memory 992 according to the program.
  • the storage 993 is an example of a tangible medium that is not temporary. Other examples of tangible media that are not temporary include optical disks, magnetic disks, magneto-optical disks, and semiconductor memories that are connected via an interface 994.
  • the program may be distributed to the computer 99 via a network.
  • the computer 99 expands the distributed program in the main memory 992 and executes the above processing.
  • the program may be for realizing a part of the functions described above.
  • the program may realize the functions described above in combination with another program already stored in the storage 993 or in combination with another program installed in another device.
  • some of the functions described above may be executed by other devices connected via a network. That is, the functions described above may be realized by cloud computing, grid computing, cluster computing, or other parallel computing.
  • the computer 99 may include a PLD (Programmable Logic Device) in addition to the above configuration or instead of the above configuration.
  • PLDs include PAL (Programmable Array Logic), GAL (Generic Array Logic), CPLD (Complex Programmable Logic Device), and FPGA (Field Programmable Gate Array).
  • a terminal device a control device, a data integration device, a work vehicle, an imaging system, and an imaging method capable of generating three-dimensional data relating to a desired point are provided.

Abstract

作業車両に備えられた、三次元データを生成可能な撮像装置が撮像した第1撮像データを受信する撮像データ受信部と、撮像データ受信部が受信した第1撮像データを表示する表示部と、撮像装置によって撮像され、三次元データの生成に用いられる第2撮像データを作業車両に取得させる取得指示を送信する取得指示送信部とを備える。

Description

端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法
 本発明は、端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法に関する。
 本願は、2016年03月30日に日本に出願された特願2016-069691号および2016年10月31日に日本に出願された特願2016-213793号について優先権を主張し、その内容をここに援用する。
 特許文献1に開示されているように、建設機械に備えられたステレオカメラを用いて施工現場の画像データを取得する技術が知られている。
特開2013-036243号公報
 三次元データを生成可能な撮像装置として、ステレオカメラが知られている。ステレオカメラが撮像した撮像データを用いて三次元データを生成する技術が知られている。建設機械にステレオカメラを搭載して施工現場の地形を撮像し、得られた撮像データを用いて施工現場の地形の三次元データを生成することで、施工現場の進捗管理が可能となる。その際、建設機械の運転者の視線と撮像装置の視線とは必ずしも一致しない。また、撮影者がイメージする撮像範囲と撮像装置の撮像範囲とに差が生じるおそれもある。撮影者は、例えばステレオカメラが搭載された建設機械の運転者である。したがって、運転者の指示により撮像された撮像データは、所望の地点を撮像したものでない可能性がある。
 本発明の態様は、所望の地点に係る三次元データを生成することができる端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法を提供することを目的とする。
 本発明の第1の態様によれば、端末装置は、作業車両に備えられた、三次元データを生成可能な撮像装置が撮像した第1撮像データを受信する撮像データ受信部と、前記撮像データ受信部が受信した前記第1撮像データを表示する表示部と、前記撮像装置によって撮像され、三次元データの生成に用いられる第2撮像データを前記作業車両に取得させる取得指示を送信する取得指示送信部とを備える。
 本発明の第2の態様によれば、撮像システムは、作業車両と端末装置とを備え、前記作業車両は、車体と、前記車体に備えられ、奥行方向の情報を取得可能な撮像装置と、前記撮像装置が撮像した第1撮像データを前記端末装置に送信する撮像データ送信部と、三次元データの生成に用いる第2撮像データの取得指示を受信する取得指示受信部と、前記取得指示に従って前記撮像装置から前記第2撮像データを取得する撮像データ取得部とを備え、前記端末装置は、前記作業車両から前記第1撮像データを受信する撮像データ受信部と、前記撮像データ受信部が受信した前記第1撮像データを表示する表示部と、前記第2撮像データを前記作業車両に取得させる取得指示を送信する取得指示送信部とを備える。
 本発明の第3の態様によれば、撮像方法は、作業車両に備えられた、奥行方向の情報を取得可能な撮像装置が撮像した第1撮像データを受信することと、受信した前記第1撮像データを端末装置に表示させることと、前記撮像装置によって撮像され、三次元データの生成に用いられる第2撮像データを前記作業車両に取得させる取得指示を送信することとを含む。
 本発明の第4の態様によれば、制御装置は、作業車両に備えられた、奥行方向の情報を取得可能な撮像装置が撮像した第1撮像データを端末装置に送信する撮像データ送信部と、三次元データの生成に用いる第2撮像データの取得指示を受信する取得指示受信部と、前記取得指示に従って前記撮像装置から前記第2撮像データを取得する撮像データ取得部とを備える。
 本発明の第5の態様によれば、データ統合装置は、作業車両に備えられ奥行方向の情報を取得可能な撮像装置が施工現場を撮像した撮像データに基づいて生成された複数の三次元データを取得する三次元データ取得部と、前記三次元データ取得部が取得した前記複数の三次元データを統合して統合三次元データを生成する三次元データ統合部とを備える。
 本発明の第6の態様によれば、作業車両は、車体と、前記車体に備えられた撮像装置と、前記撮像装置が撮像した複数の撮像データのそれぞれに基づいて、複数の三次元データを生成する三次元データ生成部と、前記三次元データ生成部が生成した複数の三次元データを統合して統合三次元データを生成する三次元データ統合部とを備える。
 本発明の第7の態様によれば、撮像システムは、作業車両とデータ統合装置とを備え、前記作業車両は、車体と、前記車体に備えられた撮像装置と、前記撮像装置が撮像した複数の撮像データのそれぞれに基づいて、複数の三次元データを生成する三次元データ生成部と、前記複数の三次元データを前記データ統合装置に送信するデータ送信部とを備え、前記データ統合装置は、前記作業車両から前記複数の三次元データを受信するデータ受信部と、前記データ受信部が受信した前記複数の三次元データを統合して統合三次元データを生成する三次元データ統合部とを備える。
 上記態様のうち少なくとも1つの態様によれば、所望の地点に係る三次元データを生成することができる端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法が提供される。
第1の実施形態に係る施工管理システムの構成を示す概略図である。 第1の実施形態に係る建設機械の構成を示す斜視図である。 第1の実施形態に係る建設機械の制御装置の構成を示すブロック図である。 第1の実施形態に係る端末装置の構成を示すブロック図である。 第1の実施形態に係るサーバ装置の構成を示すブロック図である。 第1の実施形態に係る端末装置の動作を示すフローチャートである。 第1の実施形態に係る端末装置に表示される処理選択画面の例を示す図である。 第1の実施形態に係る三次元データの生成制御処理を示す第1のシーケンス図である。 第1の実施形態に係る端末装置に表示される撮像範囲確認画面の例を示す図である。 第1の実施形態に係る三次元データの生成制御処理を示す第2のシーケンス図である。 第1の実施形態に係る三次元データの管理処理を示すシーケンス図である。 三次元データから統合三次元データを生成する処理を示す図である。 第1の実施形態に係る統合処理を示すフローチャートである。 第2の実施形態に係る施工管理システムの構成を示す概略図である。 第2の実施形態に係る端末装置の構成を示す概略ブロック図である。 第2の実施形態に係る端末装置の動作を示すフローチャートである。 第3の実施形態に係る三次元データの生成制御処理を示す第1のシーケンス図である。 第3の実施形態に係る三次元データの生成制御処理を示す第2のシーケンス図である。 第5の実施形態に係る建設機械の制御装置の構成を示す概略ブロック図である。 第5の実施形態に係る三次元データの生成制御処理を示す第1のシーケンス図である。 第5の実施形態に係る三次元データの生成制御処理を示す第2のシーケンス図である。 少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
〈第1の実施形態〉
《施工管理システム》
 図1は、第1の実施形態に係る施工管理システムの構成を示す概略図である。
 施工管理システム1は、複数の建設機械100と、複数の端末装置200と、サーバ装置300とを備える。図1は、複数の建設機械100と、複数の端末装置200とを備えた施工管理システム1を示すが、施工管理システム1は1台の建設機械100と複数の端末装置200とを備えるものであってもよいし、複数の端末装置200と1台の端末装置200とを備えるものであってもよい。また、施工管理システム1は1台の建設機械100と1台の端末装置200とを備えるものであってもよい。施工管理システム1は、建設機械100や人手による施工の進捗状況を管理するシステムである。具体的には、施工管理システム1は、建設機械100に備えられたステレオカメラが撮像した撮像データから施工現場の三次元データを生成する。施工管理システム1は、撮像システムの一例である。建設機械100の運転者Dは、端末装置200を操作することが可能な撮影者である。
 建設機械100に備えられた、後述する制御装置126は、端末装置200から指示を受信し、指示に従ってステレオカメラによる撮像を行う。建設機械100の制御装置126は、ステレオカメラが撮像した撮像データから三次元データを生成する。三次元データの例としては、点群データ、ポリゴンデータ、およびボクセルデータが挙げられる。第1の実施形態に係る建設機械100は、作業車両としての油圧ショベルである。
 端末装置200としては、例えば、携帯電話、スマートフォン、携帯型コンピュータを用いることができる。端末装置200は、建設機械100に備えられたステレオカメラ125のうち、後述する第1カメラ1251による撮像データ(第1撮像データ)を表示する。端末装置200は、運転者の入力に従って建設機械100に三次元データの生成に用いられる撮像データ(第2撮像データ)の取得指示を送信する。第2撮像データは、後述するステレオカメラ125の全てのカメラ(第1カメラ1251、第2カメラ1252、第3カメラ1253、第4カメラ1254)によって撮像された撮像データである。第2撮像データは、過去に取得した第1撮像データを含むものであっても、過去に取得した第1撮像データを含まないものであってもよい。つまり、第2撮像データが、過去に取得した第1撮像データを含む場合、同タイミングで取得した第2撮像データであって、第1撮像データを含む第2撮像データを後述する制御装置126の図示しない記憶部に記憶させておき、それらの撮像データを用いて三次元データを生成してもよい。また、第2撮像データが、過去に取得した第1撮像データを含まない場合、後述するように撮影者がステレオカメラ125の撮影範囲や撮影内容を確認するための第1撮像データとは別の第1撮像データを含む第2撮像データにより、三次元データを生成してもよい。
 サーバ装置300は、建設機械100から撮像データおよび三次元データを受信する。
サーバ装置300は、複数の三次元データを統合して施工現場全体を表す統合三次元データを生成することができる。
 建設機械100、端末装置200、およびサーバ装置300は、互いにネットワークNを介して接続される。なお、ネットワークNは、携帯通信網または衛星通信網を含む。
《建設機械》
 図2は、第1の実施形態に係る建設機械の構成を示す斜視図である。
 建設機械100は、油圧により作動する作業機110と、作業機110を支持する上部旋回体としての車体120と、車体120を支持する下部走行体としての走行装置130とを備える。
 車体120には、運転者Dが搭乗する運転室121と、車体120の位置を検出する位置検出器122と、車体120が向く方位を検出する方位検出器123と、車体120の姿勢を検出する姿勢検出器124と、車体120の前方(+Y方向)を撮像するステレオカメラ125と、建設機械100を制御する制御装置126とを備える。なお、方位検出器123は、車体120の位置を検出する位置検出器の一部としても機能する。運転室121は、車体120の前方(+Y方向)かつ作業機110の左側(-X側)に設置される。
 位置検出器122は、GNSS(Global Navigation Satellite System)を構成する人工衛星から測位信号を受信する第1受信器1221を備える。位置検出器122は、アンテナである第2受信器1231および第3受信器1232を介して第1受信器1221が受信した測位信号に基づいて、例えば、第1受信器1221の設置位置を検出する。NSSの例としては、GPS(Global Positioning System)が挙げられる。
 方位検出器123は、NSSを構成する人工衛星から測位信号を受信する第2受信器1231および第3受信器1232を備える。第2受信器1231および第3受信器1232は、それぞれ車体120の異なる位置に設置される。方位検出器123は、第2受信器1231が受信した測位信号に基づいて、第2受信器1231の設置位置を検出する。方位検出器123は、第3受信器1232が受信した測位信号に基づいて、第3受信器1232の設置位置を検出する。方位検出器123は、検出された第2受信器1231の設置位置と検出された第3受信器1232の設置位置の関係に基づいて、車体120が向く方位を検出する。
 姿勢検出器124は、車体120の加速度および角速度を計測し、計測結果に基づいて車体120の姿勢(例えば、ピッチ、ヨーおよびロール)を検出する。姿勢検出器124は、例えば運転室121の下面に設置される。姿勢検出器124は、例えば、慣性計測装置としてのIMU(Inertial Measurement Unit)を用いることができる。
 図示しないキースイッチがオンされると、建設機械100に搭載された図示しないエンジンが始動し、ステレオカメラ125を含む制御装置126などの機器は、図示しないバッテリから電源が供給され、起動する。ステレオカメラ125は、運転室121内の前方(+Y方向)かつ上方(+Z方向)に設置される。つまり、ステレオカメラ125の視点は、運転者Dの視点より高くなる。ステレオカメラ125は、運転室121前面のフロントガラスを通して、運転室121の前方を撮像する。ステレオカメラ125は、2対のカメラを備える。すなわちステレオカメラ125は、4個のカメラを備える。具体的には、ステレオカメラ125は、右側(+X側)から順に、第1カメラ1251、第2カメラ1252、第3カメラ1253、および第4カメラ1254を備える。第1カメラ1251と第3カメラ1253は、対をなすカメラである。第1カメラ1251と第3カメラ1253は、それぞれ光軸が運転室121の床面に対して略平行となるように、車幅方向に間隔を空けて設置される。第2カメラ1252と第4カメラ1254は、対をなすカメラである。第2カメラ1252と第4カメラ1254は、それぞれ光軸が略平行となるように、かつその光軸が運転室121の床面に対して運転室121前方(+Y方向)より下方向(-Z方向)に傾くように、車幅方向に間隔を空けて設置される。ステレオカメラ125は、三次元データを生成可能な撮像装置の一例である。すなわち、制御装置126は、ステレオカメラ125のうち少なくとも1対のカメラが撮像した1対の撮像データから、三次元データを生成することができる。なお、「三次元データを生成可能な撮像装置」は、三次元データの生成に用いられる撮像データを撮像するものであればよく、撮像装置自体が三次元データを生成するものでなくてよい。
《建設機械の制御装置》
 図3は、第1の実施形態に係る建設機械の制御装置の構成を示すブロック図である。
 制御装置126は、ビーコン発信部1261、指示受信部1262、撮像データ取得部1263、車両情報取得部1264、三次元データ生成部1265、データ送信部1266を備える。
 ビーコン発信部1261は、建設機械100を識別する車両識別情報としての車両IDを含んだビーコン信号を発信する。ビーコン信号の到達距離は、例えば約50メートルである。なお、車両IDを発信する方法として、近距離無線通信が可能な通信形態を用いることができる。したがって、ビーコン信号に代えて、例えばBLE(Bluetooth Low Energy、Bluetoothは登録商標)に係る信号を用いてもよい。
 指示受信部1262は、サーバ装置300から撮像指示を受信する。撮像指示は、端末装置200からサーバ装置300へ送信され、サーバ装置300によって制御装置126へ転送される。撮像指示には、送信元の端末装置200を識別するための端末識別情報としての端末IDが含まれる。端末IDの例としては、端末装置200のIPアドレスが挙げられる。指示受信部1262は、サーバ装置300から、三次元データの生成に用いられる撮像データ(第2撮像データ)の取得指示を受信する。指示受信部1262は、撮像指示受信部および取得指示受信部の一例である。
 撮像データ取得部1263は、指示受信部1262が撮像指示を受信すると、ステレオカメラ125から、第1カメラ1251が撮像した撮像データ(第1撮像データ)を一定周期で取得する処理を開始する。例えば、撮像データ取得部1263は、撮像指示の受信以降、5秒ごとに第1撮像データを取得する。撮像データ取得部1263は、指示受信部1262が取得指示を受信したときに、ステレオカメラ125(第1カメラ1251、第2カメラ1252、第3カメラ1253、第4カメラ1254)のそれぞれが撮像した撮像データ(第2撮像データ)を取得する。
 車両情報取得部1264は、位置検出器122、方位検出器123、および姿勢検出器124から、それぞれ位置情報、方位情報、および姿勢情報といった車両情報を取得する。
 三次元データ生成部1265は、撮像データ取得部1263が取得した第2撮像データと車両情報取得部1264が取得した情報とに基づいて、ステレオカメラ125が撮像した範囲を表す三次元データを生成する。具体的には、三次元データ生成部1265は、以下の手順で三次元データを生成する。三次元データ生成部1265は、車両情報取得部1264が取得した位置情報、方位情報、および姿勢情報から、ステレオカメラ125のグローバル座標系における位置、および視線方向を特定する。三次元データ生成部1265は、三角測量により、第1カメラ1251と第3カメラ1253が撮像した撮像データ対から、ステレオカメラ125の位置を基準としたローカル座標系における三次元データを生成する。三次元データ生成部1265は、三角測量により、第2カメラ1252と第4カメラ1254が撮像した撮像データ対からステレオカメラ125の位置を基準としたローカル座標系における三次元データを生成する。ローカル座標系における三次元データは、撮像データ対において重複する範囲を表す三次元データとなる。三次元データ生成部1265は、ステレオカメラ125のグローバル座標系における位置および視線方向に、ローカル座標系における三次元データを適用することで、ステレオカメラ125が撮像した範囲を表す三次元データを生成する。
 データ送信部1266は、撮像データ取得部1263が取得した第1撮像データを、サーバ装置300に送信する。第1撮像データは、サーバ装置300によって端末装置200へ転送される。また、データ送信部1266は、三次元データ生成部1265が生成した三次元データおよび第2撮像データを、サーバ装置300に送信する。三次元データおよび第2撮像データは、サーバ装置300に記憶される。データ送信部1266は、撮像データ送信部の一例である。
《端末装置》
 図4は、第1の実施形態に係る端末装置の構成を示すブロック図である。
 端末装置200は、ビーコン受信部201、データ受信部202、表示制御部203、入力受付部204、対象車両記憶部205、指示送信部206、表示部RPを備える。
 ビーコン受信部201は、建設機械100から発信されるビーコン信号を受信する。ビーコン受信部201は、ビーコン信号に含まれる車両IDから建設機械100を特定する。
 データ受信部202は、サーバ装置300から、建設機械100のステレオカメラ125によって撮像された撮像データ、あるいは施工現場を表す三次元データを受信する。データ受信部202は、撮像データ受信部および三次元データ受信部の一例である。
 表示制御部203は、受信したデータを表示部RPであるディスプレイに表示させる。
端末装置200のディスプレイの例としては、タッチパネル、液晶ディスプレイ、有機EL(Electroluminescence)ディスプレイが挙げられる。具体的に、表示制御部203は、ビーコン受信部201が受信した車両IDが示す車両の一覧、ステレオカメラ125によって撮像された撮像データ、あるいは施工現場を表す三次元データを、ディスプレイに表示させる。
 入力受付部204は、運転者Dから入力装置を介して、表示制御部203による表示内容に応じた入力操作を受け付ける。端末装置200の入力装置の例としては、タッチパネル、ボタン、キーボードが挙げられる。具体的に、入力受付部204は、撮像指示、取得指示、送信指示、統合指示および反映指示の送信トリガの入力を受け付ける。入力受付部204は、取得指示受付部の一例である。撮像指示は、建設機械100の制御装置126に撮像データを取得させる指示である。取得指示は、三次元データの生成に用いられる撮像データを建設機械100の制御装置126に取得させる指示である。送信指示は、サーバ装置300に対し撮像データおよび三次元データを端末装置200に送信させる指示である。統合指示は、サーバ装置300に複数の三次元データを1つの統合三次元データに統合させる指示である。反映指示は、サーバ装置300に対し、1つまたは複数の三次元データを出来形の三次元データと比較して比較結果に基づく施工経過を示す情報(施工経過情報)に反映させる指示である。出来形の三次元データは、施工現場の施工完成後の地形を示す情報である。
 対象車両記憶部205は、撮像指示および取得指示の宛先となる建設機械100の車両IDを記憶する。
 指示送信部206は、運転者Dの入力に従って、対象車両記憶部205が記憶する車両IDが示す建設機械100に対する撮像指示あるいは取得指示を、サーバ装置300に送信する。撮像指示および取得指示は、サーバ装置300によって建設機械100に転送される。つまり、指示送信部206は、対象車両記憶部205が記憶する車両IDが示す建設機械100に、サーバ装置300を介して撮像指示および取得指示を送信する。指示送信部206は、運転者Dの入力に従って、三次元データまたは撮像データの送信指示を、サーバ装置300に送信する。指示送信部206は、撮像指示送信部および取得指示送信部の一例である。
 表示部RPは、端末装置200に設けられたディスプレイである。表示部RPとしては、LCD(Liquid Crystal Display)を用いることができる。
《サーバ装置》
 図5は、第1の実施形態に係るサーバ装置の構成を示すブロック図である。
 サーバ装置300は、指示転送部301、接続関係記憶部302、データ転送部303、データ受信部304、データ記憶部305、三次元データ統合部306、指示受信部307、データ送信部308、現場情報記憶部309を備える。
 指示転送部301は、端末装置200から受信した撮像指示あるいは取得指示を、当該指示に含まれる車両IDが示す建設機械100に転送する。指示転送部301は、撮像指示に含まれる車両IDと、撮像指示に含まれる端末IDとを関連付けて接続関係記憶部302に記憶させる。
 データ転送部303は、建設機械100から受信した撮像データを、接続関係記憶部302において当該建設機械100の車両IDに関連付けられた端末IDが示す端末装置200に転送する。
 データ受信部304は、建設機械100から三次元データおよび撮像データを受信する。
 データ記憶部305は、データ受信部304が受信した三次元データおよび撮像データ、ならびに出来形を表す三次元データを記憶する。データ記憶部305は、三次元データおよび撮像データを、これらのデータの生成元の建設機械100を識別するための車両IDに関連付けて記憶する。
 三次元データ統合部306は、データ記憶部305が記憶する2以上の三次元データを1つの三次元データに統合する。三次元データ統合部306は、統合された三次元データをデータ記憶部305に記憶させる。サーバ装置300は、データ統合装置の一例である。
 指示受信部307は、端末装置200から三次元データまたは撮像データの送信指示を受信する。
 データ送信部308は、指示受信部307が受信した送信指示に基づいて、データ記憶部305が記憶する三次元データまたは撮像データを、送信指示の送信元の端末装置200に送信する。
 現場情報記憶部309は、施工現場を識別するための現場IDに関連付けて、当該施工現場で作業を行う建設機械100を識別する車両IDを記憶する。
《動作》
 ここで、第1の実施形態に係る施工管理システム1による撮像方法について説明する。
 図6は、第1の実施形態に係る端末装置の動作を示すフローチャートである。
 運転者Dは端末装置200を操作し、端末装置200に、第1の実施形態に係る撮像方法を行うための撮像制御プログラムを実行させる。端末装置200が撮像制御プログラムの実行を開始すると、ビーコン受信部201は、ビーコン信号の受信処理を開始する(ステップS101)。端末装置200が建設機械100のビーコン信号の到達距離内に存在する場合、ビーコン受信部201は、当該建設機械100が発するビーコン信号を受信することができる。つまり、ビーコン受信部201は、近傍の建設機械100からビーコン信号を受信する。ビーコン受信部201は、受信されたビーコン信号のうち、受信強度が最も強いビーコン信号に含まれる車両IDを特定する(ステップS102)。ビーコン受信部201は、特定した車両IDを、対象車両記憶部205に記憶させる(ステップS103)。端末装置200が、運転者Dによって建設機械100の運転室121に持ち込まれることで、当該端末装置200が受信するビーコン信号のうち、当該建設機械100が発信するビーコン信号の強度が最も高くなる。これにより、端末装置200は、運転者Dが運転する建設機械100を対象車両として特定することができる。対象車両が特定されることで、端末装置200の操作により出力される撮像指示および取得指示は、対象車両記憶部205が記憶する車両IDが示す建設機械100に送信される。なお、撮像指示と取得指示とは、同時に対象車両に送信されてもよいし、撮像指示が対象車両に送信された場合に取得指示が自動的に対象車両に送信されてもよい。
 図7は、第1の実施形態に係る端末装置に表示される処理選択画面の例を示す図である。つまり、図7は、表示部RPであるディスプレイに表示される画面の一例を示す図である。
 対象車両記憶部205に車両IDが記憶されると、表示制御部203は、表示部RPであるディスプレイに三次元データの生成制御処理の実行ボタンB1および三次元データの管理処理の実行ボタンB2を含む処理選択画面を表示させる(ステップS104)。入力受付部204は、表示された生成制御処理の実行ボタンB1または管理処理の実行ボタンB2の押下の入力を受け付ける(ステップS105)。生成制御処理の実行ボタンB1が押下された場合(ステップS105:生成制御処理)、端末装置200は、三次元データの生成制御処理を実行する(ステップS106)。他方、管理処理の実行ボタンB2が押下された場合(ステップS105:管理処理)、端末装置200は、三次元データの管理処理を実行する(ステップS107)。
 図8は、第1の実施形態に係る三次元データの生成制御処理を示す第1のシーケンス図である。第1のシーケンス図は、端末装置200が撮像指示を送信するステップから端末装置200が撮像データを表示するステップまでの処理を示すものである。
 端末装置200がステップS106にて三次元データの生成制御処理を開始すると、指示送信部206は、対象車両記憶部205が記憶する車両IDを含む撮像指示を、サーバ装置300に送信する(ステップS211)。サーバ装置300の指示転送部301は端末装置200から、撮像指示を受信すると、当該撮像指示に含まれる車両IDと、当該撮像指示の送信元の端末装置200を示す端末IDとを、関連付けて接続関係記憶部302に記憶させる(ステップS221)。接続関係記憶部302に記憶された車両IDと端末IDとの関係は、少なくとも端末装置200とサーバ装置300との接続が切断されるまで保持される。次に、指示転送部301は受信した撮像指示を、当該撮像指示に含まれる車両IDが示す建設機械100に転送する(ステップS222)。
 建設機械100の指示受信部1262がサーバ装置300から撮像指示を受信すると、撮像データ取得部1263は、第1カメラ1251から撮像データ(第1撮像データ)を取得する(ステップS231)。第1カメラ1251は、ステレオカメラ125を構成するカメラのうち最も作業機110の近くに設けられ、かつ光軸が運転室121の床面に対して略平行となるように設置されている。そのため、第1カメラ1251が撮像する撮像データは、作業機110の前方地形が写ったものとなる。データ送信部308は、撮像データ取得部1263が取得した第1撮像データを、サーバ装置300に送信する(ステップS232)。以下、建設機械100は、端末装置200とサーバ装置300との接続が切断されるまで、第1撮像データの取得および送信を、一定周期(例えば、5秒毎)で実行する。建設機械100は、サーバ装置300から切断通知を受信することで、端末装置200とサーバ装置300との接続の切断を検知することができる。
 サーバ装置300のデータ転送部303は、建設機械100から第1撮像データを受信すると、接続関係記憶部302において当該第1撮像データの送信元の建設機械100の車両IDに関連付けられた端末IDを特定する(ステップS223)。データ転送部303は、特定した端末IDが示す端末装置200に、第1撮像データを転送する(ステップS224)。端末装置200のデータ受信部202が第1撮像データを受信すると、表示制御部203は、三次元データの生成に用いられる第2撮像データの取得指示の送信ボタンと、受信した第1撮像データとを含む撮像範囲確認画面を、表示部RPであるディスプレイに表示させる(ステップS212)。この際、サーバ装置300のデータ転送部303は、建設機械100から一定周期(例えば、5秒毎)で受信した第1撮像データを端末装置200に一定周期で転送する。端末装置200のデータ受信部202は、サーバ装置300のデータ転送部303から一定周期で第1撮像データを受信し、表示制御部203は、受信した第1撮像データを一定周期で切り替えてディスプレイに表示させる。なお、データ転送部303は、建設機械100から最初に送信された第1撮像データのみを端末装置200に送信し、表示制御部203は、当該第1撮像データをディスプレイに表示してもよい。取得指示の送信ボタンの押下は、取得指示の送信トリガの一例である。つまり、入力受付部204は、第1撮像データを受信した後に、取得指示の送信トリガの入力の受け付けを開始する。
 図9は、第1の実施形態に係る端末装置に表示される撮像範囲確認画面の例を示す図である。つまり、図9は、表示部RPであるディスプレイに表示される画面の一例を示す図である。
 図9に示すように、撮像範囲確認画面は、第1撮像データの表示領域Rと取得指示の送信ボタンB3とを含む。第1撮像データの表示領域Rには、三次元データの生成に用いられる範囲を示す枠Fが表示される。三次元データの生成に用いられる範囲とは、対をなすカメラの撮像範囲の重複する部分であり、地形を計測する範囲である。つまり、表示制御部203は、第1カメラ1251の撮像範囲のうち第3カメラ1253の撮像範囲と重複する部分を示す枠Fを、計測範囲情報としてディスプレイに表示させる。枠Fの大きさは既知の撮像範囲に基づいており、グラフィックデータとして例えば表示制御部203に記憶されている。図9に示す例では、枠Fは破線で表わされるが、他の実施形態では、計測範囲情報として、枠Fが破線に代えて例えば赤色の実線などにより強調表示されてもよい。また、表示制御部203は、枠Fとともに撮像範囲を示す文字を計測範囲情報として示させてもよい。これにより、撮影者である運転者Dは、三次元データの生成に用いられる範囲内に所望の地形が写っていること(撮像範囲や撮像内容)を確認してから、三次元データの生成に用いられる撮像データの取得指示の送信ボタンを押下することができる。
 図10は、第1の実施形態に係る三次元データの生成制御処理を示す第2のシーケンス図である。第2のシーケンス図は、端末装置200が撮像データの取得指示を送信するステップからサーバ装置300に各種処理(三次元データの送信、統合または反映)を実行させるステップまでの処理を示すものである。
 端末装置200が取得指示の送信ボタンを表示した後、運転者Dが送信ボタンを押下すると、指示送信部206は、三次元データの生成に用いられる撮像データの取得指示をサーバ装置300に送信する(ステップS213)。取得指示には、対象車両記憶部205が記憶する車両IDが含まれる。サーバ装置300の指示転送部301は、受信した取得指示を、当該取得指示に含まれる車両IDが示す建設機械100に転送する(ステップS225)。
 建設機械100の指示受信部1262が取得指示を受信すると、撮像データ取得部1263は、ステレオカメラ125の全てのカメラ(第1カメラ1251、第2カメラ1252、第3カメラ1253および第4カメラ1254)から撮像データ(第2撮像データ)を取得する(ステップS233)。このとき、撮像データには、撮像時刻を示すタイムスタンプが含まれる。なお、他の実施形態においては、タイムスタンプは、撮像データに含まれるものでなく、撮像データと関連付けられた別個のデータとして取得されてもよい。
車両情報取得部1264は、位置検出器122、方位検出器123、および姿勢検出器124から、それぞれ位置情報、方位情報、および姿勢情報といった車両情報を取得する(ステップS234)。三次元データ生成部1265は、取得された第2撮像データ、ならびに位置情報、方位情報、および姿勢情報に基づいて、ステレオカメラ125による撮像範囲の三次元データを生成する(ステップS235)。生成された三次元データには、撮像データと同様にタイムスタンプが含まれる。タイムスタンプの値は、三次元データの生成に用いられた撮像データの撮像時刻であってもよいし、三次元データの生成時刻であってもよい。
 データ送信部1266は、生成された三次元データ、第2撮像データ、位置情報、現場ID、建設機械100の車両IDを、サーバ装置300に送信する(ステップS236)。タイムスタンプが撮像データおよび三次元データと別個のデータとして取得される場合、データ送信部1266は、タイムスタンプもサーバ装置300に送信する。ここで送信される位置情報は、GNSSから特定される位置情報であってもよいし、施工現場の住所で表される位置情報であってもよい。サーバ装置300のデータ受信部304は、三次元データと第2撮像データとを受信すると、三次元データと第2撮像データと車両IDと位置情報と現場IDとをデータ記憶部305に記憶させる(ステップS226)。タイムスタンプが撮像データおよび三次元データと別個のデータとして取得される場合、データ受信部304は、タイムスタンプもデータ記憶部305に記録する。
 これにより、端末装置200は、運転者Dに三次元データの生成に用いられる撮像範囲や撮像内容を確認させた後に、三次元データの生成に用いられる撮像データの取得指示を建設機械100に送信することができる。
 図11は、第1の実施形態に係る三次元データの管理処理(図6、ステップS107)を示すシーケンス図である。
 端末装置200がステップS107にて三次元データの管理処理を指示すると、指示送信部206は、サーバ装置300に三次元データおよび撮像データのリストの送信指示を送信する(ステップS311)。送信指示には、対象車両記憶部205が記憶する車両IDが含まれる。サーバ装置300の指示受信部307が送信指示を受信すると、データ送信部308は、データ記憶部305が記憶する三次元データおよび撮像データのリストを生成し、端末装置200に送信する(ステップS321)。このとき、データ送信部308は、データ記憶部305が記憶するデータのうち、送信指示に含まれる車両IDに関連付けられたデータをデータ記憶部305から抽出することで、リストを生成する。当該リストは、三次元データと当該三次元データの生成に用いた撮像データの組み合わせを1つの構成単位とする。端末装置200のデータ受信部202がリストを受信すると、表示制御部203は、受信したリストを表示部RPであるディスプレイに表示させる(ステップS312)。
 入力受付部204は、受信したリストに含まれる三次元データおよび撮像データの組み合わせの選択を受け付ける(ステップS313)。このとき、複数の組み合わせが選択されてもよい。入力受付部204は、三次元データおよび撮像データの組み合わせの選択を受け付けると、選択された組み合わせに対する操作の選択を受け付ける(ステップS314)。操作の選択肢としては、データの閲覧、データの統合、施工経過情報への反映が挙げられる。
 データの閲覧が選択された場合(ステップS314:閲覧)、指示送信部206は、選択されたデータの送信指示をサーバ装置300に送信する(ステップS315)。送信指示には、送信対象となるデータの識別情報が含まれる。サーバ装置300の指示受信部307が送信指示を受信すると、データ送信部308は、データ記憶部305から送信指示が示す三次元データおよび撮像データを読み出し、端末装置200に送信する(ステップS322)。端末装置200のデータ受信部202が三次元データおよび撮像データを受信すると、表示制御部203は、受信した三次元データおよび撮像データをディスプレイに表示させる(ステップS316)。なお、データ受信部304が受信する三次元データには、統合三次元データを含む。これにより、運転者Dは、建設機械100の制御装置126によって適切な範囲を表す三次元データが生成されたか否かを確認することができる。なお、表示制御部203は、三次元データおよび撮像データとともにこれらのデータに関連付けられたタイムスタンプを表示してもよい。
 ステップS314にてデータの統合が選択された場合(ステップS314:統合)、指示送信部206は、選択されたデータ(三次元データおよび撮像データの組み合わせ)の統合指示をサーバ装置300に送信する(ステップS317)。なお、データの統合を選択する場合、複数のデータが選択される必要がある。統合指示には、統合対象となる複数のデータの識別情報が含まれる。サーバ装置300の指示受信部307が統合指示を受信すると、三次元データ統合部306は、統合指示に含まれる識別情報が示す複数の三次元データを読み出す。三次元データ統合部306は、読み出した複数の三次元データを1つの統合三次元データに統合する(ステップS323)。図12は、三次元データから統合三次元データを生成する処理を示す図である。統合対象となる三次元データは、図12の上段に示すように、共通の基準位置を原点とした絶対座標系で表される三次元データである。三次元データ統合部306は、原点を共通として三次元データを統合することで、図12の下段に示すような統合三次元データを生成する。統合処理の詳細については、後述する。三次元データ統合部306は、生成した統合三次元データを、データ記憶部305に記憶させる(ステップS324)。これにより、ステップS321で生成される三次元データのリストに、新たに統合三次元データが追加される。したがって、この後、運転者Dは、端末装置200にステップS312-S316の処理を実行させることで、統合三次元データを確認することができる。つまり、運転者Dは、端末装置200がステップS312で表示されたリストから統合三次元データを選択し、ステップS314でデータの閲覧を選択することで、統合三次元データがサーバ装置300から端末装置200に送信され、端末装置200に統合三次元データが表示される。これにより運転者Dは、統合三次元データを確認することができる。
 ステップS314にて施工経過情報への反映が選択された場合(ステップS314:反映)、指示送信部206は、選択されたデータの反映指示をサーバ装置300に送信する(ステップS318)。反映指示には、反映対象となるデータの識別情報が含まれる。反映対象となるデータは、統合三次元データであってもよい。サーバ装置300の指示受信部307が反映指示を受信すると、三次元データ統合部306は、反映指示に含まれる識別情報が示す三次元データ(反映対象データ)と、出来形を表す三次元データとを読み出す。出来形を表す三次元データは、予め施工業者などによって作成された、施工現場の施工完成後の地形を表す情報である。出来形を表す三次元データとしては、例えば、三角形のポリゴンなどで表示されるデータを用いることができる。三次元データ統合部306は、出来形を表す三次元データのうち反映対象データと平面位置が重複する部分について、例えば、施工途中の地形を表すデータ(経過データ)や施工途中の切土量や盛土量のデータ(作業量データ)として取得する(ステップS325)。具体的には、三次元データ統合部306は、すでに記憶されている反映前の経過データと、反映対象の三次元データとのうち、平面位置が重複する位置(x、y座標が同一の位置)について、経過データの高さデータ(z座標)を反映対象の三次元データの高さデータに置き換えることで、経過データを更新する。また、三次元データ統合部306は、反映前の経過データと、反映対象の三次元データとのうち、平面位置が重複する位置について、反映前の経過データと反映対象の三次元データにおける高さデータの差分に基づいて、作業量データを取得する。なお、反映対象となるデータとして複数のデータ(三次元データ、統合三次元データ、またはその組み合わせ)が選択された場合、三次元データ統合部306は、データ間で平面位置が重複する位置について、最新のデータ(タイムスタンプが最も新しいデータ)の高さ情報を用いて経過データを生成する。三次元データ統合部306は、更新された経過データを、データ記憶部305に記憶させる(ステップS326)。これにより、ステップS321で生成される三次元データのリストに、新たに経過データが追加される。したがって、この後、運転者Dは、端末装置200にステップS312-S316の処理を実行させることで、更新された経過データを確認することができる。つまり、運転者Dは、端末装置200がステップS312で表示されたリストから経過データを選択し、ステップS314でデータの閲覧を選択することで、経過データがサーバ装置300から端末装置200に送信され、端末装置200に経過データが表示される。これにより運転者Dは、経過データを確認することができる。
《統合処理について》
 ここで、ステップS323に示す統合処理について詳述する。図13は、第1の実施形態に係る統合処理を示すフローチャートである。
 三次元データ統合部306は、指示受信部307が受信した統合指示に含まれる識別情報が示す三次元データを読み出す(ステップS401)。次に、三次元データ統合部306は、読み出した三次元データに関連付けられたタイムスタンプが示す時刻、タイムスタンプの時間幅(最も古い時刻と最も新しい時刻の差の時間)を算出する(ステップS402)。次に、三次元データ統合部306は、算出した時間幅が所定時間未満であるか否かを判定する(ステップS403)。時間幅が所定時間以上である場合(ステップS403:NO)、三次元データ統合部306は、端末装置200に三次元データの統合ができない旨を通知し(ステップS404)、統合処理を終了する。これは、統合対象となる三次元データどうしの生成時刻が所定時間以上離れている場合、古い三次元データが生成されてから新しい三次元データが生成されるまでの間に、掘削や盛り土などの何らかの施工がなされて地形が変化している可能性があるためである。
 時間幅が所定時間未満である場合(ステップS403:YES)、三次元データ統合部306は、読み出した各三次元データから、高さデータが存在する平面座標の和集合を特定する(ステップS405)。ここで、第1の三次元データが、座標(X1,Y1,Z1)、座標(X2,Y2,Z2)、座標(X3,Y3,Z3)からなる点群であり、第2の三次元データが、座標(X3,Y3,Z1)、座標(X4,Y4,Z4)、座標(X5,Y5,Z5)からなる点群である場合を例に説明する。座標(X,Y,Z)は、緯度X、経度Y、標高Zで特定される座標である。つまり、平面座標とは、緯度Xと経度Yの組み合わせで表される座標である。この場合、第1の三次元データと第2の三次元データにおける高さデータが存在する平面座標の和集合は、座標(X1,Y1)、座標(X2,Y2)、座標(X3,Y3)、座標(X4,Y4)、座標(X5,Y5)である。次に、三次元データ統合部306は、ブランクの統合三次元データを生成する(ステップS406)。
 次に、三次元データ統合部306は、ステップS405で特定した和集合に含まれる平面座標を1つずつ選択し、以下に示すステップS408からステップS411の処理を実行する(ステップS407)。まず三次元データ統合部306は、ステップS401で読み出した三次元データのうち、選択された平面座標について高さ情報を有するものが複数存在するか否かを判定する(ステップS408)。つまり、三次元データ統合部306は、異なる三次元データに同一の平面座標に係る高さ情報が含まれるか否かを判定する。選択された平面座標に係る高さ情報が1つの三次元データにのみ含まれる場合(ステップS408:NO)、統合三次元データのうち選択された平面座標に、当該高さ情報を反映する(ステップS409)。これにより、統合三次元データに三次元座標が記録される。
 他方、選択された平面座標に係る高さ情報が複数の三次元データに含まれる場合(ステップS408:YES)、三次元データ統合部306は、各高さ情報から高さの平均値を算出する(ステップS410)。そして、三次元データ統合部306は、統合三次元データのうち選択された平面座標に、高さの平均値を高さ情報として反映する(ステップS411)。これにより、統合三次元データに三次元座標が記録される。
 三次元データ統合部306は、ステップS407で特定した和集合に含まれるすべての平面座標について、上記ステップS408からステップS411の処理を実行することで、統合三次元データを生成することができる。
《作用・効果》
 このように第1の実施形態によれば、端末装置200は、ステレオカメラ125が撮像した撮像データを受信し、受信した撮像データを表示部RPに表示させ、建設機械100に三次元データの生成に用いられる撮像データの取得指示を送信する。これにより、端末装置200は、取得指示の送信に際し、ステレオカメラ125によって撮像される範囲や撮像内容を撮影者である運転者Dに確認させることができる。したがって、運転者Dは、所望の地点に係る三次元データを制御装置126に生成させることができる。
 また第1の実施形態によれば、端末装置200は、撮像データが表示部RPに表示された後に取得指示の送信トリガの入力を受け付ける。これにより、運転者Dは、ステレオカメラ125が所望の撮影範囲や所望の撮像内容を撮像していることを確認できたときに送信トリガを入力することで、所望の地点に係る三次元データを制御装置126に生成させることができる。
 また第1の実施形態によれば、端末装置200は、車両IDを含む撮像指示を送信し、当該車両IDが示す建設機械100から撮像データを受信する。これにより、端末装置200は、施工現場に複数の建設機械100が存在する場合にも、所望の建設機械100から撮像データを受信することができる。
 また第1の実施形態によれば、端末装置200は、三次元データをサーバ装置300から受信し、当該三次元データを表示させる。これにより、運転者Dは、建設機械100により所望の地点に係る三次元データが適切に生成されているか否かを確認することができる。
 また第1の実施形態によれば、端末装置200は、撮像データと共に、三次元データの生成に用いられる範囲を表す計測範囲情報を表示部RPに表示させる。これにより、運転者Dは、撮像データに写る所望の地点が、三次元データの生成に用いられる範囲が含まれるか否かを確認することができる。
 また第1の実施形態によれば、サーバ装置300は、複数の三次元データを統合した統合三次元データを生成することができる。これにより、運転者Dは、端末装置200で統合三次元データを閲覧することで、撮像し損ねた施工領域および三次元データの生成に失敗した領域の有無を容易に確認することができる。つまり、統合三次元データが存在しない場合、運転者Dは、撮像データまたは三次元データを1つずつ確認して、撮像し損ねた施工領域および三次元データの生成に失敗した領域が無いかを確認する必要がある。また、運転者Dは、撮像データまたは三次元データを1つずつ確認したとしても、撮影し損ねた施工領域の有無の判断を誤る可能性がある。また、運転者Dは、統合三次元データを閲覧することで、全体的な作業後の地形と自分自身の位置を容易に認識することができる。
つまり、統合三次元データの目的は、撮像し損ねた施工領域もしくは三次元データの生成に失敗した領域が無いかを容易に確認すること、または全体的な作業後の地形を容易に認識することである。
 第1の実施形態によれば、サーバ装置300は、統合対象となる複数の三次元データに関連付けられた時刻の時間幅が所定時間未満である場合に、三次元データの統合を行う。
これにより、サーバ装置300は、古い三次元データが生成されてから新しい三次元データが生成されるまでの間に、掘削や盛り土などの何らかの施工がなされて地形が変化している蓋然性が低い状態で統合三次元データを生成することができる。
《変形例》
 第1の実施形態では、端末装置200がステップS102で対象車両を特定する際に、受信強度が最も強いビーコン信号に含まれる車両IDを特定するが、他の実施形態ではこれに限られない。例えば、他の実施形態においては、ビーコン受信部201は、所定時間の間継続して、受信強度が所定強度以上であるビーコン信号のうち、受信強度が最も強いビーコン信号に含まれる車両IDを特定してもよい。また例えば、他の実施形態においては、ビーコン受信部201は、受信強度が所定強度以上であるビーコン信号に含まれる車両IDのリストを端末装置200などに表示させ、その中から選択された車両IDを特定してもよい。
 第1の実施形態では、サーバ装置300は、統合処理において、同一の平面座標について複数の高さ情報が存在する場合に、その平均値を求めて統合三次元データに反映するが、他の実施形態ではこれに限られない。例えば、他の実施形態においては、サーバ装置300は、複数の三次元データのうちタイムスタンプが示す時刻が最も新しいもの(三次元データの生成時刻が最も遅いもの)に係る高さ情報を、統合三次元データに反映してもよい。この場合、サーバ装置300の三次元データ統合部306は、ステップS407からステップS411の処理に代えて、古い順に三次元データを読み出し、順次高さ情報を上書きすることで統合三次元データを更新してもよい。また、他の実施形態では、建設機械100が三次元データ統合部306を備え、統合処理を建設機械100で行ってもよい。
この場合、建設機械100の三次元データ生成部1265が図18に示すステップS2235で複数の三次元データを生成し、建設機械100の三次元データ統合部306がこれらを図13に示す方法で統合した後、データ送信部1266がステップS2236で第2撮像データ、三次元データ、および統合三次元データを送信する。この場合、建設機械100の制御装置126は、データ統合装置の一例である。
 第1の実施形態では、統合処理において、統合対象となる複数の三次元データに関連付けられた時刻の時間幅が所定時間未満であるか否かをサーバ装置300が判定するが、他の実施形態ではこれに限られない。例えば、他の実施形態では、サーバ装置300は、統合対象となる複数の三次元データに関連付けられた時刻に関わらず統合三次元データを生成してもよい。また例えば、他の実施形態では、統合対象となる三次元データに関連付けられた時刻の時間幅が所定時間未満であるか否かを、端末装置200が判定してもよい。
この場合、端末装置200は、ステップS313で選択された三次元データに関連付けられた時刻の時間幅が所定時間以上である場合に、統合指示を送信しない。例えば、端末装置200は、ステップS313で選択された三次元データに関連付けられた時刻の時間幅が所定時間以上である場合に、ステップS314においてデータの統合を選択できなくしてもよい。
〈第2の実施形態〉
《施工管理システム》
 図14は、第2の実施形態に係る施工管理システムの構成を示す概略図である。
 第1の実施形態に係る施工管理システム1は、運転者Dが端末装置200を操作して建設機械100に撮像および三次元データの生成を指示する。これに対し、第2の実施形態に係る施工管理システム1は、施工現場の管理者Aが撮影者となり、管理者Aが端末装置200を操作して建設機械100に撮像および三次元データの生成を指示する。第2の実施形態に係る端末装置200としては、例えばスマートフォン、携帯電話、携帯型コンピュータを用いることができる。また、端末装置200は、例えば施工現場から離れた事務所に設けられる、表示部を備えたパーソナルコンピュータ(PC)であってよい。
 管理者Aが端末装置200を操作する場合、対象車両がビーコン発信部1261を備えていないために、または対象車両がビーコン発信部1261を備えていたとしても対象車両のビーコン信号が端末装置200に届かないために、第1の実施形態のようなビーコン信号に基づく対象車両の決定が困難となる可能性がある。そのため、第2の実施形態に係る端末装置200は、ビーコン信号によらずに対象車両を決定する。
 図15は、第2の実施形態に係る端末装置の構成を示す概略ブロック図である。
 第2の実施形態に係る端末装置200は、第1の実施形態に係る端末装置200のビーコン受信部201に代えて、車両リスト記憶部207を備える。車両リスト記憶部207は、施工現場を識別する複数の現場IDと、各施工現場で動作する建設機械100の車両IDとを管理づけたリストを記憶する。
 第2の実施形態に係る建設機械100は、ビーコン発信部1261を備えなくてもよい。
《動作》
 図16は、第2の実施形態に係る端末装置の動作を示すフローチャートである。
 運転者Dは端末装置200を操作し、端末装置200に、第2の実施形態に係る撮像方法を行うための撮像制御プログラムを実行させる。端末装置200が撮像制御プログラムの実行を開始すると、表示制御部203は、車両リスト記憶部207が記憶する施工現場のリストをディスプレイに表示させる(ステップS1101)。ディスプレイには、例えば施工現場の住所によって施工現場を表すリストが表示される。入力受付部204は、表示されたリストの中から1つの現場IDの選択の入力を受け付ける(ステップS1102)。入力受付部204は、入力された現場IDに関連付けられた建設機械100のリストをディスプレイに表示させる(ステップS1103)。ディスプレイには、例えば建設機械100の機種および号機の組み合わせによって建設機械100を表すリストが表示される。入力受付部204は、表示されたリストの中から1つの車両IDの選択の入力を受け付ける(ステップS1104)。入力受付部204は、入力された車両IDを対象車両記憶部205に記憶させる(ステップS1105)。これにより、端末装置200は、ビーコン信号を受信することなく対象車両を特定することができる。
 入力受付部204が対象車両記憶部205に車両IDを記憶させると、表示制御部203は、ディスプレイに三次元データの生成制御処理の実行ボタンおよび三次元データの管理処理の実行ボタンを表示する(ステップS1106)。入力受付部204は、表示された生成制御処理の実行ボタンまたは管理処理の実行ボタンの押下の入力を受け付ける(ステップS1107)。生成制御処理の実行ボタンが押下された場合(ステップS1107:生成制御処理)、端末装置200は、三次元データの生成制御処理を実行する(ステップS1108)。他方、管理処理の実行ボタンが押下された場合(ステップS1107:管理処理)、端末装置200は、第1の実施形態と同様に図11に示す手順によって、データの表示、データの統合、およびデータの反映(三次元データの管理処理)を実行する(ステップS1109)。つまり、管理者Aは、端末装置200がステップS312で表示されたリストから確認すべきデータを選択し、ステップS314でデータの閲覧を選択することで、そのデータがサーバ装置300から端末装置200に送信され、端末装置200にそのデータが表示される。これにより、管理者Aは、建設機械100の制御装置126によって適切な範囲を表す三次元データが生成されたか否かを確認することができる。
《作用・効果》
 このように、第2の実施形態によれば、端末装置200は、予め記憶されたリストの中から車両IDの選択の入力を受け付けることで、対象車両を特定する。これにより、端末装置200は、ビーコン信号を受信することなく対象車両を特定することができる。したがって、撮影者である管理者Aは、ステレオカメラ125によって撮像される範囲や撮像内容を確認したうえで、所望の地点に係る三次元データを制御装置126に生成させることができる。
 《変形例》
 第2の実施形態では、端末装置200が車両リスト記憶部207が記憶するリストを表示するが、他の実施形態ではこれに限られない。例えば、他の実施形態においては、端末装置200がサーバ装置300に対象となる施工現場の現場IDを送信し、サーバ装置300が現場情報記憶部309から当該現場IDに関連付けられた建設機械100のリストを端末装置200に送信してもよい。つまり、他の実施形態に係る施工管理システム1は、管理者Aまたは運転者Dに、複数の施工現場の中から対象となる施工現場を選択させた後に、建設機械100を選択させるものであってもよい。
 また、他の実施形態に係る端末装置200は、ビーコン信号が受信できた場合には第1の実施形態と同様にビーコン信号に基づいて建設機械100を特定し、ビーコン信号が受信できない場合には第2の実施形態と同様にリストに基づいて建設機械100を特定してもよい。
〈第3の実施形態〉
《施工管理システム》
 第1の実施形態に係る施工管理システム1は、建設機械100および端末装置200は、サーバ装置300を介して指示およびデータを送受信する。これに対し、第3の実施形態に係る施工管理システム1は、三次元データの生成制御処理において、建設機械100と端末装置200とが、サーバ装置300を介さずに直接通信することで、指示およびデータを送受信する。端末装置200は、管理者Aあるいは運転者Dによって操作される。
《動作》
 図17は、第3の実施形態に係る三次元データの生成制御処理を示す第1のシーケンス図である。
 端末装置200がステップS106にて三次元データの生成制御処理を開始すると、指示送信部206は、対象車両記憶部205が記憶する車両IDが示す建設機械100に、近距離無線通信によって撮像指示を送信する(ステップS2211)。近距離無線通信の例としては、運転者Dや管理者Aが、特別な認証や免許を持っていなくても使用可能な、無線LAN(Local Area Network)、Bluetooth(登録商標)、NFC(Near field radio communication)が挙げられる。建設機械100の指示受信部1262が端末装置200から撮像指示を受信すると、撮像データ取得部1263は、第1カメラ1251から撮像データ(第1撮像データ)を取得する(ステップS2231)。データ送信部1266は、撮像データ取得部1263が取得した第1撮像データを、撮像指示の送信元の端末装置200に送信する(ステップS2232)。なお、他の実施形態においては、建設機械100の所定の記憶装置に、建設機械100毎に割り当てられた車両識別情報である車両IDを記憶しておき、データ送信部1266は、車両IDを当該所定の記憶装置から読み出して、第1撮像データとともに車両IDを端末装置200に送信するようにしてもよい。この場合、端末装置200の対象車両記憶部205は、受信した車両IDを記憶する。
そして、上記のステップS2211で行う撮像指示を出す際に、過去に入手した車両IDを端末装置200の対象車両記憶部205から選択し、選択された車両IDに対応する建設機械100に対して撮像指示を送信することができる。以下、建設機械100は、端末装置200との接続が切断されるまで、第1撮像データの取得および送信を、一定時間(例えば、5秒)が経過する度に実行する。端末装置200のデータ受信部202が第1撮像データを受信すると、表示制御部203は、取得指示の送信ボタンと受信した第1撮像データとを含む撮像範囲確認画面を、ディスプレイに表示させる(ステップS2212)。
 図18は、第3の実施形態に係る三次元データの生成制御処理を示す第2のシーケンス図である。
 端末装置200が取得指示の送信ボタンを表示した後、運転者Dが送信ボタンを押下すると、指示送信部206は、対象車両記憶部205が記憶する車両IDが示す建設機械100に取得指示を送信する(ステップS2213)。建設機械100の指示受信部1262が取得指示を受信すると、撮像データ取得部1263は、ステレオカメラ125の全てのカメラから撮像データ(第2撮像データ)を取得する(ステップS2233)。車両情報取得部1264は、位置検出器122、方位検出器123、および姿勢検出器124から、それぞれ位置情報、方位情報、および姿勢情報といった車両情報を取得する(ステップS2234)。三次元データ生成部1265は、取得された第2撮像データ、ならびに位置情報、方位情報、および姿勢情報に基づいて、ステレオカメラ125による撮像範囲の三次元データを生成する(ステップS2235)。
 データ送信部1266は、生成された三次元データと第2撮像データとを、サーバ装置300に送信する(ステップS2236)。サーバ装置300のデータ受信部304は、三次元データと第2撮像データとを受信すると、三次元データと第2撮像データとをデータ記憶部305に記憶させる(ステップS2226)。
 なお、端末装置200は、第1の実施形態と同様に図11に示す手順によって、データの表示、データの統合、およびデータの反映(三次元データの管理処理)を実行することができる。つまり、管理者Aあるいは運転者Dは、端末装置200がステップS312で表示されたリストから確認すべきデータを選択し、ステップS314でデータの閲覧を選択することで、そのデータがサーバ装置300から端末装置200に送信され、端末装置200にそのデータが表示される。これにより、管理者Aあるいは運転者Dは、建設機械100の制御装置126によって適切な範囲を表す三次元データが生成されたか否かを確認することができる。
《作用・効果》
 このように、第3の実施形態によれば、端末装置200は、近距離無線通信により建設機械100との通信を行う。これにより、ネットワークNおよびサーバ装置300を介して通信する場合と比較し、端末装置200と建設機械100との間の通信における応答時間を短くすることができる。また、第3の実施形態においても、撮影者である管理者Aあるいは運転者Dは、ステレオカメラ125によって撮像される範囲や撮像内容を確認したうえで、所望の地点に係る三次元データを制御装置126に生成させることができる。
〈第4の実施形態〉
 第3の実施形態に係る端末装置200は、建設機械100と近距離無線通信により接続される。これに対し、第4の実施形態に係る建設機械100は端末装置200を備え、端末装置200と制御装置126とが有線で接続される。端末装置200は、運転室121内の座席の前方(+Y方向)に設置される。これにより、運転者Dは、建設機械100の運転中に端末装置200を確認することができる。
 第4の実施形態に係る制御装置126は、ビーコン発信部1261を備えなくてもよい。第4の実施形態に係る端末装置200は、ビーコン受信部201および対象車両記憶部205を備えなくてよい。第4の実施形態に係る端末装置200の対象車両は、常に当該端末装置200を搭載する建設機械100である。
〈第5の実施形態〉
 第1の実施形態に係る建設機械100は、取得指示を受信したときに、ステレオカメラ125から第2撮像データを取得する。これに対し、第5の実施形態に係る建設機械100は、記憶しておいた複数の第1撮像データの中から、第2撮像データとして用いるものを取得する。
 図19は、第5の実施形態に係る建設機械の制御装置の構成を示す概略ブロック図である。
 第5の実施形態に係る建設機械100の制御装置126は、第1の実施形態の構成に加え、さらに撮像データ記録部1267および撮像データ記憶部1268を備える。撮像データ記録部1267は、撮像データ取得部1263がステレオカメラ125から取得した第1撮像データと、第1撮像データを特定するための画像識別情報としての撮像IDと、車両情報取得部1264が取得した車両情報とを関連付けて、撮像データ記憶部1268に記憶する。撮像IDの例としては、撮像日時およびシリアルナンバーが挙げられる。
 図20は、第5の実施形態に係る三次元データの生成制御処理を示す第1のシーケンス図である。
 端末装置200が図6に示したステップS106にて三次元データの生成制御処理を開始すると、指示送信部206は、対象車両記憶部205が記憶する車両IDを含む撮像指示を、サーバ装置300に送信する(ステップS3211)。サーバ装置300の指示転送部301は端末装置200から、撮像指示を受信すると、当該撮像指示に含まれる車両IDと、当該撮像指示の送信元の端末装置200を示す端末IDとを、関連付けて接続関係記憶部302に記憶させる(ステップS3221)。次に、指示転送部301は受信した撮像指示を、当該撮像指示に含まれる車両IDが示す建設機械100に転送する(ステップS3222)。
 建設機械100の指示受信部1262がサーバ装置300から撮像指示を受信すると、撮像データ取得部1263は、ステレオカメラ125の全てのカメラ(第1カメラ1251、第2カメラ1252、第3カメラ1253および第4カメラ1254)から撮像データを取得する(ステップS3231)。車両情報取得部1264は、位置検出器122、方位検出器123、および姿勢検出器124から、それぞれ位置情報、方位情報、および姿勢情報といった車両情報を取得する(ステップS3232)。撮像データ記録部1267は、取得した撮像データおよび車両情報を、撮像IDに関連付けて撮像データ記憶部1268に記憶させる(ステップS3233)。データ送信部308は、撮像IDを付した撮像データのうち、第1カメラ1251によって撮像されたもの(第1撮像データ)をサーバ装置300に送信する(ステップS3234)。
 サーバ装置300のデータ転送部303は、建設機械100から第1撮像データを受信すると、図5に示す接続関係記憶部302において当該第1撮像データの送信元の建設機械100の車両IDに関連付けられた端末IDを特定する(ステップS3223)。データ転送部303は、特定した端末IDが示す端末装置200に、第1撮像データを転送する(ステップS3224)。端末装置200のデータ受信部202が第1撮像データを受信すると、表示制御部203は、取得指示を建設機械100に送信するための送信ボタンB3と、受信した第1撮像データとを含む撮像範囲確認画面を、ディスプレイに表示させる(ステップS3212)。
 図21は、第5の実施形態に係る三次元データの生成制御処理を示す第2のシーケンス図である。
 端末装置200が送信ボタンB3を表示した後、運転者Dが送信ボタンB3を押下すると、指示送信部206は、データ受信部202が最後に受信した第1撮像データに付された撮像IDを特定する(ステップS3213)。これにより、送信ボタンB3が押下されたときにディスプレイに表示されていた第1撮像データの撮像IDを特定することができる。指示送信部206は、第2撮像データの取得指示をサーバ装置300に送信する(ステップS3214)。取得指示には、特定した撮像IDおよび対象車両記憶部205が記憶する車両IDが含まれる。サーバ装置300の指示転送部301は、受信した取得指示を、当該取得指示に含まれる車両IDが示す建設機械100に転送する(ステップS3225)。
 建設機械100の指示受信部1262が取得指示を受信すると、撮像データ取得部1263は、取得指示に含まれる撮像IDに関連付けられた第1撮像データ、および当該第1撮像データと同じタイミングに第2カメラ1252、第3カメラ1253、ならびに第4カメラ1254によって撮像された撮像データを、撮像データ記憶部1268から抽出して、第2撮像データとして取得する(ステップS3235)。また撮像データ取得部1263は、撮像データ記憶部1268から、取得指示に含まれる撮像IDに関連付けられた車両情報を取得する。三次元データ生成部1265は、取得された第2撮像データおよび車両情報に基づいて、ステレオカメラ125による撮像範囲の三次元データを生成する(ステップS3236)。
 データ送信部1266は、生成された三次元データと第2撮像データとを、サーバ装置300に送信する(ステップS3237)。サーバ装置300のデータ受信部304は、三次元データと第2撮像データとを受信すると、三次元データと第2撮像データとをデータ記憶部305に記憶させる(ステップS3226)。
 これにより、端末装置200は、運転者Dが送信ボタンB3を押下したときに表示された撮像データの取得指示を建設機械100に送信することができる。
〈他の実施形態〉
 以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
 例えば、上述した実施形態に係る端末装置200が送信する撮像指示には、送信元の端末IDが含まれるが、これに限られない。例えば、他の実施形態に係る撮像指示には、撮像データの送信先の端末IDとして、当該端末装置200以外の装置を示す端末IDが含まれても良い。つまり、撮像指示を送信する端末装置200と、撮像データを受信し、表示する端末装置200とが異なるものであってよい。
 上述した実施形態に係る建設機械100は、撮像指示を受信すると、所定時間が経過する度に撮像データを送信するが、これに限られない。例えば、他の実施形態に係る建設機械100は、撮像指示を受信したときに、第1カメラ1251が撮像する撮像データのストリーミング配信を開始してもよい。つまり他の実施形態に係る建設機械100は、動画像として撮像データを送信してもよい。
 上述した実施形態に係る建設機械100は、奥行方向の情報を取得可能な撮像装置としてステレオカメラ125を備えるが、これに限られない。例えば、他の実施形態に係る建設機械100は、奥行方向の情報を取得可能な撮像装置として3Dスキャナ、深度センサ、またはその他の撮像装置を備えてもよい。
 上述した実施形態に係る建設機械100は、撮像指示を受信すると、第1カメラ1251が撮像した撮像データの送信を実行するが、これに限られない。例えば、他の実施形態に係る建設機械100は、撮像指示を受信すると、第2カメラ1252が撮像した撮像データ、第3カメラ1253が撮像した撮像データまたは第4カメラ1254が撮像した撮像データを送信してもよい。また例えば、他の実施形態に係る建設機械100は、撮像指示を受信すると、第1カメラ1251、第2カメラ1252、第3カメラ1253、および第4カメラ1254のうち、2つ以上のカメラが撮像した撮像データを送信してもよい。
 上述した実施形態に係る建設機械100の制御装置126は、取得指示を受信すると、ステレオカメラ125から撮像データを取得して三次元データを生成するが、これに限られない。例えば、他の実施形態に係る施工管理システム1は、建設機械100がステレオカメラ125から取得した撮像データと、車両情報取得部1264が取得した車両情報をサーバ装置300に送信し、サーバ装置300が当該撮像データから三次元データを生成してもよい。つまり、他の実施形態に係る建設機械100は、三次元データ生成部1265を備えなくてもよい。
 上述した実施形態に係る建設機械100は、制御装置126の機能としてビーコン発信部1261を備えるが、これに限られない。例えば、他の実施形態に係る建設機械100は、ビーコン発信部1261として制御装置126と別個の発信器を備えてもよい。
 上述した実施形態に係る建設機械100は、作業車両としての油圧ショベルであったが、これに限られない。例えば、他の実施形態に係る建設機械100は、作業車両として、ホイールローダー、ブルドーザー、モーターグレーダー、ダンプトラック、またはその他の建設機械であってもよい。
 上述した実施形態に係る端末装置200は、撮像データが表示されている間、取得指示の送信ボタンの押下の入力を受け付けるが、これに限られない。例えば、他の実施形態に係る端末装置200は、ディスプレイから撮像データの表示を消した後に、取得指示の送信ボタンの押下の入力を受け付けてもよい。この場合にも、運転者Dは、撮像範囲を確認してから取得指示を送信することができる。
 上述した実施形態に係る端末装置200は、撮像データが表示された後に、取得指示の送信ボタンの押下の入力を受け付けるが、これに限られない。例えば、他の実施形態に係る端末装置200は、撮像データが表示されている間、取得指示を送信し続けてもよい。
この場合にも、運転者Dは、三次元データの生成に用いられる撮像データの撮像範囲を確認することができる。
 上述した実施形態に係る端末装置200は、三次元データを受信してディスプレイに表示させるが、これに限られない。例えば、他の実施形態では、端末装置200は、三次元データの表示機能を有しなくてもよい。この場合、端末装置200の操作により生成された三次元データは、他の装置を用いて確認される。
 上述した実施形態に係る端末装置200は、撮像データと共に、計測範囲情報として、三次元データの生成に用いられる範囲を示す枠をディスプレイに表示させるが、これに限られない。例えば、他の実施形態に係る端末装置200は、撮像データを三次元データの生成に用いられる範囲でトリミングしてディスプレイに表示させてもよい。また例えば、三次元データの生成に用いられる範囲の内外で、撮像データの色を異ならせてもよい。また他の実施形態では、当該枠に「計測範囲」という文字を表示させてもよい。また他の実施形態では、端末装置200は、三次元データの生成に用いられる範囲の表示をしなくてもよい。
 上述した実施形態に係る端末装置200において、撮像指示、取得指示、送信指示、統合指示、および反映指示の送信トリガは、送信ボタンの押下であるが、これに限られない。例えば、他の実施形態に係る送信トリガは、所定の音声入力、一定値以上の加速度の検出、電波の受信、またはその他のトリガであってもよい。また、他の実施形態において、取得指示の送信トリガは、端末装置200に対する処理ではなく、建設機械100の運転室121内に設けられた撮像ボタンの押下であってもよい。つまり、他の実施形態においては、運転者Dは、端末装置200に表示された第1撮像データを視認した上で、建設機械100のボタンを押下することで第2撮像データを取得してもよい。
 上述した実施形態に係るサーバ装置300は、第1撮像データの送信元の車両IDに関連付けて接続関係記憶部302に記憶された端末IDが示す端末装置200へ第1撮像データを転送するが、これに限られない。例えば、他の実施形態に係るサーバ装置300は、建設機械100から受信した第1撮像データに付された端末IDが示す端末装置200へ第1撮像データを転送してもよい。この場合、サーバ装置300は、送信元の端末IDを含む撮像指示を建設機械100に転送する。またこの場合、建設機械100の制御装置126は、撮像指示に含まれる端末IDを、第1撮像データに付してサーバ装置300に送信する。
 上述した実施形態に係るサーバ装置300は、端末装置200に関連付けられた建設機械100が撮像した撮像データおよび三次元データのリストを送信するが、これに限られない。例えば、他の実施形態に係るサーバ装置300は、端末装置200に関連付けられた建設機械100と同一の施工現場に係る建設機械100が撮像した撮像データおよび三次元データのリストを送信してもよい。具体的には、サーバ装置300は、端末装置200から受信した送信指示に含まれる車両IDと同じ現場IDに関連付けられた車両IDを現場情報記憶部309から特定し、その車両IDに関連付けてデータ記憶部305が記憶するデータのリストを端末装置200に送信してもよい。この場合、施工管理システム1は、施工現場単位で、データの閲覧、データの統合、施工経過情報への反映を行うことができる。
〈コンピュータ構成〉
 図22は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
 コンピュータ99は、プロセッサ991、メインメモリ992、ストレージ993、インタフェース994を備える。
 上述した実施形態に係る制御装置126、端末装置200、およびサーバ装置300は、コンピュータ99を備える。上述した各処理部の機能は、プログラムとしてストレージ993に記憶されている。プロセッサ991は、プログラムをストレージ993から読み出してメインメモリ992に展開し、当該プログラムに従って上述した処理を実行する。
プロセッサ991は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ992に確保する。ストレージ993は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース994を介して接続される光ディスク、磁気ディスク、光磁気ディスクおよび半導体メモリが挙げられる。
 プログラムは、ネットワークを介してコンピュータ99に配信されてもよい。この場合、コンピュータ99は、配信されたプログラムをメインメモリ992に展開し、上記処理を実行する。プログラムは、上述した機能の一部を実現するためのものであってもよい。
例えば、プログラムは、上述した機能をストレージ993に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせで実現するものであってもよい。また上述した機能の一部は、ネットワークを介して接続された他の装置によって実行されてもよい。つまり、上述した機能は、クラウドコンピューティング、グリッドコンピューティング、クラスタコンピューティング、またはその他の並列コンピューティングにより実現されてもよい。
 コンピュータ99は、上記構成に加えて、または上記構成に代えてPLD(Programmable Logic Device)を備えてもよい。PLDの例としては、PAL(Programmable Array Logic)、GAL(Generic Array Logic)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)が挙げられる。
 上記態様のうち少なくとも1つの態様によれば、所望の地点に係る三次元データを生成することができる端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法が提供される。
1…施工管理システム 100…建設機械 125…ステレオカメラ 126…制御装置 1261…ビーコン発信部 1262…指示受信部 1263…撮像データ取得部 1264…車両情報取得部 1265…三次元データ生成部 1266…データ送信部 200…端末装置 201…ビーコン受信部 202…データ受信部 203…表示制御部 204…入力受付部 205…対象車両記憶部 206…指示送信部

Claims (17)

  1.  作業車両に備えられた、三次元データを生成可能な撮像装置が撮像した第1撮像データを受信する撮像データ受信部と、
     前記撮像データ受信部が受信した前記第1撮像データを表示する表示部と、
     前記撮像装置によって撮像され、三次元データの生成に用いられる第2撮像データを前記作業車両に取得させる取得指示を送信する取得指示送信部と
     を備える端末装置。
  2.  前記第1撮像データが表示された後に、取得指示の送信トリガの入力を受け付ける入力受付部をさらに備え、
     前記取得指示送信部は、前記送信トリガが入力されたときに、前記取得指示を送信する
     請求項1に記載の端末装置。
  3.  作業車両の識別情報を含む撮像指示を送信する撮像指示送信部をさらに備え、
     前記撮像データ受信部は、前記撮像指示に含まれる前記識別情報が示す前記作業車両から、前記第1撮像データを受信する
     請求項1または請求項2に記載の端末装置。
  4.  前記撮像装置が撮像した撮像データに基づいて生成された三次元データを受信する三次元データ受信部をさらに備え、
     前記表示部は、前記三次元データ受信部が受信した前記三次元データを表示する
     請求項1から請求項3の何れか1項に記載の端末装置。
  5.  前記表示部は、前記第1撮像データと共に、三次元データの生成に用いられる範囲を示す計測範囲情報を表示する
     請求項1から請求項4の何れか1項に記載の端末装置。
  6.  前記撮像装置は、複数の撮像装置であり、
     前記第1撮像データは、前記複数の撮像装置のうち1つの撮像装置が撮像した撮像データである
     請求項1から請求項5の何れか1項に記載の端末装置。
  7.  作業車両と端末装置とを備え、
     前記作業車両は、
     車体と、
     前記車体に備えられ、奥行方向の情報を取得可能な撮像装置と、
     前記撮像装置が撮像した第1撮像データを前記端末装置に送信する撮像データ送信部と、
     三次元データの生成に用いる第2撮像データの取得指示を受信する取得指示受信部と、
     前記取得指示に従って前記撮像装置から前記第2撮像データを取得する撮像データ取得部と
     を備え、
     前記端末装置は、
     前記作業車両から前記第1撮像データを受信する撮像データ受信部と、
     前記撮像データ受信部が受信した前記第1撮像データを表示する表示部と、
     前記第2撮像データを前記作業車両に取得させる取得指示を送信する取得指示送信部と
     を備える撮像システム。
  8.  前記作業車両は、
     前記第2撮像データを用いて三次元データを生成する三次元データ生成部をさらに備える
     請求項7に記載の撮像システム。
  9.  作業車両に備えられた、奥行方向の情報を取得可能な撮像装置が撮像した第1撮像データを受信することと、
     受信した前記第1撮像データを端末装置に表示させることと、
     前記撮像装置によって撮像され、三次元データの生成に用いられる第2撮像データを前記作業車両に取得させる取得指示を送信することと
     を含む撮像方法。
  10.  作業車両に備えられた、奥行方向の情報を取得可能な撮像装置が撮像した第1撮像データを端末装置に送信する撮像データ送信部と、
     三次元データの生成に用いる第2撮像データの取得指示を受信する取得指示受信部と、
     前記取得指示に従って前記撮像装置から前記第2撮像データを取得する撮像データ取得部と
     を備える制御装置。
  11.  作業車両に備えられた撮像装置が施工現場を撮像した撮像データに基づいて生成された複数の三次元データを取得する三次元データ取得部と、
     前記三次元データ取得部が取得した前記複数の三次元データを統合して統合三次元データを生成する三次元データ統合部と
     を備えるデータ統合装置。
  12.  前記複数の三次元データに、同一の平面座標について高さ情報を有する複数の三次元データである複数の共通三次元データが含まれる場合に、前記三次元データ統合部は、前記共通三次元データのうち前記平面座標に係る高さの平均値を算出し、当該平均値を用いて前記統合三次元データを生成する
     請求項11に記載のデータ統合装置。
  13.  前記複数の三次元データに、同一の平面座標について高さ情報を有する複数の三次元データである複数の共通三次元データが含まれる場合に、前記三次元データ統合部は、前記共通三次元データのうち最も新しいものに係る高さを用いて前記統合三次元データを生成する
     請求項11に記載のデータ統合装置。
  14.  前記三次元データ統合部は、複数の作業車両に備えられた前記撮像装置が撮像した前記撮像データに基づいて生成された前記複数の三次元データを統合して前記統合三次元データを生成する
     請求項11から請求項13の何れか1項に記載のデータ統合装置。
  15.  前記三次元データ統合部は、前記複数の三次元データに関連付けられた時刻の時間幅が所定時間未満である場合に、前記統合三次元データを生成する
     請求項11から請求項14の何れか1項に記載のデータ統合装置。
  16.  車体と、
     前記車体に備えられた撮像装置と、
     前記撮像装置が撮像した複数の撮像データのそれぞれに基づいて、複数の三次元データを生成する三次元データ生成部と、
     前記三次元データ生成部が生成した複数の三次元データを統合して統合三次元データを生成する三次元データ統合部と
     を備える作業車両。
  17.  作業車両とデータ統合装置とを備え、
     前記作業車両は、
     車体と、
     前記車体に備えられた撮像装置と、
     前記撮像装置が撮像した複数の撮像データのそれぞれに基づいて、複数の三次元データを生成する三次元データ生成部と、
     前記複数の三次元データを前記データ統合装置に送信するデータ送信部と
     を備え、
     前記データ統合装置は、
     前記作業車両から前記複数の三次元データを受信するデータ受信部と、
     前記データ受信部が受信した前記複数の三次元データを統合して統合三次元データを生成する三次元データ統合部と
     を備える撮像システム。
PCT/JP2017/009287 2016-03-30 2017-03-08 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法 WO2017169598A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112017000244.3T DE112017000244T5 (de) 2016-03-30 2017-03-08 Endgerät-vorrichtung, steuerungs-vorrichtung, vorrichtung zum integrieren von daten, arbeitsfahrzeug, bildaufnahme-system, bildaufnahme-verfahren
CN201780005627.8A CN108432234B (zh) 2016-03-30 2017-03-08 终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及拍摄方法
AU2017242392A AU2017242392B2 (en) 2016-03-30 2017-03-08 Terminal device, control device, data-integrating device, work vehicle, image-capturing system, and image-capturing method
US16/069,573 US10805597B2 (en) 2016-03-30 2017-03-08 Terminal device, control device, data-integrating device, work vehicle, image-capturing system, and image-capturing method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016-069691 2016-03-30
JP2016069691 2016-03-30
JP2016-213793 2016-10-31
JP2016213793A JP6767241B2 (ja) 2016-03-30 2016-10-31 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法

Publications (1)

Publication Number Publication Date
WO2017169598A1 true WO2017169598A1 (ja) 2017-10-05

Family

ID=59964071

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/009287 WO2017169598A1 (ja) 2016-03-30 2017-03-08 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法

Country Status (1)

Country Link
WO (1) WO2017169598A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1072851A (ja) * 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JP2003040081A (ja) * 2001-07-26 2003-02-13 Komatsu Ltd 移動体の始動ロック装置
JP2003284096A (ja) * 2002-01-16 2003-10-03 Olympus Optical Co Ltd ステレオ撮影装置、ファインダ、目印提示部材、及び、ステレオ撮影装置の撮影方法
JP2006013851A (ja) * 2004-06-25 2006-01-12 Sharp Corp 撮像表示装置および撮像表示方法
JP2007142517A (ja) * 2005-11-15 2007-06-07 Kazuo Iwane 移動型自動監視装置
JP2009193240A (ja) * 2008-02-13 2009-08-27 Toyota Motor Corp 移動ロボット及び環境地図の生成方法
JP2010060344A (ja) * 2008-09-02 2010-03-18 Tokyu Construction Co Ltd 空間情報表示装置及び支援装置
JP2011099779A (ja) * 2009-11-06 2011-05-19 Ricoh Co Ltd 距離画像取得装置及び距離画像取得処理方法
JP2013036243A (ja) * 2011-08-09 2013-02-21 Topcon Corp 建設機械制御システム
JP2014123208A (ja) * 2012-12-20 2014-07-03 Mitsubishi Electric Corp 3次元復元装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1072851A (ja) * 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JP2003040081A (ja) * 2001-07-26 2003-02-13 Komatsu Ltd 移動体の始動ロック装置
JP2003284096A (ja) * 2002-01-16 2003-10-03 Olympus Optical Co Ltd ステレオ撮影装置、ファインダ、目印提示部材、及び、ステレオ撮影装置の撮影方法
JP2006013851A (ja) * 2004-06-25 2006-01-12 Sharp Corp 撮像表示装置および撮像表示方法
JP2007142517A (ja) * 2005-11-15 2007-06-07 Kazuo Iwane 移動型自動監視装置
JP2009193240A (ja) * 2008-02-13 2009-08-27 Toyota Motor Corp 移動ロボット及び環境地図の生成方法
JP2010060344A (ja) * 2008-09-02 2010-03-18 Tokyu Construction Co Ltd 空間情報表示装置及び支援装置
JP2011099779A (ja) * 2009-11-06 2011-05-19 Ricoh Co Ltd 距離画像取得装置及び距離画像取得処理方法
JP2013036243A (ja) * 2011-08-09 2013-02-21 Topcon Corp 建設機械制御システム
JP2014123208A (ja) * 2012-12-20 2014-07-03 Mitsubishi Electric Corp 3次元復元装置

Similar Documents

Publication Publication Date Title
JP6767241B2 (ja) 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法
US11940789B2 (en) System and method for autonomous operation of a machine
US10822773B2 (en) Construction machine and construction management system
WO2021124654A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2019012992A1 (ja) 表示制御装置、表示制御方法、プログラムおよび表示システム
JPWO2020003497A1 (ja) 撮像装置の校正装置、監視装置、作業機械および校正方法
WO2017169598A1 (ja) 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法
WO2021153187A1 (ja) 作業支援サーバおよび作業支援システム
CN114730440A (zh) 作业支援服务器、作业支援方法及作业支援系统
JP2021103840A (ja) 作業支援サーバ、撮像装置の選択方法
US20220398512A1 (en) Work assist server, work assist method, and work assist system
US20220391811A1 (en) Work assist server, work assist method, and work assist system
JP2023151682A (ja) ショベル及びショベル支援システム
JP2023006464A (ja) 情報処理装置、情報処理装置の制御プログラム
CN116627304A (zh) 操作者显示器上的作业区覆盖
NZ787784A (en) System and method for autonomous operation of a machine
JP2020143476A (ja) 作業機械用画像取得装置、情報管理システム、情報端末、作業機械用画像取得プログラム
JP2019112870A (ja) 遠隔操縦システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 112017000244

Country of ref document: DE

ENP Entry into the national phase

Ref document number: 2017242392

Country of ref document: AU

Date of ref document: 20170308

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17774143

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17774143

Country of ref document: EP

Kind code of ref document: A1