WO2024062781A1 - 演算装置、演算方法およびプログラム - Google Patents

演算装置、演算方法およびプログラム Download PDF

Info

Publication number
WO2024062781A1
WO2024062781A1 PCT/JP2023/028346 JP2023028346W WO2024062781A1 WO 2024062781 A1 WO2024062781 A1 WO 2024062781A1 JP 2023028346 W JP2023028346 W JP 2023028346W WO 2024062781 A1 WO2024062781 A1 WO 2024062781A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
data
laser
laser scanner
coordinate system
Prior art date
Application number
PCT/JP2023/028346
Other languages
English (en)
French (fr)
Inventor
剛 佐々木
Original Assignee
株式会社トプコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社トプコン filed Critical 株式会社トプコン
Publication of WO2024062781A1 publication Critical patent/WO2024062781A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00—Tracing profiles
    • G01C7/02—Tracing profiles of land surfaces
    • G01C7/04—Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced

Definitions

  • the present invention relates to a technique for obtaining three-dimensional data using heavy machinery.
  • Patent Document 1 A technique for measuring the position of heavy machinery using a surveying device is known (see, for example, Patent Document 1).
  • the present invention aims to improve the efficiency of work related to converting the results of work performed by heavy machinery into data.
  • the present invention is a computing device that includes a measurement data receiving unit that receives measurement data measured while tracking the position of a reflecting prism of a heavy machine equipped with a laser scanner and a reflecting prism using a surveying device whose position and attitude on a specific coordinate system are known; a laser scan point cloud acquisition unit that acquires a laser scan point cloud obtained by the laser scanner; a coordinate conversion unit that converts the laser scan point cloud into the specific coordinate system based on the measurement data and the attitude of the laser scanner; a change detection unit that detects changes on the time axis in the point cloud data obtained by the coordinate conversion; and a work content identification unit that identifies the work content of the heavy machine based on the changes on the time axis of the point cloud data.
  • a monitoring target detection unit that detects an object moving on the ground toward the heavy equipment as a monitoring target based on the change in the point cloud data on the time axis.
  • an embodiment includes a notification unit that performs notification processing when the monitoring target approaches the heavy equipment at a predetermined distance or less.
  • the laser scan point cloud includes a point cloud targeting a part of the heavy machinery, and includes a removal unit that removes the point cloud targeting the part of the heavy machinery. .
  • the present invention receives measurement data obtained by tracking and measuring the position of a reflective prism of a heavy machine equipped with a laser scanner and a reflective prism using a surveying device whose position and orientation on a specific coordinate system are known. Obtain the obtained laser scan point group, coordinate transform the laser scan point group to the specific coordinate system based on the measurement data and the attitude of the laser scanner, and calculate the time axis of the point cloud data obtained by the coordinate transformation. This calculation method detects a change on the time axis of the point cloud data and specifies the content of the work of the heavy equipment based on the change on the time axis of the point cloud data.
  • the present invention is a program that is read and executed by a computer, and the computer uses a surveying device whose position and orientation on a specific coordinate system are known to determine the position of a reflective prism of a heavy machine equipped with a laser scanner and a reflective prism.
  • a measurement data reception unit that receives measurement data measured while tracking;
  • a laser scan point cloud acquisition unit that acquires a laser scan point group obtained by the laser scanner;
  • a coordinate transformation section that coordinates transforms the scan point cloud into the specific coordinate system;
  • a change detection section that detects a change on the time axis of the point cloud data obtained by the coordinate transformation; and a change detection section that detects a change on the time axis of the point cloud data obtained by the coordinate transformation.
  • This program operates as a work content specifying unit that specifies the work content of the heavy equipment based on the change in the above.
  • the present invention includes a positioning data receiving unit that receives positioning data from a GNSS position measuring device mounted on heavy machinery, a laser scanning point cloud acquiring unit that acquires a laser scanning point group obtained by the laser scanner, and a coordinate conversion unit that converts the laser scan point group into an absolute coordinate system based on the attitude of the scanner; a change detection unit that detects a change on the time axis of the point group data obtained by the coordinate conversion;
  • the computing device includes a work content specifying unit that specifies the work content of the heavy machinery based on the change in data on the time axis.
  • FIG. 1 is a diagram showing the process of civil engineering work using heavy machinery.
  • FIG. 2 is a diagram showing changes in topography that occur as a result of civil engineering work using heavy machinery.
  • FIG. 2 is a block diagram of a computing device.
  • 3 is a flowchart illustrating an example of a processing procedure.
  • 3 is a flowchart illustrating an example of a processing procedure.
  • FIG. 1 shows a heavy machine 100 that performs civil engineering work and a total station 200 that measures the position of the heavy machine 100.
  • the heavy machinery 100 performs work and performs laser scanning using a laser scanner (Lidar) 101 mounted thereon to obtain a laser scanning point group around the heavy machinery 100.
  • the total station 200 repeatedly and continuously measures the position of the reflective prism 102 mounted on the heavy equipment 100 while tracking it.
  • the laser scanning point group is coordinate-transformed onto a specific coordinate system to obtain point group data in which the position of each point is described on the specific coordinate system. Further, changes in the point cloud data obtained by coordinate transformation on the time axis are detected, and based on this change, the content of the work of the heavy equipment 100 is specified.
  • Heavy equipment 100 is a power shovel.
  • a power shovel is one example, and the type of heavy equipment is not particularly limited as long as it is used for civil engineering work.
  • the heavy machine 100 includes a base part 120 that runs on the ground on an endless track, and a rotating part 110 that rotates horizontally on the base part 120.
  • the rotating unit 110 includes a driver's seat and an arm 151, and a bucket 152 is disposed at the tip of the arm 151. These structures are the same as regular power shovels.
  • a laser scanner 101, a reflection prism 102, and a camera 103 are arranged above the rotating section 110.
  • the position and orientation of the laser scanner 101 in the heavy equipment 100 (rotating unit 110) and the relationship between the positions of the laser scanner 101 and the reflecting prism 102 are obtained in advance and are known information.
  • the laser scanner 101 scans the laser scan light point by point and measures the distance and direction of each reflection point to obtain a group of laser scan points.
  • the laser scanner 101 is directed toward the front of the rotating unit 110 and is arranged to laser scan an object to be worked on by the heavy equipment 100.
  • the laser scanner 101 is given time information from the GNSS device 111, and the position data of each point in the laser scan point group measured by the laser scanner 101 is obtained in association with the time information at the time of measurement.
  • the type of laser scanner 101 is not particularly limited.
  • the laser scanner 101 includes two rotating parts whose rotational axes are perpendicular to each other, one rotating part has an optical system for emitting and inputting scanning light, and while rotating both rotating parts, the scanning light is emitted in pulses.
  • the range of laser scanning is set to fit within the work range of the heavy equipment 100.
  • the model of the laser scanner 101 and the scan range are set so that the movement range of the bucket 152 falls within the laser scan range.
  • the reflective prism 102 is an optical reflective target used for surveying using laser light.
  • a full-circle reflection prism is used as the reflection prism 102.
  • the reflecting prism 102 changes the direction of the incident light by 180° and reflects it.
  • a reflection target having retroreflection characteristics can be used as the optical reflection target.
  • the camera 103 is a digital still camera that continuously and repeatedly takes still images or a camera that takes videos.
  • the camera 103 is arranged so that its photographing range overlaps the scanning range of the laser scanner 101.
  • FIG. 1 shows an example in which one camera 101 is arranged on the heavy equipment 100, it is also possible to arrange a plurality of cameras facing in multiple directions. Moreover, a stereo camera can also be used. A depth camera can also be used as the camera.
  • 3D data of the object to be photographed is obtained from the photographed image using the principle of SFM (Structure from Motion).
  • SFM Structure from Motion
  • the position and orientation of the camera 103 in the heavy equipment 100 may be known or unknown.
  • SFM Structure from Motion
  • the position and orientation of the camera at the time of photographing are calculated through adjustment calculations, so the position and orientation of the camera 103 in the heavy equipment 100 may be unknown.
  • This technology is described in, for example, Japanese Patent Application No. 2022-147113. Of course, the position and orientation of the camera 103 in the heavy equipment 100 may be known.
  • the heavy equipment 100 includes a GNSS device 111, an IMU 112, a travel detection device 113, a rotation detection device 114, and a calculation device 300. Note that the heavy equipment 100 is equipped with other functions necessary for operating the power shovel, although descriptions thereof will be omitted.
  • the GNSS device 111 is a device that measures position using GNSS (Global Navigation Satellite System).
  • the GNSS device 111 may be of normal accuracy and does not need to be of high accuracy using relative positioning.
  • the positional relationship among the laser scanner 101, reflective prism 102, GNSS device 111, and IMU 112 in the heavy equipment 100 is known.
  • the IMU 112 is an inertial measurement device that measures acceleration and detects changes in posture.
  • the IMU 112 is calibrated using the positioning data of the GNSS device 111, and outputs a measured value of the attitude in the absolute coordinate system.
  • the absolute coordinate system is a coordinate system used in GNSS and maps. For example, assume that the heavy equipment 100 moves straight over a small distance. At this time, the moving direction in the absolute coordinate system is calculated from the positioning data of the GNSS device 111, and the attitude of the IMU 112 in the absolute coordinate system is determined. By performing this process as needed, the attitude of the IMU 112 in the absolute coordinate system and its changes can be detected.
  • the IMU 112 is given time information from the GNSS device 111, and the posture measurement data is output in association with the time information at the time of measurement.
  • the IMU 112 can be calibrated on the coordinate system in which the position and orientation of the total station 200 are determined, and the orientation of the IMU 112 and its changes in the coordinate system can be detected.
  • the GNSS device 111 is equipped with a highly accurate clock, and time information obtained from it is provided to the laser scanner 101, IMU 112, and camera 103.
  • the travel detection device 113 detects whether the base portion 120 is traveling on an endless track.
  • the traveling detection device 113 outputs a signal indicating that the heavy machinery 100 is in motion (the base portion 120 is traveling on an endless track) while the heavy machinery 100 is in motion. Based on this signal, it is possible to determine whether or not the heavy equipment 100 is moving (running).
  • the rotation detecting section 114 outputs a signal indicating that the rotating section 110 is rotating when the rotating section 110 is rotating. Based on this signal, it is possible to determine whether or not the rotating section 110 is rotating.
  • the calculation unit 300 will be described later.
  • the position of the heavy equipment 100 is determined by the position of the IMU 112. It is also possible to grasp the position of the heavy machine 100 by the position of the reflecting prism 102, some point on the rotation center axis of the rotating part 110, or any other position of the heavy machine 100.
  • the total station 200 is an example of a surveying device that can measure position.
  • the total station 200 has a positioning function using laser light, a camera, a clock, a storage device for surveyed data, a communication interface, a user interface, a function to search for a survey target (reflection prism 102), and a function to search for a survey target (reflection prism 102) even if the survey target moves. Equipped with a tracking function.
  • commonly available models can be used.
  • the position and orientation (position and orientation) of the total station 200 in a specific coordinate system are obtained and are known data.
  • the particular coordinate system utilized is an absolute coordinate system or a local coordinate system.
  • an absolute coordinate system as a coordinate system for specifying the position of the IMU 112
  • the position and orientation of the total station 200 are acquired on the absolute coordinate system.
  • a local coordinate system is used as a coordinate system for specifying the position of the IMU 112
  • the position and orientation of the total station 200 are acquired on the local coordinate system.
  • the position of the total station 200 is determined by the position of the optical origin of the optical system for distance measurement.
  • the heavy equipment 100 begins operation with the total station 200 aiming at and locking the reflecting prism 102. While the heavy equipment 100 is operating, the total station 200 tracks the reflecting prism 102 and repeatedly measures its position. The interval between repeated measurements of the reflecting prism 102 position is approximately 0.1 to 5 seconds.
  • the total station 200 is equipped with a clock, and obtains time data at the time of positioning in association with positioning data.
  • the calculation unit 300 performs calculations related to the laser scan point group acquired by the laser scanner 101 and other calculations.
  • the calculation unit 300 is a computer and includes a CPU, a storage device, and various interfaces.
  • FIG. 4 shows a block diagram of the calculation unit 300.
  • the calculation unit 300 includes a point cloud data acquisition unit 301, an unnecessary data removal unit 302, a positioning data acquisition unit 303, an operating state acquisition unit 304, an attitude data acquisition unit 306, a coordinate conversion unit 307, and acquisition of point cloud data subjected to coordinate transformation. section 308 , change detection section 309 , 3D model creation section 310 , data storage section 311 , work content specification section 312 , monitoring target specification section 313 , and notification section 314 .
  • a part or all of these functional units are realized by executing an operation program by the CPU of the calculation unit 300.
  • Part or all of these functional units may be configured with dedicated hardware (electronic circuits).
  • the point cloud data acquisition unit 301 acquires a laser scan point group obtained by laser scanning by the laser scanner 101.
  • This laser scan point group is a data group that starts from the origin of the optical system of the laser scanner 101 and collects data about the distance and direction of each scan point from there, and the emission time of the corresponding scan light. can get.
  • the laser scanner 101 performs laser scanning to obtain a group of laser scan points of objects that change due to the work (for example, topography to be scraped, etc.).
  • the position and orientation of the laser scanner 101 moves due to the movement of the heavy equipment 100 or the rotation of the rotating unit 110, the origin of the laser scan (the above-mentioned starting point) moves, and the direction of the coordinate axes of the laser scanner 101 changes. It becomes impossible to describe the laser scan point cloud on one coordinate system. Therefore, coordinate transformation, which will be described later, is performed so that each point of the laser scan point group obtained by the laser scanner 101 can be handled on the same coordinate system.
  • the unnecessary data removal unit 302 removes laser scan point clouds of parts unnecessary for creating 3D data of the work target, such as the arm 151 and bucket 152 of the heavy equipment 100.
  • the laser scan point group obtained by laser scanning by the laser scanner 101 includes those targeting the arm 151 and bucket 152 of the heavy equipment 100. Since these laser scan point groups are not necessary for generating 3D data of the work target, the corresponding laser scan point groups are removed.
  • the laser scan point group of the arm 151 and the bucket 152 moves relative to the laser scan point group of the background terrain when the heavy equipment 100 moves or the rotating unit 110 rotates.
  • the background laser scan point group moves in the opposite direction to the direction of travel, but the laser scan point group of the arm 151 and bucket 152 moves relative to the background point group. and move in the same direction as the heavy equipment 100.
  • a point group exhibiting this behavior is identified as a point group of the arm 151 or bucket 152 and deleted.
  • the positioning data acquisition unit 303 acquires data on the position of the reflecting prism 102 measured by the total station 200.
  • the total station 200 is equipped with a clock, and acquires the time when the position of the reflecting prism 102 is measured.
  • the position data of the reflecting prism 102 is output from the total station 200 in association with the measurement time, and is acquired by the positioning data acquisition unit 303.
  • the positioning data of the total station 200 is described using a coordinate system in which the position and orientation of the total station 200 are acquired. For example, when the position and orientation of the total station 200 are acquired on an absolute coordinate system, the obtained positioning data is described using the absolute coordinate system. For example, when the position and orientation of the total station 200 are acquired on a local coordinate system, the obtained positioning data is described using the local coordinate system.
  • the positional relationship among the laser scanner 101, reflective prism 102, and IMU 112 is known. Further, the relationship between the postures of the laser scanner 101 and the IMU 112 is known. Therefore, the position of the laser scanner 101 can be calculated using the positioning data of the reflecting prism 102 by the total station 200 and the attitude data measured by the IMU 112. That is, the total station 200 can measure the position of the laser scanner 101. For example, if the position and orientation of the total station 200 are obtained on an absolute coordinate system, the total station 200 can measure the position of the laser scanner 101 on the absolute coordinate system.
  • the operating state acquisition unit 304 acquires information regarding whether the heavy equipment 100 is traveling and whether the rotating unit 110 is rotating. Here, whether or not the heavy equipment 100 is traveling is determined based on a signal from the travel detection device 111 , and whether or not the rotating section 110 is rotating is determined based on a signal from the rotation detection section 112 .
  • the posture data acquisition unit 306 acquires posture data measured by the IMU 112.
  • the relationship between the positions and postures of the IMU 112 and the laser scanner 101 is known. Therefore, the IMU 112 can measure the attitude of the laser scanner 101.
  • the coordinate transformation unit 207 coordinates transforms the laser scan point group acquired by the laser scanner 101 into a specific coordinate system.
  • the data of the laser scan point measured by the laser scanner 101 is the distance and direction from the laser scanner 101. This data is written on a local coordinate system specific to the laser scanner 101.
  • the laser scanner 101 When the laser scanner 101 performs a laser scan while the heavy equipment 100 is moving or the rotating part 110 is rotating, the laser scanner 101 moves during the laser scan, so the local coordinate system unique to the laser scanner 101 is changed. The origin of is also moved. Further, the local coordinate system may rotate (change its posture). In this case, the resulting laser scan point group cannot be described on a single coordinate system. In extreme cases, a unique coordinate system is required for each large number of scan points (of course, this does not apply if there is no movement or movement is slow).
  • the laser scan point group obtained by the laser scanner 101 is coordinate-transformed into a specific coordinate system, so that the point group data can be described on one coordinate system.
  • a case will be described in which a group of laser scan points acquired by the laser scanner 101 is converted into an absolute coordinate system.
  • the total station 200 has acquired the position and orientation in advance on the absolute coordinate system. While the heavy equipment 100 is in operation (in operation), the total station 200 continuously measures the position of the reflecting prism 102. The positioning data at this time is obtained by associating the position on the absolute coordinate system with the positioning time data.
  • the IMU 112 measures the attitude of the laser scanner 101 in the absolute coordinate system. Additionally, the time at which this posture was measured is acquired.
  • each scan point obtained by the laser scanner 101 is converted into an absolute coordinate system.
  • a scan point obtained by the laser scanner 101 at a certain time t the position of the laser scanner 101 in the absolute coordinate system at time t is measured by the total station 200, and the attitude in the absolute coordinate system is measured by the IMU 112. Therefore, the position of the scan point on the absolute coordinate system can be determined. By performing this operation for each scan point, each scan point obtained by the laser scanner 101 can be converted into an absolute coordinate system.
  • coordinate transformation from a first coordinate system to a second coordinate system is performed by parallel movement and rotation.
  • information about the above-mentioned parallel movement can be obtained, and by giving the attitude of the laser scanner 101 at that position in the absolute coordinate system, the information about the above-mentioned rotation can be obtained.
  • coordinate transformation is performed from the local coordinate system unique to the laser scanner 101 to the absolute coordinate system regarding the scan point measured at time t.
  • the laser scan point group obtained by laser scanning while the laser scanner 101 is moving can be coordinate transformed into an absolute coordinate system. In this way, point group data is obtained in which the laser scan point group obtained by the laser scanner 101 is described on the absolute coordinate system.
  • the position and orientation of the laser scanner 101 in the local coordinate system to be used are used.
  • the IMU 112 also measures posture data in the local coordinate system.
  • the position and orientation of the total station 200 are obtained in advance on a local coordinate system. Further, the calibration of the IMU 112 and the calculation of the attitude in the local coordinate system are performed using the positioning data of the reflecting prism 102 by the total station 200, and the attitude data is obtained as that in the local coordinate system. Then, the position and orientation of the laser scanner 101 in the local coordinate system are acquired, and the above coordinate transformation is performed for each point.
  • the attitude data obtained by the IMU 112 and the positioning data of the reflecting prism 102 obtained by the total station 200 are sent to the computing device 300, and the computing device 300 calibrates the IMU 112 and calculates the attitude in the local coordinate system. .
  • This calculation is performed, for example, in the posture data acquisition unit 306. This calculation may be performed in the IMU 112.
  • each laser scan point is also possible to capture time within a certain time range.
  • the measurement times of scan points P1, P2, P3, P4, and P5 can be treated as time t1
  • the measurement times of scan points P6, P7, P8, P9, and P10 can be treated as time t2.
  • Laser scanning is performed point by point, so when considering multiple points lined up on the time axis, a set of these points is obtained over a certain amount of time. Therefore, when considering a certain range of point cloud data, the time when the last point was measured is defined as the acquisition time of the point cloud data. In other words, the last time of the time span is the acquisition time of the point group data. It is also possible to use the first time or intermediate time of the time range as the acquisition time of the point cloud data.
  • the coordinate-transformed point cloud data acquisition unit 308 acquires the coordinate-transformed point cloud data into the above-mentioned specific coordinate system.
  • This point cloud data includes point cloud data of the terrain on which the heavy equipment 100 operates.
  • the change detection unit 310 detects a change in 3D data by comparing 3D data that comes before and after on the time axis and detects the difference.
  • the 3D data is point cloud data whose coordinates have been transformed into the above-mentioned specific coordinate system, or a 3D model, which will be described later, created based on the point cloud data.
  • the 3D model creation unit 310 creates a 3D model based on the point cloud data acquired by the coordinate-transformed point cloud data acquisition unit 308.
  • the 3D model is a contour model or TIN model created based on point cloud data.
  • a 3D model used in CAD is one example.
  • the data storage unit 311 stores various data and operation programs used by the calculation unit 300, and various data obtained by the calculation unit 300 (for example, 3D data such as point cloud data).
  • the work content identification unit 312 identifies the content of the work performed by the heavy machinery 100 based on the point cloud data acquired by the coordinate-transformed point cloud data acquisition unit 308 or the 3D model based on the point cloud data. At this time, 3D data (point cloud data or 3D model) of a monitoring target such as a person, which will be described later, is excluded because it is not the content of the work.
  • 3D data based on a photographed image obtained at a stage before a specific work is compared with 3D data based on a photographed image obtained at a stage after a specific work, and difference data between them is detected.
  • This process is performed in the change detection section 309.
  • 3D data of an object moving on the ground and moving relative to the heavy equipment 100 is removed as 3D data of a monitoring target such as a person.
  • This process is performed in the monitoring target specifying unit 312, which will be described later. In this way, changes in the 3D data caused by the work of the heavy equipment 100 are detected, and the content of the work (cutting the ground, etc.) is specified.
  • FIG. 2(A) shows the state of the civil engineering work site at time t1
  • FIG. 2(B) shows the state of the civil engineering work site at time t2.
  • t2 is a time after t1.
  • FIG. 2A shows a state in which swells 401 and 402 of the topography exist.
  • FIG. 2B (time t2) is a state in which, after the state at time t1 in FIG. 2A, the topographic bulge 401 is removed by the heavy equipment 100 and flattened, leaving the topographic bulge 402.
  • 3D data referred to here refers to point cloud data or a 3D model (three-dimensional model) based on the point cloud data.
  • the time associated with the obtained 3D data has a certain time width, and is understood by, for example, the median value or representative value.
  • 3D data is updated every 10 seconds or every 30 seconds.
  • newly increased 3D data and lost 3D data for example, the 3D data of the bulge 401 in the terrain described above is an example
  • the update interval can be set as appropriate depending on the capabilities of the hardware used, the required resolution on the time axis, and the like.
  • point cloud data is updated every 30 seconds.
  • we can obtain the newly increased point cloud data and the missing point cloud data by extracting the point cloud data that is the difference from the point cloud data 30 seconds before.
  • point cloud data that is lost is the point cloud data of "topographical bulge 401" that will eventually be scraped off, as shown in FIG.
  • 3D data at each of time T1, time T2, time T3, etc. is generated.
  • 3D data at each time is stored in association with that time. This data is stored in the data storage section 311.
  • changes in the 3D data can be grasped.
  • changes in topography caused by civil engineering work performed by the heavy machinery 100 can be understood as changes in 3D data.
  • changes in topography caused by civil engineering work of the heavy machinery 100 can be displayed as images on the display as time changes in a 3D model.
  • the object of change is not limited to the terrain, but may also be buildings or structures.
  • the progress of the demolition can be obtained as 3D data.
  • the monitoring target identifying unit 312 identifies an object that moves relatively to the heavy machinery 100 on the ground, particularly an object that approaches the heavy machinery 100 on the ground as a monitoring target. By periodically performing this process, it is possible to avoid proximity and contact between the heavy machinery 100 and people, and between the heavy machinery 100 and other heavy machinery.
  • the 3D data to be monitored above is not the 3D data of the work target of the heavy equipment 100, by specifying it, the 3D data of the work target (for example, terrain) as shown in FIG. It can be extracted and the content of the work can be identified efficiently. For example, it becomes possible to distinguish between people and work objects on 3D data.
  • 3D data that moves relative to the background 3D data (3D data of the terrain) and relative to the heavy equipment 100 is monitored.
  • 3D data moving on the ground is detected.
  • the process related to specifying the monitoring target needs to be performed in real time or with as little delay as possible.
  • the notification unit 314 issues a notification regarding the monitoring target identified by the monitoring target identification unit 313. For example, it performs a notification process when the distance between the heavy equipment 100 and a monitoring target such as a person becomes equal to or less than a predetermined distance.
  • the notification is made by a sound such as an alarm sound for the driver of the heavy equipment 100 and the surrounding area, a notification display using a display placed in the driver's seat of the heavy equipment 100, or output of a notification signal to an external device such as a smartphone.
  • FIG. 5 An example of the processing procedure is shown in Fig. 5.
  • the program for executing the processing of Fig. 5 is stored in the data storage unit 311 or an appropriate storage medium, read out from there, and executed by the CPU of the computer constituting the arithmetic device 300.
  • the program may also be stored in a server connected to the Internet and downloaded from there. This also applies to the processing of Fig. 6.
  • the process shown in FIG. 5 may be performed in parallel with the operation of the heavy machine 100, or may be performed as a post-process after the work by the heavy machine 100 is completed.
  • step S101 data of a laser scan point group obtained by the laser scanner 101 is acquired (step S101).
  • step S102 unnecessary portions of point group data are removed from the acquired laser scan point group data.
  • the point cloud data of unnecessary parts is scan data of parts unnecessary for creating 3D data of the work target, such as the arm 151 and bucket 152 of the heavy equipment 100. This process is performed in the unnecessary data removal section 302.
  • step S103 data on the position of the reflecting prism 102 measured by the total station 200 is acquired.
  • step S104 posture data measured by the IMU 112 is acquired.
  • step S105 the laser scan point group obtained in step S101 is coordinate-transformed into a specific coordinate system. This processing is performed in the coordinate transformation unit 307. Next, the coordinate-transformed point cloud data is acquired as "point cloud data in a specific coordinate system" (step S106).
  • step S107 two point cloud data that are placed before and after each other on the time axis are compared, the difference is taken, and point cloud data that has changed over time is detected (step S107). This process is performed in the change detection section 309.
  • point cloud data related to objects moving on the ground are removed from the point cloud data in which changes have been detected, and point cloud data that has changed due to the work of the heavy equipment 100 is identified as point cloud data related to the work content (step S108).
  • the monitoring target specifying unit 313 identifies point group data related to an object moving on the ground in the point group data in which a change has been detected.
  • the work content specifying unit 312 performs a process of removing point cloud data related to an object moving on the ground from among the point cloud data in which a change has been detected, and specifying point cloud data related to the work content.
  • FIG. 6 is a flowchart illustrating an example of a procedure for preventing interference between the heavy equipment 100 and people. This process needs to be performed with as little delay as possible from the acquisition of the laser scan point group.
  • steps S101 to S106 in FIG. 5 are performed to obtain data on a laser scan point group obtained by the laser scanner 101 (step S201).
  • monitoring objects objects that move relative to the heavy machinery 101 and the background terrain are identified as monitoring objects (step S202). This process is performed in the monitoring target specifying unit 313. Next, the distance between the heavy equipment 100 and the monitoring target is calculated, and it is determined whether the distance is less than or equal to a predetermined distance (step S203).
  • step S204 If the distance is less than or equal to a predetermined distance, a notification process is performed (step S204), and if not, the processes from step S201 onwards are repeated.
  • 3D data of the work target can be obtained simultaneously with the work of the heavy machinery. Therefore, the work involved in converting the results of work performed by heavy machinery into data becomes more efficient. In addition, it is possible to detect the risk of interference between heavy equipment and workers, avoid dangerous situations that may lead to accidents, and even prevent accidents.
  • the position of the laser scanner 101 may be obtained from the measured value of the GNSS device 111.
  • the positioning data of the GNSS device 111 is calibrated based on the positioning data of the reflecting prism 102 by the total station 200, and the measured value after the calibration is used.
  • the positioning data of the GNSS device 111 alone includes errors, by performing the above-described calibration using the total station 200, the accuracy of position measurement by the GNSS device 111 can be improved.
  • the positioning data acquisition unit 303 acquires position information measured by the GNSS device 111.
  • Third Embodiment It is also possible to use a data processing server to execute the functions of the calculation unit 300.
  • various measurement data from the heavy equipment 100 and the total station 200 are transmitted to the data processing server via a suitable data communication line such as an Internet line, and the processing performed by the calculation unit 300 is executed there.
  • a laser scan point group obtained while the laser scanner 101 is stationary (not moving) with respect to the ground (absolute coordinate system) is selected and acquired, and the acquired laser scan point group is There is also a method of obtaining point cloud data of the work target of the heavy equipment 100 using the above method.
  • the operating state acquisition unit 304 acquires data necessary for determining whether the heavy equipment 100 is running (moving) or not, and whether the rotating unit 110 is rotating. For example, suppose that the heavy equipment 100 does not run between times t1 and t2, and the rotation of the rotating part 110 is stopped. In this case, a group of laser scan points obtained by the laser scanner 101 obtained between times t1 and t2 is used for calculations related to specifying work details and monitoring targets.
  • a first laser scan point cloud obtained by a laser scanner 101 that is stationary at a first position and in a first attitude and a first laser scan point cloud obtained by a laser scanner 101 that is stationary at a second position and in a second attitude. It is assumed that a second laser scan point group, a third laser scan point group obtained by the laser scanner 101 that is stationary at a third position and in a third attitude, etc. have been obtained.
  • the position of the origin of the laser scan data obtained in each stationary state is determined from the position of the reflecting prism 01 measured by the total station 200. Since the positional relationship between the laser scanner 101 and the reflective prism 102 is known, the position of the laser scanner 101 can be determined based on the position of the reflective prism 102 and the attitude data obtained from the IMU 112. Furthermore, the attitude of the laser scanner 101 can be determined based on the attitude data obtained from the IMU 112.
  • the specific coordinate system used here is the coordinate system in which the position and orientation of the total station 200 are determined, as described in the first embodiment.
  • each laser scan point group can then be coordinate transformed into a specific coordinate system, resulting in a plurality of laser scan point groups described on the same coordinate system.
  • Whether or not the heavy equipment 100 is running (moving) and whether the rotating unit 110 is rotating may be determined from the positioning data of the reflecting prism 102 by the total station 200. For example, assume that total station positioning is performed at 0.5 second intervals. In the measurement of the position of the reflection prism 102 performed at intervals of 0.5 seconds, if there is no change in the measured position of the reflection prism 102 at adjacent positioning times t1 and t2 on the time axis, then 2), it is determined that the heavy equipment 100 is not running and the rotating part 110 is not rotating.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

【課題】重機上の視点から得た三次元情報の取得を可能とする。 【解決手段】レーザースキャナ１０１と反射プリズム１０２を搭載した重機１００の反射プリズム１０２の位置を特定の座標系上での位置と姿勢が既知のトータルステーション２００により追尾しつつ測定した測定データを受け付け、レーザースキャナ１０１が得たレーザースキャン点群を取得し、前記測定データおよびレーザースキャナ２００の姿勢に基づき、前記レーザースキャン点群を前記特定の座標系に座標変換し、前記座標変換により得た点群データの時間軸上における変化を検出し、前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する。

Description

演算装置、演算方法およびプログラム
　本発明は、重機を利用して三次元データを得る技術に関する。
　測量装置を用いて重機の位置を測定する技術が知られている（例えば、特許文献１を参照）。
特開平８－４３０９３号公報
　重機が１日や特定の期間に行った作業の結果をデータ化するために、従来は、重機による作業の終了後に、現場に設置したレーザースキャナ等の測量装置を用いて改めて作業対象の三次元情報の取得を行っていた。この方法は、重機による作業と、その作業結果のデータ化が別作業であり、効率が悪く、改善が望まれていた。また、上記の作業は専門的な知識を有する人による作業が必要であり、この点でも効率化が求められていた。このような背景において、本発明は、重機が行う作業の結果のデータ化に係る作業の効率化を目的とする。
　本発明は、レーザースキャナと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データを受け付ける測定データ受付部と、前記レーザースキャナが得たレーザースキャン点群を取得するレーザースキャン点群取得部と、前記測定データおよび前記レーザースキャナの姿勢に基づき、前記レーザースキャン点群を前記特定の座標系に座標変換する座標変換部と、前記座標変換により得た点群データの時間軸上における変化を検出する変化検出部と、前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する作業内容特定部とを備える演算装置である。
　本発明において、前記点群データの前記時間軸上における前記変化に基づき、地上を前記重機に向かって移動する対象を監視対象として検出する監視対象検出部を備える態様が挙げられる。
　本発明において、前記監視対象が前記重機に対して予め定めた距離以下に近づいた場合に報知処理を行う報知部を備える態様が挙げられる。本発明において、前記レーザースキャン点群には、前記重機の一部を対象とした点群が含まれ、前記重機の一部を対象とした前記点群を除去する除去部を備える態様が挙げられる。
　本発明は、レーザースキャナと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データを受け付け、前記レーザースキャナが得たレーザースキャン点群を取得し、前記測定データおよび前記レーザースキャナの姿勢に基づき、前記レーザースキャン点群を前記特定の座標系に座標変換し、前記座標変換により得た点群データの時間軸上における変化を検出し、前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する演算方法である。
　本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータをレーザースキャナと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データを受け付ける測定データ受付部と、前記レーザースキャナが得たレーザースキャン点群を取得するレーザースキャン点群取得部と、前記測定データおよび前記レーザースキャナの姿勢に基づき、前記レーザースキャン点群を前記特定の座標系に座標変換する座標変換部と、前記座標変換により得た点群データの時間軸上における変化を検出する変化検出部と、前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する作業内容特定部として動作させるプログラムである。
　本発明は、重機に搭載したＧＮＳＳ位置測定装置の測位データを受け付ける測位データ受付部と、前記レーザースキャナが得たレーザースキャン点群を取得するレーザースキャン点群取得部と、前記測位データおよび前記レーザースキャナの姿勢に基づき、前記レーザースキャン点群を絶対座標系に座標変換する座標変換部と、前記座標変換により得た点群データの時間軸上における変化を検出する変化検出部と、前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する作業内容特定部とを備える演算装置である。
　重機が行う作業の結果のデータ化に係る作業が効率化される。
実施形態の概念図である。 重機による土木作業の過程を示す図である。 重機による土木作業の結果生じる地形の変化を示す図である。 演算装置のブロック図である。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。
１．第１の実施形態
（概要）
　図１には、土木作業を行う重機１００、重機１００の位置の測定を行うトータルステーション２００が示されている。重機１００は、作業を行うと共に搭載するレーザースキャナ（Lidar）１０１によるレーザースキャンを行い、重機１００周囲のレーザースキャン点群を取得する。この際、トータルステーション２００は、重機１００に搭載した反射プリズム１０２を追尾しつつ繰り返し継続してその位置の測定を行う。この反射プリズム１０２の位置の測定値に基づいて、上記レーザースキャン点群を特定の座標系上に座標変換し、特定の座標系上で各点の位置が記述された点群データを得る。また、座標変換により得た点群データの時間軸上における変化を検出し、この変化に基づき、重機１００の作業の内容を特定する。
（重機）
　重機１００は、パワーシャベルである。パワーシャベルは一例であり、土木作業を行う重機であれば、重機の種類は特に限定されない。重機１００は、無限軌道により地上を走行するベース部１２０と、ベース部１２０上で水平回転する回転部１１０を備えている。回転部１１０は、運転席とアーム１５１を備え、アーム１５１の先端にはバケット１５２が配置されている。これらの構造は、通常のパワーシャベルと同じである。
　回転部１１０の上部には、レーザースキャナ１０１、反射プリズム１０２およびカメラ１０３が配置されている。重機１００（回転部１１０）におけるレーザースキャナ１０１の位置と姿勢、レーザースキャナ１０１と反射プリズム１０２の位置の関係は予め取得され既知な情報とされている。レーザースキャナ１０１は、点々とレーザースキャン光を走査し、各反射点の距離と方向を測定することで、レーザースキャン点群を得る。レーザースキャナ１０１は、回転部１１０の前方に向けられ、重機１００が行う作業の対象をレーザースキャンするように配置されている。
　レーザースキャナ１０１には、ＧＮＳＳ装置１１１から時刻の情報が与えられ、レーザースキャナ１０１が計測したレーザースキャン点群の各点の位置データは、計測時の時刻の情報と関連付けされて得られる。
　レーザースキャナ１０１の形式は特に限定されない。レーザースキャナ１０１としては、回転軸が直交する２つの回転部を備え、一方の回転部がスキャン光の出射と入射を行う光学系を備え、両回転部を回転させながら、スキャン光をパルス発光させることでレーザースキャンを行う形態、光学系を左右に往復運動させ、更にそれを上下に振ることでレーザースキャンを行う形態、機械的ではなく電子式にスキャンを行う形態等がある。
　レーザースキャンの範囲は、重機１００の作業の範囲が収まるようにする。この例では、バケット１５２の移動範囲がレーザースキャンの範囲に収まるようにレーザースキャナ１０１の機種およびスキャン範囲の設定を行う。
　複数のレーザースキャナを利用する形態も可能である。例えば、複数のレーザースキャナを用いてスキャンの範囲を拡大する形態等が可能である。
　反射プリズム１０２は、レーザー光を用いた測量に利用される光学反射ターゲットである。ここでは、反射プリズム１０２として全周反射プリズムが利用される。反射プリズム１０２は、入射光を１８０°向きを変えて反射する。光学反射ターゲットとしては、反射プリズム以外に再帰反射特性を有する反射ターゲットを利用することができる。
　カメラ１０３は、連続して繰り返し静止画像を撮影するデジタルスチールカメラあるいは動画を撮影するカメラである。カメラ１０３は、撮影範囲がレーザースキャナ１０１のスキャン範囲と重複するように配置されている。図１には、１台のカメラ１０１を重機１００に配置する例を示すが、多方向に向けた複数台のカメラを配置することも可能である。また、ステレオカメラを用いることもできる。カメラとしてデプスカメラを用いることもできる。
　カメラ１０３の撮影画像とレーザースキャナ１０１が得た点群データとを関連付ける場合や撮影画像に基づく３Ｄデータを得ることもできる。この場合、ＳＦＭ(Structure from Motion )の原理を用いて撮影画像から撮影対象の３Ｄデータを得る。重機１００におけるカメラ１０３の位置と姿勢は既知であってもよいし、未知であってもよい。ＳＦＭを用いた場合、調整計算により、撮影時におけるカメラの位置と姿勢が計算されるので、重機１００におけるカメラ１０３の位置と姿勢は未知であってよい。この技術については、例えば特願２０２２－１４７１１３に記載されている。もちろん、重機１００におけるカメラ１０３の位置と姿勢が既知であってもよい。
　重機１００は、ＧＮＳＳ装置１１１、ＩＭＵ１１２、走行検出装置１１３、回転検出装置１１４および演算装置３００を備えている。なお、説明は省略するが、その他パワーシャベルの稼働に必要な機能を重機１００は備えている。
　ＧＮＳＳ装置１１１は、ＧＮＳＳ(Global Navigation Satellite System)を用いて位置の測定の行う装置である。ＧＮＳＳ装置１１１は、通常の精度のものでよく、相対測位を用いた高精度のものでなくてよい。重機１００におけるレーザースキャナ１０１、反射プリズム１０２、ＧＮＳＳ装置１１１およびＩＭＵ１１２の位置関係は既知である。
　ＩＭＵ１１２は、慣性計測装置であり、加速度を計測し、姿勢の変化を検出する。ＩＭＵ１１２は、ＧＮＳＳ装置１１１の測位データにより校正され、絶対座標系における姿勢の計測値を出力する。絶対座標系は、ＧＮＳＳや地図において用いられる座標系である。例えば、重機１００が微小な距離を直進するとする。この際、絶対座標系におけるその移動方向がＧＮＳＳ装置１１１の測位データから算出され、絶対座標系におけるＩＭＵ１１２の姿勢が求まる。この処理を随時行うことで、絶対座標系におけるＩＭＵ１１２の姿勢およびその変化が検出できる。
　ＩＭＵ１１２には、ＧＮＳＳ装置１１１から時刻の情報が与えられ、姿勢の計測データは、計測時の時刻の情報と関連付けされて出力される。
　なお、反射プリズム１０２の位置をトータルステーション２００により測定することで、ＩＭＵ１１２の移動を検出し、それに基づいてＩＭＵ１１２の校正を行う方法もある。この場合、トータルステーション２００の位置と姿勢を求めた座標系上でＩＭＵ１１２を校正でき、当該座標系におけるＩＭＵ１１２の姿勢およびその変化が検出できる。
　ＧＮＳＳ装置１１１は、高精度の時計を備え、そこから得られる時刻情報は、レーザースキャナ１０１、ＩＭＵ１１２、カメラ１０３に与えられる。
　走行検出装置１１３は、ベース部１２０が無限軌道による走行を行っているか否かを検出する。走行検出装置１１３からは、重機１００の移動中において、重機１００が移動中（ベース部１２０が無限軌道により走行中）である旨を示す信号が出力される。この信号により、重機１００の移動（走行）の有無を判定できる。回転検出部１１４からは、回転部１１０の回転時に回転部１１０が回転中である旨を示す信号が出力される。この信号により、回転部１１０の回転の有無を判定できる。演算部３００については後述する。
　重機１００の位置は、ＩＭＵ１１２の位置で把握される。重機１００の位置を反射プリズム１０２の位置、回転部１１０の回転中心軸上のどこかの点、その他重機１００のどこかの位置で把握することも可能である。
（トータルステーション）
　トータルステーション２００は、位置の測定が可能な測量装置の一例である。トータルステーション２００は、レーザー光を用いた測位機能、カメラ、時計、測量したデータの記憶装置、通信インターフェース、ユーザーインターフェース、測量対象（反射プリズム１０２）を探索する機能および測量対象が移動してもそれを追尾する機能を備える。トータルステーション２００は、一般的に入手できる機種を利用できる。
　処理に先立ち、特定の座標系におけるトータルステーション２００の位置と姿勢（位置と姿勢）は取得され、既知のデータとされている。利用する特定の座標系は、絶対座標系またはローカル座標系である。ＩＭＵ１１２の位置を特定する座標系として絶対座標系を用いる場合は、トータルステーション２００の位置と姿勢を絶対座標系上で取得する。また、ＩＭＵ１１２の位置を特定する座標系としてローカル座標系を用いる場合は、トータルステーション２００の位置と姿勢をローカル座標系上で取得する。トータルステーション２００の位置は、測距を行うための光学系の光学原点の位置で把握する。
　トータルステーション２００が反射プリズム１０２を視準し、ロックした状態で重機１００の作業が開始される。重機１００の作業中において、トータルステーション２００は、反射プリズム１０２を追尾しつつ、その位置の測定を繰り返し行う。繰り返し行われる反射プリズム１０２の位置の測定の間隔は、０．１秒～５秒程度とする。
　トータルステーション２００は、時計を備え、測位時の時刻のデータを測位データと関連付けして取得する。
（演算部）
　演算部３００は、レーザースキャナ１０１が取得したレーザースキャン点群に係る演算およびその他の演算を行う。演算部３００は、コンピュータであり、ＣＰＵ、記憶装置、各種のインターフェースを備えている。
　図４に演算部３００のブロック図を示す。演算部３００は、点群データ取得部３０１、不要データ除去部３０２、測位データ取得部３０３、稼動状態取得部３０４、姿勢データ取得部３０６、座標変換部３０７、座標変換された点群データの取得部３０８、変化検出部３０９、３Ｄモデル作成部３１０、データ記憶部３１１、作業内容特定部３１２、監視対象特定部３１３、報知部３１４を備える。
　これら機能部の一部または全部は、演算部３００のＣＰＵにより動作プログラムが実行されることで実現される。これら機能部の一部または全部を専用のハードウェア（電子回路）で構成してもよい。
　点群データ取得部３０１は、レーザースキャナ１０１によるレーザースキャンによって得たレーザースキャン点群を取得する。このレーザースキャン点群は、レーザースキャナ１０１の光学系の原点を起点とし、各スキャン点のそこからの距離と方向、および該当するスキャン光の発光時刻のデータを各スキャン点に関して集めたデータ群として得られる。
　重機１００が作業を行う間、レーザースキャナ１０１はレーザースキャンを行い、作業によって変化する対象（例えば、削られる地形等）のレーザースキャン点群を得る。この際、重機１００の移動や回転部１１０の回転により、レーザースキャナ１０１の位置と姿勢が動くと、レーザースキャンの原点（上記の起点）が動き、またレーザースキャナ１０１の座標軸の向きが変化し、レーザースキャン点群を一つの座標系上で記述できなくなる。そこで、レーザースキャナ１０１が得たレーザースキャン点群の各点を同じ座標系上で取り扱えるように後述する座標変換を行う。
　不要データ除去部３０２は、重機１００のアーム１５１やバケット１５２といった作業対象の３Ｄデータの作成に不要な部位のレーザースキャン点群を除去する。レーザースキャナ１０１のレーザースキャンにより得るレーザースキャン点群には、重機１００のアーム１５１やバケット１５２を対象としたものも含まれる。これらのレーザースキャン点群は、作業対象の３Ｄデータの生成には不要であるので、該当するレーザースキャン点群を除去する。
　例えば、アーム１５１やバケット１５２のレーザースキャン点群は、重機１００の移動や回転部１１０の回転に際して、背景の地形のレーザースキャン点群に対して相対的に移動する。例えば、重機１００が走行した際、背景のレーザースキャン点群は、走行の方向と逆の方向に流れるように移動するが、アーム１５１やバケット１５２のレーザースキャン点群は、背景の点群に対して重機１００と同様の方向に移動する。この挙動を示す点群をアーム１５１やバケット１５２の点群として特定し、削除する。
　測位データ取得部３０３は、トータルステーション２００が測定した反射プリズム１０２の位置のデータを取得する。トータルステーション２００は、時計を備え、反射プリズム１０２の位置の測定時にその時刻も取得している。上記反射プリズム１０２の位置のデータは、その計測時刻と関連付けされた状態でトータルステーション２００から出力され、それが測位データ取得部３０３で取得される。
　トータルステーション２００の測位データは、トータルステーション２００の位置と姿勢を取得した座標系により記述される。例えば、トータルステーション２００の位置と姿勢を絶対座標系上で取得した場合、得られる測位データは絶対座標系を用いて記述される。また例えば、トータルステーション２００の位置と姿勢をローカル座標系上で取得した場合、得られる測位データは当該ローカル座標系を用いて記述される。
　レーザースキャナ１０１、反射プリズム１０２およびＩＭＵ１１２の位置関係は既知である。また、レーザースキャナ１０１とＩＭＵ１１２の姿勢の関係は既知である。よって、トータルステーション２００による反射プリズム１０２の測位データとＩＭＵ１１２が計測する姿勢のデータにより、レーザースキャナ１０１の位置を計算できる。つまり、トータルステーション２００により、レーザースキャナ１０１の位置を計測できる。例えば、トータルステーション２００の位置と姿勢が絶対座標系上で得られている場合、トータルステーション２００により絶対座標系におけるレーザースキャナ１０１の位置が測定できる。
　稼動状態取得部３０４は、重機１００の走行の有無、回転部１１０の回転の有無に関する情報を取得する。ここで、重機１００の走行の有無は、走行検出装置１１１からの信号により判定され、回転部１１０の回転の有無は、回転検出部１１２からの信号により判定される。
　姿勢データ取得部３０６は、ＩＭＵ１１２が計測した姿勢のデータを取得する。ＩＭＵ１１２とレーザースキャナ１０１の位置と姿勢の関係は既知である。よって、ＩＭＵ１１２により、レーザースキャナ１０１の姿勢を計測できる。
　座標変換部２０７は、レーザースキャナ１０１が取得したレーザースキャン点群を特定の座標系に座標変換する。
　レーザースキャナ１０１が計測したレーザースキャン点のデータは、レーザースキャナ１０１からの距離と方向である。このデータは、レーザースキャナ１０１固有のローカル座標系上で記述される。
　重機１００が移動、あるいは回転部１１０が回転している状態において、レーザースキャナ１０１によるレーザースキャンが行われた場合、レーザースキャン中にレーザースキャナ１０１が移動するので、上記レーザースキャナ１０１固有のローカル座標系の原点も移動する。また当該ローカル座標系が回転（姿勢が変化）する場合もある。こうなると、得られるレーザースキャン点群は一つの座標系上で記述できない。極端な場合、多数のスキャン点毎に固有の座標系が必要となる（勿論、移動がない場合や、移動がゆっくりである場合は、その限りでない）。
　そこでレーザースキャナ１０１が得たレーザースキャン点群を特定の座標系に座標変換し、一つの座標系上で点群データが記述できるようにする。ここでは、レーザースキャナ１０１が取得したレーザースキャン点群を絶対座標系に座標変換する場合を説明する。
　まず前提として、トータルステーション２００は、絶対座標系上において予め位置と姿勢を取得しておく。重機１００の作業中（稼働中）において、トータルステーション２００は、反射プリズム１０２の位置の測定を継続して行う。この際の測位データは、絶対座標系上における位置と測位時刻のデータを関連付けしたものとして得られる。
　他方において、ＩＭＵ１１２によってレーザースキャナ１０１の絶対座標系における姿勢が計測される。また、この姿勢の計測時の時刻が取得される。
　こうして、ある時刻ｔにおけるレーザースキャナ１０１の絶対座標系における位置と姿勢が得られる。
　そこで、レーザースキャナ１０１が得た各スキャン点を絶対座標系に座標変換する。例えば、ある時刻ｔにおいてレーザースキャナ１０１が得たスキャン点を考える。ここで、時刻ｔにおけるレーザースキャナ１０１の絶対座標系における位置は、トータルステーション２００により測定され、その絶対座標系における姿勢はＩＭＵ１１２により計測されている。よって、上記スキャン点の絶対座標系上における位置を求めることができる。この操作を各スキャン点について行うことで、レーザースキャナ１０１が得た各スキャン点を絶対座標系に座標変換することができる。
　上記の原理により、移動および回転するレーザースキャナ１０１固有のローカル座標系上で記述されたレーザースキャン点群の絶対座標系上への座標変換が可能となる。
　一般に、第１の座標系の第２の座標系への座標変換は、平行移動と回転により行われる。絶対座標系におけるレーザースキャナ１０１の位置が与えられることで、上記の平行移動に関する情報が得られ、その位置におけるレーザースキャナ１０１の絶対座標系における姿勢が与えられることで、上記回転に関する情報が得られる。こうして、時刻ｔに計測されたスキャン点に関するレーザースキャナ１０１固有のローカル座標系から絶対座標系への座標変換が行われる。この座標変換をスキャン点毎に行うことで、レーザースキャナ１０１が移動しながらレーザースキャンを行うことで得たレーザースキャン点群を絶対座標系に座標変換することができる。こうして、レーザースキャナ１０１が得たレーザースキャン点群を絶対座標系上で記述した点群データが得られる。
　レーザースキャナ１０１が得たレーザースキャン点群を特定のローカル座標系に座標変換する場合は、レーザースキャナ１０１の位置と姿勢として、利用するローカル座標系におけるものを利用する。また、ＩＭＵ１１２は、当該ローカル座標系において姿勢のデータを計測する。
　この場合、トータルステーション２００の位置と姿勢を利用するローカル座標系上で予め取得する。また、ＩＭＵ１１２の校正および当該ローカル座標系における姿勢の算出は、トータルステーション２００による反射プリズム１０２の測位データを用いて行い、姿勢のデータを当該ローカル座標系におけるものとして得る。そして、当該ローカル座標系におけるレーザースキャナ１０１の位置と姿勢を取得し、上記の座標変換を各点について行う。
　この場合、ＩＭＵ１１２が得た姿勢のデータと、トータルステーション２００が得た反射プリズム１０２の測位データは演算装置３００に送られ、演算装置３００においてＩＭＵ１１２の校正および当該ローカル座標系における姿勢の算出が行われる。この演算は、例えば姿勢データ取得部３０６において行われる。この演算をＩＭＵ１１２において行っても良い。
　各レーザースキャン点と時刻の情報を関連付けすることが理想であるが、ある程度の時間幅で時刻をとらえても良い。例えば、スキャン点Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５の計測時刻は時刻ｔ１，スキャン点Ｐ６，Ｐ７，Ｐ８，Ｐ９，Ｐ１０の計測時刻は時刻ｔ２といった扱いも可能である。
　レーザースキャンは、点々と行われるので、時間軸上に並ぶ複数の点を考えた場合、これらの点の集合は、ある程度の時間幅において得られている。そこである範囲の点群データを考えた場合における最後の点が計測された時刻を当該点群データの取得時間とする。つまり当該時間幅の最後の時刻を当該点群データの取得時刻とする。当該点群データの取得時間として、当該時間幅の最初の時刻や中間時刻を利用する形態も可能である。
　座標変換された点群データの取得部３０８は、上述した特定の座標系に座標変換した点群データを取得する。この点群データには、重機１００が作業を行う対象の地形の点群データが含まれる。
　変化検出部３１０は、時間軸上で前後する３Ｄデータを比較し、その差分を検出することで、３Ｄデータの変化を検出する。３Ｄデータは、上記特定の座標系に座標変換された点群データ、または該点群データに基づき作成された後述する３Ｄモデルである。
　３Ｄモデル作成部３１０は、座標変換された点群データの取得部３０８が取得した点群データに基づく３Ｄモデルの作成を行う。３Ｄモデルは、点群データに基づいて作成された輪郭線モデルやＴＩＮモデルである。例えば、ＣＡＤで利用される３Ｄモデルはその一例である。
　データ記憶部３１１は、演算部３００で利用する各種のデータや動作プログラム、演算部３００で得られる各種のデータ（例えば、点群データ等の３Ｄデータ）を記憶する。
　作業内容特定部３１２は、座標変換された点群データの取得部３０８が取得した点群データまたは該点群データに基づく３Ｄモデルに基づき、重機１００が行った作業の内容を特定する。この際、後述する人等の監視対象の３Ｄデータ（点群データまたは３Ｄモデル）は、作業の内容でないので除外される。
　具体的には、特定の作業前の段階で得た撮影画像に基づく３Ｄデータと特定の作業後の段階で得た撮影画像に基づく３Ｄデータとを比較し、その差分データを検出する。この処理は、変化検出部３０９において行われる。次に、上記差分データの中から地上を移動し、且つ、重機１００に対して相対的に動く物体の３Ｄデータを人等の監視対象の３Ｄデータとして除去する。この処理は、後述する監視対象特定部３１２において行われる。こうして、重機１００の作業によって生じた３Ｄデータの変化分を検出し、作業の内容（地面の切削等）が特定される。
　以下、具体的な例を説明する。重機１００が土木作業を行うことで地形が変化する。図２（Ａ）には、時刻ｔ１における土木工事現場の様子が示され、図２（Ｂ）には、時刻ｔ２における土木工事現場の様子が示されている。ここで、ｔ２は、ｔ１より後の時刻である。
　図２（Ａ）（時刻ｔ１）は、地形の盛り上がり４０１および４０２が存在している状態である。図２（Ｂ）（時刻ｔ２）は、図２（Ａ）の時刻ｔ１の状態の後に、地形の盛り上がり４０１が重機１００により取り除かれて平坦とされ、地形の盛り上がり４０２が残った状態である。
　地形に着目した場合、図３（Ｂ）に示すように、重機１００の作業により、図３（Ａ）に示す地形の盛り上がり４０１が消失する。
　ここで、図２（Ａ）または図３（Ａ）の状態における地形の３Ｄデータと、図２（Ｂ）または図３（Ｂ）の状態における地形の３Ｄデータに着目すると、両者には、地形の盛り上がり４０１に対応する３Ｄデータの差がある。
　なお、ここでいう３Ｄデータは、点群データまたは該点群データに基づく３Ｄモデル（三次元モデル）のこという。
　上記の例でいうと、図３（Ｂ）の状況の地形の３Ｄデータと図３（Ａ）の状況の地形の３Ｄデータの差を求めることで、除去の対象となった地形の盛り上がり４０１の３Ｄデータを抽出できる。
　なお、レーザースキャナ１０１によるレーザースキャンは、時間軸上の１点ではなく、ある程度の時間幅をもって行われる。よって、得られる３Ｄデータに紐づいた時刻は、ある程度の時間幅を持ち、例えばその中間値や代表値でもって把握される。
　例えば、３Ｄデータは、１０秒毎や３０秒毎に更新される。この更新の際、新たに増えた３Ｄデータおよび失われた３Ｄデータ（例えば、上記の地形の盛り上がり４０１の３Ｄデータがその一例）を抽出し、それを別に保存することができる。なお、更新の間隔は、利用するハードウェアの能力、必要とされる時間軸上の分解能等によって適宜設定できる。
　例えば、３０秒間隔で点群データの更新が行われるとする。この場合、ある時刻における点群データに着目すると、その３０秒前の点群データとの差分の点群データを抽出することで、新たに増えた点群データおよび無くなった点群データが得られる。例えば、無くなった点群データの一例が、図４に示す最終的に削り取られる「地形の盛り上がり４０１」の点群データである。
　例えば、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３・・・のそれぞれにおける３Ｄデータを生成する。この場合、各時刻における３Ｄデータが当該時刻と紐づけされて記憶される。このデータがデータ記憶部３１１に記憶される。
　上記の各時刻における３Ｄデータの時間軸上における推移を追うことで、３Ｄデータの変化を把握できる。例えば、重機１００の土木作業に起因する地形の変化を３Ｄデータの推移として把握できる。例えば、重機１００の土木作業に起因する地形の変化を３Ｄモデルの時間変化としてディスプレイ上に画像表示することができる。また、削られた土砂や盛られた土砂を３Ｄデータとして把握できる。
　変化の対象は、地形に限定されず、建物や工作物であってもよい。例えば、重機によって建物や工作物を取り壊す場合に本実施形態を適用することで、その推移を３Ｄデータとして取得できる。
　監視対象特定部３１２は、地上を重機１００に対して相対的に移動する対象、特に地上を重機１００に対して相対的に近づく対象を監視対象としてとして特定する。この処理を定期的に行うことで、重機１００と人との近接や接触、重機１００と他の重機との近接や接触を回避する処理が可能である。
　また、上記の監視の対象となる３Ｄデータは、重機１００の作業の対象の３Ｄデータではないので、それを特定することで、図３に示すような作業の対象（例えば地形）の３Ｄデータを抽出でき、作業の内容の特定を効率よく行える。例えば、人と作業の対象を３Ｄデータ上で区別して扱うことが可能となる。
　例えば、重機１００に人が近づく場合を想定する。ここで、５秒毎に３Ｄデータの更新を行うとする。この場合、５秒毎における３Ｄデータの変化の推移を監視することで、重機１００に近づく存在を監視対象として検出する。
　ここでは、取得した３Ｄデータの変化を監視し、背景の３Ｄデータ（地形の３Ｄデータ）に対して相対的に移動し、且つ、重機１００に対して相対的に移動する３Ｄデータを監視対象として検出する。すなわち、地上を移動する３Ｄデータを検出する。また、監視対象が人であるかどうかを画像認識処理により検出することで、人が重機１００に近づいてくる状況が把握できる。なお、後述する報知を行い場合、監視対象の特定に係る処理は、リアルタイムあるいは極力遅延なく行う必要がある。
　報知部３１４は、監視対象特定部３１３が特定した監視対象に係る報知を行う。例えば、重機１００と人等の監視対象との間の距離が予め定めた距離以下となった場合に報知処理を行う。報知は、重機１００の運転者や周囲に対する警報音等の音による方法、重機１００の運転席に配置したディスプレイを利用した報知表示、スマートフォン等の外部機器への報知信号の出力とった形態で行われる。
（処理の手順の一例：その１）
　図５に処理の手順の一例を示す。図５の処理を実行するプログラムは、データ記憶部３１１や適当な記憶媒体に記憶され、そこから読み出されて演算装置３００を構成するコンピュータのＣＰＵにより実行される。当該プログラムをインターネットに接続されたサーバに記憶させ、そこからダウンロードする形態も可能である。これは、図６に係る処理も同じである。
　図５の処理は、重機１００の稼働と同時に平行して行っても良いし、重機１００による作業の終了後に後処理で行っても良い。
　まず、レーザースキャナ１０１が得たレーザースキャン点群のデータを取得する（ステップＳ１０１）。次に、取得したレーザースキャン点群のデータの中から不要な部分の点群データを除去する（ステップＳ１０２）。ここで、不要な部分の点群データは、重機１００のアーム１５１やバケット１５２といった作業対象の３Ｄデータの作成に不要な部位のスキャンデータである。この処理は、不要データ除去部３０２において行われる。
　次に、トータルステーション２００が測定した反射プリズム１０２の位置のデータを取得する（ステップＳ１０３）。次に、ＩＭＵ１１２が計測した姿勢のデータを取得する（ステップＳ１０４）。
　次に、ステップＳ１０１において得たレーザースキャン点群を特定の座標系に座標変換する（ステップＳ１０５）。この処理は、座標変換部３０７において行われる。次に、座標変換された点群データを「特定の座標系における点群データ」として取得する（ステップＳ１０６）。
　次に、時間軸上で前後する２つの点群データを比較し、その差分を取り、時間経過に従って変化した点群データを検出する（ステップＳ１０７）。この処理は、変化検出部３０９において行われる。
　次に、変化が検出された点群データから、地上を移動する物体に係る点群データを除去し、重機１００の作業により変化した点群データを作業内容に係る点群データとして特定する（ステップＳ１０８）。ここで、変化が検出された点群データにおける地上を移動する物体に係る点群データの特定は、監視対象特定部３１３において行われる。また、変化が検出された点群データの中から、地上を移動する物体に係る点群データを除去し、作業内容に係る点群データを特定する処理は作業内容特定部３１２において行われる。
（処理の手順の一例：その２）
　図６は、重機１００と人等との干渉を防止するための処理の手順の一例を示すフローチャートである。この処理は、レーザースキャン点群の取得から極力遅延なく行う必要がある。まず、図５のステップＳ１０１～ステップＳ１０６の処理を行い、レーザースキャナ１０１が得たレーザースキャン点群のデータを得る（ステップＳ２０１）。
　次に、重機１０１および背景の地形に対して相対的に動く対象を監視対象として特定する（ステップＳ２０２）。この処理は、監視対象特定部３１３において行われる。次に、重機１００と監視対象の間の距離を算出し、該距離が予め定めた距離以下であるか否かの判定を行う（ステップＳ２０３）。
　上記距離が予め定めた距離以下である場合、報知処理を行い（ステップＳ２０４）、そうでない場合、ステップＳ２０１以下の処理を繰り返す。
（優位性）
　本実施形態では、レーザースキャナ１０１と反射プリズム１０２を搭載した重機１００の反射プリズム１０２の位置を特定の座標系上での位置と姿勢が既知のトータルステーション２００により追尾しつつ測定した測定データを受け付け、レーザースキャナ１０１が得たレーザースキャン点群を取得し、前記測定データおよびレーザースキャナ２００の姿勢に基づき、前記レーザースキャン点群を前記特定の座標系に座標変換し、前記座標変換により得た点群データの時間軸上における変化を検出し、前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する。
　本実施形態によれば、重機の作業と同時に作業対象の３Ｄデータが得られる。そのため、重機が行う作業の結果のデータ化に係る作業が効率化される。また、重機と作業員等との干渉が生じる危険性を検出し、事故につながる可能性のある危険な状況の回避、更には事故の予防が可能となる。
２．第２の実施形態
　レーザースキャナ１０１の位置をＧＮＳＳ装置１１１の測定値から得ても良い。この場合、トータルステーション２００による反射プリズム１０２の測位データに基づき、ＧＮＳＳ装置１１１の測位データを校正し、校正後の測定値を利用する。ＧＮＳＳ装置１１１単独の測位データは誤差を含むが、トータルステーション２００を利用した上記の校正を行うことで、ＧＮＳＳ装置１１１による位置の測定の精度を高めることができる。
　また、ＲＴＫ法等の相対測位を利用したＧＮＳＳ装置１１１による測位を行うことで、トータルステーション２００による反射プリズム１０２の測位を不要する態様も可能である（勿論、併用も可能である）。この場合、測位データ取得部３０３は、ＧＮＳＳ装置１１１が測定した位置情報を取得する。
３．第３の実施形態
　データ処理サーバを利用して演算部３００の機能を実行する形態も可能である。この場合、重機１００およびトータルステーション２００から各種計測データが、当該データ処理サーバにインターネット回線等の適当なデータ通信回線を介して送信され、そこで演算部３００で行わる処理が実行される。
４．第４の実施形態
　地面（絶対座標系）に対してレーザースキャナ１０１が静止している（動いていない）状態で得たレーザースキャン点群を選択して取得し、この取得したレーザースキャン点群を用いて重機１００の作業の対象の点群データを得る方法もある。
　稼働状態取得部３０４は、重機１００の走行（移動）の有無、回転部１１０の回転の有無の判定に必要なデータを取得している。例えば、時刻ｔ１～ｔ２の間に重機１００が走行せず、また回転部１１０の回転が停止しているとする。この場合、時刻ｔ１～ｔ２の間に得たレーザースキャナ１０１が得たレーザースキャン点群を作業内容の特定や監視対象の特定に係る演算に利用する。
　例えば、第１の位置で静止し、第１の姿勢にあるレーザースキャナ１０１が得た第１のレーザースキャン点群、第２の位置で静止し、第２の姿勢にあるレーザースキャナ１０１が得た第２のレーザースキャン点群、第３の位置で静止し、第３の姿勢にあるレーザースキャナ１０１が得た第３のレーザースキャン点群、・・・・が得られているとする。
　ここで、各静止状態において得たレーザースキャンデータの原点の位置（レーザースキャナ１０１の光学原点の位置）をトータルステーション２００が測位した反射プリズム０１の位置から求める。レーザースキャナ１０１と反射プリズム１０２の位置関係は既知であるので、反射プリズム１０２の位置とＩＭＵ１１２から得られる姿勢のデータに基づき、レーザースキャナ１０１の位置を求めることができる。また、ＩＭＵ１１２から得られる姿勢のデータに基づき、レーザースキャナ１０１の姿勢を求めることができる。
　ここで利用する特定の座標系は、第１の実施形態で述べたように、トータルステーション２００の位置と姿勢を求めた座標系である。
　こうして、特定の座標系における上記第１のレーザースキャン点群の位置と姿勢（向き）、上記第２のレーザースキャン点群の位置と姿勢、上記第３のレーザースキャン点群の位置と姿勢、・・・が得られる。そして、各レーザースキャン点群を特定の座標系に座標変換することができ、同じ座標系上で記述された複数のレーザースキャン点群が得られる。
　重機１００の走行（移動）の有無、回転部１１０の回転の有無を、トータルステーション２００による反射プリズム１０２の測位データから判定してもよい。例えば、トータルステーションの測位を０．５秒間隔で行うとする。この０．５秒間隔で行われる反射プリズム１０２の位置の測定において、時間軸上で隣接する測位時刻ｔ１，ｔ２における反射プリズム１０２の測定位置に変化がない場合、その期間（時刻ｔ１とｔ２の間）は、重機１００の走行はなく、且つ、回転部１１０が回転していないと判定する。
５．その他
　本発明は、重機を用いた建物や工作物の設置や組み立て、重機を用いた建物や工作物の解体に適用することもできる。
　１００…重機、１０１…レーザースキャナ、１０２…反射プリズム、１０３…カメラ、１２０…ベース部、１１０…回転部、１１１…ＧＮＳＳ装置、１１２…ＩＭＵ、１１３…走行検出装置、１１４…回転検出装置、３００…演算装置。

Claims (7)

  1. 　レーザースキャナと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データを受け付ける測定データ受付部と、
    　前記レーザースキャナが得たレーザースキャン点群を取得するレーザースキャン点群取得部と、
    　前記測定データおよび前記レーザースキャナの姿勢に基づき、前記レーザースキャン点群を前記特定の座標系に座標変換する座標変換部と、
    　前記座標変換により得た点群データの時間軸上における変化を検出する変化検出部と、
    　前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する作業内容特定部と
    　を備える演算装置。
  2. 　前記点群データの前記時間軸上における前記変化に基づき、地上を前記重機に向かって移動する対象を監視対象として検出する監視対象検出部を備える請求項１に記載の演算装置。
  3. 　前記監視対象が前記重機に対して予め定めた距離以下に近づいた場合に報知処理を行う報知部を備える請求項２に記載の演算装置。
  4. 　前記レーザースキャン点群には、前記重機の一部を対象とした点群が含まれ、
    　前記重機の一部を対象とした前記点群を除去する除去部を備える請求項１～３のいずれかに記載の演算装置。
  5. 　レーザースキャナと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データを受け付け、
    　前記レーザースキャナが得たレーザースキャン点群を取得し、
    　前記測定データおよび前記レーザースキャナの姿勢に基づき、前記レーザースキャン点群を前記特定の座標系に座標変換し、
    　前記座標変換により得た点群データの時間軸上における変化を検出し、
    　前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する演算方法。
  6. 　コンピュータに読み取らせて実行させるプログラムであって、
    　コンピュータを
    　レーザースキャナと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データを受け付ける測定データ受付部と、
    　前記レーザースキャナが得たレーザースキャン点群を取得するレーザースキャン点群取得部と、
    　前記測定データおよび前記レーザースキャナの姿勢に基づき、前記レーザースキャン点群を前記特定の座標系に座標変換する座標変換部と、
    　前記座標変換により得た点群データの時間軸上における変化を検出する変化検出部と、
    　前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する作業内容特定部と
    　して動作させるプログラム。
  7. 　重機に搭載したＧＮＳＳ位置測定装置の測位データを受け付ける測位データ受付部と、
    　前記レーザースキャナが得たレーザースキャン点群を取得するレーザースキャン点群取得部と、
    　前記測位データおよび前記レーザースキャナの姿勢に基づき、前記レーザースキャン点群を絶対座標系に座標変換する座標変換部と、
    　前記座標変換により得た点群データの時間軸上における変化を検出する変化検出部と、
    　前記点群データの前記時間軸上における前記変化に基づき、前記重機の作業の内容を特定する作業内容特定部と
    　を備える演算装置。

     
PCT/JP2023/028346 2022-09-22 2023-08-02 演算装置、演算方法およびプログラム WO2024062781A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-151483 2022-09-22
JP2022151483A JP2024046228A (ja) 2022-09-22 2022-09-22 演算装置、演算方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2024062781A1 true WO2024062781A1 (ja) 2024-03-28

Family

ID=90454090

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/028346 WO2024062781A1 (ja) 2022-09-22 2023-08-02 演算装置、演算方法およびプログラム

Country Status (2)

Country Link
JP (1) JP2024046228A (ja)
WO (1) WO2024062781A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07150597A (ja) * 1993-12-01 1995-06-13 Kumagai Gumi Co Ltd 建設機械の位置及び姿勢表示方法
JP2002328022A (ja) * 2001-05-02 2002-11-15 Komatsu Ltd 地形形状計測装置およびガイダンス装置
JP2016008484A (ja) * 2014-06-26 2016-01-18 住友建機株式会社 建設機械

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07150597A (ja) * 1993-12-01 1995-06-13 Kumagai Gumi Co Ltd 建設機械の位置及び姿勢表示方法
JP2002328022A (ja) * 2001-05-02 2002-11-15 Komatsu Ltd 地形形状計測装置およびガイダンス装置
JP2016008484A (ja) * 2014-06-26 2016-01-18 住友建機株式会社 建設機械

Also Published As

Publication number Publication date
JP2024046228A (ja) 2024-04-03

Similar Documents

Publication Publication Date Title
Puente et al. Review of mobile mapping and surveying technologies
JP3049053B1 (ja) 自動化されたガイド兼測定装置および移動自在なプラットフォ―ムを測定しナビゲ―トする方法
JP3561473B2 (ja) 物体位置の追跡・検知方法及びビークル
US9251587B2 (en) Motion estimation utilizing range detection-enhanced visual odometry
US9142063B2 (en) Positioning system utilizing enhanced perception-based localization
KR101625486B1 (ko) 지도 기반 측위 시스템 및 그 방법
US9989353B2 (en) Registering of a scene disintegrating into clusters with position tracking
JP2002328022A (ja) 地形形状計測装置およびガイダンス装置
JP6532412B2 (ja) 自己位置推定システム、自己位置推定方法、モバイル端末、サーバおよび自己位置推定プログラム
Cho et al. Target-focused local workspace modeling for construction automation applications
US20210223397A1 (en) Three-dimensional surface scanning
WO2019033882A1 (zh) 数据处理方法、装置、系统和计算机可读存储介质
Liebner et al. Crowdsourced hd map patches based on road model inference and graph-based slam
CN112455502B (zh) 基于激光雷达的列车定位方法及装置
Immonen et al. Fusion of 4D point clouds from a 2D profilometer and a 3D lidar on an excavator
WO2024062781A1 (ja) 演算装置、演算方法およびプログラム
JP2017142204A (ja) 点群位置合わせ装置および点群位置合わせプログラム
JP2008089307A (ja) 計測台車、層厚計測装置、層厚計測システムの層厚計測方法、層厚計測装置の層厚計測方法および層厚計測装置の層厚計測プログラム
US10329740B2 (en) Earth moving machine, range finder arrangement and method for 3D scanning
WO2024057757A1 (ja) 演算装置、演算方法およびプログラム
KR102018347B1 (ko) 노면 프로파일 데이터를 생성하는 장치, 방법 및 노면 프로파일 데이터를 이용하는 프로그램
KR101181742B1 (ko) 토지 이용 현황도 갱신 장치 및 방법
Pereira On the utilization of Simultaneous Localization and Mapping (SLAM) along with vehicle dynamics in Mobile Road Mapping Systems
TW202137138A (zh) 含大地座標之3d點雲地圖的產生方法和3d點雲地圖產生系統
CN220614020U (zh) 一种箱梁巡检机器人

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23867907

Country of ref document: EP

Kind code of ref document: A1