WO2024057757A1 - 演算装置、演算方法およびプログラム - Google Patents

演算装置、演算方法およびプログラム Download PDF

Info

Publication number
WO2024057757A1
WO2024057757A1 PCT/JP2023/028348 JP2023028348W WO2024057757A1 WO 2024057757 A1 WO2024057757 A1 WO 2024057757A1 JP 2023028348 W JP2023028348 W JP 2023028348W WO 2024057757 A1 WO2024057757 A1 WO 2024057757A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
data
coordinate system
feature points
orientation
Prior art date
Application number
PCT/JP2023/028348
Other languages
English (en)
French (fr)
Inventor
剛 佐々木
暢之 深谷
雅人 三島
Original Assignee
株式会社トプコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社トプコン filed Critical 株式会社トプコン
Publication of WO2024057757A1 publication Critical patent/WO2024057757A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00

Definitions

  • the present invention relates to a technique for obtaining three-dimensional data using heavy equipment.
  • Patent Document 1 A technique for measuring the position of heavy equipment using a surveying device is known (see, for example, Patent Document 1).
  • the present invention aims to improve the efficiency of work related to converting the results of work performed by heavy machinery into data.
  • the present invention provides a measurement data reception unit that receives measurement data measured while tracking the position of the reflection prism of a heavy machine equipped with a camera and a reflection prism using a surveying device whose position and orientation on a specific coordinate system are known; an image data acquisition unit that acquires image data of a plurality of photographed images taken by the camera from a plurality of different positions while the heavy equipment is moving; and a plurality of characteristic points common to the plurality of photographed images and the calculating a relative positional relationship with a plurality of different positions; and specifying a position of the plurality of feature points in the specific coordinate system based on a comparison of the plurality of different positions of the camera and the measurement data.
  • an aspect may be mentioned in which adjustment calculations of the positions of the plurality of feature points in the specific coordinate system are performed using the relationship between the positions of the camera and the reflecting prism.
  • the calculation unit is configured to create first 3D data at an earlier stage on the time axis and create second 3D data at a later stage on the time axis based on the plurality of feature points;
  • One example is a mode in which a process of calculating a difference between the second 3D data and the first 3D data is performed.
  • an aspect including a work content specifying unit that specifies the content of the work performed by the heavy machinery based on the difference between the second 3D data and the first 3D data.
  • an embodiment includes a monitoring target detection unit that detects an object moving on the ground toward the heavy equipment as a monitoring target based on the difference between the second 3D data and the first 3D data.
  • an embodiment includes a notification unit that performs notification processing when the monitoring target approaches the heavy equipment at a predetermined distance or less.
  • a part of the heavy machinery is shown in the plurality of photographed images, and a removal unit removes an image of the part of the heavy machinery shown in the plurality of photographed images or 3D data corresponding to the image.
  • An example of the embodiment includes the following.
  • the heavy equipment is equipped with a laser scanner
  • the relationship between the positions and postures of the laser scanner and the camera is known
  • the laser scanner acquires a laser scan point cloud while the heavy equipment is in operation.
  • the adjustment calculation calculates the position and orientation of the camera in the specific coordinate system, and the position and orientation of the laser scanner in the specific coordinate system based on the position and attitude of the camera in the specific coordinate system. and an orientation of the laser scanner, and converting the coordinates of the laser scan point group to the specific coordinate system based on the position and orientation of the laser scanner in the specific coordinate system.
  • the present invention includes receiving measurement data measured while tracking the position of a reflecting prism of a heavy machine equipped with a camera and a reflecting prism using a surveying device whose position and orientation are known on a specific coordinate system, and moving the heavy machine.
  • This calculation method calculates a positional relationship and specifies the positions of the plurality of feature points in the specific coordinate system based on a comparison between the plurality of different positions of the camera and the measurement data.
  • the present invention is a program that is read and executed by a computer, and the computer tracks the position of a reflective prism of a heavy machine equipped with a camera and a reflective prism using a surveying device with known external orientation elements on a specific coordinate system.
  • receiving measurement data measured while moving the heavy equipment acquiring image data of a plurality of photographed images taken by the camera from a plurality of different positions while the heavy equipment is moving; and a plurality of feature points common in the plurality of photographed images. and the plurality of different positions of the camera, and the plurality of feature points in the specific coordinate system based on the comparison of the plurality of different positions of the camera and the measurement data.
  • This is a program that specifies the location.
  • the present invention includes a measurement data reception unit that receives measurement data obtained by measuring the position of heavy equipment equipped with a camera and a GNSS position measuring device by the GNSS device, and a measurement data reception unit that receives measurement data obtained by measuring the position of heavy equipment equipped with a camera and a GNSS position measuring device, an image data acquisition unit that acquires image data of a plurality of captured images; calculating a relative positional relationship between a plurality of common feature points in the plurality of captured images and the plurality of different positions of the camera;
  • the computing device includes a computing unit that specifies the positions of the plurality of feature points based on a comparison between the plurality of different positions of the camera and the measurement data.
  • FIG. 3 is a diagram showing the principle of obtaining three-dimensional information. It is a diagram showing the process of civil engineering work using heavy machinery.
  • FIG. 2 is a diagram showing changes in topography that occur as a result of civil engineering work using heavy machinery.
  • FIG. 2 is a block diagram of a calculation device.
  • 3 is a flowchart illustrating an example of a processing procedure.
  • 3 is a flowchart illustrating an example of a processing procedure.
  • FIG. 6 is a diagram showing the relationship between the position of a feature point, the screen position of the feature point, and the camera position.
  • FIG. 1 shows a heavy machine 100 that performs civil engineering work and a total station 200 that measures the position of the heavy machine 100.
  • the heavy machinery 100 performs work and takes pictures with a camera 101 mounted thereon, thereby acquiring 3D data around the heavy machinery 100 based on the principle of SFM (Structure from Motion).
  • the total station 200 repeatedly and continuously measures the position of the reflective prism 102 mounted on the heavy equipment 100 while tracking it. Based on the measured value of the position of the reflecting prism 102, the 3D data is obtained as data in a specific coordinate system.
  • the principle of SFM is described in, for example, Japanese Patent Laid-Open No. 2013-186816.
  • Heavy equipment 100 is a power shovel.
  • a power shovel is one example, and the type of heavy equipment is not particularly limited as long as it is used for civil engineering work.
  • the heavy equipment 100 includes a base part 120 that runs on the ground on an endless track, and a rotating part 110 that rotates horizontally on the base part 120.
  • the rotating unit 110 includes a driver's seat and an arm 151, and a bucket 152 is disposed at the tip of the arm 151. These structures are the same as regular power shovels.
  • a camera 101, a reflective prism 102, and a laser scanner 103 are arranged above the rotating section 110.
  • the positional relationship between the camera 101 and the reflecting prism 102 may be unknown.
  • the positional relationship between the position of the camera 101 and the reflecting prism 102 is calculated as an uncured amount. Note that the positional relationship between the position of the camera 101 and the reflecting prism 102 may be acquired in advance as known information.
  • the camera 101 is a digital still camera that continuously and repeatedly takes still images.
  • the camera 101 photographs the surroundings of the heavy machinery 100.
  • a depth camera can also be used as the camera 101.
  • FIG. 1 shows an example in which one camera 101 is arranged on the heavy equipment 100, it is also possible to arrange a plurality of cameras facing in multiple directions. Moreover, a stereo camera can also be used.
  • the reflective prism 102 is an optical reflective target used for surveying using laser light.
  • a full-circle reflection prism is used as the reflection prism 102.
  • the reflecting prism 102 changes the direction of the incident light by 180 degrees and reflects it.
  • a reflection target having retroreflection characteristics can be used in addition to a reflection prism.
  • the position of the reflecting prism 102 may be any location. Note that by installing the reflecting prism 102 at a position close to the center of rotation of the rotating section 110 or the point at which the rotation stops, the influence of the rotation of the rotating section 110 when measuring the position of the reflecting prism 102 by the total station 200 can be reduced.
  • the heavy equipment 100 includes a travel detection device 111, a rotation detection device 112, and a calculation device 300. Note that the heavy equipment 100 is equipped with other functions necessary for operating the power shovel, although descriptions thereof will be omitted.
  • the travel detection device 111 detects whether the base portion 120 is traveling on an endless track.
  • the traveling detection device 111 outputs a signal indicating that the heavy machinery 100 is in motion (the base portion 120 is traveling on an endless track) while the heavy machinery 100 is in motion. Based on this signal, it is possible to determine whether or not the heavy equipment 100 is moving (running).
  • the rotation detecting section 112 outputs a signal indicating that the rotating section 110 is rotating when the rotating section 110 is rotating. Based on this signal, it is possible to determine whether or not the rotating section 110 is rotating.
  • the calculation unit 300 will be described later.
  • the position of the heavy machinery 100 is determined by the position of the center of gravity of the heavy machinery. It is also possible to grasp the position of the heavy machine 100 from the position of the camera 101 or the reflective prism 102, some point on the rotation center axis of the rotating part 110, or any other position of the heavy machine 100.
  • the total station 200 is an example of a surveying device that can measure position.
  • the total station 200 has a positioning function using laser light, a camera, a clock, a storage device for surveyed data, a communication interface, a user interface, a function to search for a survey target (reflection prism 102), and a function to search for a survey target (reflection prism 102) even if the survey target moves. Equipped with a tracking function.
  • commonly available models can be used.
  • the coordinate system used is an absolute coordinate system or a local coordinate system.
  • the absolute coordinate system is a coordinate system used in maps and GNSS.
  • the coordinate system selected here becomes the coordinate system that describes the 3D data to be obtained. Note that the position of the total station 200 is determined by the position of the optical origin of the optical system for performing distance measurement.
  • the work of the heavy equipment 100 is started with the total station 200 collimating the reflecting prism 102 and locking it. While the heavy equipment 100 is in operation, the total station 200 tracks the reflective prism 102 and repeatedly measures its position. The interval between repeated measurements of the position of the reflecting prism 102 is approximately 0.5 seconds to 5 seconds.
  • 3D data of an object to be photographed is created based on an image photographed by the camera 101 mounted on the heavy equipment 100.
  • Relative orientation A relative three-dimensional model of an arbitrary scale is created based on the captured images taken by the camera 101, and the feature points identified between multiple images and the position and orientation of the camera 101 at the time of capturing each image are Identify relative relationships.
  • Adjustment calculation A bundle adjustment calculation and an adjustment calculation taking into account the positional relationship between the reflecting prism 102 and the camera 101 are performed simultaneously, and the positions of the external orientation elements and feature points of the camera 101 in the specific coordinate system to be used are optimized. . As a result, point cloud data in which the positions of feature points on the coordinate system are described is obtained.
  • 3D model of the target is created based on the point cloud data optimized by the above adjustment calculation.
  • the 3D model include data obtained by converting the outline of an object, a DEM (Digital Elevation Model), and a TIN (Triangulated Irregular Network). Creation of a 3D model based on point cloud data is described in, for example, WO 2011/070927, JP 2012-230594, and JP 2014-35702.
  • stereo images mutual orientation using two images (hereinafter referred to as stereo images) of overlapping objects taken from different positions.
  • the heavy machinery 100 continuously photographs the front of the rotating part 110 with the camera 101 while moving, and obtains a large number of photographed images.
  • two photographed images taken from different positions close to each other on the time axis and having overlapping photographing ranges are selected as stereo images. Since the heavy equipment 100 repeatedly takes pictures while moving, the stereo images described above are two captured images with different viewpoint positions and overlapping objects.
  • the image data also includes a photographed image taken by the camera 101 while the heavy equipment 100 is stopped and a photographed image taken by the camera 101 while the rotating unit 110 is rotating. Orientation using images taken by the camera 101 while the rotating unit 110 is rotating may have a large error, but the error is ultimately reduced by adjustment calculations.
  • FIG. 2 shows a case where the heavy equipment 100 moves from position 1 to position 2 and the overlapping range at positions 1 and 2 is photographed by the camera 101.
  • FIG. 2 shows a stereo image 1 taken by the camera 101 when the heavy equipment 100 is located at position 1 and an image 2 taken by the camera 101 when the heavy equipment 100 is located at position 2.
  • a case is shown in which feature points p1, p2, and p3 are extracted from both images. Note that although an infinite number of feature points can be obtained, a case of three points will be shown here as a simple example.
  • feature points are extracted from each of captured image 1 and captured image 2, and the correspondence between the feature points in captured image 1 and captured image 2 is further specified.
  • This technique is described in, for example, Japanese Patent Application Publication No. 2013-186816.
  • JP 2013-186816 describes in detail extraction of feature points, matching of feature points between two images, intersection method, various orientations, calculation of three-dimensional positions of feature points, bundle adjustment, etc. has been done.
  • the position of the camera 101 at both positions is adjusted so that the deviation of the feature points p1, p2, p3 between the image 1 taken by the camera 101 at position 1 and the image 2 taken by the camera 101 at position 2 is eliminated.
  • the posture is searched (adjusted) and the relative external orientation elements (position and posture) of the camera 101 at both positions and the feature point p1.
  • the relative positional relationship between p2 and p3 is determined. Note that the position of the camera 101 is the position of the projection center of the optical system (viewpoint of the photographed image).
  • Find the shape of the triangle (the angles of the three corners).
  • Find the shape of the triangle (the angles of the three corners).
  • the size of the above triangle is not determined, and it becomes a relative figure (relative three-dimensional model).
  • the coordinate system that describes the triangle has not been specified.
  • Relative orientation is performed on all available images taken by the camera 101 to obtain the relationship between the relative external orientation elements of the camera 101 and the relative positions of each feature point at each viewpoint position corresponding to each image.
  • Relative orientation is performed using all available images taken by the camera 101 to obtain the relationship between the relative external orientation elements of the camera 101 and the relative positions of each feature point at each viewpoint position corresponding to each image.
  • absolute orientation is performed by giving an actual scale and coordinate values to a relative three-dimensional model obtained by relative orientation without using an orientation target. Details will be explained below.
  • the positions of the reflective prism 102 at positions 1 and 2 of the heavy equipment 100 are measured by the total station 200.
  • the camera 101 and the reflecting prism 102 are arranged close to each other, and their positional relationship in the rotating section 110 is known.
  • the movement locus of the camera 101 on the relative three-dimensional model obtained by relative orientation is the movement of the reflection prism 102 on the specific coordinate system determined by the total station 200. Adjust the scale, parallel movement (position adjustment), and rotation movement (orientation adjustment) of the relative 3D model to fit the trajectory.
  • the position of the camera 101 at a plurality of points in the relative three-dimensional model is determined, and the feature point p j is It becomes possible to describe on a specific coordinate system.
  • FIG. 8 shows a position (two-dimensional coordinate position) p1 of a point p1, a position p2 of a point p2, and a position p3 of a point p3 in a photographic screen photographed by the camera 101.
  • the positions of points p1, p2, and p3 in the shooting screen are determined, and the camera position (camera 101
  • the direction of the center of the screen as seen from the center of projection of the camera 101 is the direction of the optical axis of the camera 101.
  • the attitude of the camera 101 is determined.
  • the above-mentioned absolute orientation is performed using the absolute coordinate system, and the position of each point is described on the absolute coordinate system. Then, a set of points whose positions are described on a specific coordinate system becomes point cloud data.
  • Equation 1 an adjustment calculation is performed to reduce errors caused by regarding the position of the camera 101 as the position of the reflecting prism 102 and errors due to other factors.
  • the observation equations of Equation 1 and Equation 2 are established, and each parameter (feature points (Xj, Yj, Zj) and exterior orientation parameters ( Xoi , Yoi , Zoi , a11i to a33i (rotation matrix))) is optimized by the least squares method.
  • the initial values of (Xj, Yj, Zj) use the three-dimensional coordinates of the feature points in the three-dimensional model obtained by the above-mentioned absolute orientation.
  • the position of the camera 101 in the three-dimensional model obtained by absolute orientation is used.
  • the initial values of (a 11i to a 33i ) are the values of the rotation matrix indicating the orientation of the camera 101 in the three-dimensional model obtained by absolute orientation.
  • the position of the reflecting prism 102 measured by the total station 200 is used.
  • Equation 1 is an observation equation for performing bundle adjustment calculation.
  • each beam of each image is The following observation equation is established, and the coordinates of the feature points (Xj, Yj, Zj) and the parameters of the external orientation elements (X oi , Y oi , Z oi , a 11i to a 33i ) can be simultaneously adjusted using the least squares method. It will be done.
  • Equation 2 is an observation equation for performing adjustment calculations that take into account the positional deviation between the camera 101 and the reflecting prism 102.
  • L X , L Y , L Z are parameters that determine the positional relationship between the camera 101 and the reflecting prism 102 .
  • the front direction of the rotating unit 110 is the positive direction of the X-axis
  • L X LH
  • the vertical separation distance is adopted as the initial value.
  • Equation 1 and Equation 2 feature points (Xj, Yj, Zj), external orientation elements (X oi , Y oi , Z oi , a 11i to a 33i (rotation matrix indicating posture)) and ( Using L X , L Y , L Z ) as parameters, the residuals of Equation 1 and Equation 2 are calculated. At this time, (Xj, Yj, Zj), (X oi , Y oi , Z oi , a 11i to a 33i ), (L X , L Y , L Z ) to search for combinations.
  • the convergence conditions are that the residual is sufficiently small and that the variation in the residual from the previous calculation is sufficiently small (a state in which the variation in the calculation results has converged).
  • vibrations are detected by sensors, and if there is vibration that exceeds an allowable value, the image obtained at that timing is not used or the corresponding image is detected. Regarding images, it is also effective to perform calculations while reducing their influence.
  • the above adjustment calculations give priority to data obtained in a situation where vibration does not exceed the permissible value, and data obtained in a situation where vibration exceeds the permissible value is given priority. Lower the priority (weighting) of the result of the adjustment calculation. For example, even if the residual or the fluctuation range of the residual is an unacceptable value during adjustment calculations related to data obtained during vibration, if the result of adjustment calculation related to data obtained during non-vibration is an allowable value, it is acceptable. Prioritize. The same thing may be done for the feature points, camera position, and camera attitude obtained when the rotating unit 110 rotates.
  • the calculation unit 300 performs calculations related to creation of 3D data based on images captured by the camera 101 and other calculations.
  • the calculation unit 300 is a computer and includes a CPU, a storage device, and various interfaces.
  • FIG. 5 shows a block diagram of the calculation section 300.
  • the calculation unit 300 includes an image data acquisition unit 301, an unnecessary data removal unit 302, a positioning data acquisition unit 303, an operating state acquisition unit 304, a feature point extraction unit 305, a corresponding point identification unit 306, an orientation calculation unit 307, and an adjustment calculation unit 308.
  • point cloud data acquisition unit 309 change detection unit 310, 3D model creation unit 311, data storage unit 312, work content identification unit 313, monitoring target identification unit 314, notification unit 315, camera control unit 316, point cloud data processing unit 317.
  • a part or all of these functional units are realized by executing an operation program by the CPU of the calculation unit 300.
  • Part or all of these functional units may be configured with dedicated hardware (electronic circuits).
  • the image data acquisition unit 301 acquires image data obtained by photographing with the camera 101.
  • the unnecessary data removal unit 302 removes images or 3D data of parts such as the arm 151 and the bucket 152 of the heavy machinery 100 that are unnecessary for creating 3D data of the work target.
  • the arm 151 and bucket 152 of the heavy equipment 100 are reflected in the image taken by the camera 101. Since these images are unnecessary for generating 3D data to be worked on, the corresponding image data or 3D data is removed.
  • the arm appears in a specific range on the photographic screen, and its position on the screen does not change even if the background moves. Taking advantage of this fact, the image of the arm is removed.
  • the arm exists in a specific three-dimensional range with respect to the camera 101 and moves relative to the background (eg, terrain).
  • a point group exhibiting this behavior is identified as an arm point group and deleted.
  • the positioning data acquisition unit 303 acquires data on the position of the reflecting prism 102 measured by the total station 200.
  • the total station 200 is equipped with a clock, and acquires the time when measuring the position of the reflecting prism 102.
  • the data on the position of the reflecting prism 102 is outputted from the total station 200 in a state associated with the measurement time, and is acquired by the positioning data acquisition unit 303.
  • the operating state acquisition unit 304 acquires information regarding whether the heavy equipment 100 is traveling and whether the rotating unit 110 is rotating. Here, whether or not the heavy equipment 100 is traveling is determined based on a signal from the travel detection device 111 , and whether or not the rotating section 110 is rotating is determined based on a signal from the rotation detection section 112 .
  • the feature point extraction unit 305 extracts feature points from the captured image taken by the camera 101.
  • the corresponding point specifying unit 306 specifies the correspondence between a plurality of captured images captured by the camera 101.
  • the plurality of photographed images to be considered here are photographed images having overlapping photographing ranges, and the correspondence relationship is specified in the overlapping ranges.
  • An example of a method for specifying a correspondence relationship is template matching.
  • the orientation calculation unit 307 performs calculations related to orientation described in the principle section.
  • the adjustment calculation unit 308 performs processing related to the adjustment calculation described in the principle section.
  • the point cloud data acquisition unit 309 acquires, as point cloud data, data of feature points whose coordinates have been optimized through adjustment calculation.
  • the change detection unit 310 detects a change in 3D data by comparing 3D data that comes before and after on the time axis and detects the difference.
  • the 3D model creation unit 311 creates a 3D model based on point cloud data.
  • the data storage unit 312 stores various data and operation programs used by the calculation unit 300, and various data obtained by the calculation unit 300 (for example, 3D data such as point cloud data).
  • the work content identification unit 313 identifies the content of the work performed by the heavy equipment 100 based on the point cloud data acquired by the point cloud data acquisition unit 309 or the 3D model based on the point cloud data. At this time, 3D data (point cloud data or 3D model) of a monitoring target such as a person, which will be described later, is excluded because it is not the content of the work.
  • 3D data based on a photographed image obtained at a stage before a specific work is compared with 3D data based on a photographed image obtained at a stage after a specific work, and difference data between them is detected. This process is performed in the change detection section 310.
  • 3D data of an object moving on the ground and moving relative to the heavy equipment 100 is removed from the difference data. In this way, changes in the 3D data caused by the work of the heavy equipment 100 are detected, and the content of the work (cutting the ground, etc.) is specified.
  • FIG. 3(A) shows the state of the civil engineering work site at time t1
  • FIG. 3(B) shows the state of the civil engineering work site at time t2.
  • t2 is a time after t1.
  • FIG. 3A shows a state in which swells 401 and 402 of the topography exist.
  • FIG. 3B (time t2) is a state in which, after the state at time t1 in FIG. 3A, the topographic bulge 401 is removed by the heavy equipment 100 and flattened, leaving the topographic bulge 402.
  • the bulge 401 of the topography shown in FIG. 4(A) disappears due to the work of the heavy equipment 100.
  • the 3D data here refers to point cloud data or a 3D model (three-dimensional model) based on the point cloud data.
  • the total station 200 has a built-in clock, and has acquired data on the coronation time of the reflecting prism 102 used for absolute orientation. Therefore, the acquisition time of the basic data upon absolute orientation is known, and the time associated with the obtained 3D data is known.
  • the acquisition time of the obtained point cloud data is not just one point on the time axis, but has a certain time width. Therefore, the time associated with the obtained 3D data has a certain time width, and is understood by, for example, the median value or representative value.
  • 3D data is updated every 10 seconds or every 30 seconds.
  • newly increased 3D data and lost 3D data for example, the 3D data of the bulge 401 in the terrain mentioned above is an example
  • the update interval can be set as appropriate depending on the capabilities of the hardware used, the required resolution on the time axis, and the like.
  • point cloud data is updated every 30 seconds.
  • we can obtain the newly increased point cloud data and the missing point cloud data by extracting the point cloud data that is the difference from the point cloud data 30 seconds before.
  • point cloud data that is lost is the point cloud data of "topographical bulge 401" that will eventually be scraped off, as shown in FIG.
  • 3D data at each of time T1, time T2, time T3, etc. is generated.
  • 3D data at each time is stored in association with that time. This data is stored in the data storage section 312.
  • changes in the 3D data can be grasped.
  • changes in topography caused by civil engineering work performed by the heavy machinery 100 can be understood as changes in 3D data.
  • changes in topography caused by civil engineering work of the heavy machinery 100 can be displayed as images on the display as time changes in a 3D model.
  • the object of change is not limited to the terrain, but may also be buildings or structures.
  • the progress of the demolition can be obtained as 3D data.
  • the monitoring target identifying unit 314 identifies an object that moves relatively to the heavy machinery 100 on the ground, particularly an object that approaches the heavy machinery 100 on the ground as a monitoring target.
  • 3D data that moves relative to the background 3D data (3D data of the terrain) and relative to the heavy equipment 100 is monitored.
  • To detect Further, by detecting whether the monitoring target is a person through image recognition processing, it is possible to grasp the situation in which a person approaches the heavy machinery 100. Note that the process related to identifying the monitoring target needs to be performed in real time or with as little delay as possible.
  • the notification unit 315 performs notification regarding the monitoring target specified by the monitoring target specifying unit 314.
  • the notification process is performed when the distance between the heavy equipment 100 and a monitoring target such as a person becomes less than or equal to a predetermined distance.
  • Notification can be performed by using a sound such as an alarm to the driver of the heavy machinery 100 and the surroundings, by displaying a notification using a display placed in the driver's seat of the heavy machinery 100, or by outputting a notification signal to an external device such as a smartphone. be exposed.
  • the camera control unit 316 controls the photographing operation of the camera 101. It is also possible that the camera control unit 316 has a clock function and manages image data of images taken by the camera 101 in association with time. It is also possible that the camera 101 has a clock function and associates the data of the photographing time with the image data.
  • the point cloud data processing unit performs processing related to the laser scan point cloud data acquired by the laser scanner 103. Details of the processing will be explained in the fifth embodiment described later.
  • FIG. 6 shows an example of the processing procedure.
  • a program for executing the process shown in FIG. 6 is stored in the data storage unit 312 or a suitable storage medium, read from there, and executed by the CPU of the computer forming the arithmetic device 300. It is also possible to store the program in a server connected to the Internet and download it from there. This is also the same for the processing related to FIG.
  • the process shown in FIG. 6 may be performed in parallel with the operation of the heavy machine 100, or may be performed as a post-process after the work by the heavy machine 100 is completed.
  • image data of an image taken by the camera 101 is acquired (step S101).
  • image data is acquired within a range that allows subsequent orientation calculations and adjustment calculations.
  • all acquired image data may be acquired.
  • the acquired image data can also be divided into multiple parts and processed sequentially.
  • the image data of unnecessary parts is image data of parts such as the arm 151 and bucket 152 of the heavy equipment 100 that are unnecessary for creating 3D data of the work target. This process is performed in the unnecessary data removal section 302.
  • step S103 data on the position of the reflecting prism 102 measured by the total station 200 is acquired (step S103).
  • orientation calculation is performed based on the captured image (step S104).
  • the orientation calculation is performed using the relative orientation and absolute orientation described in the principle section. In the absolute orientation, the positioning data of the reflecting prism 102 obtained in step S103 is used. This process is performed in the orientation calculation unit 307.
  • step S105 adjustment calculations shown in Equations 1 and 2 are performed (step S105). This process is performed in the adjustment calculation unit 308.
  • step S106 a set of each feature point optimized by the adjustment calculation is acquired as point cloud data. Note that the process of step S106 is not necessarily necessary. In this case, the processes from step S107 onwards are performed at other timings.
  • step S107 two point cloud data that are placed before and after each other on the time axis are compared, the difference is taken, and point cloud data that has changed over time is detected. This process is performed in the change detection section 310.
  • point cloud data related to objects moving on the ground are removed from the point cloud data in which changes have been detected, and point cloud data that has changed due to the work of the heavy equipment 100 is detected as point cloud data related to the work content (step S108). This process is performed in the work content specifying unit 313.
  • FIG. 7 is a flowchart illustrating an example of a procedure for preventing interference between the heavy equipment 100 and people. This process needs to be performed with as little delay as possible after the camera 101 captures the image.
  • steps S101 to S106 in FIG. 6 are performed to obtain point cloud data of an object photographed by the camera 101 (step S201).
  • monitoring objects objects that move relative to the heavy machinery 101 and the background terrain are identified as monitoring objects (step S202). This process is performed in the monitoring target specifying unit 314. Next, the distance between the heavy equipment 100 and the monitoring target is calculated, and it is determined whether the distance is less than or equal to a predetermined distance (step S203).
  • step S204 If the distance is less than or equal to a predetermined distance, a notification process is performed (step S204), and if not, the processes from step S201 onwards are repeated.
  • the position of the reflective prism 102 of the heavy equipment 100 equipped with the camera 101 and the reflective prism 102 is tracked and positioned by the total station 200 with known external orientation elements on a specific coordinate system to obtain positioning data.
  • Image data of a plurality of photographed images in which overlapping ranges are photographed from a plurality of different positions by the camera 101 is acquired, and a plurality of feature points p1, p2, p3 extracted from the plurality of photographed images and the different points of the camera 101 are obtained.
  • Calculating a relative positional relationship with a plurality of positions, calculating a trajectory of movement of the camera 101 with respect to the plurality of feature points p1, p2, p3 based on a change in the relative positional relationship, and calculating the The positions of the plurality of feature points p1, p2, p3 in the specific coordinate system are determined based on a comparison between the locus of movement of the camera 101 and the positioning data.
  • the camera 101 does not necessarily require time information, but may have information on the shooting time.
  • the photographed image is managed in association with the photographing time.
  • Third Embodiment It is also possible to use a data processing server to execute the functions of the calculation unit 300.
  • various measurement data from the heavy equipment 100 and the total station 200 are transmitted to the data processing server via a suitable data communication line such as an Internet line, and the processing performed by the calculation unit 300 is executed there.
  • Second point cloud data Fifth Embodiment Laser scan point cloud (hereinafter referred to as second point cloud data) acquired by a laser scanner (LiDAR) 103 is converted to point cloud data (hereinafter referred to as second point cloud data) based on the photographed image of camera 101 described in the first embodiment. (first point cloud data).
  • the laser scan point group (primary point group data) acquired by the laser scanner 103 has a direction on a local coordinate system with the origin at the position of the laser scanner 103 (strictly speaking, the optical origin of the optical system of the laser scanner 103). and is described as distance data.
  • this primary point group data In order to coordinate transform this primary point group data into a specific coordinate system, it is sufficient to know the position and orientation of the laser scanner 103 (that is, external evaluation elements) in the specific coordinate system.
  • the position of the origin (viewpoint) for each point will be different (of course, there are cases where it can be considered as the same origin).
  • the position and orientation of the laser scanner 103 in the coordinate system to be used for each point is known, the position of each point in the coordinate system can be obtained.
  • the second point group data can be described on the same coordinate system as the first point group data, and the two can be integrated.
  • the total station 200 is equipped with a clock, and based on the measurement of the position of the reflecting prism 102 by the total station 200, the position and orientation of the camera 101 at a specific time are determined through orientation processing and adjustment calculations. be able to.
  • the relevant coordinates of the laser scanner 103 at that time can be determined.
  • the position and orientation of a system can be determined.
  • the coordinates of each point in the laser scan point group (second point group data) acquired by the laser scanner 103 are converted from the local coordinate system with the laser scanner 103 as the origin to the coordinate system used by the total station 200. This allows the second point group data to be described in the coordinate system used by the total station 200.
  • the feature points are synchronized with the time when the image was taken, and the feature points can have time information. Therefore, by creating a database of feature points along with time information, collecting the latest feature points at the time or some trigger time, and performing orientation calculations, it is possible to obtain the topography at that time.
  • the coordinates of the feature point at each time can be calculated using the previous and subsequent images.
  • the 3D data of the object to be photographed at time t1 can be understood by the feature points
  • the 3D data of the object to be imaged at time t2 can be understood by the feature points.
  • GNSS position measuring device mounts on heavy machinery and use this GNSS position measuring device to specify the position of a camera on the heavy machinery.
  • the reflecting prism and the total station are not required (of course, they can also be used together).
  • position measurements using GNSS include errors, GNSS errors can be suppressed through adjustment calculations.
  • adjustment calculation calculation is performed assuming that the antenna of the GNSS position measuring device is installed at the position of the reflecting prism in the case described above.
  • relative positioning such as the RTK method, measurement errors can be suppressed.
  • the handling of feature points, various orientations, and other data processing are the same as in other embodiments.
  • the present invention can also be applied to the installation and assembly of buildings and structures using heavy machinery, and the demolition of buildings and structures using heavy machinery.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

【課題】重機上の視点から得た三次元情報の取得を可能とする。 【解決手段】カメラ１０１と反射プリズム１０２を搭載した重機１００の反射プリズム１０２の位置を特定の座標系上での外部標定要素が既知のトータルステーション２００により追尾しつつ測位して測位データを得、カメラ１０１により異なる複数の位置から重複する範囲が撮影された複数の撮影画像の画像データを取得し、前記複数の撮影画像から抽出された複数の特徴点ｐ１，ｐ２，ｐ３とカメラ１０１の前記異なる複数の位置との相対的な位置の関係を算出し、該相対的な位置の関係の変化に基づく前記複数の特徴点ｐ１，ｐ２，ｐ３に対するカメラ１０１の移動の軌跡の算出を行い、該算出されたカメラ１０１の移動の軌跡と前記測位データの比較に基づく前記複数の特徴点ｐ１，ｐ２，ｐ３の前記特定の座標系における位置を求める。

Description

演算装置、演算方法およびプログラム
　本発明は、重機を利用して三次元データを得る技術に関する。
　測量装置を用いて重機の位置を測定する技術が知られている（例えば、特許文献１を参照）。
特開平８－４３０９３号公報
　重機が１日や特定の期間に行った作業の結果をデータ化するために、従来は、重機による作業の終了後に、現場に設置したレーザースキャナ等の測量装置を用いて改めて作業対象の三次元情報の取得を行っていた。この方法は、重機による作業と、その作業結果のデータ化が別作業であり、効率が悪く、改善が望まれていた。また、上記の作業は専門的な知識を有する人による作業が必要であり、この点でも効率化が求められていた。このような背景において、本発明は、重機が行う作業の結果のデータ化に係る作業の効率化を目的とする。
　本発明は、カメラと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データを受け付ける測定データ受付部と、前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データを取得する画像データ取得部と、前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の前記特定の座標系における位置の特定とを行う演算部とを有する演算装置である。本発明において、前記カメラと前記反射プリズムの位置の関係を用いて、前記特定の座標系における前記複数の特徴点の位置の調整計算が行われる態様が挙げられる。
　本発明において、前記演算部は、前記複数の特徴点に基づく、時間軸上の前の段階における第１の３Ｄデータの作成および時間軸上の後の段階における第２の３Ｄデータの作成と、前記第２の３Ｄデータと前記第１の３Ｄデータの差分を求める処理とを行う態様が挙げられる。
　本発明において、前記第２の３Ｄデータと前記第１の３Ｄデータの差分に基づき、前記重機が行った作業の内容を特定する作業内容特定部を備える態様が挙げられる。本発明において、前記第２の３Ｄデータと前記第１の３Ｄデータの差分に基づき、地上を前記重機に向かって移動する対象を監視対象として検出する監視対象検出部を備える態様が挙げられる。
　本発明において、前記監視対象が前記重機に対して予め定めた距離以下に近づいた場合に報知処理を行う報知部を備える態様が挙げられる。本発明において、前記複数の撮影画像には、前記重機の一部が写っており、前記複数の撮影画像に写った前記重機の一部の画像または該画像に対応する３Ｄデータを除去する除去部を備える態様が挙げられる。
　本発明において、前記重機は、レーザースキャナを搭載しており、前記レーザースキャナと前記カメラの位置と姿勢の関係は既知であり、前記重機の稼働中に前記レーザースキャナは、レーザースキャン点群を取得し、前記調整計算により、前記カメラの前記特定の座標系における位置と姿勢が算出され、前記カメラの前記特定の座標系における前記位置と前記姿勢に基づく前記レーザースキャナの前記特定の座標系における位置と姿勢の算出と、前記レーザースキャナの前記特定の座標系における前記位置と前記姿勢に基づく前記レーザースキャン点群の前記特定の座標系への座標変換とを実行する演算部を備える態様が挙げられる。
　本発明は、カメラと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データの受け付けと、前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データの取得と、前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の前記特定の座標系における位置の特定とを行う演算方法である。
　本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータにカメラと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での外部標定要素が既知の測量装置により追尾しつつ測定した測定データの受け付けと、前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データの取得と、前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の前記特定の座標系における位置の特定とを実行させるプログラムである。
　本発明は、カメラとＧＮＳＳ位置測定装置を搭載した重機の位置を前記ＧＮＳＳ装置により測定した測定データを受け付ける測定データ受付部と、前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データを取得する画像データ取得部と、前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の位置の特定とを行う演算部とを有する演算装置である。
　本発明によれば、重機が行う作業の結果のデータ化に係る作業が効率化される。
実施形態の概念図である。 三次元情報を得る原理を示す図である。 重機による土木作業の過程を示す図である。 重機による土木作業の結果生じる地形の変化を示す図である。 演算装置のブロック図である。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 特徴点の位置、特徴点の画面位置およびカメラ位置の関係を示す図である。
１．第１の実施形態
（概要）
　図１には、土木作業を行う重機１００、重機１００の位置の測定を行うトータルステーション２００が示されている。重機１００は、作業を行うと共に搭載するカメラ１０１による撮影を行いｓｆｍ(Structure from Motion)の原理により、重機１００周囲の３Ｄデータを取得する。この際、トータルステーション２００は、重機１００に搭載した反射プリズム１０２を追尾しつつ繰り返し継続してその位置の測定を行う。この反射プリズム１０２の位置の測定値に基づいて、上記３Ｄデータを特定の座標系におけるデータとして得る。ｓｆｍの原理については、例えば特開２０１３－１８６８１６号公報に記載されている。
（重機）
　重機１００は、パワーシャベルである。パワーシャベルは一例であり、土木作業を行う重機であれば、重機の種類は特に限定されない。重機１００は、無限軌道により地上を走行するベース部１２０と、ベース部１２０上で水平回転する回転部１１０を備えている。回転部１１０は、運転席とアーム１５１を備え、アーム１５１の先端にはバケット１５２が配置されている。これらの構造は、通常のパワーシャベルと同じである。
　回転部１１０の上部には、カメラ１０１、反射プリズム１０２およびレーザースキャナ１０３が配置されている。カメラ１０１の位置と反射プリズム１０２の位置関係は、未知であってよい。調整計算時にカメラ１０１の位置と反射プリズム１０２の位置関係は、未治量として計算される。なお、カメラ１０１の位置と反射プリズム１０２の位置関係は既知な情報として予め取得されていてもよい。
　カメラ１０１は、連続して繰り返し静止画像を撮影するデジタルスチールカメラである。カメラ１０１により、重機１００の周囲の撮影が行われる。カメラ１０１としてデプスカメラを採用することもできる。カメラ１０１として動画撮影用のカメラを利用し、動画を構成するフレーム画像を静止画像として利用する形態も可能である。図１には、１台のカメラ１０１を重機１００に配置する例を示すが、多方向に向けた複数台のカメラを配置することも可能である。また、ステレオカメラを用いることもできる。
　反射プリズム１０２は、レーザー光を用いた測量に利用される光学反射ターゲットである。ここでは、反射プリズム１０２として全周反射プリズムが利用される。反射プリズム１０２は、入射光を１８０°向きを変えて反射する。光学反射ターゲットとしては、反射プリズム以外に再帰反射特性を有する反射ターゲットを利用することができる。
　反射プリズム１０２の位置は、任意の場所でよい。なお、回転部１１０の回転中心または回転中止に近い位置に反射プリズム１０２を設置すると、トータルステーション２００による反射プリズム１０２の位置を測定した際における回転部１１０の回転の影響を軽減できる。
　重機１００は、走行検出装置１１１、回転検出装置１１２および演算装置３００を備えている。なお、説明は省略するが、その他パワーシャベルの稼働に必要な機能を重機１００は備えている。
　走行検出装置１１１は、ベース部１２０が無限軌道による走行を行っているか否かを検出する。走行検出装置１１１からは、重機１００の移動中において、重機１００が移動中（ベース部１２０が無限軌道により走行中）である旨を示す信号が出力される。この信号により、重機１００の移動（走行）の有無を判定できる。回転検出部１１２からは、回転部１１０の回転時に回転部１１０が回転中である旨を示す信号が出力される。この信号により、回転部１１０の回転の有無を判定できる。演算部３００については後述する。
　重機１００の位置は、重機の重心の位置で把握される。重機１００の位置をカメラ１０１や反射プリズム１０２の位置、回転部１１０の回転中心軸上のどこかの点、その他重機１００のどこかの位置で把握することも可能である。
（トータルステーション）
　トータルステーション２００は、位置の測定が可能な測量装置の一例である。トータルステーション２００は、レーザー光を用いた測位機能、カメラ、時計、測量したデータの記憶装置、通信インターフェース、ユーザーインターフェース、測量対象（反射プリズム１０２）を探索する機能および測量対象が移動してもそれを追尾する機能を備える。トータルステーション２００は、一般的に入手できる機種を利用できる。
　処理に先立ち、特定の座標系におけるトータルステーション２００の位置と姿勢は取得され、既知のデータとされている。利用する座標系は、絶対座標系またはローカル座標系である。絶対座標系は、地図やＧＮＳＳで用いられる座標系である。ここで選択された座標系が得られる３Ｄデータを記述する座標系となる。なお、トータルステーション２００の位置は、測距を行うための光学系の光学原点の位置で把握する。
　トータルステーション２００が反射プリズム１０２を視準し、ロックした状態で重機１００の作業が開始される。重機１００の作業中において、トータルステーション２００は、反射プリズム１０２を追尾しつつ、その位置の測定を繰り返し行う。繰り返し行われる反射プリズム１０２の位置の測定の間隔は、０．５秒～５秒程度とする。
（原理）
　以下の原理により、重機１００に搭載したカメラ１０１が撮影した画像に基づく、撮影対象の３Ｄデータの作成が行われる。
（１）相互標定
　カメラ１０１が撮影した撮影画像に基づく任意スケールの相対三次元モデルの作成を行い、複数の画像間で特定された特徴点と各画像の撮影時におけるカメラ１０１の位置および姿勢の相対関係を特定する。
（２）絶対標定
　トータルステーション２００が測定した反射プリズム１０２の特定の座標系上での位置データを用いて、上記（１）の相互標定で作成された相対三次元モデルにスケール（実際の値）を与え、カメラ１０１の当該座標系における外部標定要素（位置と姿勢）および標定に利用した各特徴点の当該座標系における位置を求める。
（３）調整計算
　バンドル調整計算および反射プリズム１０２とカメラ１０１の位置関係を考慮した調整計算を同時に行い、利用する特定の座標系におけるカメラ１０１の外部標定要素および特徴点の位置の最適化を行う。これにより、当該座標系上での特徴点の位置が記述された点群データが得られる。
（４）３Ｄモデルの作成
　上記調整計算により最適化された点群データに基づき、対象の３Ｄモデルを作成する。３Ｄモデルとしては、対象の輪郭線をデータ化したもの、ＤＥＭ(Digital Elevation Model)、ＴＩＮ(Triangulated Irregular Network)等が挙げられる。点群データに基づく３Ｄモデルの作成については、例えば、ＷＯ２０１１／０７０９２７号公報、特開２０１２－２３０５９４号公報、特開２０１４－３５７０２号公報に記載されている。
（各処理の詳細）
（相互標定の詳細）
　以下、説明を簡素にするために重複した対象を異なる位置から撮影した２枚の画像（以下ステレオ画像）を用いた相互標定について説明する。重機１００は、移動しながらカメラ１０１により回転部１１０の前方を連続して撮影し、多数の撮影画像を得る。ここで、時間軸上で近接し、撮影範囲が重複した異なる位置から撮影した２枚の撮影画像をステレオ画像として選択する。重機１００は移動しながら撮影を繰り返し行うので、上記のステレオ画像は、視点の位置が異なり、且つ、重複した対象が写った２枚の撮影画像となる。
　なお、重機１００が停止中にカメラ１０１が撮影した撮影画像および回転部１１０が回転中にカメラ１０１が撮影した撮影画像も画像データに含まれる。回転部１１０が回転中にカメラ１０１が撮影した撮影画像を用いた標定は、誤差が大きくなる場合があるが、最終的に調整計算により、その誤差は低減される。
　図２には、重機１００が位置１から位置２に移動し、位置１と位置２において重複する範囲をカメラ１０１により撮影した場合が示されている。
　図２には、重機１００が位置１に位置しているタイミングでカメラ１０１が撮影した撮影画像１と、重機１００が位置２に位置しているタイミングでカメラ１０１が撮影した撮影画像２とをステレオ画像とし、両画像中から特徴点ｐ１、ｐ２、ｐ３が抽出された場合が示されている。なお、特徴点は無数に得られるが、ここでは簡単な例として３点の場合を示す。
　この場合、撮影画像１と撮影画像２のそれぞれから特徴点の抽出を行い、更に撮影画像１と撮影画像２における特徴点の対応関係の特定を行う。この技術については、例えば特開２０１３－１８６８１６号公報に記載されている。なお、特開２０１３－１８６８１６号公報には、特徴点の抽出、２つの画像間における特徴点のマッチング、交会法、各種の標定、特徴点の三次元位置の算出、バンドル調整等について詳細に記載されている。
　撮影画像１と撮影画像２の間で対応関係の特定を行うことで、両画像で共通な特徴点ｐ１、ｐ２、ｐ３が特定される。
　相互標定では、位置１におけるカメラ１０１の撮影画像１と、位置２におけるカメラ１０１の撮影画像２の間における特徴点ｐ１、ｐ２、ｐ３のずれが解消されるように両位置におけるカメラ１０１の位置と姿勢を探索（調整）し、両位置におけるカメラ１０１の相対的な外部標定要素（位置と姿勢）および特徴点ｐ１．ｐ２，ｐ３の相対位置関係が求められる。なおカメラ１０１の位置は、光学系の投影中心（撮影画像の視点）の位置である。
　この段階では、特定の座標系における座標値や姿勢の値が与えられておらず、求められる外部標定要素は、位置１と位置２におけるカメラ１０１の相対位置関係と相対的な姿勢（向き）の関係となる。また、特徴点ｐ１、ｐ２、ｐ３の位置も位置１と位置２におけるカメラ１０１の位置に対する相対的な位置（スケールが与えられていない相対的な位置関係）となる。
　図２の場合でいうと、相互標定により、位置１におけるカメラ１０１の位置―特徴点ｐｊ（ｊ＝１，２，３）の位置―位置２におけるカメラ１０１の位置の３点を頂点とする三角形の形状（３つの角の角度）が求まる。また、位置１または位置２におけるカメラ１０１の位置―特徴点ｐｊ（ｊ＝１，２，３）―特徴点ｐｋ（ｋ＝１，２，３、ｋ≠ｊ）の３点を頂点とする三角形の形状（３つの角の角度）が求まる。ただし、実スケールが与えられていないので、上記の三角形の大きさは定まらず、相対的な図形（相対三次元モデル）となる。また、三角形を記述する座標系も特定されていない。
　相互標定は、カメラ１０１が撮影した利用可能な全ての画像を対象に行われ、各画像に対応した各視点位置におけるカメラ１０１の相対的な外部標定要素と各特徴点の相対位置の関係を得る。上記の説明では、２枚の画像をステレオ画像として用いた相互標定の例を説明したが、実際には重複した対象が写った３枚以上の画像を用いて相互標定が行われる。
（絶対標定の詳細）
　仮に、図２における複数の特徴点の特定の座標系における位置が判れば、図２に係る相互標定により求められた相対三次元モデルに実スケールと座標値が与えられ、位置１と位置２におけるカメラ１０１の当該座標系における座標位置と姿勢（向き）が特定される。また、当該座標系における各特徴点の位置も特定される。これは、従来から行われている標定用ターゲットを用いた絶対標定の原理である。
　本実施形態では、標定用ターゲットを用いずに相互標定によって得られた相対三次元モデルに実スケールと座標値を与えることで絶対標定を行う。以下、詳細を説明する。
　ここでは、相互標定により得た上述した相対三次元モデル（位置１におけるカメラ１０１の位置―特徴点ｐｊ（ｊ＝１，２，３）―位置２におけるカメラ１０１の位置の３点を頂点とする三角形）におけるカメラ１０１の位置に着目する。
　重機１００の位置１および位置２における反射プリズム１０２の位置は、トータルステーション２００により測定されている。ここで、カメラ１０１と反射プリズム１０２は近接して配置され、回転部１１０におけるその位置関係は既知である。
　そこで、反射プリズム１０２の位置をカメラ１０１の位置と見なして、相互標定により得た上記相対三次元モデル上のカメラ１０１の移動軌跡がトータルステーション２００により測位した特定の座標系上における反射プリズム１０２の移動軌跡にフィッティングするように、相対三次元モデルの縮尺の調整、平行移動（位置の調整）、回転移動（向きの調整）を行う。
　相対三次元モデルにおけるカメラ２０２の移動軌跡をトータルステーション２００が測定した反射プリズム１０２の位置データにフィッティングさせることで、相対三次元モデルの複数の点におけるカメラ１０１の位置が定まり、また特徴点ｐｊが特定の座標系上で記述可能となる。
　図８には、カメラ１０１が撮影した撮影画面中における点ｐ１の位置（２次元座標位置）ｐ１、点ｐ２の位置ｐ２、点ｐ３の位置ｐ３が示されている。この場合、ｐ１とｐ１を結ぶ方向線、ｐ２とｐ２を結ぶ方向線、ｐ３とｐ３を結ぶ方向線を設定すると、撮影画面中における点ｐ１，ｐ２，ｐ３の位置が決まり、カメラ位置（カメラ１０１の投影中心）から見た画面中心の方向がカメラ１０１の光軸の方向となる。これにより、カメラ１０１の姿勢が求まる。
　例えば、絶対座標系におけるトータルステーション２００の位置と姿勢を予め決めてある場合、絶対座標系を利用して上記の絶対標定が行われ、絶対座標系上で各点の位置が記述される。そして、特定の座標系上で位置が記述された点の集合が点群データとなる。
（調整計算の詳細）
　上述した絶対標定において得た各特徴点の位置、およびカメラ１０１の位置と姿勢は、誤差を含んでいる。この誤差は色々な要因に起因する。また、重機１０１の振動等に起因する誤差もある。
　そこで、カメラ１０１の位置を反射プリズム１０２の位置と見なすことに起因する誤差、その他の要因の誤差を低減する調整計算を行う。この調整計算では、数１と数２の観測方程式を立て、最小二乗法による各パラメータ（特徴点（Ｘj,Ｙj,Ｚj)および外部標定要素（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i(回転行列)））の最適化が行われる。
Figure JPOXMLDOC01-appb-M000001
ｃ：画面距離（焦点距離）
（Ｘj,Ｙj,Ｚj)：着目した特徴点の三次元座標
（ｘij,ｙij）：画像i上における点ｊの画像上（画面上）の座標
（Ｘoi，Ｙoi，Ｚoi）：写真iの撮影時におけるカメラ１０１の位置
（ａ11i～ａ33i）：写真iの撮影時におけるカメラ１０１の姿勢を示す回転行列
Figure JPOXMLDOC01-appb-M000002
（Ｘpi,Ｙpi,Ｚpi）：画像iを撮影した時刻における反射プリズム１０２の位置
（ＬＸ,ＬＹ,ＬＺ) ：カメラ１０１の位置（投影中心）と反射プリズム１０２の反射点との離間距離
　上記の数１において、（Ｘj,Ｙj,Ｚj)の初期値は、上述した絶対標定で得られた三次元モデルにおける特徴点の三次元座標を用いる。（Ｘoi，Ｙoi，Ｚoi）の初期値は、絶対標定で得られた三次元モデルにおけるカメラ１０１の位置を用いる。（ａ11i～ａ33i）の初期値は、絶対標定で得られた三次元モデルにおけるカメラ１０１の姿勢を示す回転行列の値を用いる。（Ｘpi,Ｙpi,Ｚpi）は、トータルステーション２００が測定した反射プリズム１０２の位置を用いる。
　数１は、バンドル調整計算を行うための観測方程式である。バンドル調整計算では、測定対象物の特徴点、画像上の点、投影中心の３点を結ぶ光束（バンドル）が同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に数１の観測方程式を立て、最小二乗法により特徴点の座標（Ｘj,Ｙj,Ｚj)と外部標定要素のパラメータ（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i）の同時調整が行われる。
　数２は、カメラ１０１と反射プリズム１０２の位置のズレを考慮にいれた調整計算を行うための観測方程式である。（ＬＸ,ＬＹ,ＬＺ)は、カメラ１０１と反射プリズム１０２の位置関係を決めるパラメータである。
（ＬＸ,ＬＹ,ＬＺ)の初期値は、利用する座標系における回転部１１０の向きが特定の向きである場合における値を用いる。
　例えば、回転部１１０の前方向をＸ軸正の方向とした場合に、水平方向におけるカメラ１０１と反射プリズム１０２の離間距離をＬＨ＝として、ＬＸ＝ＬＨ、ＬＹ＝０、ＬＺは既知の鉛直方向における離間距離を初期値として採用する。
　数１と数２を用いた調整計算では、特徴点（Ｘj,Ｙj,Ｚj)、外部標定要素（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i(姿勢を示す回転行列)）および（ＬＸ,ＬＹ,ＬＺ)をパラメータとして、数１および数２の残差を算出する。この際、最小二乗法により上記の残差が収束するような（Ｘj,Ｙj,Ｚj)，（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i），（ＬＸ,ＬＹ,ＬＺ)の組み合わせを探索する。
　具体的には、数１および数２で示される残差が小さくなるように、各パラメータ（Ｘj,Ｙj,Ｚj)，（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i），（ＬＸ,ＬＹ,ＬＺ)に補正量を加えて数１および数２の同時計算を行うことを繰り返す。そして、数１および数２が収束条件を満たす未知パラメータ（Ｘj,Ｙj,Ｚj)，（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i），（ＬＸ,ＬＹ,ＬＺ)の組み合わせを求める。収束条件としては、残差が十分に小さい、前回の計算からの残差の変動が十分に小さい（計算結果の変動が収束した状態）を用いる。
　なお、重機１００の移動時の振動の影響による誤差の発生を抑えるために、センサにより振動を検出し、許容値を超える振動がある場合は、そのタイミングで得た画像を利用しない、あるいは該当する画像に関して、その影響を下げて演算を行う事も有効である。
　例えば、ある特徴点、カメラ位置、カメラの姿勢に関して、振動が許容値を超えない状況において得られたデータを優先して上記の調整計算を行い、振動が許容値を超える状況において得られたデータの調整計算の結果の優先度（重み付け）を下げる。例えば、振動時に得たデータに係る調整計算時の残差や残差の変動の幅が許容できない値であっても、非振動時に得たデータに係る調整計算の結果が許容値であればそれを優先する。同様のことを回転部１１０の回転時に得られたる特徴点、カメラ位置、カメラの姿勢に対して行ってもよい。
（演算部）
　演算部３００は、カメラ１０１が撮影した画像に基づく３Ｄデータの作成に係る演算およびその他の演算を行う。演算部３００は、コンピュータであり、ＣＰＵ、記憶装置、各種のインターフェースを備えている。
　図５に演算部３００のブロック図を示す。演算部３００は、画像データ取得部３０１、不要データ除去部３０２、測位データ取得部３０３、稼動状態取得部３０４、特徴点抽出部３０５、対応点特定部３０６、標定計算部３０７、調整計算部３０８、点群データ取得部３０９、変化検出部３１０、３Ｄモデル作成部３１１、データ記憶部３１２、作業内容特定部３１３、監視対象特定部３１４、報知部３１５、カメラ制御部３１６、点群データ処理部３１７を備える。
　これら機能部の一部または全部は、演算部３００のＣＰＵにより動作プログラムが実行されることで実現される。これら機能部の一部または全部を専用のハードウェア（電子回路）で構成してもよい。
　画像データ取得部３０１は、カメラ１０１が撮影を行うことで得た画像データを取得する。不要データ除去部３０２は、重機１００のアーム１５１やバケット１５２といった作業対象の３Ｄデータの作成に不要な部位の画像または３Ｄデータを除去する。カメラ１０１の撮影画像には、重機１００のアーム１５１やバケット１５２が写り込む。これらの画像は、作業対象の３Ｄデータの生成には不要であるので、該当する画像データあるいは３Ｄデータを除去する。
　まず、該当する画像データを除去する場合を説明する。この場合、時間軸上で近接する撮影画像間で対応関係の特定を行い、背景に対して特定の方向に移動し、また画面中の特定の領域に存在する対象に係る画像データを削除する。
　例えば、アームは、撮影画面中の特定の範囲に写り、背景が移動しても画面中の位置は変化しない。このことを利用し、アームの画像を除去する。
　該当する３Ｄデータを除去する場合は、時間軸上で近接する３Ｄデータ間で対応関係の特定を行い、背景に対して特定の方向移動し、また特定の３次元領域に存在する対象にかかる画像データを削除する。
　例えば、アームは、カメラ１０１に対して特定の３次元範囲に存在し、また背景（例えば、地形）に対して移動する。この挙動を示す点群をアームの点群として特定し、削除する。
　測位データ取得部３０３は、トータルステーション２００が測定した反射プリズム１０２の位置のデータを取得する。トータルステーション２００は、時計を備え、反射プリズム１０２の位置の測定時にその時刻も取得している。上記反射プリズム１０２の位置のデータは、その計測時刻と関連付けされた状態でトータルステーション２００から出力され、それが測位データ取得部３０３で取得される。
　稼動状態取得部３０４は、重機１００の走行の有無、回転部１１０の回転の有無に関する情報を取得する。ここで、重機１００の走行の有無は、走行検出装置１１１からの信号により判定され、回転部１１０の回転の有無は、回転検出部１１２からの信号により判定する。
　特徴点抽出部３０５は、カメラ１０１が撮影した撮影画像の中から特徴点の抽出を行う。対応点特定部３０６は、カメラ１０１が撮影した複数の撮影画像の間における対応関係の特定を行う。ここで対象となる複数の撮影画像は、撮影範囲が重複している撮影画像であり、この重複している範囲において対応関係の特定が行なわれる。対応関係を特定する手法としては、例えばテンプレートマッチングが挙げられる。
　標定計算部３０７は、原理の欄で説明した標定に係る計算を行う。調整計算部３０８は、原理の欄で説明した調整計算に係る処理を行う。点群データ取得部３０９は、調整計算によって最適化された座標が確定した特徴点のデータを点群データとして取得する。
　変化検出部３１０は、時間軸上で前後する３Ｄデータを比較し、その差分を検出することで、３Ｄデータの変化を検出する。
　３Ｄモデル作成部３１１は、点群データに基づく３Ｄモデルの作成を行う。データ記憶部３１２は、演算部３００で利用する各種のデータや動作プログラム、演算部３００で得られる各種のデータ（例えば、点群データ等の３Ｄデータ）を記憶する。
　作業内容特定部３１３は、点群データ取得部３０９が取得した点群データまたは該点群データに基づく３Ｄモデルに基づき、重機１００が行った作業の内容を特定する。この際、後述する人等の監視対象の３Ｄデータ（点群データまたは３Ｄモデル）は、作業の内容でないので除外される。
　具体的には、特定の作業前の段階で得た撮影画像に基づく３Ｄデータと特定の作業後の段階で得た撮影画像に基づく３Ｄデータとを比較し、その差分データを検出する。この処理は、変化検出部３１０において行われる。次に、上記差分データの中から地上を移動し、且つ、重機１００に対して相対的に動く物体の３Ｄデータを除去する。こうして、重機１００の作業によって生じた３Ｄデータの変化分を検出し、作業の内容（地面の切削等）が特定される。
　以下、具体的な例を説明する。重機１００が土木作業を行うことで地形が変化する。図３（Ａ）には、時刻をｔ１における土木工事現場の様子が示され、図３（Ｂ）には、時刻をｔ２における土木工事現場の様子が示されている。ここで、ｔ２は、ｔ１より後の時刻である。
　図３（Ａ）（時刻ｔ１）は、地形の盛り上がり４０１および４０２が存在している状態である。図３（Ｂ）（時刻ｔ２）は、図３（Ａ）の時刻ｔ１の状態の後に、地形の盛り上がり４０１が重機１００により取り除かれて平坦とされ、地形の盛り上がり４０２が残った状態である。
　地形に着目した場合、図４（Ｂ）に示すように、重機１００の作業により、図４（Ａ）に示す地形の盛り上がり４０１が消失する。ここで、図３（Ａ）または図４（Ａ）の状態における地形の３Ｄデータと、図３（Ｂ）または図４（Ｂ）の状態における地形の３Ｄデータに着目すると、両者には、地形の盛り上がり４０１に対応する３Ｄデータの差がある。なお、ここでいう３Ｄデータは、点群データまたは該点群データに基づく３Ｄモデル（三次元モデル）のこという。
　上記の例でいうと、図４（Ｂ）の状況の地形の３Ｄデータと図４（Ａ）の状況の地形の３Ｄデータの差を求めることで、除去の対象となった地形の盛り上がり４０１の３Ｄデータを抽出できる。
　トータルステーション２００は時計を内蔵しており、絶対標定時に利用する反射プリズム１０２の即位時刻のデータは取得している。よって、絶対標定時の基なる基礎データの取得時刻は判り、得られる３Ｄデータに紐づいた時刻は判る。
　なお、カメラ１０１による撮影は連続して行われるので、得られる点群データの取得時刻は時間軸上の１点ではなく、ある程度の時間幅を有している。よって、得られる３Ｄデータに紐づいた時刻は、ある程度の時間幅を持ち、例えばその中間値や代表値でもって把握される。
　例えば、３Ｄデータは、１０秒毎や３０秒毎に更新される。この更新の際、新たに増えた３Ｄデータおよび失われた３Ｄデータ（例えば、上記の地形の盛り上がり４０１の３Ｄデータがその一例）を抽出し、それを別に保存することができる。なお、更新の間隔は、利用するハードウェアの能力、必要とされる時間軸上の分解能等によって適宜設定できる。
　例えば、３０秒間隔で点群データの更新が行われるとする。この場合、ある時刻における点群データに着目すると、その３０秒前の点群データとの差分の点群データを抽出することで、新たに増えた点群データおよび無くなった点群データが得られる。例えば、無くなった点群データの一例が、図４に示す最終的に削り取られる「地形の盛り上がり４０１」の点群データである。
　例えば、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３・・・のそれぞれにおける３Ｄデータを生成する。この場合、各時刻における３Ｄデータが当該時刻と紐づけされて記憶される。このデータがデータ記憶部３１２に記憶される。
　上記の各時刻における３Ｄデータの時間軸上における推移を追うことで、３Ｄデータの変化を把握できる。例えば、重機１００の土木作業に起因する地形の変化を３Ｄデータの推移として把握できる。例えば、重機１００の土木作業に起因する地形の変化を３Ｄモデルの時間変化としてディスプレイ上に画像表示することができる。また、削られた土砂や盛られた土砂を３Ｄデータとして把握できる。
　変化の対象は、地形に限定されず、建物や工作物であってもよい。例えば、重機によって建物や工作物を取り壊す場合に本実施形態を適用することで、その推移を３Ｄデータとして取得できる。
　監視対象特定部３１４は、地上を重機１００に対して相対的に移動する対象、特に地上を重機１００に対して相対的に近づく対象を監視対象としてとして特定する。
　３Ｄデータの更新を定期的に行うことで、重機１００と人との近接や接触、重機１００と他の重機との近接や接触を回避する処理が可能である。
　例えば、重機１００に人が近づく場合を想定する。ここで、５秒毎に３Ｄデータの更新を行うとする。この場合、５秒毎における３Ｄデータの変化の推移を監視することで、重機１００に近づく存在を監視対象として検出する。
　ここでは、取得した３Ｄデータの変化を監視し、背景の３Ｄデータ（地形の３Ｄデータ）に対して相対的に移動し、且つ、重機１００に対して相対的に移動する３Ｄデータを監視対象として検出する。また、監視対象が人であるかどうかを画像認識処理により検出することで、人が重機１００に近づいてくる状況が把握できる。なお、監視対象の特定に係る処理は、リアルタイムあるいは極力遅延なく行う必要がある。
　報知部３１５は、監視対象特定部３１４が特定した監視対象に係る報知を行う。例えば、重機１００と人等の監視対象との間の距離が予め定めた距離以下となった場合に報知処理を行う。報知は、重機１００の運転者や周囲に対する警報音等の音による方法、重機１００の運転席に配置したディスプレイを利用した報知表示、スマートフォン等の外部機器への報知信号の出力とった形態で行われる。
　カメラ制御部３１６は、カメラ１０１の撮影動作の制御を行う。カメラ制御部３１６が時計機能を有し、カメラ１０１の撮影画像の画像データを時刻と紐づけて管理する形態も可能である。カメラ１０１が時計機能を有し、撮影時刻のデータを画像データと関連付ける形態も可能である。
　点群データ処理部は、レーザースキャナ１０３が取得したレーザースキャン点群のデータに係る処理を行う。処理の詳細は、後述の第５の実施形態において説明する。
（処理の手順の一例：その１）
　図６に処理の手順の一例を示す。図６の処理を実行するプログラムは、データ記憶部３１２や適当な記憶媒体に記憶され、そこから読み出されて演算装置３００を構成するコンピュータのＣＰＵにより実行される。当該プログラムをインターネットに接続されたサーバに記憶させ、そこからダウンロードする形態も可能である。これは、図７に係る処理も同じである。
　図６の処理は、重機１００の稼働と同時に平行して行っても良いし、重機１００による作業の終了後に後処理で行っても良い。
　まず、カメラ１０１が撮影した撮影画像の画像データの取得を行う（ステップＳ１０１）。重機１００の稼働と同時（カメラ１０１の撮影と同時）に処理を行う場合は、後段の標定計算および調整計算が行える範囲で画像データを取得する。後処理で標定計算および調整計算を行う場合は、取得した画像データの全ての取得を行っても良い。もちろん、取得した画像データを複数に分割して、逐次処理を行うこともできる。
　次に、取得した画像データの画像中から不要な部分の画像データを除去する（ステップＳ１０２）。ここで、不要な部分の画像データは、重機１００のアーム１５１やバケット１５２といった作業対象の３Ｄデータの作成に不要な部位の画像データである。この処理は、不要データ除去部３０２において行われる。
　次に、トータルステーション２００が測定した反射プリズム１０２の位置のデータを取得する（ステップＳ１０３）。次に、撮影画像に基づく標定計算を行う（ステップＳ１０４）。標定計算は、原理の欄で説明した相対標定と絶対標定により行われる。絶対標定では、ステップＳ１０３において得た反射プリズム１０２の測位データが利用される。この処理は、標定計算部３０７において行われる。
　次に、数１および数２に示す調整計算が行われる（ステップＳ１０５）。この処理は、調整計算部３０８において行われる。
　次に、調整計算によって最適化された各特徴点の集合が点群データとして取得される（ステップＳ１０６）。なお、ステップＳ１０６の処理は、必ずしも必要ではない。この場合、ステップＳ１０７以下の処理は、他のタイミングで行われる。
　次に、時間軸上で前後する２つの点群データを比較し、その差分を取り、時間経過に従って変化した点群データを検出する（ステップＳ１０７）。この処理は、変化検出部３１０において行われる。
　次に、変化が検出された点群データから、地上を移動する物体に係る点群データを除去し、重機１００の作業により変化した点群データを作業内容に係る点群データとして検出する（ステップＳ１０８）。この処理は、作業内容特定部３１３において行われる。
（処理の手順の一例：その２）
　図７は、重機１００と人等との干渉を防止するための処理の手順の一例を示すフローチャートである。この処理は、カメラ１０１の撮影から極力遅延なく行う必要がある。まず、図６のステップＳ１０１～ステップＳ１０６の処理を行い、カメラ１０１が撮影した対象の点群データを得る（ステップＳ２０１）。
　次に、重機１０１および背景の地形に対して相対的に動く対象を監視対象として特定する（ステップＳ２０２）。この処理は、監視対象特定部３１４において行われる。次に、重機１００と監視対象の間の距離を算出し、該距離が予め定めた距離以下であるか否かの判定を行う（ステップＳ２０３）。
　上記距離が予め定めた距離以下である場合、報知処理を行い（ステップＳ２０４）、そうでない場合、ステップＳ２０１以下の処理を繰り返す。
（優位性）
　本実施形態では、カメラ１０１と反射プリズム１０２を搭載した重機１００の反射プリズム１０２の位置を特定の座標系上での外部標定要素が既知のトータルステーション２００により追尾しつつ測位して測位データを得、カメラ１０１により異なる複数の位置から重複する範囲が撮影された複数の撮影画像の画像データを取得し、前記複数の撮影画像から抽出された複数の特徴点ｐ１，ｐ２，ｐ３とカメラ１０１の前記異なる複数の位置との相対的な位置の関係を算出し、該相対的な位置の関係の変化に基づく前記複数の特徴点ｐ１，ｐ２，ｐ３に対するカメラ１０１の移動の軌跡の算出を行い、該算出されたカメラ１０１の移動の軌跡と前記測位データの比較に基づく前記複数の特徴点ｐ１，ｐ２，ｐ３の前記特定の座標系における位置を求める。
　本実施形態によれば、重機１００が作業を行いつつ、当該作業の結果のデータを得ることはできる。このため、重機が行った作業に関する三次元情報を効率よく得ることができる。また、重機と作業員等との干渉が生じる危険性を検出できる。
２．第２の実施形態
　第１の実施形態では、カメラ１０１は時間情報を必ずしも必要としないが、撮影時刻の情報があってもよい。この場合、撮影画像は、撮影時刻と紐づいて管理される。
３．第３の実施形態
　データ処理サーバを利用して演算部３００の機能を実行する形態も可能である。この場合、重機１００およびトータルステーション２００から各種計測データが、当該データ処理サーバにインターネット回線等の適当なデータ通信回線を介して送信され、そこで演算部３００で行わる処理が実行される。
４．第５の実施形態
　レーザースキャナ（LiDAR）１０３が取得するレーザースキャン点群（以下、第２の点群データ）を第１の実施形態で説明したカメラ１０１の撮影画像に基づく点群データ（以下、第１の点群データ）と統合してもよい。
　レーザースキャナ１０３が取得するレーザースキャン点群（１次点群データ）は、レーザースキャナ１０３の位置（厳密には、レーザースキャナ１０３の光学系の光学原点）を原点としたローカル座標系上において、方向と距離のデータとして記述される。この１次点群データを特定の座標系に座標変換するには、当該特定の座標系におけるレーザースキャナ１０３の位置と姿勢（つまり外部評定要素）が判ればよい。
　移動しながらレーザースキャナ１０３によるレーザースキャンが行われた場合、厳密には１点毎の原点（視点）の位置が異なるものとなる（勿論、同一原点と見なせる場合もある）。ここで、各点に係り、利用する座標系におけるレーザースキャナ１０３の位置と姿勢が判明すれば、各点の当該座標系における位置が得られる。これにより、第２の点群データを第１の点群データと同じ座標系上で記述でき、両者の統合が可能となる。
　以下、レーザースキャナ１０３が取得する点に係るレーザースキャナ１０３の位置と姿勢を求める方法を説明する。
　ここでは、前提としてカメラ１０１とレーザースキャナ１０３の位置と姿勢の関係は既知であるとする。また、レーザースキャン点群の各点の計測時刻が取得されているとする。
　第１の実施形態で説明したように、トータルステーション２００は時計を備え、トータルステーション２００による反射プリズム１０２の位置の計測に基づき、標定処理と調整計算により、特定の時刻におけるカメラ１０１の位置と姿勢を求めることができる。
　カメラ１０１とレーザースキャナ１０３の位置と姿勢の関係は既知であるので、特定の時刻における利用する座標系でのカメラ１０１の位置と姿勢が判明することで、その時刻におけるレーザースキャナス１０３の当該座標系における位置と姿勢を求めることができる。
　これにより、レーザースキャナ１０３が取得するレーザースキャン点群（第２の点群データ）の各点の座標を、レーザースキャナ１０３を原点としたローカル座標系からトータルステーション２００が利用する座標系に座標変換することができ、第２の点群データをトータルステーション２００が利用する座標系で記述できるようになる。
　こうして、第１の点群データと第２の点群データとを同じ座標系上で扱うことが可能となり、第１の点群データと第２の点群データを統合することができる。以上説明した第２の点群データに係る処理が点群データ処理部３１７において行われる。
　レーザースキャナ１０３が取得する点に係るレーザースキャナ１０３の姿勢を求める方法として、ＩＭＵ（慣性計測装置）を用いる（あるいは併用する）方法もある。
　第１の点群データに基づく３Ｄモデルと第２の点群データに基づく３Ｄモデルとを統合する形態も可能である。
　本実施形態で示す統合された３Ｄデータ（点群ベースまたは３次元モデルベース）を利用して、重機１００による作業内容の特定を行うことも可能である。
５．第５の実施形態
　例えば、撮影画像１と撮影画像２で特徴点を出し、対応がついた点を用いて相互標定を行う。また、その前か後で同じエリアを撮影しているにもかかわらず一定のエリア内で対応が取れなかったエリアを地形が変化したエリアとして認識し特徴点をアップデートする。つまり、変化があった対象の特徴点の抽出を行う。この処理を時間軸上で並ぶ撮影画像の間で行う。
６．第６の実施形態
　特徴点は画像が撮影された時刻と同期され、特徴点に時刻情報を持たせることができる。そこで、時刻情報と絡めて特徴点をデータベース化し、時間や何かトリガーとなる時刻における最新の特徴点を収集し、標定計算を行うことで、その時刻の地形を取得できる。
　必要な時刻での画像と特徴点があれば、後処理で必要最低限な画像を使ってその時刻の３Ｄの地形を再現できる。それを３０分などの細かいスパンでモデル作成すれば地形の変化を時系列に観察できる。
　例えば、時刻ｔ１＝１３時００分００秒の撮影画像と特徴点、時刻ｔ２＝１３時１５分００秒の撮影画像と特徴点を得る。ここで、各時刻の特徴点の座標は、前後の画像を用いて計算により求めることができる。
　こうして、時刻ｔ１における撮影対象の３Ｄデータを特徴点により把握し、時刻ｔ２における撮影対象の３Ｄデータを特徴点により把握できる。そして、２つの３Ｄデータを比較することで、時刻ｔ１とｔ２の間で生じた地形の変化を知ることができる。この場合、必ずしも３Ｄのモデルを作成する必要はなく、処理を効率化できる。
７．第７の実施形態
　重機にＧＮＳＳ位置測定装置を搭載し、このＧＮＳＳ位置測定装置を用いて重機上のカメラの位置を特定することもできる。この場合、反射プリズムとトータルステーションは不要となる（勿論、併用も可能である）。ＧＮＳＳを用いた位置の測定は誤差を含むが、調整計算によりＧＮＳＳの誤差を抑えることができる。調整計算では、前述した場合の反射プリズムの位置に、ＧＮＳＳ位置測定装置のアンテナが設置されているとして、計算が行われる。また、ＲＴＫ法等の相対測位を用いることで、測定誤差を抑えることができる。特徴点の取り扱い、各種の標定、その他データの処理に関しては、他の実施形態の内容と同じである。
８．その他
　本発明は、重機を用いた建物や工作物の設置や組み立て、重機を用いた建物や工作物の解体に適用することもできる。
　１００…重機、１０１…カメラ、１０２…反射プリズム、１０３…レーザースキャナ、１２０…ベース部、１５１…アーム、１５２…バケット、２００…トータルステーション、４０１…地形の盛り上がり、４０２…地形の盛り上がり。

 

Claims (13)

  1. 　カメラと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データを受け付ける測定データ受付部と、
    　前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データを取得する画像データ取得部と、
    　前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の前記特定の座標系における位置の特定とを行う演算部と
    　を有する演算装置。
  2. 　前記カメラと前記反射プリズムの位置の関係を用いて、前記特定の座標系における前記複数の特徴点の位置の調整計算が行われる請求項１に記載の演算装置。
  3. 　前記演算部は、
    　前記複数の特徴点に基づく、時間軸上の前の段階における第１の３Ｄデータの作成および時間軸上の後の段階における第２の３Ｄデータの作成と、
    　前記第２の３Ｄデータと前記第１の３Ｄデータの差分を求める処理と
    を行う請求項１または２に記載の演算装置。
  4. 　前記第２の３Ｄデータと前記第１の３Ｄデータの差分に基づき、前記重機が行った作業の内容を特定する作業内容特定部を備える請求項３に記載の演算装置。
  5. 　前記第２の３Ｄデータと前記第１の３Ｄデータの差分に基づき、地上を前記重機に向かって移動する対象を監視対象として検出する監視対象検出部を備える請求項３または４に記載の演算装置。
  6. 　前記監視対象が前記重機に対して予め定めた距離以下に近づいた場合に報知処理を行う報知部を備える請求項５に記載の演算装置。
  7. 　前記複数の撮影画像には、前記重機の一部が写っており、
    　前記複数の撮影画像に写った前記重機の一部の画像または該画像に対応する３Ｄデータを除去する除去部を備える請求項１～６のいずれかに記載の演算装置。
  8. 　前記重機は、レーザースキャナを搭載しており、
    　前記レーザースキャナと前記カメラの位置と姿勢の関係は既知であり、
    　前記重機の稼働中に前記レーザースキャナは、レーザースキャン点群を取得し、
    　前記調整計算により、前記カメラの前記特定の座標系における位置と姿勢が算出され、
    　前記カメラの前記特定の座標系における前記位置と前記姿勢に基づく前記レーザースキャナの前記特定の座標系における位置と姿勢の算出と、前記レーザースキャナの前記特定の座標系における前記位置と前記姿勢に基づく前記レーザースキャン点群の前記特定の座標系への座標変換とを実行する演算部を備える請求項２～７のいずれかに記載の演算装置。　
  9. 　カメラと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での外部標定要素が既知の測量装置により追尾しつつ測定した測定データの受け付けと、
    　前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データの取得と、
    　前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、
    　前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の前記特定の座標系における位置の特定と
    　を行う演算方法。
  10. 　コンピュータに読み取らせて実行させるプログラムであって、
    　コンピュータに
    　カメラと反射プリズムを搭載した重機の前記反射プリズムの位置を特定の座標系上での位置と姿勢が既知の測量装置により追尾しつつ測定した測定データの受け付けと、
    　前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データの取得と、
    　前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、
    　前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の前記特定の座標系における位置の特定と
    　を実行させるプログラム。
  11. 　カメラとＧＮＳＳ位置測定装置を搭載した重機の位置を前記ＧＮＳＳ装置により測定した測定データを受け付ける測定データ受付部と、
    　前記重機の移動中に異なる複数の位置から前記カメラにより撮影された複数の撮影画像の画像データを取得する画像データ取得部と、
    　前記複数の撮影画像において共通する複数の特徴点と前記カメラの前記異なる複数の位置との相対的な位置の関係の算出と、前記カメラの前記異なる複数の位置と前記測定データとの比較に基づく前記複数の特徴点の位置の特定とを行う演算部と
    　を有する演算装置。
  12. 　前記演算部は、
    　前記複数の特徴点に基づく、時間軸上の前の段階における第１の３Ｄデータの作成および時間軸上の後の段階における第２の３Ｄデータの作成と、
    　前記第２の３Ｄデータと前記第１の３Ｄデータの差分を求める処理と
    　を行う請求項１１に記載の演算装置。
  13. 　前記第２の３Ｄデータと前記第１の３Ｄデータの差分に基づき、前記重機が行った作業の内容を特定する作業内容特定部を備える請求項１２に記載の演算装置。

     
PCT/JP2023/028348 2022-09-15 2023-08-02 演算装置、演算方法およびプログラム WO2024057757A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-147113 2022-09-15
JP2022147113A JP2024042417A (ja) 2022-09-15 2022-09-15 演算装置、演算方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2024057757A1 true WO2024057757A1 (ja) 2024-03-21

Family

ID=90274725

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/028348 WO2024057757A1 (ja) 2022-09-15 2023-08-02 演算装置、演算方法およびプログラム

Country Status (2)

Country Link
JP (1) JP2024042417A (ja)
WO (1) WO2024057757A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11211473A (ja) * 1998-01-22 1999-08-06 Komatsu Ltd 地形形状計測装置
JP2012251774A (ja) * 2011-05-31 2012-12-20 Tokyu Construction Co Ltd 三次元形状情報取得装置
JP2016008484A (ja) * 2014-06-26 2016-01-18 住友建機株式会社 建設機械
US20160253808A1 (en) * 2015-02-26 2016-09-01 Hexagon Technology Center Gmbh Determination of object data by template-based uav control
JP2019045425A (ja) * 2017-09-06 2019-03-22 株式会社トプコン 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
JP2022046013A (ja) * 2020-09-10 2022-03-23 清水建設株式会社 トンネル切羽掘削仕上げ装置および掘削仕上げ方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11211473A (ja) * 1998-01-22 1999-08-06 Komatsu Ltd 地形形状計測装置
JP2012251774A (ja) * 2011-05-31 2012-12-20 Tokyu Construction Co Ltd 三次元形状情報取得装置
JP2016008484A (ja) * 2014-06-26 2016-01-18 住友建機株式会社 建設機械
US20160253808A1 (en) * 2015-02-26 2016-09-01 Hexagon Technology Center Gmbh Determination of object data by template-based uav control
JP2019045425A (ja) * 2017-09-06 2019-03-22 株式会社トプコン 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
JP2022046013A (ja) * 2020-09-10 2022-03-23 清水建設株式会社 トンネル切羽掘削仕上げ装置および掘削仕上げ方法

Also Published As

Publication number Publication date
JP2024042417A (ja) 2024-03-28

Similar Documents

Publication Publication Date Title
KR101942063B1 (ko) 영상이미지의 오류 지점을 자동으로 확인해 갱신 및 처리하는 영상이미지 검수시스템
CN108171733B (zh) 使两个或更多个三维3d点云配准的方法
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP4889351B2 (ja) 画像処理装置及びその処理方法
JP5362189B2 (ja) 画像処理装置及びその処理方法
JP5832341B2 (ja) 動画処理装置、動画処理方法および動画処理用のプログラム
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN112219087A (zh) 位姿预测方法、地图构建方法、可移动平台及存储介质
US9721158B2 (en) 3D terrain mapping system and method
CN109903326B (zh) 用于确定工程机械设备的旋转角度的方法和装置
KR20190051703A (ko) 스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템
JP2016138788A (ja) 測量データ処理装置、測量データ処理方法およびプログラム
CN111862219B (zh) 计算机设备定位方法、装置、计算机设备和存储介质
JP2007218705A (ja) 白線モデル計測システム、計測台車および白線モデル計測装置
WO2019033882A1 (zh) 数据处理方法、装置、系统和计算机可读存储介质
WO2011030771A1 (ja) 変位計測方法、変位計測装置及び変位計測プログラム
JP2022042146A (ja) データ処理装置、データ処理方法およびデータ処理用プログラム
CN111862214A (zh) 计算机设备定位方法、装置、计算机设备和存储介质
Lee et al. A study on scan data matching for reverse engineering of pipes in plant construction
Ye et al. An improved subpixel phase correlation method with application in videogrammetric monitoring of shaking table tests
CN115371673A (zh) 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法
Tang et al. Surveying, geomatics, and 3D reconstruction
JP4852006B2 (ja) 空間情報データベース生成装置及び空間情報データベース生成プログラム
CN110942520A (zh) 作业设备辅助定位方法、装置、系统及存储介质
JP2018173882A (ja) 情報処理装置、方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23865117

Country of ref document: EP

Kind code of ref document: A1