WO2021060195A1 - 作業機械 - Google Patents

作業機械 Download PDF

Info

Publication number
WO2021060195A1
WO2021060195A1 PCT/JP2020/035518 JP2020035518W WO2021060195A1 WO 2021060195 A1 WO2021060195 A1 WO 2021060195A1 JP 2020035518 W JP2020035518 W JP 2020035518W WO 2021060195 A1 WO2021060195 A1 WO 2021060195A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
coordinate system
construction
work machine
current terrain
Prior art date
Application number
PCT/JP2020/035518
Other languages
English (en)
French (fr)
Inventor
俊榮 盧
坂本 博史
陽平 鳥山
直樹 早川
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Priority to EP20869986.8A priority Critical patent/EP3919692B1/en
Priority to CN202080018342.XA priority patent/CN113508209B/zh
Priority to KR1020217028416A priority patent/KR102507573B1/ko
Priority to US17/436,431 priority patent/US20220170243A1/en
Publication of WO2021060195A1 publication Critical patent/WO2021060195A1/ja

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • E02F9/262Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2221Control of flow rate; Load sensing arrangements
    • E02F9/2225Control of flow rate; Load sensing arrangements using pressure-compensating valves
    • E02F9/2228Control of flow rate; Load sensing arrangements using pressure-compensating valves including an electronic controller
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2221Control of flow rate; Load sensing arrangements
    • E02F9/2232Control of flow rate; Load sensing arrangements using one or more variable displacement pumps
    • E02F9/2235Control of flow rate; Load sensing arrangements using one or more variable displacement pumps including an electronic controller
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • E02F9/265Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to a work machine, and particularly to a work machine that measures the current topography of a construction site and estimates its own position and posture in computerized construction.
  • the present application claims priority based on Japanese Patent Application No. 2019-174615 filed on September 25, 2019, the contents of which are incorporated herein by reference.
  • Patent Document 1 a stereo camera is attached to a swivel body of a work machine, images are taken intermittently while swirling, the swivel angle of the swivel body in each imaging is estimated from the captured images, and based on the estimated swivel angle.
  • a work machine that measures the three-dimensional shape around the work machine by synthesizing the three-dimensional shape of the surroundings is described.
  • the 3D finished product in the construction site coordinate system is required. Therefore, in the work machine of Patent Document 1, the coordinate values of the work machine in the construction site coordinate system are measured using a GNSS antenna based on satellite positioning such as GNSS (Global Navigation Satellite System), and the surrounding three dimensions measured by the work machine are measured. The shape is converted into a three-dimensional shape in the construction site coordinate system.
  • GNSS Global Navigation Satellite System
  • a geographic coordinate system coordinate value consisting of latitude, longitude, and elliptical height and a coordinate conversion parameter for converting the geographic coordinate system coordinate value into a construction site coordinate system coordinate value are required.
  • a work called localization position measurement
  • an object of the present invention is to provide a work machine capable of reducing the man-hours required for localization and measuring the self-position and posture of the work machine in the construction site coordinate system and the surrounding topographical shape.
  • the work machine includes a traveling body that can travel, a rotating body that is rotatably attached to the traveling body, a work front that is rotatably attached to the rotating body, and terrain data after completion of construction.
  • a design data acquisition device that acquires the design data having the above as three-dimensional data, a terrain measurement device that measures the surrounding terrain data as three-dimensional data, and terrain data acquired by the design data acquisition device are predetermined.
  • the design data processing unit that processes as the design data of the first coordinate system and the terrain data measured by the terrain measuring device are generated as the current terrain data of the second coordinate system determined based on the installation position of the terrain measuring device.
  • Work including a control device having a current terrain data generation unit and a position / orientation estimation unit that estimates a self-position and a posture in the second coordinate system based on the current terrain data generated by the current terrain data generation unit.
  • the control device extracts peripheral region shape data from the design data of the first coordinate system, and associates and associates similar shape portions between the extracted peripheral region shape data and the current terrain data.
  • a coordinate conversion matrix for converting from the second coordinate system to the first coordinate system is calculated so that the difference between the coordinate values of the similar shape portions is minimized, and the operation is performed using the calculated coordinate conversion matrix. It is characterized in that the self-position and orientation of the machine and the current terrain data are converted from the coordinates of the second coordinate system to the coordinates of the first coordinate system.
  • the man-hours required for localization can be reduced, and the self-position and posture of the work machine in the construction site coordinate system and the surrounding topographical shape can be measured.
  • the work site is a work machine 1 that performs computerized construction on the construction target 2, and a UAV that measures the shape of the construction target 2 while flying over the construction target 2 and performs a technological survey. It is composed of (Unmanned Aerial Vehicle) 6.
  • design data having shape data of construction target 2 after completion of construction is input to the control device 21 (described later) of work machine 1, and work is performed according to the target construction surface set based on the design data.
  • the current terrain of the construction area 4 is measured by using the machine control function that controls the movement of the bucket tip of the machine 1 and the terrain measuring device 30 (described later) attached to the work machine 1, and the construction area 4
  • the finished product management function that manages the finished product is utilized.
  • FIG. 4 is a schematic diagram showing the configuration of the control system of the work machine.
  • the control system of the work machine 1 is composed of a control device 21, a stereo camera control device 31 electrically connected to the control device 21, a design data acquisition device 29, a display device 26, and the like.
  • the design data acquisition device 29 is, for example, a USB (Universal Serial Bus) port that can be connected to the external storage medium 32.
  • USB Universal Serial Bus
  • the control device 21 has an input / output unit 50, a processing unit 51, and a storage unit 52.
  • the input / output unit 50 is an interface for connecting the control device 21, the stereo camera control device 31, the design data acquisition device 29, the display device 26, and the like.
  • the processing unit 51 is composed of a microcomputer in which a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit) are combined.
  • the processing unit 51 further includes a design data processing unit 51a, a peripheral area extraction unit 51b, a current terrain data generation unit 51c, a position / orientation estimation unit 51d, a similar shape mapping unit 51e, a coordinate transformation matrix calculation unit 51f, and position coordinates. It has a conversion unit 51 g.
  • the design data processing unit 51a reads out and reads out the design data from the external storage medium 32 connected to the design data acquisition device 29 via the input / output unit 50 as the data of the design data coordinate system (first coordinate system). It is configured to write the design data to the storage unit 52.
  • the peripheral area extraction unit 51b reads out the design data stored in the storage unit 52, extracts the peripheral area shape data which is the shape data of the peripheral area that is not constructed from the read design data, and extracts the peripheral area shape data. Is configured to be written in the storage unit 52.
  • the similar shape associating unit 51e searches for a similar shape portion between the peripheral region shape data extracted by the peripheral region extraction unit 51b and the current terrain data generated by the current terrain data generation unit 51c, and searches for the searched similar shape portion. It is configured to be associated.
  • the coordinate transformation matrix calculation unit 51f uses the similar shape portion of the peripheral region shape data and the current terrain data associated with the similar shape mapping unit 51e to minimize the difference in the coordinate values of the associated similar shape portion.
  • the coordinate conversion matrix for converting the current terrain coordinate system to the design data coordinate system is calculated so as to be described, and the calculated coordinate conversion matrix is written in the storage unit 52.
  • the position / coordinate conversion unit 51g uses the coordinate conversion matrix calculated by the coordinate conversion matrix calculation unit 51f to obtain the self-position and posture estimated by the position / orientation estimation unit 51d and the current terrain data from the coordinates of the current terrain coordinate system. It is configured to convert to system coordinates.
  • the storage unit 52 is composed of a memory such as a RAM (Random Access Memory) and a storage such as a hard disk drive or a solid state drive.
  • the storage unit 52 is electrically connected to the processing unit 51, and is configured to be able to handle each writing operation and reading operation by the processing unit 51.
  • the storage unit 52 stores the source code of the software for performing each process of the processing unit 51.
  • FIG. 5 is a flowchart showing the processing of the design data processing unit 51a of the processing unit 51.
  • the design data processing unit 51a reads the design data from the external storage medium 32 connected to the design data acquisition device 29 via the input / output unit 50.
  • the design data is the data of the construction target 2 after the construction is completed.
  • the design data includes topographical data, information on the reference point 60 of the construction site coordinate system and the construction boundary 3, and also includes information on whether the shape of the design data corresponds to the construction area 4 or the peripheral area 5. It has been.
  • the construction site coordinate system since the construction is performed using the design data coordinate system, the construction site coordinate system is the same as the design data coordinate system, and therefore the design data becomes the design data of the construction site coordinate system.
  • the design data coordinate system may be referred to as a construction site coordinate system.
  • FIG. 7 is a schematic view showing an example of technological survey.
  • UAV6 is used to measure the topographical shape of the construction target 2 before construction.
  • a measuring device such as a laser scanner or a camera is attached downward to the UAV 6 so that the topographical shape of the construction target 2 can be measured by looking down from the UAV 6.
  • FIG. 8 is a schematic view showing an example of creating design data
  • the terrain data before construction includes a reference point 62 of the coordinate system of the terrain data before construction.
  • the middle part of FIG. 8 shows the data of the construction drawing created by CAD or the like.
  • the construction drawing includes information on the reference point 61 and the construction boundary 3.
  • the lower part of FIG. 8 shows the design data.
  • the design data is data related to the shape of the construction target 2 after the construction is completed, and is created by superimposing the drawing data on the topographical data before the construction.
  • the reference point 60 of the created design data coordinate system the reference point 61 of the coordinate system of the construction drawing is used.
  • the design data created by the designer, the construction manager, or the like is stored in the external storage medium 32, and is taken into the control device 21 via the design data acquisition device 29.
  • FIG. 9 is a flowchart showing the processing of the peripheral area extraction unit 51b.
  • the peripheral area extraction unit 51b reads the design data from the storage unit 52.
  • the peripheral region extraction unit 51b extracts peripheral region shape data from the read design data.
  • the peripheral area shape data is the shape data of the peripheral area 5 excluding the construction area 4, and can be easily extracted by using the information on the construction boundary 3, the construction area 4, and the peripheral area 5 included in the design data. Can be done.
  • FIG. 10 shows an example of peripheral region shape data extracted from the design data.
  • the reference point 63 of the coordinate system of the peripheral region shape data is the same as the reference point 60 (see FIG. 6) of the design data coordinate system.
  • step S303 following step S302 the position / orientation estimation unit 51d acquires terrain information from the stereo camera control device 31.
  • the position / orientation estimation unit 51d acquires terrain information (that is, terrain data) in the measurement range of the terrain measuring device 30 from the stereo camera control device 31.
  • step S304 following step S303 the position / orientation estimation unit 51d estimates the self-position and attitude of the work machine 1 in the current terrain data coordinate system based on the current terrain data read in step S301. For example, the position / orientation estimation unit 51d uses the current terrain data read in step S301 and the self-position and posture data one cycle before read in step S302, and uses the terrain information acquired in step S303 to determine the position of the previous cycle. Using the shape matching method in the vicinity, the self-position and attitude are estimated so that the terrain information acquired in step S303 can be obtained. Further, the position / orientation estimation unit 51d may estimate the self-position and the attitude by calculating the optical flow using the image acquired from the terrain measuring device 30.
  • step S305 the position / orientation estimation unit 51d sets the current self-position and attitude (that is, the current self-position and attitude) in which the control process is being performed as the reference point of the current terrain coordinate system. Then, the set reference point becomes the reference point of the current terrain data generated by the current terrain data generation unit 51c.
  • step S306 following step S305 the position / orientation estimation unit 51d writes the self-position and attitude in the current terrain coordinate system set in step S305 into the storage unit 52.
  • FIG. 12 is a flowchart in which the current terrain data generation unit 51c generates the current terrain data.
  • the current terrain data generation unit 51c determines whether or not the self-position and posture data exists in the storage unit 52. When it is determined that the self-position and posture data exists in the storage unit 52, the control process proceeds to step S401. On the other hand, if it is determined that it does not exist, step S400 is repeated.
  • step S403 the current terrain data generation unit 51c reads the current terrain data from the storage unit 52.
  • step S404 the current terrain data generation unit 51c acquires terrain information (that is, terrain data) in the measurement range of the terrain measuring device 30 from the stereo camera control device 31.
  • step S406 the current terrain data generation unit 51c writes the current terrain data generated in step S405 to the storage unit 52.
  • the similar shape matching unit 51e searches for a similar shape portion between the peripheral region shape data extracted by the peripheral region extraction unit 51b and the current terrain data generated by the current terrain data generation unit 51c, and searches for the similar shape portion. Will be described with reference to FIGS. 13 to 15.
  • FIG. 13 is a flowchart showing the processing of the similar shape associating unit 51e.
  • the similar shape associating unit 51e reads out the current terrain data generated by the current terrain data generation unit 51c from the storage unit 52.
  • the similar shape associating unit 51e extracts the key points of the current terrain data from the current terrain data read in step S500.
  • Key points are characteristic points such as points where the slope changes suddenly and vertices in the terrain.
  • the points 65a and 65b at which the slope of the terrain changes are the key points.
  • Key points can also be extracted by using an algorithm such as Uniform Sample if the terrain is point cloud information.
  • step S502 following step S501 the similar shape associating unit 51e reads out the peripheral area shape data extracted by the peripheral area extraction unit 51b from the storage unit 52.
  • step S503 following step S502 the similar shape associating unit 51e extracts the key points of the peripheral region shape data read in step S502.
  • step S504 following step S503 the similar shape associating unit 51e associates the similar shape portion between the peripheral region shape data and the current terrain data. More specifically, the similar shape associating unit 51e compares the key points of the current terrain data extracted in step S501 with the key points of the peripheral area shape data extracted in step S503, and a portion having similar shapes by matching. (That is, similar shape parts) are sequentially searched, and similar shape parts are associated with each other.
  • FIG. 15 shows an example of processing for associating similar shape portions.
  • the upper part of FIG. 15 shows the shape data of the surrounding terrain and its key points
  • the lower part of FIG. 15 shows the current terrain data and its key points.
  • the positional relationship between the key points in the upper and lower rows of FIG. 15 it is possible to associate similar shape portions.
  • the upper key point 66 in FIG. 15 and the lower key point 68 in FIG. 15 have a correspondence relationship
  • the upper key point 67 in FIG. 15 and the lower key point 69 in FIG. 15 have a correspondence relationship.
  • 70 and 71 in FIG. 15 are reference points of the coordinate system.
  • step S505 the similar shape associating unit 51e stores the correspondence relationship (in other words, the associated similar shape portion) between the peripheral area shape data and the current terrain data performed in step S504 in the storage unit 52. Write.
  • FIG. 16 is a flowchart showing the processing of the coordinate transformation matrix calculation unit 51f.
  • the coordinate transformation matrix calculation unit 51f reads out the correspondence between the peripheral region shape data and the current terrain data from the storage unit 52.
  • the coordinate transformation matrix calculation unit 51f compares the number of associated key points (Nkeypoint) with a predetermined threshold value (Nthreshold).
  • the threshold value (Nthreshold) may be larger than 3 or 4.
  • the control process proceeds to step S604.
  • the coordinate transformation matrix calculation unit 51f aligns the peripheral region shape data with the current terrain data generated by the current terrain data generation unit 51c, and calculates the coordinate transformation matrix. For example, in the case of two-dimensional shape data, the coordinate transformation matrix calculation unit 51f obtains the coordinate transformation matrix H representing the positional relationship between the reference point of the peripheral region shape data and the reference point of the current terrain data.
  • the x and y of the translation matrix T, ⁇ of the rotation matrix R, and s of the enlargement / reduction matrix S can be calculated by using algorithms such as ICP (Iterative Closet Point), Softassign, and EM-ICP.
  • ICP Intelligent Closet Point
  • Softassign Softassign
  • EM-ICP EM-ICP
  • the key points of the current terrain data are converted into coordinate values in the construction site coordinate system, and the peripheral area shape data corresponding to the key points of the current terrain data in the construction site coordinate system.
  • the coordinate transformation matrix H is obtained from the translation matrix T, the rotation matrix R, and the enlargement / reduction matrix S by iteratively calculating x, y, ⁇ , and s so that the distance between the key points of is minimized.
  • FIG. 17 shows an example of the peripheral area shape data and the current topographical data that have been aligned.
  • 72a, 72b of translation in the x direction so that the distance between the associated key points after the coordinate conversion is minimized, in other words, the difference between the coordinate values of the associated similar shape portions is minimized.
  • the parallel movements 73a and 73b in the y direction, the rotation angles 74a and 74b, and the enlargement / reduction ratio s are obtained.
  • the enlargement / reduction ratio s is the reciprocal of the enlarged magnification. For example, when the current terrain coordinate system is enlarged twice, s becomes 0.5. In the example of FIG.
  • step S603 the coordinate transformation matrix calculation unit 51f writes the coordinate transformation matrix H calculated in step S602 into the storage unit 52.
  • the coordinate transformation matrix calculation unit 51f performs error processing.
  • the coordinate transformation matrix calculation unit 51f causes the display device 26 to display a message such as "insufficient measurement points. Please run or turn the work machine" via the input / output unit 50.
  • step S703 the position coordinate conversion unit 51g is based on the coordinate conversion matrix H read out in step S700 and the coordinates P1 of the self-position and attitude in the current terrain coordinate system read out in step S701. 6) is used to calculate the coordinates P2 of the self-position and the attitude in the construction site coordinate system.
  • P2 H ⁇ P1 equation (6)
  • the work machine 1 is calculated from the equation (7) using ⁇ of the coordinate transformation matrix H.
  • the azimuth angle ⁇ 2 can be obtained.
  • ⁇ 2 ⁇ 1 + ⁇ equation (7)
  • step S704 following step S703, the position coordinate conversion unit 51g calculates the current terrain data in the construction site coordinate system using the coordinate conversion matrix H read in step S700 and the current terrain data read in step S702.
  • the current terrain data in the construction site coordinate system can be calculated by converting the coordinate values of the point cloud in the current terrain coordinate system by the coordinate transformation matrix H.
  • FIG. 19 is an example showing the current topographical data and the self-position and posture in the site coordinate system calculated by the position coordinate conversion unit 51g.
  • the upper part of FIG. 19 shows the current terrain data generated by the current terrain data generation unit 51c and the self-position and attitude estimated by the position / attitude estimation unit 51d. Then, by performing coordinate transformation using the coordinate transformation matrix H in steps S703 and S704, the current topographical data in the construction site coordinate system and the self-position and attitude in the construction site coordinate system are obtained as shown in the lower part of FIG. be able to.
  • step S705 the position coordinate conversion unit 51g stores the coordinates of the self position and the posture in the construction site coordinate system calculated in step S703 and the current terrain data in the construction site coordinate system calculated in step S704. Write to 52.
  • the processing unit 51 of the control device 21 includes a peripheral area extraction unit 51b that extracts peripheral area shape data from the design data of the construction site coordinate system, and the extracted peripheral area shape data and the current topography. From the current terrain coordinate system to the construction site so that the difference between the coordinate values of the similar shape mapping unit 51e that searches for and associates the similar shape part with the current terrain data of the coordinate system and the associated similar shape part is minimized.
  • the coordinate conversion matrix calculation unit 51f that calculates the coordinate conversion matrix that converts to the coordinate system and the calculated coordinate conversion matrix, the self-position and orientation of the work machine 1 and the current terrain data can be obtained from the coordinates of the current terrain coordinate system.
  • It has a position coordinate conversion unit 51g that converts the coordinates into the coordinates of the construction site coordinate system. Therefore, by using the peripheral region whose shape does not change due to construction, the man-hours required for localization can be reduced, and the self-position and posture of the work machine 1 in the construction site coordinate system and the surrounding topographical shape can be measured.
  • the work machine 1A of the present embodiment is different from the above-described first embodiment in that the processing unit 51A further includes the construction area completed shape extraction unit 51h and the construction completion area extraction unit 51i. Since other structures are the same as those in the first embodiment, duplicate description will be omitted.
  • FIG. 20 is a schematic view showing the configuration of the control system of the work machine according to the second embodiment.
  • the processing unit 51A of the work machine 1A further includes a construction area completed shape extraction unit 51h and a construction completion area extraction unit 51i.
  • the construction area completed shape extraction unit 51h extracts the shape data after the construction is completed in the construction area from the design data.
  • FIG. 21 is a flowchart showing the processing of the construction area completed shape extraction unit 51h.
  • the construction area completed shape extraction unit 51h reads the design data written by the design data processing unit 51a from the storage unit 52.
  • the construction area completed shape extraction unit 51h extracts the shape data after the construction is completed in the construction area 4 (that is, the construction area completed shape data) from the design data as shown in FIG.
  • the construction area completed shape data can be easily extracted by using the information regarding the construction boundary 3, the construction area 4, and the peripheral area 5 included in the design data.
  • the reference point of the coordinate system of the construction area completed shape data is the same as the reference point 60 of the design data coordinate system.
  • the construction area completed shape data also includes information on the construction boundary 3.
  • step S902 following step S901 the construction completion area extraction unit 51i uses the data of the construction boundary 3 of the construction area completed shape data read in step S900 and the current terrain data read in step S901 to show the current state in the construction area. Extract topographical data.
  • the coordinate system of the data of the construction boundary 3 and the coordinate system of the current terrain data are the same, the current terrain data in the construction area can be easily obtained.
  • step S904 the construction completion area extraction unit 51i completes the construction by comparing the coordinate values of the key surface of the construction area completed shape data extracted in step S903 and the key surface of the current terrain data in the construction area. Extract the area. For example, as shown in FIG. 23, when the terrain measuring device 30 measures the slope 75 as the current terrain data at the construction site where the completed slope 75 exists in the construction area 4, the completed slope 75 is constructed. Obtained in step S903 as a key surface of the current topographical data in the area.
  • step S505 following step S504, the similar shape associating unit 51e writes the correspondence obtained in step S504 in the storage unit 52.
  • step S1002 following step S1001 the position information acquired in step S1000 and step S1001 are integrated, and the latitude, longitude, ellipsoidal height and the position information of the work machine 1 in the construction site coordinate system are paired via the wireless communication antenna 34.
  • it is sent to an external server installed in the office of the construction site.
  • the installation location of the external server is not limited to the construction site, but may be a cloud server.
  • the localization manpower can be reduced as in the first embodiment, the position / orientation of the work machine 1 in the construction site coordinate system and the surrounding topographical shape can be measured, and a plurality of latitudes, longitudes, and ellipses can be measured. Since the pair of the body height and the position information of the work machine 1 in the construction site coordinate system is transmitted to the external server, it is possible to derive the correspondence between the latitude, longitude, elliptical body height and the coordinates of the self position in the construction site coordinate system. Become.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Fluid Mechanics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

作業機械1は、設計データ取得装置29、地形計測装置30及び制御装置21を備える。制御装置21は、施工現場座標系の設計データから周辺領域形状データを抽出し、抽出した周辺領域形状データと現況地形座標系の現況地形データとの間の類似形状部分を対応付け、対応付けた類似形状部分の座標値の差が最小になるように現況地形座標系から施工現場座標系への変換を行う座標変換行列を演算し、演算した座標変換行列を用いて作業機械1の自己位置及び姿勢と現況地形データとを現況地形座標系の座標から施工現場座標系の座標へ変換する。

Description

作業機械
 本発明は、作業機械に関し、特に情報化施工において施工現場の現況地形計測、自己位置及び姿勢の推定を行う作業機械に関する。
 本願は、2019年9月25日に出願された日本国特願2019-174615号に基づき優先権を主張し、その内容をここに援用する。
 建設施工現場では、少子化による人材不足問題の解決や生産効率向上などを目的として、情報通信技術を活用した情報化施工が普及されている。情報化施工期間において、施工現場の3次元出来形を管理することにより施工の進捗や品質などを管理することがある。3次元出来形を管理するためには、3次元出来形の計測が必要であり、UAV(Unmanned Aerial Vehicle)やTS(Total Station)などを用いた3次元出来形の計測技術も進んでいる。更に、より頻繁に施工現場における3次元形状を計測するために、作業機械から周囲の3次元出来形を計測する技術も進んでいる。
 特許文献1には、作業機械の旋回体にステレオカメラを取り付け、旋回しながら間欠的に撮像を行い、撮像した画像より各撮像における旋回体の旋回角度を推定し、推定した旋回角度に基づいて周囲の3次元形状を合成することにより、作業機械の周囲の3次元形状を計測する作業機械が記載されている。
国際公開第2018/079789号
 上述のように3次元出来形を管理するためには、施工現場座標系における3次元出来形が必要である。従って、特許文献1の作業機械では、GNSS(Global Navigation Satellite System)といった衛星測位に基づくGNSSアンテナを用いて施工現場座標系における作業機械の座標値を計測し、作業機械が計測した周囲の3次元形状を施工現場座標系における3次元形状に変換する。
 しかし、GNSSアンテナを用いる場合、緯度、経度、楕円体高からなる地理座標系座標値と、地理座標系座標値を施工現場座標系座標値に変換する座標変換パラメータが必要である。座標変換パラメータを求めるためには、施工現場に設定されている複数の施工現場座標系座標値が既知である既知点の地理座標系座標値を計測する、ローカライゼーション(位置測定)という作業が必要である。このため、作業者が施工現場に赴き、マーカを設置しマーカの地理座標系座標値をTSやGNSSを用いて計測する必要があり、作業工数が発生してしまう。
 本発明は上記課題を鑑みて、ローカライゼーションに必要な工数を削減し、施工現場座標系における作業機械の自己位置及び姿勢、周囲の地形形状を計測できる作業機械を提供することを目的とする。
 本発明に係る作業機械は、走行可能な走行体と、前記走行体に旋回自在に取り付けられた旋回体と、前記旋回体に回動自在に取り付けられた作業フロントと、施工完了後の地形データを有する設計データを3次元のデータとして取得する設計データ取得装置と、周囲の地形データを3次元のデータとして計測する地形計測装置と、前記設計データ取得装置で取得した地形データを予め定められた第1座標系の設計データとして処理する設計データ処理部と、前記地形計測装置で計測した地形データを前記地形計測装置の設置位置に基づいて定められた第2座標系の現況地形データとして生成する現況地形データ生成部と、前記現況地形データ生成部で生成した前記現況地形データに基づいて前記第2座標系における自己位置及び姿勢を推定する位置姿勢推定部とを有する制御装置と、を備える作業機械において、前記制御装置は、前記第1座標系の設計データから周辺領域形状データを抽出し、抽出した前記周辺領域形状データと前記現況地形データとの間の類似形状部分を対応付け、対応付けた前記類似形状部分の座標値の差が最小になるように前記第2座標系から前記第1座標系への変換を行う座標変換行列を演算し、演算した前記座標変換行列を用いて前記作業機械の自己位置及び姿勢と前記現況地形データとを前記第2座標系の座標から前記第1座標系の座標へ変換することを特徴としている。
 本発明によれば、ローカライゼーションに必要な工数を削減し、施工現場座標系における作業機械の自己位置及び姿勢、周囲の地形形状を計測することができる。
第1実施形態に係る作業機械が適用される作業現場を示す概略図である。 第1実施形態に係る作業機械の構成を示す側面図である。 作業機械の構成を示す油圧回路図である。 作業機械の制御システムの構成を示す概略図である。 制御装置の処理を示すフローチャートである。 設計データの形状の一例を示す概略図である。 起工測量の一例を示す概略図である。 設計データの作成例を示す概略図である。 制御装置の処理を示すフローチャートである。 周辺領域の抽出例を示す概略図である。 制御装置の処理を示すフローチャートである。 制御装置の処理を示すフローチャートである。 制御装置の処理を示すフローチャートである。 キーポイントの抽出例を示す側面図である。 類似形状部分を対応付ける例を示す概略図である。 制御装置の処理を示すフローチャートである。 座標変換行列を求める例を説明する概略図である。 制御装置の処理を示すフローチャートである。 座標変換の一例を示す概略図である。 第2実施形態に係る作業機械の制御システムの構成を示す概略図である。 制御装置の処理を示すフローチャートである。 制御装置の処理を示すフローチャートである。 施工完了後の施工領域の抽出例を示す概略図である。 制御装置の処理を示すフローチャートである。 第3実施形態に係る作業機械の制御システムの構成を示す概略図である。 制御装置の処理を示すフローチャートである。
 以下、図面を参照して本発明に係る作業機械の実施形態について説明する。以下の説明では、上下、左右、前後の方向及び位置は、作業機械の通常の使用状態、すなわち作業機械の走行体が地面に接地する状態を基準にする。
[第1実施形態]
 まず、図1を参照して第1実施形態に係る作業機械が適用される作業現場を説明する。図1に示すように、作業現場は、施工対象2に対して情報化施工を行う作業機械1と、施工対象2の上空を飛行しながら施工対象2の形状を計測して起工測量を行うUAV(Unmanned Aerial Vehicle)6によって構成されている。
 施工対象2には、施工境界3が設けられている。作業機械1は、施工境界3で囲まれた施工領域4の中で施工対象2が予め定められた設計データの形状になるように、施工対象2に対して掘削作業、盛り土作業、法面整形作業などの施工作業を行う。また、施工領域4に対して、周辺領域5が存在する。周辺領域5には、建築物5a,5b、自然物5c,5d,5e、地形5f,5gなどが含まれている。施工境界3の外側の周辺領域5に対して、作業機械1は施工を行わないので、周辺領域5は作業機械1の施工作業によってその形状が変化することはない。
 情報化施工において、施工完了後の施工対象2の形状データを有する設計データを作業機械1の制御装置21(後述する)に入力し、設計データに基づいて設定された目標施工面に沿って作業機械1のバケット先端が移動するように制御を行うマシンコントロール機能や、作業機械1に取り付けられた地形計測装置30(後述する)を用いて施工領域4の現況地形を計測し、施工領域4の出来形を管理する出来形管理機能などが活用されている。
 図2は第1実施形態に係る作業機械の構成を示す側面図である。本実施形態に係る作業機械1は、例えば油圧ショベルであり、走行可能な走行体10と、走行体10に対して左右方向に旋回自在に取り付けられた旋回体11と、旋回体11に対して上下方向に回動自在に取り付けられた作業フロント12とを備えている。
 走行体10は、作業機械1の下部に配置されており、例えばトラックフレーム42、フロントアイドラ43、スプロケット44及び履帯45を有するように構成されている。フロントアイドラ43及びスプロケット44は、それぞれトラックフレーム42に配置されており、履帯45はそれらの部材を介してトラックフレーム42を周回できるように配置されている。
 旋回体11は、走行体10の上方に配置されている。この旋回体11は、旋回するための旋回モータ19と、オペレータが乗り込んで作業機械1を操作する操作室20と、作業機械1の動作を制御する制御装置21と、操作室20内に設けられた操作レバー22a,22bと、操作室20の内部に設けられて作業機械1の車体情報などを表示する表示装置26と、操作室20内に設けられて設計データを3次元のデータとして取得する設計データ取得装置29とを備えている。
 また、旋回体11には、旋回体11周りの角速度を取得する旋回ジャイロスコープ27と、旋回体11の前後左右方向の傾斜角度を取得する傾斜センサ28とがそれぞれ取り付けられている。更に、旋回体11には、旋回体11が旋回しながら作業機械1の周囲の地形形状を3次元の地形データとして計測する地形計測装置30が取り付けられている。
 地形計測装置30は、例えば左右一対のカメラ(カメラ30a、30b)により構成されたステレオカメラであり、作業機械1の後方向きに取り付けられている。この地形計測装置30は、ステレオカメラ制御装置31と電気的に接続されており、撮像したステレオ画像をステレオカメラ制御装置31に送信する。なお、地形計測装置30の設置向きは後方とは限らない。また、地形計測装置30の台数は1台であっても良く、複数台であっても良い。更に、地形計測装置30としては、ステレオカメラの他、3次元距離測定センサなどを使用しても良い。
 ステレオカメラ制御装置31は、カメラ30aとカメラ30bの撮像を同期するための同期信号をカメラ30aとカメラ30bへ送り、カメラ30aとカメラ30bからの2枚の画像から距離情報に変換する演算を行い、演算した距離情報を制御装置21に送信する。
 作業フロント12は、旋回体11に回動自在に設けられたブーム13と、ブーム13の先端に回動自在に設けられたアーム14と、アーム14の先端に回動自在に設けられたバケット15と、ブーム13を駆動するブームシリンダ16と、アーム14を駆動するアームシリンダ17と、バケット15を駆動するバケットシリンダ18とを備えている。ブーム13、アーム14、バケット15の回動軸には、それぞれブーム角度センサ23、アーム角度センサ24、バケット角度センサ25が取り付けられている。これらの角度センサは、ブーム13、アーム14、バケット15の回動角度をそれぞれ取得し、取得した結果を制御装置21に出力する。
 図3は作業機械の構成を示す油圧回路図である。図3に示すように、作動油タンク41内の圧油は、メインポンプ39によって吐出され、更にコントロールバルブ35~38を通してブームシリンダ16、アームシリンダ17、バケットシリンダ18、旋回モータ19にそれぞれ供給される。これによって、ブームシリンダ16、アームシリンダ17、バケットシリンダ18、旋回モータ19はそれぞれ駆動される。コントロールバルブ35~38は、例えば電磁弁からなり、制御装置21によってそれぞれ制御されている。
 なお、メインポンプ39によって吐出される圧油は、圧力が過大にならないようにリリーフ弁40を通して調整されている。また、各シリンダ、旋回モータおよびリリーフ弁40を介した圧油は、再度作動油タンク41に戻るようになっている。
 操作レバー22a,22bから出力された電気信号は、制御装置21で受信した後、適切な電気信号に変換されてコントロールバルブ35~38を駆動するようになっている。また、コントロールバルブ35~38の開閉量は、操作レバー22a,22bの操作量に応じて変化するように構成されている。これによって、ブームシリンダ16、アームシリンダ17、バケットシリンダ18、旋回モータ19への圧油の供給量がそれぞれ調整される。
 制御装置21は、例えばブーム角度センサ23、アーム角度センサ24、バケット角度センサ25、旋回ジャイロスコープ27、傾斜センサ28、設計データ取得装置29、ステレオカメラ制御装置31からの信号を受信し、受信した信号を基に作業機械1の位置座標、作業機械1の姿勢及び作業機械1の周囲地形を演算し、演算した結果を表示装置26に表示させるように構成されている。
 図4は作業機械の制御システムの構成を示す概略図である。図4に示すように、作業機械1の制御システムは、制御装置21と、制御装置21と電気的に接続されたステレオカメラ制御装置31、設計データ取得装置29及び表示装置26などによって構成されている。設計データ取得装置29は、例えば外部記憶媒体32と接続可能なUSB(Universal Serial Bus)ポートである。
 制御装置21は、入出力部50と、処理部51と、記憶部52とを有する。入出力部50は、制御装置21とステレオカメラ制御装置31、設計データ取得装置29、表示装置26等の装置とを接続するためのインタフェースである。処理部51は、CPU(Central Processing Unit)とGPU(Graphics Processing Unit)を組み合わせてなるマイクロコンピュータによって構成されている。この処理部51は、更に、設計データ処理部51a、周辺領域抽出部51b、現況地形データ生成部51c、位置姿勢推定部51d、類似形状対応付け部51e、座標変換行列演算部51f、及び位置座標変換部51gを有する。
 設計データ処理部51aは、入出力部50を介して設計データ取得装置29に接続された外部記憶媒体32からの設計データを、設計データ座標系(第1座標系)のデータとして読み出し、読み出した設計データを記憶部52に書き込むように構成されている。周辺領域抽出部51bは、記憶部52に記憶される設計データを読み出し、読み出した設計データのうち施工を行わない周辺領域の形状データである周辺領域形状データを抽出し、抽出した周辺領域形状データを記憶部52に書き込むように構成されている。
 現況地形データ生成部51cは、地形計測装置30で計測してステレオカメラ制御装置31から入力された地形データを基に該地形計測装置30の設置位置(すなわち、作業機械1の設置位置)に基づいて定められた現況地形座標系(第2座標系)の現況地形データを生成し、生成した現況地形データを記憶部52に書き込むように構成されている。なお、ここでの現況地形データは作業機械1の周囲の地形形状に関するものである。
 位置姿勢推定部51dは、現況地形データ生成部51cが生成した現況地形データに基づいて現況地形座標系における作業機械1の自己位置及び姿勢(以下、「作業機械の自己位置及び姿勢」を単に「自己位置及び姿勢」という場合がある)を推定し、推定した作業機械1の自己位置及び姿勢の座標を記憶部52に書き込むように構成されている。
 類似形状対応付け部51eは、周辺領域抽出部51bで抽出した周辺領域形状データと現況地形データ生成部51cで生成した現況地形データとの間の類似形状部分を探索し、探索した類似形状部分を対応付けるように構成されている。座標変換行列演算部51fは、類似形状対応付け部51eより対応付けられた周辺領域形状データと現況地形データの類似形状部分を用いて、対応付けられた類似形状部分の座標値の差が最小になるように現況地形座標系から設計データ座標系への変換を行う座標変換行列を演算し、演算した座標変換行列を記憶部52に書き込むように構成されている。
 位置座標変換部51gは、座標変換行列演算部51fで演算した座標変換行列を用い、位置姿勢推定部51dで推定した自己位置及び姿勢と現況地形データとを現況地形座標系の座標から設計データ座標系の座標へ変換するように構成されている。
 一方、記憶部52は、RAM(Random Access Memory)などのメモリとハードディスクドライブやソリッドステートドライブ等のストレージによって構成されている。この記憶部52は、処理部51と電気的に接続されており、処理部51による各書き込み作業及び読み出し作業に対応できるように構成されている。例えば、記憶部52は、処理部51の各処理を行うためのソフトウェアのソースコードを記憶している。
 次に、図5~図22を参照して制御装置21の制御処理を説明する。制御装置21の制御処理は、例えば一定の周期毎に実行されている。
 図5は処理部51の設計データ処理部51aの処理を示すフローチャートである。図5に示すように、ステップS100では、設計データ処理部51aは、入出力部50を介して、設計データ取得装置29に接続された外部記憶媒体32から設計データを読み出す。
 ここで、設計データの一例について図6~図8を用いて説明する。設計データは、施工完了後の施工対象2のデータである。設計データには、地形データ、施工現場座標系の基準点60及び施工境界3の情報が含まれており、設計データの形状が施工領域4と周辺領域5のどちらに該当するかの情報も含まれている。ここでは、設計データ座標系を用いて施工を行うため、施工現場座標系が設計データ座標系と同じになり、従って、設計データは施工現場座標系の設計データになる。なお、以下の説明において設計データ座標系を施工現場座標系と呼ぶ場合がある。
 設計データは、起工測量で計測した施工前の地形データと施工の図面データを用いて生成される。図7は起工測量の一例を示す概略図である。起工測量では、UAV6を用いて施工前の施工対象2の地形形状を計測する。UAV6には、UAV6から見下ろして施工対象2の地形形状を計測できるように、レーザスキャナやカメラなどの計測装置が下向きに取り付けられている。
 図8は設計データの作成例を示す概略図であり、図8の上段は施工対象2の施工前の地形データを示す。施工前の地形データには、施工前の地形データの座標系の基準点62が含まれている。図8の中段はCAD等で作成された施工図面のデータを示す。施工図面には、基準点61と施工境界3との情報が含まれている。図8の下段は設計データを示す。設計データは、施工完了後の施工対象2の形状に関するデータであり、施工前の地形データに図面データを重ね合わせることによって作成される。作成した設計データ座標系の基準点60は、施工図面の座標系の基準点61を用いる。そして、設計者や施工管理者などによって作成された設計データは、外部記憶媒体32に保存され、設計データ取得装置29を経由し制御装置21に取り込まれている。
 ステップS100に続くステップS101では、設計データ処理部51aは、読み出した設計データを記憶部52に書き込む。
 図9は、周辺領域抽出部51bの処理を示すフローチャートである。図9に示すように、ステップS200では、周辺領域抽出部51bは記憶部52から設計データを読み出す。ステップS200に続くステップS201では、周辺領域抽出部51bは、読み出した設計データから周辺領域形状データを抽出する。周辺領域形状データは、施工領域4を除外した周辺領域5の形状データであり、設計データに含まれている施工境界3、施工領域4、及び周辺領域5に関する情報を用いて容易に抽出することができる。設計データから抽出した周辺領域形状データの例を図10に示す。周辺領域形状データの座標系の基準点63は、設計データ座標系の基準点60(図6参照)と同じである。
 ステップS201に続くステップS202では、周辺領域抽出部51bは、抽出した周辺領域形状データを記憶部52に書き込む。
 次に、移動ロボット分野などで良く用いられるSLAM(Simultaneous Localization And Mapping)技術を利用し、現況地形データ生成部51cによる現況地形データの生成、位置姿勢推定部51dによる作業機械1の自己位置及び姿勢の推定について、図11~図13を参照して説明する。なお、位置姿勢推定部51dによる作業機械1の自己位置及び姿勢の推定は、現況地形データ生成部51cが生成した現況地形データと同じ座標系(すなわち、現況地形座標系)を用いる。
 図11は、位置姿勢推定部51dが自己位置及び姿勢を推定するフローチャートである。図11に示すように、ステップS300では、位置姿勢推定部51dは、現況地形データ生成部51cによって書き込まれた現況地形データが記憶部52に存在するかを判定する。記憶部52に現況地形データが存在すると判定された場合、制御処理はステップS301に進む。一方、存在しないと判定された場合、制御処理はステップS305に進む。
 ステップS301では、位置姿勢推定部51dは、記憶部52から現況地形データを読み出す。ステップS301に続くステップS302では、位置姿勢推定部51dは、該位置姿勢推定部51dの処理の1サイクル前の自己位置及び姿勢のデータを記憶部52から読み出す。
 ステップS302に続くステップS303では、位置姿勢推定部51dはステレオカメラ制御装置31から地形情報を取得する。例えば、位置姿勢推定部51dは、ステレオカメラ制御装置31より地形計測装置30の計測範囲における地形情報(すなわち、地形データ)を取得する。
 ステップS303に続くステップS304では、位置姿勢推定部51dは、ステップS301で読み出した現況地形データに基づいて、該現況地形データ座標系における作業機械1の自己位置及び姿勢を推定する。例えば、位置姿勢推定部51dは、ステップS301で読み出した現況地形データとステップS302で読み出した1サイクル前の自己位置及び姿勢のデータを用いて、ステップS303で取得した地形情報から前サイクルの位置の近傍で形状マッチング手法を使い、ステップS303で取得した地形情報を得られるように自己位置及び姿勢を推定する。また、位置姿勢推定部51dは、地形計測装置30から取得した映像を用いてオプティカルフローを演算することにより、自己位置及び姿勢を推定しても良い。
 ステップS304に続くステップS306では、位置姿勢推定部51dは、ステップS304で推定した現況地形座標系における自己位置及び姿勢を記憶部52に書き込む。
 一方、ステップS305では、位置姿勢推定部51dは、制御処理を行っている現時点の自己位置及び姿勢(すなわち、現在自己位置及び姿勢)を現況地形座標系の基準点として設定する。そして、設定した基準点は、現況地形データ生成部51cが生成する現況地形データの基準点となる。ステップS305に続くステップS306では、位置姿勢推定部51dは、ステップS305で設定した現況地形座標系における自己位置及び姿勢を記憶部52に書き込む。
 図12は、現況地形データ生成部51cが現況地形データを生成するフローチャートである。図12に示すように、ステップS400では、現況地形データ生成部51cは記憶部52に自己位置及び姿勢のデータが存在するかを判定する。記憶部52に自己位置及び姿勢のデータが存在すると判定された場合、制御処理はステップS401に進む。一方、存在しないと判定された場合、ステップS400が繰り返し行われる。
 ステップS400に続くステップS401では、現況地形データ生成部51cは記憶部52から自己位置及び姿勢のデータを読み出す。ステップS401に続くステップS402では、現況地形データ生成部51cは、記憶部52に現況地形データが存在するかを判定する。記憶部52に現況地形データが存在すると判定された場合、制御処理はステップS403に進む。一方、存在しないと判定された場合、制御処理はステップS404に進む。
 ステップS402に続くステップS403では、現況地形データ生成部51cは記憶部52から現況地形データを読み出す。ステップS403に続くステップS404では、現況地形データ生成部51cは、ステレオカメラ制御装置31より地形計測装置30の計測範囲における地形情報(すなわち、地形データ)を取得する。
 ステップS404に続くステップS405では、現況地形データ生成部51cは作業機械1の周囲の現況地形データを生成する。具体的には、現況地形データ生成部51cは、ステップS403で読み出した現況地形データと、ステップS401で読み出した自己位置及び姿勢のデータと、自己位置及び姿勢と地形計測装置30の位置関係を用いて現況地形座標系における作業機械1の地形計測装置30の位置及び姿勢を演算し、更にステップS404で取得した地形データを現況地形座標系における地形データに変換し、現況地形データの生成および更新を行う。なお、現況地形データの更新は、地形計測装置30で計測した地形データが以前の現況地形データと重複した場合に行われる。
 ステップS405に続くステップS406では、現況地形データ生成部51cはステップS405で生成した現況地形データを記憶部52に書き込む。
 図11に示す位置姿勢推定部の処理と図12に示す現況地形データ生成部の処理とは、並列関係を有する。すなわち、位置姿勢推定部51dの処理では、現況地形データ生成部51cの生成結果が用いられ、現況地形データ生成部51cの処理では、位置姿勢推定部51dの推定結果も用いられる。
 以下、類似形状対応付け部51eが周辺領域抽出部51bによって抽出された周辺領域形状データと現況地形データ生成部51cによって生成された現況地形データとの間の類似形状部分を探索し、類似形状部分を対応付けることについて、図13~図15を参照して説明する。
 図13は、類似形状対応付け部51eの処理を示すフローチャートである。図13に示すように、ステップS500では、類似形状対応付け部51eは記憶部52から現況地形データ生成部51cが生成した現況地形データを読み出す。ステップS500に続くステップS501では、類似形状対応付け部51eは、ステップS500で読み出した現況地形データから現況地形データのキーポイントを抽出する。キーポイントは、例えば地形の中で傾きが急に変化する点や頂点など特徴のある点のことである。例えば、図14で示すように、旋回体11に取り付けられた地形計測装置30によって計測された地形データ65の中で、地形の傾きが変更する点65aと点65bがキーポイントになる。キーポイントは、地形が点群情報であればUniform Samplingなどのアルゴリズムを用いることにより抽出することも可能である。
 ステップS501に続くステップS502では、類似形状対応付け部51eは、周辺領域抽出部51bによって抽出された周辺領域形状データを記憶部52から読み出す。ステップS502に続くステップS503では、類似形状対応付け部51eは、ステップS502で読み出した周辺領域形状データのキーポイントを抽出する。
 ステップS503に続くステップS504では、類似形状対応付け部51eは、周辺領域形状データと現況地形データとの間の類似形状部分を対応付ける。より具体的には、類似形状対応付け部51eは、ステップS501で抽出した現況地形データのキーポイントとステップS503で抽出した周辺領域形状データのキーポイントとを比較し、マッチングにより形状が類似する部分(すなわち、類似形状部分)を順次探索し、類似形状部分を対応付ける。
 図15は、類似形状部分を対応付ける処理の一例を示す。図15の上段は周囲地形の形状データとそのキーポイントであり、図15の下段は現況地形データとそのキーポイントである。図15の上段及び下段の各々のキーポイント同士の位置関係を用いることで、類似形状部分を対応付けることが可能である。例えば、図15の上段のキーポイント66と図15の下段のキーポイント68は対応関係を有し、図15の上段のキーポイント67と図15の下段のキーポイント69は対応関係を有する。なお、図15中の70,71は座標系の基準点である。
 ステップS504に続くステップS505では、類似形状対応付け部51eは、ステップS504で行った周辺領域形状データと現況地形データとの対応関係(言い換えれば、対応付けられた類似形状部分)を記憶部52に書き込む。
 次に、上述の周辺領域形状データと現況地形データとの対応関係を用いて、現況地形座標系から周辺領域形状データの座標系である施工現場座標系への座標変換行列を演算することについて、図16及び図17を参照して説明する。
 図16は、座標変換行列演算部51fの処理を示すフローチャートである。図16に示すように、ステップS600では、座標変換行列演算部51fは、周辺領域形状データと現況地形データとの対応関係を記憶部52から読み出す。ステップS600に続くステップS601では、座標変換行列演算部51fは、対応付けられたキーポイントの数(Nkeypoint)を予め定められた閾値(Nthreshold)と比較する。
 閾値(Nthreshold)は、生成された現況地形データと周辺領域形状データとの間で対応付けられたキーポイントが無い場合、或いは対応付けられたキーポイントの数が少なくて周辺領域形状データと生成された現況地形データの位置合わせが一意に定まらない場合、周辺領域形状データと現況地形のキーポイントの位置合わせができないことを防ぐために設定されている。例えば、2次元の形状であれば、位置合わせのために対応付けられた3個のキーポイントの対が必要であるので、Nthreshold=3となり、3次元であれば、4個のキーポイントの対が必要であるので、Nthreshold=4となる。なお、閾値(Nthreshold)は、3や4より大きくても良い。
 対応付けられたキーポイントの数(Nkeypoint)が閾値(Nthreshold)以上の場合、制御処理はステップS602に進む。一方、対応付けられたキーポイント(Nkeypoint)が閾値(Nthreshold)未満の場合、制御処理はステップS604に進む。
 ステップS602では、座標変換行列演算部51fは、周辺領域形状データと現況地形データ生成部51cが生成した現況地形データとの位置合わせを行い、座標変換行列を演算する。例えば、2次元の形状データであれば、座標変換行列演算部51fは、周辺領域形状データの基準点と現況地形データの基準点との位置関係を表す座標変換行列Hを求める。座標変換行列Hは、平行移動行列T、回転行列R及び拡大縮小行列Sを用いて以下の式(1)で求められる。
  H=T×R×S                式(1)
 式(1)の平行移動行列T、回転行列R、拡大縮小行列Sに、x方向の平行移動x、y方向の平行移動y、回転角θ、拡大縮小率sの値を用いると以下の式(2)~式(4)になる。
  T=(1  0  x;
     0  1  y;
     0  0  1)            式(2)
  R=(cos(θ) -sin(θ) 0;
     sin(θ)  cos(θ) 0;
        0       0   1)   式(3)
  S=(s  0  0;
     0  s  0;
     0  0  1)            式(4)
 平行移動行列Tのx、y、回転行列Rのθ、拡大縮小行列SのsはICP(Iterative Closest Point)、Softassign、EM-ICPなどのアルゴリズムを用いることで演算することができる。例えば、対応付けられたキーポイントを用いて、現況地形データのキーポイントを施工現場座標系における座標値に変換し、施工現場座標系における現況地形データのキーポイントと対応している周辺領域形状データのキーポイント間の距離が最小になるようなx、y、θ、sを繰り返し演算により、平行移動行列T、回転行列R、拡大縮小行列Sから座標変換行列Hを求める。
 そして、現況地形座標系での座標値(X1、Y1)を施工現場座標系における座標値(X2、Y2)に変換する場合、以下の式(5)を用いることで演算できる。
  tr(X2 Y2 1)=H×tr(X1 Y1 1)   式(5)
 図17は、位置合わせを行った周辺領域形状データと現況地形データの一例を示す。座標変換後の対応付けられたキーポイント間の距離が最小になるように、言い換えれば対応付けた類似形状部分の座標値の差が最小になるように、x方向の平行移動の72a,72b、y方向の平行移動73a,73b、回転角74a,74b、拡大縮小率sを求める。拡大縮小率sは、拡大した倍率の逆数であり、例えば現況地形座標系を2倍に拡大した場合、sは0.5となる。拡大縮小率s=1の例である図17の例では、図17の上段の方よりも下段の方が、対応付けられたキーポイント間の距離が小さく、座標変換行列Hを求めるためのx、y、θ、sとしては、図17の下段の72b、73b、74bが適切である。なお、図17中の70a,70b,71a,71bは座標系の基準点である。
 ステップS602に続くステップS603では、座標変換行列演算部51fは、ステップS602で演算した座標変換行列Hを記憶部52に書き込む。一方、ステップS604では、座標変換行列演算部51fはエラー処理を行う。例えば、座標変換行列演算部51fは、入出力部50を介して表示装置26に「計測点不足。作業機械を走行または旋回して下さい。」といったメッセージを表示させる。
 次に、位置座標変換部51gが座標変換行列Hを用いて施工現場座標系における作業機械位置の座標値を求める演算について、図18及び図19を参照して説明する。
 図18は、位置座標変換部51gの処理を示すフローチャートである。図18に示すように、ステップS700では、位置座標変換部51gは記憶部52から座標変換行列Hを読み出す。ステップS700に続くステップS701では、位置座標変換部51gは、位置姿勢推定部51dが推定した現況地形座標系における自己位置及び姿勢を記憶部52から読み出す。ステップS701に続くステップS702では、位置座標変換部51gは現況地形データ生成部51cが生成した現況地形データを記憶部52から読み出す。
 ステップS702に続くステップS703では、位置座標変換部51gは、ステップS700で読み出した座標変換行列HとステップS701で読み出した現況地形座標系における自己位置及び姿勢の座標P1に基づいて、以下の式(6)を用いて施工現場座標系における自己位置及び姿勢の座標P2を演算する。
  P2=H×P1         式(6)
 なお、現況地形座標系における作業機械1の方位角をθ1、施工現場座標系における作業機械1の方位角をθ2とすると、座標変換行列Hのθを用いて式(7)より作業機械1の方位角θ2を求めることができる。
  θ2=θ1+θ     式(7)
 ステップS703に続くステップS704では、位置座標変換部51gは、ステップS700で読み出した座標変換行列HとステップS702で読み出した現況地形データとを用いて、施工現場座標系における現況地形データを演算する。例えば現況地形データを点群で表す場合、現況地形座標系における点群の座標値を座標変換行列Hによって座標変換することで、施工現場座標系における現況地形データを演算することができる。
 図19に、位置座標変換部51gが演算した現場座標系における現況地形データと自己位置及び姿勢とを示す一例である。図19の上段は、現況地形データ生成部51cが生成した現況地形データと位置姿勢推定部51dが推定した自己位置及び姿勢を示す。そして、ステップS703とステップS704で座標変換行列Hを用いて座標変換を行うことによって、図19の下段のように施工現場座標系における現況地形データと施工現場座標系における自己位置及び姿勢とを求めることができる。
 ステップS704に続くステップS705では、位置座標変換部51gは、ステップS703で演算した施工現場座標系における自己位置及び姿勢の座標と、ステップS704で演算した施工現場座標系における現況地形データとを記憶部52に書き込む。
 本実施形態に係る作業機械1において、制御装置21の処理部51は、施工現場座標系の設計データから周辺領域形状データを抽出する周辺領域抽出部51bと、抽出した周辺領域形状データと現況地形座標系の現況地形データとの間の類似形状部分を探索して対応付ける類似形状対応付け部51eと、対応付けた類似形状部分の座標値の差が最小になるように現況地形座標系から施工現場座標系への変換を行う座標変換行列を演算する座標変換行列演算部51fと、演算した座標変換行列を用いて作業機械1の自己位置及び姿勢と現況地形データとを現況地形座標系の座標から施工現場座標系の座標へ変換する位置座標変換部51gとを有する。従って、施工によって形状が不変である周辺領域を用いることで、ローカライゼーションに必要な工数を削減し、施工現場座標系における作業機械1の自己位置及び姿勢、周囲の地形形状を計測することができる。
[第2実施形態]
 以下、図20~図24を参照して作業機械の第2実施形態を説明する。本実施形態の作業機械1Aは、処理部51Aが施工領域完成形状抽出部51h及び施工完了領域抽出部51iを更に有する点において上述した第1実施形態と異なっている。その他の構造は第1実施形態と同様であるため、重複説明を省略する。
 図20は第2実施形態に係る作業機械の制御システムの構成を示す概略図である。図20に示すように、作業機械1Aの処理部51Aが施工領域完成形状抽出部51hと施工完了領域抽出部51iとを更に有する。
 まず、図21を参照して、施工領域完成形状抽出部51hが設計データから施工領域における施工完了後の形状データを抽出することについて説明する。
 図21は、施工領域完成形状抽出部51hの処理を示すフローチャートである。図21に示すように、ステップS800では、施工領域完成形状抽出部51hは、設計データ処理部51aによって書き込まれた設計データを記憶部52から読み出す。ステップS800に続くステップS801では、施工領域完成形状抽出部51hは、図6に示したような設計データから施工領域4における施工完了後の形状データ(すなわち、施工領域完成形状データ)を抽出する。施工領域完成形状データは、設計データに含まれている施工境界3、施工領域4、周辺領域5に関する情報を用いることによって容易に抽出することができる。施工領域完成形状データの座標系の基準点は、設計データ座標系の基準点60と同じである。また、施工領域完成形状データには、施工境界3の情報も含まれている。
 ステップS801に続くステップS802では、施工領域完成形状抽出部51hは、抽出した施工領域完成形状データを記憶部52に書き込む。
 続いて、図22及び図23を参照して、施工完了領域抽出部51iが施工領域4内の施工対象の一部が施工完了になったか否かを判定し、施工完了と判定した領域を抽出することについて説明する。
 図22は、施工完了領域抽出部51iの処理を示すフローチャートである。図22に示すように、ステップS900では、施工完了領域抽出部51iは、施工領域完成形状抽出部51hによって書き込まれた施工領域完成形状データを記憶部52から読み出す。ステップS900に続くステップS901では、施工完了領域抽出部51iは、位置座標変換部51gによって書き込まれた施工現場座標系における現況地形データを記憶部52から読み出す。
 ステップS901に続くステップS902では、施工完了領域抽出部51iは、ステップS900で読み出した施工領域完成形状データの施工境界3のデータとステップS901で読み出した現況地形データとを用いて、施工領域における現況地形データを抽出する。ここで、施工境界3のデータの座標系と現況地形データの座標系が同じであるため、施工領域における現況地形データを容易に求めることができる。
 ステップS902に続くステップS903では、施工完了領域抽出部51iは、ステップS900で読み出した施工領域完成形状データとステップS902で抽出した施工領域における現況地形データのキーサーフェイスを更に抽出する。キーサーフェイスは、例えば形状データでキーポイントに囲まれた平面と判定される面を指す。RANSAC(RANdom SAmple Consensus)アルゴリズムなどを用いて形状データから抽出した平面がキーポイントに囲まれている場合、その平面をキーサーフェイスとして求めることができる。
 ステップS903に続くステップS904では、施工完了領域抽出部51iは、ステップS903で抽出した施工領域完成形状データのキーサーフェイスと施工領域における現況地形データのキーサーフェイスの座標値を比較することにより、施工完了領域を抽出する。例えば図23に示すように、施工領域4の中で完成した法面75が存在する施工現場において、現況地形データとして地形計測装置30が法面75を計測した場合、完成した法面75は施工領域における現況地形データのキーサーフェイスとしてステップS903で求められる。
 また、施工領域完成形状データが施工完了後の形状であるため、施工領域完成形状データのキーサーフェイスには法面75が必ず含まれている。そして、施工領域完成形状データと施工領域における現況地形データの共通キーサーフェイスは現況地形が施工完了後の形状になると見なすことができるため、共通キーサーフェイスを施工完了領域と判定することができる。このため、施工完了領域抽出部51iは、共通キーサーフェイスを施工完了領域として抽出する。
 ステップS904に続くステップS905では、施工完了領域抽出部51iは、ステップS904で抽出した施工完了領域の形状データを更に抽出する。例えば、施工完了領域抽出部51iは、ステップS900で読み出した施工領域完成形状データから施工完了領域に該当する形状データを抽出する。施工完了領域の形状データの座標系の基準点は、設計データ座標系の基準点60と同じである。ステップS905に続くステップS906では、施工完了領域抽出部51iは、ステップS905で抽出した施工完了領域の形状データを記憶部52に書き込む。
 本実施形態において、作業機械1Aの処理部51Aが施工領域完成形状抽出部51hと施工完了領域抽出部51iとを更に有するため、類似形状対応付け部51eの処理が第1実施形態で述べた類似形状対応付け部51eの処理と異なる。より具体的には、図24に示すように、本実施形態の類似形状対応付け部51eの処理は、第1実施形態で述べた図13のフローチャートと比べて、ステップS502とステップS503との間にステップS506及びステップS507が追加され、且つ図13に示すステップS503がステップS508に変更されたものである。以下、その追加された内容及び変更された内容のみを説明する。
 すなわち、ステップS506では、類似形状対応付け部51eは、施工完了領域抽出部51iが抽出した施工完了領域の形状データを記憶部52から読み出す。ステップS506に続くステップS507では、類似形状対応付け部51eは、ステップS502で読み出した周辺領域形状データにステップS506で読み出した施工完了領域の形状データを合成した形状データを不変領域の形状データとして作成する。周辺領域形状データ及び施工完了領域の形状データの座標系の基準点はそれぞれ施工現場座標系の基準点で同一であるため、例えば点群データの和集合として容易に求めることができる。
 ステップS507に続くステップS508では、類似形状対応付け部51eは、ステップS507で作成した不変領域の形状データから不変領域の形状データのキーポイントを抽出する。ステップS508に続くステップS504では、類似形状対応付け部51eは、ステップS501で抽出した現況地形データのキーポイントとステップS508で抽出した不変領域の形状データのキーポイントとを比較して類似形状部分を順次探索し、類似形状部分を対応付けることにより、不変領域の形状データと現況地形データとの対応関係を求める。
 そして、ステップS504に続くステップS505では、類似形状対応付け部51eはステップS504で求めた対応関係を記憶部52に書き込む。
 本実施形態に係る作業機械1Aによれば、施工が完了した領域を判定し、施工完了領域を周辺領域と合わせて不変領域とすることで、ローカライゼーションの工数を削減し、施工現場座標系における作業機械の自己位置及び姿勢、周囲の地形形状を計測することができる。
[第3実施形態]
 以下、図25及び図26を参照して作業機械の第3実施形態を説明する。本実施形態の作業機械は、測位衛星からの信号を受信し、地球上における作業機械1の緯度、経度、楕円体高の地理座標と施工現場座標系における作業機械1の位置座標を統合し、統合した位置座標を外部サーバに送信する点において上述した第1実施形態と異なっている。その他の構造は第1実施形態と同様であるため、重複説明を省略する。
 図25は第3実施形態に係る作業機械の制御システムの構成を示す概略図である。図25に示すように、本実施形態に係る作業機械の制御システムは、第1実施形態で述べた制御システムと比べてGNSS(Global Navigation Satellite System)アンテナ(位置取得装置)33と無線通信アンテナ(通信装置)34とを更に備えており、且つ処理部51Bが位置情報送信部51jを更に有する。
 図26は位置情報送信部51jの処理を示すフローチャートである。図26に示すように、ステップS1000では、位置情報送信部51jは、GNSSアンテナ33を用いて測位衛星から地球上における作業機械1の緯度、経度、楕円体高の情報を取得する。ステップS1000に続くステップS1001では、位置情報送信部51jは、位置座標変換部51gで求めた施工現場座標系における作業機械1の位置情報(すなわち、作業機械1の自己位置の座標)を記憶部52から読み出す。
 ステップS1001に続くステップS1002では、ステップS1000とステップS1001で取得した位置情報を統合し、緯度、経度、楕円体高と施工現場座標系における作業機械1の位置情報を対にして無線通信アンテナ34を介して例えば施工現場の事務室に設置された外部サーバに送信する。なお、外部サーバの設置場所は施工現場に限らず、クラウドサーバであっても良い。
 本実施形態によれば、第1実施形態と同様にローカライゼーションの工数を削減し、施工現場座標系における作業機械1の位置姿勢と周囲の地形形状を計測できるほか、更に複数の緯度、経度、楕円体高と施工現場座標系における作業機械1の位置情報の対が外部サーバに送信されるので、緯度、経度、楕円体高と施工現場座標系における自己位置の座標との対応関係を導くことが可能となる。
 以上、本発明の実施形態について詳述したが、本発明は、上記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。
1、1A  作業機械
10  走行体
11  旋回体
12  作業フロント
21  制御装置
26  表示装置
29  設計データ取得装置
30  地形計測装置
30a、30b  カメラ
31  ステレオカメラ制御装置
32  外部記憶媒体
33  GNSSアンテナ(位置取得装置)
34  無線通信アンテナ(通信装置)
50  入出力部
51,51A,51B  処理部
51a  設計データ処理部
51b  周辺領域抽出部
51c  現況地形データ生成部
51d  位置姿勢推定部
51e  類似形状対応付け部
51f  座標変換行列演算部
51g  位置座標変換部
51h  施工領域完成形状抽出部
51i  施工完了領域抽出部
51j  位置情報送信部

Claims (3)

  1.  走行可能な走行体と、
     前記走行体に旋回自在に取り付けられた旋回体と、
     前記旋回体に回動自在に取り付けられた作業フロントと、
     施工完了後の地形データを有する設計データを3次元のデータとして取得する設計データ取得装置と、
     周囲の地形データを3次元のデータとして計測する地形計測装置と、
     前記設計データ取得装置で取得した地形データを予め定められた第1座標系の設計データとして処理する設計データ処理部と、前記地形計測装置で計測した地形データを前記地形計測装置の設置位置に基づいて定められた第2座標系の現況地形データとして生成する現況地形データ生成部と、前記現況地形データ生成部で生成した前記現況地形データに基づいて前記第2座標系における自己位置及び姿勢を推定する位置姿勢推定部とを有する制御装置と、
    を備える作業機械において、
     前記制御装置は、
     前記第1座標系の設計データから周辺領域形状データを抽出し、抽出した前記周辺領域形状データと前記現況地形データとの間の類似形状部分を対応付け、対応付けた前記類似形状部分の座標値の差が最小になるように前記第2座標系から前記第1座標系への変換を行う座標変換行列を演算し、演算した前記座標変換行列を用いて前記作業機械の自己位置及び姿勢と前記現況地形データとを前記第2座標系の座標から前記第1座標系の座標へ変換することを特徴とする作業機械。
  2.  前記制御装置は、前記第1座標系の設計データに基づいて施工領域完成形状データを抽出し、抽出した前記施工領域完成形状データと前記現況地形データとを比較することにより施工完了領域を抽出し、抽出した前記施工完了領域の形状データと前記現況地形データとの間の類似形状部分を対応付ける請求項1に記載の作業機械。
  3.  地球上における前記作業機械の位置座標を取得する位置取得装置と、
     外部サーバとの間でデータの送受信を行う通信装置と、
    をさらに備え、
     前記制御装置は、前記位置取得装置で取得した前記作業機械の位置座標と前記第1座標系における自己位置の座標とをまとめ、前記通信装置を介して前記外部サーバへ送信する請求項1又は2に記載の作業機械。
PCT/JP2020/035518 2019-09-25 2020-09-18 作業機械 WO2021060195A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20869986.8A EP3919692B1 (en) 2019-09-25 2020-09-18 Working machine
CN202080018342.XA CN113508209B (zh) 2019-09-25 2020-09-18 作业机械
KR1020217028416A KR102507573B1 (ko) 2019-09-25 2020-09-18 작업 기계
US17/436,431 US20220170243A1 (en) 2019-09-25 2020-09-18 Working machine

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019174615A JP7165638B2 (ja) 2019-09-25 2019-09-25 作業機械
JP2019-174615 2019-09-25

Publications (1)

Publication Number Publication Date
WO2021060195A1 true WO2021060195A1 (ja) 2021-04-01

Family

ID=75157298

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/035518 WO2021060195A1 (ja) 2019-09-25 2020-09-18 作業機械

Country Status (6)

Country Link
US (1) US20220170243A1 (ja)
EP (1) EP3919692B1 (ja)
JP (1) JP7165638B2 (ja)
KR (1) KR102507573B1 (ja)
CN (1) CN113508209B (ja)
WO (1) WO2021060195A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4148378A1 (en) * 2021-09-13 2023-03-15 Sandvik Mining and Construction Oy Mining worksite mapping

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7301514B2 (ja) * 2018-09-21 2023-07-03 日立建機株式会社 座標変換システム及び作業機械
JP7112758B2 (ja) * 2020-03-19 2022-08-04 Totalmasters株式会社 建設現場安全管理装置
JP2023086501A (ja) * 2021-12-10 2023-06-22 株式会社小松製作所 表示システム及び表示方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328022A (ja) * 2001-05-02 2002-11-15 Komatsu Ltd 地形形状計測装置およびガイダンス装置
JP2011514455A (ja) * 2008-02-13 2011-05-06 キャタピラー インコーポレイテッド 地形マップ更新システム
JP2016212469A (ja) * 2015-04-28 2016-12-15 株式会社小松製作所 施工計画システム
WO2018079789A1 (ja) 2016-10-31 2018-05-03 株式会社小松製作所 計測システム、作業機械及び計測方法
JP2018146594A (ja) * 2018-06-14 2018-09-20 株式会社小松製作所 形状計測システム
JP2019159727A (ja) * 2018-03-12 2019-09-19 日立建機株式会社 施工管理システムおよび作業機械
JP2019174615A (ja) 2018-03-28 2019-10-10 ブラザー工業株式会社 シート搬送装置および画像形成装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003096811A (ja) 2001-09-27 2003-04-03 Osaka Gas Co Ltd 埋設物損傷防止システム
US9176235B2 (en) * 2008-04-11 2015-11-03 Caterpillar Trimble Control Technologies Llc System and method for presenting topographical data for an earthmoving operation
JP2012233353A (ja) 2011-05-02 2012-11-29 Komatsu Ltd 油圧ショベルの較正システム及び油圧ショベルの較正方法
CN107923745B (zh) * 2015-08-26 2021-07-23 住友建机株式会社 挖土机的测量装置
JP6506205B2 (ja) * 2016-03-31 2019-04-24 日立建機株式会社 建設機械
AU2017318911B2 (en) * 2016-08-31 2020-07-02 Komatsu Ltd. Image display system of work machine, remote operation system of work machine, work machine, and method for displaying image of work machine
JP6714534B2 (ja) * 2017-03-29 2020-06-24 日立建機株式会社 建設機械
JP6585697B2 (ja) * 2017-12-28 2019-10-02 株式会社小松製作所 施工管理システム
JP7285051B2 (ja) * 2018-06-29 2023-06-01 株式会社小松製作所 表示制御装置、および表示制御方法
US11332910B2 (en) * 2018-07-26 2022-05-17 Built Robotics, Inc. Excavating earth from a dig site using an excavation vehicle
KR102104304B1 (ko) * 2018-09-21 2020-05-21 포테닛 주식회사 굴삭기 전용 3d 스캐너를 이용한 토공 지형정보 실시간 모델링 시스템 및 방법
US20210149391A1 (en) * 2019-11-15 2021-05-20 Built Robotics Inc. Hauling earth using a cooperative fleet of vehicles
US20220070611A1 (en) * 2020-08-25 2022-03-03 Built Robotics Inc. Graphical user interface for dynamically updating a geofence
US11236492B1 (en) * 2020-08-25 2022-02-01 Built Robotics Inc. Graphical user interface for real-time management of an earth shaping vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328022A (ja) * 2001-05-02 2002-11-15 Komatsu Ltd 地形形状計測装置およびガイダンス装置
JP2011514455A (ja) * 2008-02-13 2011-05-06 キャタピラー インコーポレイテッド 地形マップ更新システム
JP2016212469A (ja) * 2015-04-28 2016-12-15 株式会社小松製作所 施工計画システム
WO2018079789A1 (ja) 2016-10-31 2018-05-03 株式会社小松製作所 計測システム、作業機械及び計測方法
JP2019159727A (ja) * 2018-03-12 2019-09-19 日立建機株式会社 施工管理システムおよび作業機械
JP2019174615A (ja) 2018-03-28 2019-10-10 ブラザー工業株式会社 シート搬送装置および画像形成装置
JP2018146594A (ja) * 2018-06-14 2018-09-20 株式会社小松製作所 形状計測システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3919692A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4148378A1 (en) * 2021-09-13 2023-03-15 Sandvik Mining and Construction Oy Mining worksite mapping
WO2023036994A1 (en) * 2021-09-13 2023-03-16 Sandvik Mining And Construction Oy Mining worksite mapping

Also Published As

Publication number Publication date
EP3919692A1 (en) 2021-12-08
US20220170243A1 (en) 2022-06-02
EP3919692B1 (en) 2023-12-06
KR20210125516A (ko) 2021-10-18
JP7165638B2 (ja) 2022-11-04
CN113508209B (zh) 2022-11-08
CN113508209A (zh) 2021-10-15
JP2021050542A (ja) 2021-04-01
KR102507573B1 (ko) 2023-03-09
EP3919692A4 (en) 2022-11-30

Similar Documents

Publication Publication Date Title
WO2021060195A1 (ja) 作業機械
US10365404B2 (en) Determining terrain model error
KR101695914B1 (ko) 토공공사 수행시 굴삭기의 형상정보를 실시간 제공하는 굴삭기 3d 토공 bim 시스템
US20140200863A1 (en) Monitoring proximity of objects at construction jobsites via three-dimensional virtuality in real-time
US20190253641A1 (en) Detection processing device of work machine, and detection processing method of work machine
US10591640B2 (en) Processing of terrain data
WO2018168163A1 (ja) 表示システム、表示方法、及び遠隔操作システム
KR101305059B1 (ko) 수치지도의 실시간 편집 방법 및 시스템, 이를 위한 서버 및 기록매체
CN108700402A (zh) 位置测量系统、作业机械及位置测量方法
Chae et al. A 3D surface modeling system for intelligent excavation system
CN110929402A (zh) 一种基于不确定分析的概率地形估计方法
JP2024052764A (ja) 表示制御装置及び表示方法
AU2014274649B2 (en) System and method for modelling worksite terrain
JP6887229B2 (ja) 施工管理システム
US20240068202A1 (en) Autonomous Control Of Operations Of Powered Earth-Moving Vehicles Using Data From On-Vehicle Perception Systems
KR101176446B1 (ko) 수치지도의 실시간 편집 방법 및 시스템, 이를 위한 서버 및 기록매체
Yajima et al. Development of an excavator-avoidance system for buried pipes
KR20220039801A (ko) 작업 기계
KR20190060127A (ko) 굴삭기 작업반경 표시 방법
WO2024024948A1 (ja) 施工支援装置および施工支援方法
US20230267895A1 (en) Display control device and display control method
WO2024083296A1 (en) A method of modifying a terrain, a ground modifier and a terrain modification logging system
AU2014274648B2 (en) Determining terrain of a worksite
CN115628739A (zh) 一种基于编码升维融合的紧耦合slam方法
CN111985884A (zh) 一种智能建机方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20869986

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20217028416

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020869986

Country of ref document: EP

Effective date: 20210902

NENP Non-entry into the national phase

Ref country code: DE