WO2015162710A1 - 掘削装置 - Google Patents

掘削装置 Download PDF

Info

Publication number
WO2015162710A1
WO2015162710A1 PCT/JP2014/061353 JP2014061353W WO2015162710A1 WO 2015162710 A1 WO2015162710 A1 WO 2015162710A1 JP 2014061353 W JP2014061353 W JP 2014061353W WO 2015162710 A1 WO2015162710 A1 WO 2015162710A1
Authority
WO
WIPO (PCT)
Prior art keywords
bucket
excavated object
excavated
stereo camera
image
Prior art date
Application number
PCT/JP2014/061353
Other languages
English (en)
French (fr)
Inventor
松尾　茂
範安 長谷島
倉田　謙一郎
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2014/061353 priority Critical patent/WO2015162710A1/ja
Priority to JP2016514600A priority patent/JP6232494B2/ja
Priority to US15/303,937 priority patent/US10118553B2/en
Publication of WO2015162710A1 publication Critical patent/WO2015162710A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to a digging apparatus in which a digging operation of a hydraulic shovel or the like is automated by external recognition.
  • the work amount measuring device disclosed in [Patent Document 1] is a device that shoots a bucket after excavating and releasing earth with a stereo camera, calculates the capacity, and measures the excavating amount from the difference between the respective capacities. .
  • the working tool which moved to the reference point is photographed with a stereo camera, the position is measured, and the angle sensor of the boom or arm is calibrated.
  • the excavated object in the bucket is recognized by the stereo camera, and the excavated object before excavated is not recognized. That is, in the above-mentioned [patent document 1], the excavated object is recognized in the state of being limited in the bucket, and it can not cope with the recognition of the excavated object before excavation whose shape and position are unknown.
  • the bucket is recognized in order to calibrate the angle sensor that detects the position of the work such as the bucket, and the excavated object can not be recognized.
  • the position of the bucket is measured by an angle sensor.
  • a stereo camera a means for recognizing a bucket from an image taken by the camera to measure the position of the bucket, and an excavated object from the image taken by the camera And means for measuring the position of the excavated object, and means for measuring the positional relationship between the bucket and the excavated object in the same screen.
  • the present invention is characterized in that, in the drilling apparatus, the position of the excavated object is a point beyond a predetermined distance from the upper swing body of the drilling apparatus.
  • the present invention is characterized in that in the drilling apparatus, the means for measuring the position of the excavated object recognizes the excavated object separately from the ground from the image captured by the camera.
  • the present invention is an excavating apparatus for generating an edge image of the excavated object, extracting a rock boundary of the excavated object from the edge image, and selecting the position of the excavated object from among the points of the boundary. It is a feature.
  • the position of the bucket uses position information measured by a sensor other than the stereo camera, and the bucket is the stereo camera
  • the position of the bucket uses the position information measured by the stereo camera.
  • the present invention is characterized in that, in the digging apparatus, the positional relationship between the bucket measured by the stereo camera and the excavated object is superimposed on an image captured by the stereo camera and displayed.
  • the positional relationship between the bucket and the excavated object includes the position of the excavated object and / or the distance between the bucket and the excavated object.
  • the positional relationship between the both can be measured with high accuracy, and the calibration of the angle sensor for bucket position measurement when bringing the bucket close to the excavated object is unnecessary. It can be done.
  • the excavated object when extracting the excavation point from the excavated object, the excavated object can be recognized separately from the ground, and the excavation range can be designated, so that the excavating point is extracted with good working efficiency and safety. can do.
  • FIG. 1 shows a hydraulic shovel 10 as an automatic drilling device for carrying out the present invention.
  • the hydraulic shovel 10 recognizes the excavated object, excavates the excavated object, and releases the excavated object to a predetermined place. For this reason, the hydraulic shovel 10 is equipped with the external world recognition device 20 for recognizing its own periphery, and excavates the excavated object recognized by the external world recognition device 20.
  • the vehicle 10 has a bucket 13 for digging, an arm 12 for moving the bucket 13 up and down, and a boom 11 .
  • the upper swing body 15 can be rotated to move the bucket left and right.
  • the hydraulic shovel 10 can know the position of the bucket 13 by these sensors.
  • the external world recognition device 20 provided on the boom 11 measures the determination of the excavated object and its position. Moreover, when the position of the bucket 13 and the position of the excavated object are measured by different sensors, it is necessary to calibrate the sensors in order to improve the measurement accuracy. Therefore, when the bucket 13 approaches the excavated object, the external world recognition device 20 simultaneously measures the position of the bucket 13 in addition to the excavated object. By doing this, it becomes possible to measure the bucket 13 and the excavated object by one sensor, and the calibration becomes unnecessary.
  • the hydraulic shovel 10 has an angle sensor measurement unit 30, a measurement means switching unit 40, and a bucket movement control unit 50.
  • the angle sensor measurement unit 30 measures the position of the bucket 13 by the arm angle sensor 14a, the bucket angle sensor 14b, the boom angle sensor 14c, and the upper swing body rotation angle sensor 14d.
  • the measurement means switching unit 40 puts the position data of the bucket 13 output by the angle sensor measurement unit 30 into a range where the bucket 13 can measure the external world recognition device 20.
  • position data of the bucket 13 output from the external world recognition device 20 is output to the bucket movement control unit 50.
  • the bucket movement control unit 50 moves the bucket 13 to the digging point based on the position of the bucket 13 and the position of the digging point, and the distance between the two, and performs the digging operation. Further, after excavation, the excavated material in the bucket 13 is released to a predetermined position.
  • the unloading position is assumed to be, for example, a loading platform of a dump truck, but the present embodiment relates to the recognition function of the excavated object and the bucket 13, so the illustration is omitted.
  • the display unit 60 displays the position of the bucket 13, the excavation point, the excavated object, the moving destination and the movement trajectory of the bucket 13, and the like.
  • the external world recognition device 20 measures the external world with the stereo camera device 210.
  • the stereo camera device 210 can measure the distance of the subject by using the parallax of the images captured by the two cameras of the left image capturing unit 211 and the right image capturing unit 212.
  • An image captured by the stereo camera device 210 is temporarily stored in the left image memory 213 and the right image memory 214, and is sent to the three-dimensional measurement unit 215.
  • the three-dimensional measurement unit 215 creates parallax images from the left and right images and stores them in the parallax image memory 220 and obtains three-dimensional coordinates of the subject.
  • the bucket recognition unit 216 recognizes the bucket 13 using the right image and the parallax image.
  • the ground recognition unit 217 specifies the area of the ground on the screen using the right image and the parallax image.
  • the excavation object recognition means 218 recognizes the excavation object using the right image and the parallax image, and further determines the position to be excavated.
  • the distance measuring means 219 measures the distance between the bucket 13 and the three-dimensional coordinates of the position of the excavated object to be excavated, and outputs the position and the distance between the two to the measuring means switching unit 40.
  • FIG. 2 shows the positional relationship between the hydraulic shovel 10 and the excavated object 80.
  • a digging 80 is on the ground, and the excavator 10 is mounted on the digging 80. Therefore, in order for the external world recognition device 20 to measure the excavation object 10, it is necessary to measure the downward direction of the hydraulic shovel 10 itself. Therefore, in the present embodiment, the external world recognition device 20 is installed on the boom 11, and the direction of the ground 70 is photographed. Further, since the hydraulic shovel 10 is mounted on the excavated object 80, the excavated object 80 may fall down and the hydraulic shovel 10 may be dropped from the excavated object 80 depending on the excavating place. Therefore, when determining the digging point, it is necessary to extract a point where the digging amount is maximum and the ground 70 is not shaved and the digging object 80 does not fall down.
  • FIG. 3 shows an example of an image captured by the external world recognition device 20 in the situation of FIG.
  • the excavation object 80 is taken in the lower direction of the image, the ground 70 in the upper part, and the bucket 13 is taken in the upper direction.
  • FIG. 4 shows an operation flow of the bucket movement control unit 50. It is determined whether the bucket 13 is captured by the stereo camera device 210 (step 110, hereinafter referred to as S100), and if not captured, the bucket 13 is captured by the angle sensor (14a, 14b, 14c, 14d) It moves to the position where it is located (S120). When moving the bucket 13 to a position to be photographed from a position not photographed by the stereo camera device 210, the position accuracy may not be high because the bucket 13 may be inserted somewhere in the photographing range. Therefore, calibration may not be performed. On the other hand, when the bucket 13 is photographed by the stereo camera device 210, the bucket 13 is moved using position measurement data of the bucket 13 and the excavated object 80 by the external world recognition device 20 (S130).
  • FIG. 5 shows an operation flow of the external world recognition device 20.
  • an image is taken by the stereo camera device 210, and three-dimensional modeling of the subject is performed using the image (S210). This three-dimensional modeling process is shown in detail in FIG. 6 to be described later.
  • bucket recognition processing is performed using the result of the three-dimensional modeling and the photographed image (S220). This process will be described in detail in FIG. 9 described later.
  • the ground 70 is recognized (S230), and further, the excavation object 80 is recognized, and an excavation point is determined (S240). These processes will be described in detail later with reference to FIG.
  • the distance between the shovel 13 and the digging point and the coordinates of both are measured and output to the bucket movement control unit 50. The above processing is repeated in a period in which the image input signal is present (S260).
  • FIG. 6 shows a process flow of three-dimensional modeling.
  • Three-dimensional measurement means 215 first generates parallax data of these image data.
  • FIG. 7 shows the principle of parallax data generation.
  • a certain point 320 in the actual scene 300 corresponds to the point 342 in the right image 340. It is photographed at a position, and in the left image 341, it is photographed at a position 343.
  • parallax d occurs at 342 and 343.
  • the parallax is a large value in the vicinity of the stereo camera device 210, and a small value in the distance.
  • the parallax thus determined is determined for the entire image, and the result is stored in the parallax image memory 220.
  • FIG. 1 An example of data of the parallax image memory 220 is shown in FIG. If the parallax data is arranged in two dimensions on the right image in accordance with the right image, the X and Y positions indicated by the parallax data can be easily associated with X and Y on the right image. Moreover, distance can be measured on the principle of triangulation using this parallax. From the parallax d, the distance Z can be obtained by the following equation.
  • X (Z ⁇ xr) / f ... equation (2)
  • Y (Z x yr) / f equation (3)
  • xr is the x-coordinate on the right image 340
  • yr is the y-coordinate on the right image 340.
  • the parallax image memory 260 stores parallax data so that the right image 340 corresponds to the X and Y coordinates. According to the positional relationship between the bucket 13 and the ground 70 in FIG. 2, since the bucket 13 is closer to the stereo camera device 210 than the ground 70, in the parallax image memory 260, the parallax data of the position of the bucket 13 is the parallax of the ground 70 It will be a larger number than the data. Therefore, a portion having a large y coordinate in the parallax image memory 260 (for example, the position of the data 350) whose parallax data is larger than the surroundings is a candidate for the bucket 13.
  • the same x, y image 360 of the right image 340 is extracted. If the image 360 is compared with the image of the bucket 13 and the features match, the three-dimensional coordinates of the bucket 13 can be calculated using the position of the data 350 of the parallax data. As described above, by first finding a candidate for the position of the bucket 13 using disparity data, and comparing the feature of the image at that position with the bucket 13, rather than searching the bucket 13 from the entire right image 340, Recognition of the bucket 13 can be speeded up.
  • FIG. 10 illustrates the recognition of the ground 70 and the process of extracting the digging point from the digging object 80.
  • the horizontal axis of the graph of FIG. 10 represents the y-axis direction of the parallax image memory 260
  • the vertical axis represents the parallax d value. That is, the x-axis direction of the parallax image memory 260 is finely divided into strips, and one of the divided sections is represented by the yd plane.
  • the ground 70 and the bucket 13 are photographed in the upper direction of the screen (the y direction is larger), and the excavated object 80 is photographed in the lower direction of the screen (the y is smaller).
  • the d value of the ground 70 is the smallest d (ie, far)
  • the bucket 13 and the digging 80 are larger (ie, closer) to the ground 70.
  • the d value of the ground is the smallest and constant as in the yd plane graph.
  • the excavation object 80 can be defined as a portion where the d value is larger than the ground 70 in the downward direction of the screen (where y is smaller).
  • a digging point is determined from among the diggings 80.
  • the digging point is a position at which the bucket 13 is first brought into contact with the digging 80 during the digging operation, and the digging is performed by scooping the bucket 13 from this position. It is necessary to extract a point where the amount of excavation is large, the excavation point does not cut the ground 70, and the excavation object 80 does not fall down. In order to satisfy this condition, the excavation point is extracted from the excavated object which exceeds the predetermined distance range Lp from the upper rotary body 15.
  • the predetermined range is preset as a range in which the excavated object does not fall.
  • the position is set higher than the ground, and in order to increase the amount of excavation, it is set within a predetermined height Hp from the ground.
  • the farthest part of the boundary between the ground 70 and the digging object 80 is extracted as the digging point 81.
  • This point 81 determines y1 for each strip obtained by dividing the x axis of the parallax image memory 260, and is the point where y1 is the largest in the entire image. In this process, the three-dimensional coordinates of the digging point 81 are determined, and the distance to the three-dimensional coordinates of the bucket 13 can also be calculated.
  • FIG. 10 a display example of the display unit 60 is shown in FIG.
  • the display unit 60 can present the digging situation to the operator.
  • the display unit 60 superimposes a symbol 61 indicating the digging point 81, a distance 62 from the bucket 13 to the digging point 81, a trajectory 63 of the movement schedule of the bucket 13, and the like on the image of the right image 340.
  • the display content of the display unit 60 is transmitted to the display unit 60 for investigating the hydraulic shovel 10 provided outside the hydraulic shovel 10 remotely by wire or wireless. It is also possible.
  • FIG. 12 shows a method of extracting a digging point according to the second embodiment of the present invention.
  • the excavating point 81 is selected to be a rock-to-rock gap in order to prevent breakage of the cutting edge of the bucket 13.
  • the excavation point 81 assumes that the ground 70 is flat, and selects the boundary point with the ground 70. Therefore, if the ground 70 is uneven, an error occurs in the excavation point 81. In that case, the blade edge of the bucket 13 may hit the central part of the rock.
  • the countermeasure method is as follows. First, the peripheral image 350 of the excavation point 81 extracted in FIG. 10 is extracted. Next, an edge image 351 of the extracted image 350 is created.
  • the rock 84 at a position farther from the ground 70 than the excavation point 81 extracted by the method shown in FIG. 10 is selected.
  • the d value of the rock 84 is read out from the parallax image memory 260.
  • the rock 83 one lower than the rock 84 is extracted, and the x coordinate of the point where the y coordinate of the rock 83 is the largest is determined.
  • the value of (x, y, d) is substituted into each of the above-described formulas, and the point designated by the coordinates (X, Y, Z) becomes the excavation point 82. Thereby, breakage of the blade edge of the bucket 13 can be prevented.
  • the stereo camera device 210 for the external world recognition device 20 of the hydraulic shovel 10 performing automatic excavation it is possible to specify the excavation point 81 which is safe and has a large amount of excavation, and It becomes possible to measure the three-dimensional coordinates and the distance of the drilling point 81 with high accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Operation Control Of Excavators (AREA)
  • Image Processing (AREA)

Abstract

　本発明では掘削機械で掘削を行う時、バケットの位置と掘削物の位置を高精度で計測し、しかも安全な掘削作業を実現する。　本発明の掘削機械では、ステレオカメラと、前記カメラで撮影した画像からバケットを認識して前記バケットの位置を計測する手段と、前記カメラで撮影した画像から掘削物を地面と分離して認識し前記掘削物の位置を計測する手段と、同一画面内で前記バケットと前記掘削物の位置関係を計測する手段とを備えることを特徴とする。

Description

掘削装置
　本発明は、油圧ショベルなどの掘削動作を外界認識により自動化した掘削装置に関する。
　油圧ショベルやブルドーザなどの掘削装置は、自動で掘削作業を行う機械が導入されつつある。自動で掘削作業を行う為には、バケットと掘削物の位置を認識して、バケットを掘削物まで移動させて掘削する、という動作が要求される。バケットの位置を計測する手段として、バケットの角度やストローク量、アームやブームなどの角度を計測するセンサが開発されている。しかし、これらのセンサでは掘削対象物を認識することはできない。例えば鉱山で石炭や鉄鉱石などを掘削する場合、掘削物の位置や形状を事前に決定できないため、作業を行うときに位置や形状をリアルタイムで認識する必要がある。
　一方、掘削装置において、ステレオカメラを搭載して、外界を認識する技術が公開されている。〔特許文献１〕で公開されている作業量計測装置は、掘削後と放土後のバケットをステレオカメラで撮影して容量を算出し、それぞれの容量の差分から掘削量を計測するものである。また〔特許文献２〕の油圧ショベルの較正システムでは、基準点に移動した作業具をステレオカメラで撮影して位置を計測し、ブームやアームの角度センサの較正を行うものである。
特開平２００８－２４１３００号公報 特開平２０１２－２３３３５３号公報
　上記〔特許文献１〕によれば、ステレオカメラでバケット内の掘削物を認識しており掘削前の掘削対象物を認識するものではない。つまり、上記〔特許文献１〕ではバケット内という限定された状態で掘削物を認識しており、形状や位置が不明な掘削前の掘削対象物の認識には対応できない。
　上記〔特許文献２〕によれば、バケット等の作業具の位置を検出する角度センサを較正するためにバケットを認識しており、掘削物を認識できない。また、バケットの位置を角度センサで計測している。
　また、鉱山では掘削対象物の上に油圧ショベルを配置して、その掘削物をバケットですくい上げて掘削する作業が行われる。従って、掘削物の中から掘削地点を抽出する場合、掘削量が多くなるようにするだけでなく、掘削物が崩落してその上にある油圧ショベルが転落しないように配慮する必要がある。
　上記課題を達成するために、本発明の掘削装置では、ステレオカメラと、前記カメラで撮影した画像からバケットを認識して前記バケットの位置を計測する手段と、前記カメラで撮影した画像から掘削物を認識し、前記掘削物の位置を計測する手段と、同一画面内で前記バケットと前記掘削物の位置関係を計測する手段とを備えたことを特徴とするものである。
　更に、本発明は掘削装置において、前記掘削物の位置は、前記掘削装置の上部旋回体から所定の距離を超えた地点とすることを特徴とするものである。
　更に、本発明は掘削装置において、前記掘削物の位置を計測する手段では、前記カメラで撮影した画像から掘削物を地面と分離して認識することを特徴とするものである。
　更に、本発明は掘削装置において、前記掘削物のエッジ画像を生成し、前記エッジ画像から掘削物の岩石の境界を抽出し、前記境界の地点の中から前記掘削物の位置を選択することを特徴とするものである。
　更に、本発明は掘削装置において、前記バケットが前記ステレオカメラの撮影範囲外にある時は、前記バケットの位置は前記ステレオカメラ以外のセンサで計測した位置情報を使用し、　前記バケットが前記ステレオカメラの撮影範囲内にある時は、前記バケットの位置は前記ステレオカメラで計測した位置情報を使用することを特徴とするものである。
　更に、本発明は掘削装置において、前記ステレオカメラが計測した前記バケットと前記掘削物の位置関係を、前記ステレオカメラが撮影した画像に重畳して表示することを特徴とするものである。
　更に、本発明は掘削装置において、前記バケットと前記掘削物の位置関係は、前記掘削物の位置、前記バケットと前記掘削物間の距離のいずれか又は両方を含むことを特徴とするものである。
　本発明によれば、ステレオカメラでバケットと掘削物を同時に計測するため、両者の位置関係を高精度で計測できるとともに、掘削物にバケットを近づけるときのバケット位置計測の角度センサのキャリブレーションを不要とすることができる。
　また、本発明によれば、掘削物の中から掘削地点を抽出するとき、掘削物を地面と分離して認識し、掘削範囲を指定できるため、作業効率が良く、しかも安全な掘削地点を抽出することができる。
本発明に係る自動掘削を行う油圧ショベルとその油圧ショベルに搭載された外界認識装置の構成を示した実施例の図である。 油圧ショベルの掘削状況を示したものである。 外界認識装置で撮影される画像の例を示したものである。 角度センサによる計測値と外界認識装置による計測値を切り替えて制御する方法を示したものである。 外界認識装置を用いて掘削作業を処理する方法を示したものである。 外界認識装置による3次元モデリングの処理を示したものである。 ステレオカメラ装置による視差データ算出の方法について示したものである。 視差画像メモリの例を示した図である。 バケットを認識する方法を説明した図である。 地面と掘削地点を認識する方法を説明した図である。 表示ユニットの表示例を示した図である。 掘削地点を岩石の境界に設定する例を示した図である。
　以下に、本発明の実施の形態を図面を用いて説明する。
　以下、本発明の第1の実施例を示す。
　図１は、本発明を実施するための自動掘削装置として油圧ショベル10を示したものである。油圧ショベル10は、掘削物を認識して、その掘削物を掘削し、決められた場所に放土する。このため油圧ショベル10は、自身の周囲を認識するための外界認識装置20を搭載しており、この外界認識装置20が認識した掘削物を掘削する。前記車両10は、掘削するためのバケット13、バケット13を上下に移動させるためのアーム12とブーム11を持つ。またバケットを左右に移動させるために上部旋回体15を回転させることができる。更に、バケットの位置を計測するためにアーム角度センサ14a、バケット角度センサ14b、ブーム角度センサ14c、上部旋回体回転角度センサ14dを持つ。これらのセンサにより油圧ショベル10は、バケット13の位置を知ることができる。
　しかし、このままでは油圧ショベル10は、掘削物の位置を知ることができないため、バケット13の移動先を決定することができない。そこでブーム11に設けられた外界認識装置20により、掘削物の判定とその位置を計測する。また、バケット13の位置と掘削物の位置を異なったセンサで計測すると、計測精度を高めるためにセンサ同士のキャリブレーションを行う必要が生じる。そこで、バケット13が掘削物に近づいた時には、外界認識装置20で掘削物に加えてバケット13の位置も同時に計測する。このようにすることで、バケット13と掘削物を1つのセンサで計測することか可能となり、キャリブレーションが不要となる。
　以上の動作を制御する為、油圧ショベル10は、角度センサ計測部30、計測手段切換え部40、バケット移動制御部50を持つ。角度センサ計測部30は、アーム角度センサ14a、バケット角度センサ14b、ブーム角度センサ14c、上部旋回体回転角度センサ14dによりバケット13の位置を計測する。計測手段切換え部40は、バケット13が外界認識装置20で計測できない範囲に位置する時は角度センサ計測部30が出力するバケット13の位置データを、バケット13が外界認識装置20で計測できる範囲に位置する時は外界認識装置20が出力するバケット13の位置データをバケット移動制御部50に出力する。バケット移動制御部50はバケット13の位置と掘削地点の位置、及び両者間の距離に基づいてバケット13を掘削地点まで移動させ、掘削作業を行う。更に掘削後は、バケット13内の掘削物を所定の位置に放土する。放土位置は、例えばダンプトラックの荷台が想定されるが、本実施例は掘削物とバケット13の認識機能に関するものであるため、図示は省略する。また、表示ユニット60は、バケット13の位置、掘削地点、掘削物、バケット13の移動先と移動軌跡などを表示する。
　外界認識装置20は、ステレオカメラ装置210で外界を計測する。ステレオカメラ装置210は、左画像撮影部211と右画像撮影部212の２つのカメラで撮影した画像の視差を利用して、被写体の距離を計測することができる。ステレオカメラ装置210で撮影された画像は左画像メモリ213と右画像メモリ214に一時的に記憶され、3次元計測手段215に送られる。3次元計測手段215では、左右画像から視差画像を作成し視差画像メモリ220に記憶するとともに、被写体の3次元座標を求める。バケット認識手段216は、右画像と視差画像を用いてバケット13を認識する。地面認識手段217は、右画像と視差画像を用いて、画面上の地面のエリアを特定する。掘削物認識手段218は、右画像と視差画像を用いて掘削物を認識し、更に掘削すべき位置を決定する。距離計測手段219は、バケット13と掘削すべき掘削物の位置の3次元座標から両者の距離を計測し、両者の位置と距離を計測手段切換え部40に出力する。
　図２は、油圧ショベル10と掘削物80の位置関係を示したものである。地面の上に掘削物80があり、その掘削物80の上に油圧ショベル10が載る。従って掘削物10を外界認識装置20が計測するためには、油圧ショベル10自身の下方向を計測する必要がある。そのため本実施例ではブーム11に外界認識装置20を設置し、地面70方向を撮影するようにした。また、掘削物80の上に油圧ショベル10が載っているため、掘削する場所によっては掘削物80が崩落して油圧ショベル10が掘削物80から転落する恐れがある。従って掘削地点を決定する時は、掘削量が最大で地面70を削らず掘削物80が崩落しない地点を抽出する必要がある。
　図３は、図２の状況における外界認識装置20が撮影した画像の例を示す。画像の下方向に掘削物80、それより上部に地面70、更に上方向にバケット13が撮影される。
　図４は、バケット移動制御部50の動作フローを示したものである。バケット13がステレオカメラ装置210に撮影されているかどうかを判断し（ステップ110、以下S100と称す）、もし撮影されていなければ角度センサ（14a、14b、14c、14d）により、バケット13が撮影される位置まで移動させる（S120）。ステレオカメラ装置210に撮影されない位置から撮影される位置にバケット13を移動させるときは、撮影範囲のどこかにバケット13が入ればよいので、位置精度は高くなくても良い。従って、キャリブレーションを行わなくても良い。一方、バケット13がステレオカメラ装置210に撮影されている場合は、外界認識装置20によるバケット13と掘削物80の位置計測データを使用してバケット13を移動させる（S130）。バケット13が掘削地点に到着したら掘削作業を行い（S140）。その後、バケット13に入っている掘削物を放土する（S150）。掘削が終了するまで動作を繰り返す（S160）。以上のように動作することによって、バケット13が掘削物80に遠い位置でステレオカメラ装置210に撮影されない範囲にある時は、角度センサでバケット13の位置を計測し、バケット13が掘削物80に近づいてステレオカメラ装置210に撮影されると、バケット13と掘削物80の両方を外界認識装置20で計測するため、角度センサと外界認識装置20の両者のキャリブレーションを不要とすることができる。また、掘削物80とバケット13が近づいた時は、両者ともに外界認識装置20で計測するので計測精度を高めることができる。
　図５は、外界認識装置20の動作フローを示したものである。まずステレオカメラ装置210で画像を撮影し、その画像を用いて被写体の3次元モデリングを行う（S210）。この3次元モデリング処理は後述する図６に詳細な処理フローを示す。次に、3次元モデリングの結果と撮影された画像を用いてバケット認識処理を行う（S220）。この処理は後述する図９に詳細な説明を行う。次に、地面70の認識を行い（S230）、更に、掘削物80の認識を行い掘削地点を決定する（S240）。これらの処理は、後述で図１０を用いて詳細な説明を行う。最後に、ショベル13と掘削地点間の距離と両者の座標を計測し、バケット移動制御部50に出力する。以上の処理を画像入力信号がある期間で繰り返す（S260）。
　図６は、3次元モデリングの処理フローを示したものである。まず、ステレオカメラ装置210の右撮影部212と左撮影部211により画像を撮影する。撮影されたこれらの画像は、右画像メモリ214と左画像メモリ213に一時記憶される。これらの画像データは3次元計測手段215において、まず視差データを生成する。
　図７に、視差データ生成の原理を示す。実際の光景300を右撮影部212で撮影した右画像340と、左撮影部211で撮影した左画像341がある時、実際の光景300の中のある地点320は、右画像340では地点342の位置に撮影され、左画像341では地点343の位置に撮影される。この結果、342と343には視差dが生じる。この視差はステレオカメラ装置210に近いものは大きい値となり、遠いものは小さい値となる。このように求めた視差を画像全体で求め、その結果を視差画像メモリ220に記憶する。
　図8にその視差画像メモリ220のデータ例を示す。右画像に合わせて2次元上に視差データを配置しておけば、視差データの示すX,Yの位置と、右画像上のX,Yは簡単に対応付けることができる。また、この視差を用いて、三角測量の原理で距離を計測することが出来る。視差dから距離Zは次の式で求められる。
　Z = (f × B) / d　…式(1)
但し、fは右及び左撮影部の焦点距離、Bは右撮影部212と左撮影部211の距離である。また、上記びZを求めた地点の3次元上のX,Yの位置は次の式で求められる。
　X = (Z × xr) / f…式(2)　
　Y=(Z × yr) / f…式(3)
但し、xrは、右画像340上でのx座標、yrは、右画像340上でのy座標である。以上のように、ステレオカメラ装置210で撮影した画像によって、被写体の3次元空間上の位置（X,Y,Z）を求めることができる。
　次に、図9にバケット13の認識処理について説明する。視差画像メモリ260は、右画像340とX,Y座標が対応するように視差データを記憶しておく。図２のバケット13と地面70の位置関係によれば、バケット13は地面70よりもステレオカメラ装置210に近い位置にあるので視差画像メモリ260では、バケット13の位置の視差データは地面70の視差データよりも大きい数値になる。従って、視差画像メモリ260のy座標の大きい部分で視差データが周囲よりも大きい部分（例としてデータ350の位置）が、バケット13の候補となる。次にデータ350の位置のx,y座標を用いて、右画像340の同じx,yの画像360を抽出する。その画像360をバケット13の画像と比較して特徴が一致すれば、その視差データのデータ350の位置を用いてバケット13の3次元座標を算出することができる。以上のように、最初に視差データを用いてバケット13の位置の候補を見つけ、その位置の画像の特徴をバケット13と比較することで、右画像340の全体からバケット13を検索するよりも、バケット13の認識を高速化することができる。
　図１０は、地面70の認識と掘削物80の中から掘削地点を抽出する処理を説明するものである。図１０のグラフの横軸は視差画像メモリ260のy軸方向、縦軸は視差d値を示す。つまり、視差画像メモリ260のx軸方向を細かく短冊状に区分し、その区分した１つをyd面で表現したものである。右画像340の例によれば、画面の上方向（yが大きい方）に地面70とバケット13が撮影され、画面の下方向（yが小さい方）に掘削物80が撮影される。この状況のd値は、地面70が最もdが小さく（つまり遠くにある）、バケット13と掘削物80は地面70よりもdが大きい（つまり近くにある）。
　また、地面は起伏が小さい平坦な部分であると仮定すると、地面のd値はyd面のグラフのように最も小さく、しかも一定となる。この特徴を用いれば、yd面での地面70を特定することが可能となる。また、掘削物80は、画面の下方向（yが小さい方）で地面70よりもd値が大きい部分と定義することが出来る。
　次に、この掘削物80の中から、掘削地点を決定する。掘削地点とは掘削動作時にバケット13を掘削物80に最初に接触させる位置であり、この位置からバケット13をすくい上げることで掘削が行われる。前記掘削地点は、掘削量が多く、地面70を削らず、掘削物80が崩落しない地点を抽出する必要がある。この条件を満たすため、上部回転体15から所定の距離範囲Lpを超えた掘削物から掘削地点を抽出する。前記所定の範囲とは、掘削物が崩落しない範囲として予め設定される。また、地面を掘削しないためには地面よりも高い位置とし、掘削量を多くするため地面より所定の高さHp以内とする。本実施例では、地面70と掘削物80の境界部分で、最も遠い部分を掘削地点81として抽出する。この地点81は、視差画像メモリ260のx軸を細分化した短冊ごとにy1を求め、画像全体で最もy1が大きい地点となる。この処理で掘削地点81の3次元座標が決定され、バケット13の3次元座標との距離も算出することができる。
　　次に、図１１に表示ユニット60の表示例を示す。この実施例では自動掘削であってもオペレータが搭乗する可能性があるため、表示ユニット60でオペレータに掘削の状況を提示できるようにしている。表示ユニット60は、右画像340の画像の上に、掘削地点81を示す記号61、バケット13と掘削地点81までの距離62、バケット13の移動予定の軌跡63などを重畳表示する。また、図示しないが、遠隔操作を行う場合は、表示ユニット60の表示内容を無線または有線で、油圧ショベル10の外部に設けられた油圧ショベル10を遠隔で捜査するための表示ユニット60に送信することも可能である。
　次に、本発明の第2の実施例について説明する。
　図１２に本発明の第2の実施例の掘削地点の抽出方法を示す。掘削物が大きな岩石である場合、バケット13の刃先の破損を防ぐために、掘削地点81は、岩石と岩石の隙間になるように選択する。掘削地点81は地面70が平坦であると仮定しており、その地面70との境界地点を選択している。従って、地面70に凹凸があると、この掘削地点81に誤差が生じる。その場合、バケット13の刃先が岩石の中央部分に当たってしまう恐れがある。その対策方法は次の通りである。まず、図１０で抽出した掘削地点81の周辺画像350を取り出す。次に、この取り出した画像350のエッジ画像351を作成する。その後、エッジ画像351で、図１０に示す方式で抽出した掘削地点81よりも地面70から離れた位置の岩石84を選択する。その岩石84のd値を視差画像メモリ260から読み出す。次に、岩石84より1つ下の岩石83を抽出し、その岩石83のy座標が最も大きい地点のx座標を求める。この（x,y,d）の値を前記の各数式に代入し、座標（X,Y,Z）で指定される地点が掘削地点82となる。これにより、バケット13の刃先の破損を防止することができる。
　以上の本実施例のように、自動掘削を行う油圧ショベル10の外界認識装置20にステレオカメラ装置210を用いることで、安全でしかも掘削量が多くなる掘削地点81を特定できるとともに、バケット13と掘削地点81の3次元座標と距離を高精度に計測することが可能となる。
10　油圧ショベル
11　ブーム
12　アーム
13　バケット
14a　アーム角度センサ
14b　バケット角度センサ
14c　ブーム角度センサ
14d　上部旋回体回転角度センサ
15　上部旋回体
20　外界認識装置
30　角度センサ計測部
40　計測手段切換え部
50　バケット移動制御部
60　表示ユニット
70　地面
80　掘削物
81　掘削地点
210　ステレオカメラ装置
215　3次元計測手段
216　バケット認識手段
217　地面認識手段
218　掘削物認識手段
219　距離計測手段
220　視差画像メモリ

Claims (7)

  1. 　ステレオカメラと、
    　前記カメラで撮影した画像からバケットを認識して前記バケットの位置を計測する手段と、
    　前記カメラで撮影した画像から掘削物を認識し、前記掘削物の位置を計測する手段と、
    　同一画面内で前記バケットと前記掘削物の位置関係を計測する手段とを備えた
    ことを特徴とする掘削装置。
  2. 　請求項１の掘削装置において、
    前記掘削物の位置は、前記掘削装置の上部旋回体から所定の距離を超えた地点とすることを特徴とする掘削装置。
  3. 請求項１又は請求項２の掘削装置において、
    前記掘削物の位置を計測する手段では、前記カメラで撮影した画像から掘削物を地面と分離して認識することを特徴とする掘削装置。
  4. 　請求項１～３のうちの１つのの掘削装置において、
    前記掘削物のエッジ画像を生成し、前記エッジ画像から掘削物の岩石の境界を抽出し、前記境界の地点の中から前記掘削物の位置を選択することを特徴とする掘削装置。
  5. 　請求項１～４のうちの１つの掘削装置において、
    　前記バケットが前記ステレオカメラの撮影範囲外にある時は、前記バケットの位置は前記ステレオカメラ以外のセンサで計測した位置情報を使用し、
    　前記バケットが前記ステレオカメラの撮影範囲内にある時は、前記バケットの位置は前記ステレオカメラで計測した位置情報を使用することを特徴とする掘削装置。
  6. 　請求項１～５のうちの１つの掘削装置において、
    　前記ステレオカメラが計測した前記バケットと前記掘削物の位置関係を、前記ステレオカメラが撮影した画像に重畳して表示することを特徴とする掘削装置。
  7. 　請求項１～６のうちの１つの掘削装置において、
    前記バケットと前記掘削物の位置関係は、前記掘削物の位置、前記バケットと前記掘削物間の距離のいずれか又は両方を含むことを特徴とする掘削装置。
PCT/JP2014/061353 2014-04-23 2014-04-23 掘削装置 WO2015162710A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2014/061353 WO2015162710A1 (ja) 2014-04-23 2014-04-23 掘削装置
JP2016514600A JP6232494B2 (ja) 2014-04-23 2014-04-23 掘削装置
US15/303,937 US10118553B2 (en) 2014-04-23 2014-04-24 Excavation device using stereo camera and angle sensors to position bucket

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/061353 WO2015162710A1 (ja) 2014-04-23 2014-04-23 掘削装置

Publications (1)

Publication Number Publication Date
WO2015162710A1 true WO2015162710A1 (ja) 2015-10-29

Family

ID=54331902

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/061353 WO2015162710A1 (ja) 2014-04-23 2014-04-23 掘削装置

Country Status (3)

Country Link
US (1) US10118553B2 (ja)
JP (1) JP6232494B2 (ja)
WO (1) WO2015162710A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017197942A (ja) * 2016-04-26 2017-11-02 ライト工業株式会社 法面吹付工法
US10011976B1 (en) 2017-01-03 2018-07-03 Caterpillar Inc. System and method for work tool recognition
KR20180099714A (ko) * 2015-12-28 2018-09-05 스미토모 겐키 가부시키가이샤 쇼벨
JP2019108775A (ja) * 2017-12-20 2019-07-04 コベルコ建機株式会社 建設機械
JP2019167821A (ja) * 2015-12-28 2019-10-03 住友建機株式会社 ショベル、及び、作業現場の画像処理システム
JP2020520425A (ja) * 2017-05-05 2020-07-09 ジェイ．シー． バンフォード エクスカベターズ リミテッド 作業機械
JP2020165235A (ja) * 2019-03-29 2020-10-08 住友建機株式会社 ショベル
US20200370282A1 (en) * 2016-01-29 2020-11-26 Sumitomo(S.H.I.) Construction Machinery Co., Ltd. Shovel and autonomous aerial vehicle flying around shovel
JP2021056152A (ja) * 2019-10-01 2021-04-08 株式会社トプコン 土木工事データ処理装置、土木工事データ処理方法および土木工事データ処理用プログラム
JP2021130973A (ja) * 2020-02-20 2021-09-09 株式会社フジタ 情報提示システム
JP2021155960A (ja) * 2020-03-26 2021-10-07 住友重機械工業株式会社 情報処理装置、作業機械、情報処理方法、情報処理プログラム
US11441294B2 (en) 2016-10-31 2022-09-13 Komatsu Ltd. Measurement system, work machine, and measurement method
KR20230014088A (ko) 2020-08-07 2023-01-27 가부시키가이샤 고마쓰 세이사쿠쇼 굴삭 정보 처리 장치, 작업 기계, 굴삭 지원 장치 및 굴삭 정보 처리 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2504947B (en) 2012-08-13 2015-01-14 Kraft Foods R & D Inc Beverage preparation machines
WO2016159839A1 (en) * 2015-03-30 2016-10-06 Volvo Construction Equipment Ab System and method for determining the material loading condition of a bucket of a material moving machine
DE112015006347T5 (de) * 2015-09-30 2017-12-07 Komatsu Ltd. Bildaufnahmevorrichtung
WO2016148309A1 (ja) * 2016-03-29 2016-09-22 株式会社小松製作所 校正システム、作業機械及び校正方法
EP3590094B1 (en) * 2017-03-03 2022-05-04 Caterpillar Trimble Control Technologies LLC Augmented reality display for material moving machines
DE102017203653A1 (de) * 2017-03-07 2018-09-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Positionsbestimmung von Kinematiken insbesondere mobiler Arbeitsmaschinen
JP7103796B2 (ja) 2018-01-31 2022-07-20 株式会社小松製作所 作業機械
JP7166088B2 (ja) * 2018-06-28 2022-11-07 株式会社小松製作所 作業車両による作業を判定するためのシステム、方法、及び学習済みモデルの製造方法
CN109469149A (zh) * 2018-11-07 2019-03-15 马鞍山沐及信息科技有限公司 一种挖掘机的控制方法
US11473270B2 (en) 2020-08-07 2022-10-18 Caterpillar Inc. System and method for assisting remote operation of a work machine
US11236492B1 (en) * 2020-08-25 2022-02-01 Built Robotics Inc. Graphical user interface for real-time management of an earth shaping vehicle
KR20240007160A (ko) * 2021-04-12 2024-01-16 스트럭처럴 서비시스, 인크. 크레인 오퍼레이터를 지원하기 위한 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005024144A1 (ja) * 2003-09-02 2005-03-17 Komatsu Ltd. 施工目標指示装置
JP2009042175A (ja) * 2007-08-10 2009-02-26 Koishi:Kk 施工位置測定システム及び丁張りレスシステム
US20120191431A1 (en) * 2009-06-25 2012-07-26 Commonwealth Scientfic And Industrial Research Organisation Autonomous loading
JP2012255286A (ja) * 2011-06-08 2012-12-27 Topcon Corp 建設機械制御システム
JP2013036243A (ja) * 2011-08-09 2013-02-21 Topcon Corp 建設機械制御システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2005227398B1 (en) * 2005-10-28 2006-04-27 Leica Geosystems Ag Method and apparatus for determining the loading of a bucket
JP5108350B2 (ja) 2007-03-26 2012-12-26 株式会社小松製作所 油圧ショベルの作業量計測方法および作業量計測装置
JP2012233353A (ja) 2011-05-02 2012-11-29 Komatsu Ltd 油圧ショベルの較正システム及び油圧ショベルの較正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005024144A1 (ja) * 2003-09-02 2005-03-17 Komatsu Ltd. 施工目標指示装置
JP2009042175A (ja) * 2007-08-10 2009-02-26 Koishi:Kk 施工位置測定システム及び丁張りレスシステム
US20120191431A1 (en) * 2009-06-25 2012-07-26 Commonwealth Scientfic And Industrial Research Organisation Autonomous loading
JP2012255286A (ja) * 2011-06-08 2012-12-27 Topcon Corp 建設機械制御システム
JP2013036243A (ja) * 2011-08-09 2013-02-21 Topcon Corp 建設機械制御システム

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102570490B1 (ko) * 2015-12-28 2023-08-23 스미토모 겐키 가부시키가이샤 쇼벨 및 쇼벨의 표시장치
US11230823B2 (en) 2015-12-28 2022-01-25 Sumitomo(S.H.I.) Construction Machinery Co., Ltd. Shovel
KR20180099714A (ko) * 2015-12-28 2018-09-05 스미토모 겐키 가부시키가이샤 쇼벨
JPWO2017115810A1 (ja) * 2015-12-28 2018-10-18 住友建機株式会社 ショベル
US11802393B2 (en) 2015-12-28 2023-10-31 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel
JP2019167821A (ja) * 2015-12-28 2019-10-03 住友建機株式会社 ショベル、及び、作業現場の画像処理システム
JP6999604B2 (ja) 2015-12-28 2022-01-18 住友建機株式会社 ショベル、及び、作業現場の画像処理システム
JP2022009325A (ja) * 2015-12-28 2022-01-14 住友建機株式会社 作業現場の判別システム、及び、作業現場の画像処理システム
US11492783B2 (en) * 2016-01-29 2022-11-08 Sumitomo(S.H.I) Construction Machinery Co., Ltd. Shovel and autonomous aerial vehicle flying around shovel
US20200370282A1 (en) * 2016-01-29 2020-11-26 Sumitomo(S.H.I.) Construction Machinery Co., Ltd. Shovel and autonomous aerial vehicle flying around shovel
JP2017197942A (ja) * 2016-04-26 2017-11-02 ライト工業株式会社 法面吹付工法
DE112017004688B4 (de) 2016-10-31 2022-10-27 Komatsu Ltd. Messsystem, Arbeitsmaschine und Messverfahren
US11441294B2 (en) 2016-10-31 2022-09-13 Komatsu Ltd. Measurement system, work machine, and measurement method
US10011976B1 (en) 2017-01-03 2018-07-03 Caterpillar Inc. System and method for work tool recognition
JP7240382B2 (ja) 2017-05-05 2023-03-15 ジェイ．シー． バンフォード エクスカベターズ リミテッド 作業機械
JP2020520425A (ja) * 2017-05-05 2020-07-09 ジェイ．シー． バンフォード エクスカベターズ リミテッド 作業機械
JP7155516B2 (ja) 2017-12-20 2022-10-19 コベルコ建機株式会社 建設機械
JP2019108775A (ja) * 2017-12-20 2019-07-04 コベルコ建機株式会社 建設機械
JP7346061B2 (ja) 2019-03-29 2023-09-19 住友建機株式会社 ショベル
JP2020165235A (ja) * 2019-03-29 2020-10-08 住友建機株式会社 ショベル
JP7300955B2 (ja) 2019-10-01 2023-06-30 株式会社トプコン 土木工事データ処理装置、土木工事データ処理方法および土木工事データ処理用プログラム
JP2021056152A (ja) * 2019-10-01 2021-04-08 株式会社トプコン 土木工事データ処理装置、土木工事データ処理方法および土木工事データ処理用プログラム
US11879976B2 (en) 2019-10-01 2024-01-23 Topcon Corporation Civil engineering work data processing device, civil engineering work data processing method, and civil engineering work data processing program
JP2021130973A (ja) * 2020-02-20 2021-09-09 株式会社フジタ 情報提示システム
JP2021155960A (ja) * 2020-03-26 2021-10-07 住友重機械工業株式会社 情報処理装置、作業機械、情報処理方法、情報処理プログラム
JP7349947B2 (ja) 2020-03-26 2023-09-25 住友重機械工業株式会社 情報処理装置、作業機械、情報処理方法、情報処理プログラム
KR20230014088A (ko) 2020-08-07 2023-01-27 가부시키가이샤 고마쓰 세이사쿠쇼 굴삭 정보 처리 장치, 작업 기계, 굴삭 지원 장치 및 굴삭 정보 처리 방법
DE112021002794T5 (de) 2020-08-07 2023-03-09 Komatsu Ltd. Aushub-Informationsverarbeitungsvorrichtung, Arbeitsmaschine, Aushubunterstützungsvorrichtung und Aushub-Informationsverarbeitungsverfahren

Also Published As

Publication number Publication date
JP6232494B2 (ja) 2017-11-15
JPWO2015162710A1 (ja) 2017-04-13
US10118553B2 (en) 2018-11-06
US20170028922A1 (en) 2017-02-02

Similar Documents

Publication Publication Date Title
WO2015162710A1 (ja) 掘削装置
JP6925775B2 (ja) 施工管理システム
JP6777375B2 (ja) 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
KR102570490B1 (ko) 쇼벨 및 쇼벨의 표시장치
AU2022209235B2 (en) Display control device and display control method
JP6322612B2 (ja) 施工管理システム及び形状計測方法
US20220101552A1 (en) Image processing system, image processing method, learned model generation method, and data set for learning
WO2015198410A1 (ja) 外界認識装置
JP6585697B2 (ja) 施工管理システム
JP6794449B2 (ja) 管理システム
AU2019292457B2 (en) Display control device, display control system, and display control method
JP7071203B2 (ja) 作業機械
AU2019292458B2 (en) Display control system, display control device, and display control method
KR20190034282A (ko) 건설 기계
KR20180115756A (ko) 형상 계측 시스템, 작업 기계 및 형상 계측 방법
JPWO2016047807A1 (ja) 校正システム、作業機械及び校正方法
JP6606230B2 (ja) 形状計測システム
KR101944816B1 (ko) 굴삭 작업 검측 자동화 시스템
JP6815462B2 (ja) 形状計測システム及び形状計測方法
JP6616149B2 (ja) 施工方法、作業機械の制御システム及び作業機械
JP2017193958A (ja) 校正システム、作業機械及び校正方法
JP2020094403A (ja) 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置
JP7166326B2 (ja) 施工管理システム
US20230291989A1 (en) Display control device and display method
KR20220044339A (ko) 건설 기계용 가동 기록 분석 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14890187

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016514600

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15303937

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14890187

Country of ref document: EP

Kind code of ref document: A1