WO2017033991A1 - ショベルの計測装置 - Google Patents

ショベルの計測装置 Download PDF

Info

Publication number
WO2017033991A1
WO2017033991A1 PCT/JP2016/074763 JP2016074763W WO2017033991A1 WO 2017033991 A1 WO2017033991 A1 WO 2017033991A1 JP 2016074763 W JP2016074763 W JP 2016074763W WO 2017033991 A1 WO2017033991 A1 WO 2017033991A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
excavator
terrain
shovel
stereo pair
Prior art date
Application number
PCT/JP2016/074763
Other languages
English (en)
French (fr)
Inventor
泉川　岳哉
Original Assignee
住友建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友建機株式会社 filed Critical 住友建機株式会社
Priority to CN201680049597.6A priority Critical patent/CN107923745B/zh
Priority to KR1020187004675A priority patent/KR20180042251A/ko
Priority to EP16839338.7A priority patent/EP3343171B1/en
Priority to JP2017536473A priority patent/JPWO2017033991A1/ja
Publication of WO2017033991A1 publication Critical patent/WO2017033991A1/ja
Priority to US15/896,645 priority patent/US10679371B2/en
Priority to US15/930,569 priority patent/US11288827B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00—Tracing profiles
    • G01C7/02—Tracing profiles of land surfaces
    • G01C7/04—Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825—Indicating performance data, e.g. occurrence of a malfunction using optical means

Definitions

  • the present invention relates to a measuring device that measures the topography around a shovel.
  • This display system displays on the monitor a cross-sectional view of the design topography based on the design data and a cross-sectional view of the current topography represented by the locus of the cutting edge.
  • Patent Document 1 does not consider earth and sand spilled from a bucket, earth and sand collapsed into a depression, earth and sand refilled, and the like. Therefore, there is a possibility that the current topographic cross-sectional view cannot be accurately displayed.
  • An excavator measuring apparatus includes a lower traveling body, an upper swinging body that is turnably mounted on the lower traveling body, and a stereo-capable camera that is attached to the upper swinging body. And measuring the terrain around the shovel based on a stereo pair image captured by the camera while the shovel is turning or running.
  • the above-mentioned means can provide a measuring device that can more accurately measure the topography around the excavator.
  • FIG. 1 is a side view of an excavator (excavator) according to an embodiment of the present invention.
  • An upper swing body 3 is mounted on the lower traveling body 1 of the excavator via a swing mechanism 2 so as to be capable of swinging.
  • a boom 4 is attached to the upper swing body 3.
  • An arm 5 is attached to the tip of the boom 4, and a bucket 6 as an end attachment is attached to the tip of the arm 5.
  • a slope bucket, a kite bucket, or the like may be used as an end attachment.
  • the boom 4, the arm 5, and the bucket 6 constitute a drilling attachment as an example of the attachment, and are hydraulically driven by the boom cylinder 7, the arm cylinder 8, and the bucket cylinder 9, respectively.
  • a boom angle sensor S1 is attached to the boom 4
  • an arm angle sensor S2 is attached to the arm 5, and a bucket angle sensor S3 is attached to the bucket 6.
  • the excavation attachment may be provided with a bucket tilt mechanism.
  • the boom angle sensor S1 detects the rotation angle of the boom 4.
  • the boom angle sensor S ⁇ b> 1 is an acceleration sensor that detects a tilt angle with respect to the horizontal plane and detects a rotation angle of the boom 4 with respect to the upper swing body 3.
  • the arm angle sensor S2 detects the rotation angle of the arm 5.
  • the arm angle sensor S ⁇ b> 2 is an acceleration sensor that detects the rotation angle of the arm 5 relative to the boom 4 by detecting the inclination with respect to the horizontal plane.
  • the bucket angle sensor S3 detects the rotation angle of the bucket 6.
  • the bucket angle sensor S3 is an acceleration sensor that detects the rotation angle of the bucket 6 with respect to the arm 5 by detecting the inclination with respect to the horizontal plane.
  • the bucket angle sensor S3 additionally detects the rotation angle of the bucket 6 around the tilt axis.
  • the boom angle sensor S1, the arm angle sensor S2, and the bucket angle sensor S3 are a potentiometer using a variable resistor, a stroke sensor that detects a stroke amount of a corresponding hydraulic cylinder, and a rotary encoder that detects a rotation angle around a connecting pin. Etc.
  • the upper swing body 3 is provided with a cabin 10 and a power source such as an engine 11 is mounted.
  • a machine body tilt sensor S4, a turning angular velocity sensor S5, and a camera S6 are attached to the upper turning body 3.
  • a communication device S7 and a positioning device S8 may be attached.
  • the body tilt sensor S4 detects the tilt of the upper swing body 3 with respect to the horizontal plane.
  • the body tilt sensor S4 is a biaxial acceleration sensor that detects the tilt angles of the upper swing body 3 around the front and rear axes and the left and right axes.
  • the front and rear axes and the left and right axes of the upper swing body 3 are, for example, orthogonal to each other and pass through a shovel center point that is one point on the shovel pivot axis.
  • the turning angular velocity sensor S5 is a gyro sensor, for example, and detects the turning angular velocity of the upper turning body 3.
  • the turning angular velocity sensor S5 may be a resolver, a rotary encoder, or the like.
  • Camera S6 is an imaging device capable of taking a stereo image to acquire an image around the excavator.
  • the camera S6 is one or a plurality of stereo cameras attached to the upper swing body 3.
  • the camera S6 may be a monocular camera.
  • the camera S6 sets two camera images picked up at slightly different shooting positions as stereo pair images.
  • the movement of the imaging position is realized by, for example, turning of the upper swing body 3 and is measured using a gyro sensor, a GNSS (Global Navigation Satellite System), or the like.
  • GNSS Global Navigation Satellite System
  • the communication device S7 is a device that controls communication between the excavator and the outside.
  • the communication device S7 controls, for example, wireless communication between a surveying system such as GNSS and an excavator.
  • the shovel can acquire design data including information on the target construction surface and the like via wireless communication by using the communication device S7.
  • the shovel may acquire design data using a semiconductor memory or the like.
  • the positioning device S8 is a device that measures the position and orientation of the excavator.
  • the positioning device S8 is a GNSS receiver that incorporates an electronic compass, and measures the latitude, longitude, and altitude of the location of the shovel and measures the direction of the shovel.
  • an input device D1 In the cabin 10, an input device D1, an audio output device D2, a display device (display unit) D3, a storage device D4, a gate lock lever D5, a controller 30, and a machine guidance device 50 are installed.
  • the controller 30 functions as a main control unit that performs drive control of the excavator.
  • the controller 30 is composed of an arithmetic processing unit including a CPU and an internal memory.
  • Various functions of the controller 30 are realized by the CPU executing programs stored in the internal memory.
  • the machine guidance device 50 guides the operation of the excavator.
  • the machine guidance device 50 visually and audibly notifies the operator of the distance in the vertical direction between the target construction surface set by the operator and the tip (toe) position of the bucket 6, for example.
  • the machine guidance apparatus 50 guides the operation of the shovel by the operator.
  • the machine guidance device 50 may only notify the operator of the distance visually or may only notify the operator audibly.
  • the machine guidance device 50 is configured by an arithmetic processing device including a CPU and an internal memory. Various functions of the machine guidance device 50 are realized by the CPU executing a program stored in the internal memory.
  • the machine guidance device 50 may be provided separately from the controller 30 or may be incorporated in the controller 30.
  • the input device D1 is a device for an excavator operator to input various information to the machine guidance device 50.
  • the input device D1 is a membrane switch attached around the display device D3.
  • a touch panel or the like may be used as the input device D1.
  • the audio output device D2 outputs various audio information in response to the audio output command from the machine guidance device 50.
  • an in-vehicle speaker connected directly to the machine guidance device 50 is used as the audio output device D2.
  • An alarm device such as a buzzer may be used as the audio output device D2.
  • Display device D3 outputs various image information in response to a command from machine guidance device 50.
  • an in-vehicle liquid crystal display directly connected to the machine guidance device 50 is used as the display device D3.
  • Storage device D4 is a device for storing various information.
  • a nonvolatile storage medium such as a semiconductor memory is used as the storage device D4.
  • the storage device D4 stores various information output by the machine guidance device 50 and the like.
  • the gate lock lever D5 is a mechanism that prevents the shovel from being operated accidentally.
  • the gate lock lever D5 is disposed between the door of the cabin 10 and the driver's seat.
  • the various operation devices can be operated.
  • the gate lock lever D5 is pushed down so that the operator can leave the cabin 10, the various operation devices become inoperable.
  • FIG. 2 is a diagram showing a configuration example of the drive system of the excavator in FIG.
  • the mechanical power system is indicated by a double line
  • the high-pressure hydraulic line is indicated by a thick solid line
  • the pilot line is indicated by a broken line
  • the electric drive / control system is indicated by a thin solid line.
  • the engine 11 is a power source for the excavator.
  • the engine 11 is a diesel engine that employs isochronous control that keeps the engine speed constant regardless of increase or decrease in engine load.
  • the fuel injection amount, fuel injection timing, boost pressure and the like in the engine 11 are controlled by an engine controller unit (ECU) D7.
  • ECU engine controller unit
  • the engine 11 is connected with a main pump 14 and a pilot pump 15 as hydraulic pumps.
  • a control valve 17 is connected to the main pump 14 via a high pressure hydraulic line.
  • the control valve 17 is a hydraulic control device that controls the hydraulic system of the excavator. Hydraulic actuators such as a right traveling hydraulic motor, a left traveling hydraulic motor, a boom cylinder 7, an arm cylinder 8, a bucket cylinder 9, and a turning hydraulic motor are connected to a control valve 17 via a high pressure hydraulic line.
  • the turning hydraulic motor may be a turning motor generator.
  • the operating device 26 is connected to the pilot pump 15 through a pilot line.
  • the operating device 26 includes a lever and a pedal.
  • the operating device 26 is connected to the control valve 17 via a hydraulic line and a gate lock valve D6.
  • the gate lock valve D6 switches communication / cutoff of the hydraulic line connecting the control valve 17 and the operating device 26.
  • the gate lock valve D6 is an electromagnetic valve that switches between connection and disconnection of the hydraulic line in accordance with a command from the controller 30.
  • the controller 30 determines the state of the gate lock lever D5 based on the state signal output from the gate lock lever D5.
  • the controller 30 outputs a communication command to the gate lock valve D6.
  • the gate lock valve D6 is opened to connect the hydraulic line. As a result, the operator's operation on the operation device 26 becomes effective.
  • the controller 30 determines that the gate lock lever D5 is in the lowered state, the controller 30 outputs a cutoff command to the gate lock valve D6.
  • the gate lock valve D6 is closed to shut off the hydraulic line. As a result, the operator's operation on the operation device 26 becomes invalid.
  • the pressure sensor 29 detects the operation content of the operating device 26 in the form of pressure.
  • the pressure sensor 29 outputs the detection value to the controller 30.
  • FIG. 2 shows the connection relationship between the controller 30 and the display device D3.
  • the display device D3 is connected to the controller 30 via the machine guidance device 50.
  • the display device D3, the machine guidance device 50, and the controller 30 may be connected via a communication network such as CAN, or may be connected via a dedicated line.
  • Display device D3 includes a conversion processing unit D3a that generates an image.
  • the conversion processing unit D3a generates a camera image for display based on the output of the camera S6. Therefore, the display device D3 acquires the output of the camera S6 connected to the machine guidance device 50 via the machine guidance device 50.
  • the camera S6 may be connected to the display device D3 or may be connected to the controller 30.
  • the conversion processing unit D3a generates a display image based on the output of the controller 30 or the machine guidance device 50.
  • the conversion processing unit D3a converts various information output from the controller 30 or the machine guidance device 50 into an image signal.
  • the information output by the controller 30 includes, for example, data indicating the temperature of engine coolant, data indicating the temperature of hydraulic oil, data indicating the remaining amount of fuel, and the like.
  • the information output by the machine guidance device 50 includes data indicating the tip (toe) position of the bucket 6, data indicating the direction of the slope of the work target, data indicating the direction of the shovel, and for making the shovel face the slope. Includes data indicating the operation direction.
  • the conversion processing unit D3a may be realized not as a function of the display device D3 but as a function of the controller 30 or the machine guidance device 50.
  • the display device D3 operates upon receiving power from the storage battery 70.
  • the storage battery 70 is charged with electric power generated by the alternator 11a (generator) of the engine 11.
  • the electric power of the storage battery 70 is also supplied to the electrical equipment 72 of the excavator other than the controller 30 and the display device D3.
  • the starter 11 b of the engine 11 is driven by electric power from the storage battery 70 and starts the engine 11.
  • the engine 11 is controlled by the engine controller unit D7.
  • the engine controller unit D7 constantly transmits various data indicating the state of the engine 11 to the controller 30.
  • the various data indicating the state of the engine 11 is data indicating the cooling water temperature (physical quantity) detected by the water temperature sensor 11c, for example. Therefore, the controller 30 can store this data in the temporary storage unit (memory) 30a and transmit it to the display device D3 when necessary.
  • Various data are supplied to the controller 30 as follows. Various types of data are stored in the temporary storage unit 30 a of the controller 30.
  • data indicating the swash plate tilt angle is supplied to the controller 30 from the regulator 14a of the main pump 14 which is a variable displacement hydraulic pump. Further, data indicating the discharge pressure of the main pump 14 is sent from the discharge pressure sensor 14b to the controller 30. These data (data representing physical quantities) are stored in the temporary storage unit 30a.
  • An oil temperature sensor 14 c is provided in a pipe line between the main pump 14 and a tank that stores hydraulic oil sucked by the main pump 14. Data representing the temperature of the hydraulic oil flowing through the pipeline is supplied from the oil temperature sensor 14 c to the controller 30.
  • Data indicating the fuel storage amount is supplied to the controller 30 from the fuel storage amount detection unit 55a in the fuel storage unit 55.
  • data indicating the remaining amount of fuel is supplied to the controller 30 from a fuel remaining amount sensor as the fuel storage amount detection unit 55 a in the fuel tank as the fuel storage unit 55.
  • the fuel remaining amount sensor is composed of a float that follows the liquid level and a variable resistor (potentiometer) that converts the vertical fluctuation amount of the float into a resistance value.
  • the fuel remaining amount sensor can continuously display the fuel remaining state on the display device D3.
  • the detection method of the fuel storage amount detection unit 55a can be appropriately selected according to the use environment and the like, and a detection method capable of displaying the remaining fuel level in stages may be adopted.
  • the pilot pressure sent to the control valve 17 when the operating device 26 is operated is detected by the pressure sensor 29.
  • the pressure sensor 29 supplies data indicating the detected pilot pressure to the controller 30.
  • the excavator includes an engine speed adjustment dial 75 in the cabin 10.
  • the engine rotation speed adjustment dial 75 is a dial for adjusting the rotation speed of the engine 11, and in this embodiment, the engine rotation speed can be switched in four stages. Data indicating the setting state of the engine speed is constantly transmitted from the engine speed adjustment dial 75 to the controller 30.
  • the engine speed adjustment dial 75 can switch the engine speed in four stages of SP mode, H mode, A mode, and idling mode.
  • FIG. 2 shows a state where the H mode is selected with the engine speed adjustment dial 75.
  • the SP mode is a rotation speed mode that is selected when priority is given to the amount of work, and uses the highest engine speed.
  • the H mode is a rotation speed mode that is selected when both the work amount and the fuel consumption are desired, and uses the second highest engine speed.
  • the A mode is a rotation speed mode that is selected when it is desired to operate the shovel with low noise while giving priority to fuel consumption, and uses the third highest engine speed.
  • the idling mode is a rotational speed mode that is selected when the engine 11 is desired to be in an idling state, and uses the lowest engine rotational speed. The engine 11 is controlled at a constant speed with the engine speed in the speed mode set with the engine speed adjustment dial 75.
  • FIG. 3 is a functional block diagram illustrating a configuration example of the machine guidance device 50.
  • the controller 30 controls whether or not to perform guidance by the machine guidance device 50 in addition to controlling the operation of the entire shovel. Specifically, the controller 30 controls whether or not the guidance by the machine guidance device 50 is performed based on the state of the gate lock lever D5, the detection signal from the pressure sensor 29, and the like.
  • the machine guidance device 50 includes, for example, a boom angle sensor S1, an arm angle sensor S2, a bucket angle sensor S3, a machine body inclination sensor S4, a turning angular velocity sensor S5, an input device D1, and various outputs output from the controller 30.
  • Receive signals and data Then, the machine guidance device 50 calculates the actual position of the attachment (for example, the bucket 6) based on the received signal and data. Then, when the actual position of the attachment is different from the target position, the machine guidance device 50 transmits a warning command to the voice output device D2 and the display device D3 to issue a warning.
  • the machine guidance device 50 includes functional units that perform various functions.
  • the machine guidance device 50 includes an inclination angle calculation unit 501, a height calculation unit 503, a comparison unit 504, an alarm control unit 505, and a guidance data output unit 506 as functional units for guiding the attachment operation. including.
  • the machine guidance device 50 includes a stereo pair image acquisition unit 507, a terrain data generation unit 508, a coordinate conversion unit 509, a coordinate correction unit 510, and a terrain data display unit 511 as functional units for measuring the terrain around the excavator. It functions as an excavator measuring device.
  • the tilt angle calculation unit 501 calculates the tilt angle (excavator tilt angle) of the upper swing body 3 with respect to the horizontal plane. For example, the tilt angle calculation unit 501 calculates the tilt angle of the shovel using the detection signal from the body tilt sensor S4.
  • the height calculation unit 503 calculates the height of the work part of the end attachment. For example, the height calculation unit 503 calculates the height of the tip (toe) of the bucket 6 from the inclination angle calculated by the inclination angle calculation unit 501 and the angles of the boom 4, the arm 5, and the bucket 6.
  • the angles of the boom 4, the arm 5, and the bucket 6 are calculated from detection signals of the boom angle sensor S1, the arm angle sensor S2, and the bucket angle sensor S3.
  • the tip (toe) of the bucket 6 corresponds to the work site of the end attachment.
  • the back surface of the bucket 6 corresponds to the work part of the end attachment.
  • the tip of the breaker corresponds to the work site of the end attachment.
  • the comparison unit 504 compares the height of the tip (toe) of the bucket 6 calculated by the height calculation unit 503 with the target height of the tip (toe) of the bucket 6.
  • the target height is included in the guidance data output from the guidance data output unit 506. It may be calculated from the design drawing inputted in advance, the current position of the excavator, and the working posture. It may be calculated from the set toe position of the past shovel, the input target depth, the inclination angle of the shovel, and the current working posture (current toe position).
  • the alarm control unit 505 transmits an alarm command to both or one of the audio output device D2 and the display device D3 when it is determined that an alarm is necessary based on the comparison result in the comparison unit 504.
  • the sound output device D2 and the display device D3 receive an alarm command, the sound output device D2 and the display device D3 issue a predetermined alarm and notify the operator of the shovel.
  • the guidance data output unit 506 extracts the target height data of the bucket 6 from the guidance data stored in advance in the storage device of the machine guidance device 50 and outputs it to the comparison unit 504. At this time, the guidance data output unit 506 may output data on the target height of the bucket 6 corresponding to the current position of the excavator, the working posture, the inclination angle, and the like.
  • the stereo pair image acquisition unit 507 is a functional element that acquires a stereo pair image.
  • the stereo pair image is a pair of camera images used for deriving the distance between the camera S6 and a point to be measured (hereinafter referred to as “measurement point”) using a triangulation method.
  • the stereo pair image acquisition unit 507 acquires a pair of camera images output from the camera S6, which is a stereo camera, as a stereo pair image.
  • the stereo pair image acquisition unit 507 may acquire two camera images output from the camera S6 as a monocular camera as a stereo pair image.
  • the movement of the imaging position of the camera S6 when the camera S6 as a monocular camera acquires two camera images as a stereo pair image is realized by, for example, turning of the upper turning body 3, and a gyro sensor, a GNSS, etc. Measured. Then, the distance between the camera S6 and the measurement point can be derived using the triangulation method from the movement amount of the camera S6 as in the case of the camera S6 as a stereo camera. Parameters relating to the camera S6 such as the mounting position, mounting angle, and focal length of the camera S6 are stored in advance in the storage device D4 and the like. The stereo pair image acquisition unit 507 reads these parameters from the storage device D4 or the like as necessary.
  • FIGS. 4A to 4C and FIG. 4A to 4C are diagrams showing the relationship between the stereo pair image and the camera S6.
  • FIG. 4A is a top view of the camera S6 as a stereo camera
  • FIG. 4B is a top view of the camera S6a as a monocular camera
  • FIG. 4C is a schematic diagram of a stereo pair image captured by the camera S6 or the camera S6a.
  • FIG. 5 is a left side view of the shovel showing the mounting position of the camera S6 (camera S6a).
  • the stereo pair image acquisition unit 507 captures a pair of images simultaneously captured by the pair of imaging units S61 and S62 in the camera S6.
  • a camera image is acquired as a stereo pair image.
  • the camera using a triangulation method based on the shift between the pixels corresponding to the measurement point P in each of the acquired pair of camera images and the distance L between the imaging unit S61 and the imaging unit S62. The distance between S6 and the measurement point P is acquired.
  • the stereo pair image acquisition unit 507 stereo images two camera images captured at different timings by the imaging unit S61a of the camera S6a. Acquired as a pair image.
  • the stereo pair image acquisition unit 507 captures the first camera image captured when the camera S6a is at the position indicated by the solid line, and then the second camera captured when the camera S6a moves to the position indicated by the broken line. Acquire images as stereo pair images.
  • the movement of the camera S6a is realized, for example, by running the excavator body.
  • the stereo pair image acquisition unit 507 determines the movement amount L of the camera S6a from the GNSS position information, and acquires the distance between the camera S6a and the measurement point P using the triangulation method as in the case of FIG. 4A. To do.
  • the imaging ranges of the imaging unit S61 and the imaging unit S61a are represented by the imaging range Ra surrounded by a broken line.
  • the respective imaging ranges of the imaging unit S62 and the imaging unit S61a are represented by an imaging range Rb surrounded by the broken line.
  • the overlapping imaging range R of the imaging range Ra and the imaging range Rb is hatched with a dot pattern.
  • a measurement target range X surrounded by an alternate long and short dash line indicates an existing range of measurement points.
  • the measurement target range X is limited to the central portion of each camera image. This is because the peripheral portion of each camera image may not be able to accurately derive the distance due to the effects of vignetting, distortion, and the like. However, the present invention does not exclude a configuration in which the measurement target range X includes the peripheral portion.
  • the stereo pair image acquisition unit 507 acquires a stereo pair image every time a predetermined acquisition condition is satisfied.
  • the predetermined acquisition condition is set based on, for example, the turning angle of the upper turning body 3, the excavator moving distance, and the like.
  • the stereo pair image acquisition unit 507 acquires a stereo pair image every time the upper swing body 3 turns by a predetermined turning angle ⁇ .
  • the turning angle is derived from the output of the turning angular velocity sensor S5, for example.
  • the stereo pair image acquisition unit 507 may acquire a stereo pair image each time the excavator moves (runs) by a predetermined distance D.
  • the moving distance is derived from the output of the positioning device S8, for example.
  • the stereo pair image acquisition unit 507 may dynamically determine a threshold value related to a turning angle, a moving distance, and the like as acquisition conditions so that a stereo pair image including an image of a desired measurement point can be efficiently acquired.
  • the stereo pair image acquisition unit 507 may acquire a stereo pair image at predetermined time intervals, and acquire a stereo pair image at an arbitrary timing according to an operation input (for example, switch operation) by an operator of the excavator. May be.
  • the machine guidance device 50 as a measuring device measures the topography around the excavator from the stereo pair image acquired in this way.
  • FIG. 6A and 6B are top views of the shovel showing the imaging range of the camera S6.
  • FIG. 6A shows overlapping imaging ranges R1 and R2 of the camera S6, and
  • FIG. 6B shows blind spot areas BA1 and BA2 formed by the object B existing behind the shovel.
  • the portion indicated by the dotted line indicates a state when the upper swing body 3 is turned by the turning angle ⁇ around the turning axis SX.
  • the stereo pair image acquisition unit 507 acquires a pair of camera images captured by the camera S6 as a stereo pair image when the excavator is facing the reference direction as indicated by a solid line in FIG. 6A.
  • the overlapping imaging range R1 represents an overlapping imaging range regarding each imaging range of the pair of camera images captured by the camera S6 at this time.
  • the stereo pair image acquisition unit 507 acquires, as a stereo pair image, a pair of camera images captured by the camera S6 when the upper swing body 3 turns clockwise by the turning angle ⁇ as indicated by a dotted line in FIG. 6A.
  • the overlapping imaging range R2 represents the overlapping imaging range regarding each imaging range of the pair of camera images captured by the camera S6 at this time.
  • FIG. 6B shows one of the effects of acquiring a stereo pair image each time the upper revolving unit 3 turns by the turning angle ⁇ .
  • the blind spot area BA1 indicates a range where there is a measurement point where the distance cannot be measured in the stereo pair image acquired when the excavator is facing the reference direction as indicated by a solid line in FIG. 6B.
  • the blind spot area BA2 is a range in which there is a measurement point where the distance cannot be measured in the stereo pair image acquired when the upper swing body 3 turns clockwise by the turning angle ⁇ as shown by a dotted line in FIG. 6B. Show.
  • the blind spot area BA12 indicates a range where the blind spot area BA1 and the blind spot area BA2 overlap.
  • the stereo pair image acquiring unit 507 can measure points included in a range that was not captured by the pair of stereo pair images. The distance to can be derived.
  • the stereo pair image acquisition unit 507 may issue an instruction to the operator of the excavator so that a desired stereo pair image can be acquired.
  • the stereo pair image acquisition unit 507 outputs a control command to at least one of the audio output device D2 and the display device D3 and notifies the excavator operator of the operation necessary for acquiring a desired stereo pair image. May be.
  • a voice message such as “Please turn right” may be output.
  • the terrain data generation unit 508 is a functional element that generates terrain data.
  • the terrain data is, for example, a set of three-dimensional coordinates representing each point on the ground around the excavator.
  • the three-dimensional coordinates are, for example, coordinates in the camera coordinate system.
  • the camera coordinate system is a coordinate system based on the camera. For example, the origin is the center point of the camera S6, the X axis is in the middle of the two optical axes of the camera S6, and the plane includes the two optical axes. This is a three-dimensional orthogonal XYZ coordinate system that takes the Z axis vertically.
  • the terrain data generation unit 508 derives the three-dimensional coordinates of each measurement point in the camera coordinate system based on the distance to each measurement point derived by the stereo pair image acquisition unit 507.
  • the coordinate conversion unit 509 is a functional element that converts coordinates in the camera coordinate system into coordinates in another coordinate system.
  • the coordinate conversion unit 509 converts coordinates in the camera coordinate system into coordinates in the shovel coordinate system or the reference coordinate system.
  • the excavator coordinate system is a coordinate system based on the excavator.
  • the intersection of the turning axis of the upper revolving structure 3 and the ground contact surface of the lower traveling structure 1 is the origin, and the front and rear axes of the lower traveling structure 1 are the X axes.
  • the three-dimensional orthogonal XYZ coordinate system has a left and right axis of the lower traveling body 1 as a Y axis and a turning axis as a Z axis.
  • the reference coordinate system includes, for example, the world geodetic system.
  • World Geodetic System is a three-dimensional orthogonal XYZ with the origin at the center of gravity of the earth, the X axis in the direction of the intersection of the Greenwich meridian and the equator, the Y axis in the direction of 90 degrees east longitude, and the Z axis in the direction of the North Pole Coordinate system.
  • the coordinate conversion unit 509 converts the three-dimensional coordinates of each measurement point in the camera coordinate system derived by the topographic data generation unit 508 into coordinates in the world geodetic system.
  • the coordinate conversion unit 509 converts the three-dimensional coordinates of each measurement point in the camera coordinate system derived by the terrain data generation unit 508 into coordinates in the shovel coordinate system. Also good.
  • the coordinate correction unit 510 is a functional element that corrects the converted coordinates derived by the coordinate conversion unit 509.
  • the coordinate correction unit 510 has a common X-axis coordinate and Y-axis coordinate in the world geodetic system, and two or more coordinates having different Z-axis (height) coordinates correspond to one measurement point. Then, one representative Z-axis (height) coordinate is derived from two or more Z-axis (height) coordinates.
  • the coordinate correction unit 510 derives an average value of two or more Z-axis (height) coordinates as a representative Z-axis (height) coordinate.
  • the coordinate correction unit 510 can derive the height of the measurement point with higher accuracy as the number of Z-axis (height) coordinates used for deriving the representative Z-axis (height) coordinates increases.
  • the terrain data display unit 511 is a functional element that displays the terrain data generated by the machine guidance device 50.
  • the terrain data display unit 511 generates a three-dimensional image (for example, a wire frame, a polygon mesh, etc.) of the terrain around the shovel based on the terrain data, and displays it on the display device D3.
  • the terrain data is, for example, a coordinate after conversion derived by the coordinate conversion unit 509 or a set of corrected coordinates corrected by the coordinate correction unit 510.
  • the terrain data display unit 511 may generate a three-dimensional image of the designed terrain based on the design data, and display the three-dimensional image of the designed terrain on the display device D3 together with the three-dimensional image of the terrain around the excavator.
  • the terrain data display unit 511 may combine and display an image actually captured by the camera S6 on a three-dimensional image of the terrain around the excavator.
  • the operator of the excavator can visually check the generated terrain data and check whether there is an unmeasured location. And if there exists an unmeasured location, the topography of the unmeasured location can be measured arbitrarily.
  • FIG. 7 is a top view of the shovel and shows measurement target ranges X1 to X4 related to the camera S6 when the upper swing body 3 turns rightward.
  • the measurement target range X1 is a measurement target range included in a pair of camera images captured by the camera S6 when the shovel is facing the reference direction as indicated by a solid line in FIG.
  • the measurement target range X2 is a measurement target range included in a pair of camera images captured by the camera S6 when the upper swing body 3 pivots by the pivot angle ⁇ around the pivot axis SX as indicated by a broken line in FIG. .
  • the measurement target range X3 is a measurement target range included in a pair of camera images captured by the camera S6 when the upper swing body 3 further pivots around the pivot axis SX by the pivot angle ⁇ as indicated by a one-dot chain line in FIG. It is.
  • the measurement target range X4 is a measurement target included in a pair of camera images captured by the camera S6 when the upper swing body 3 further pivots around the pivot axis SX by the pivot angle ⁇ as indicated by a two-dot chain line in FIG. It is a range.
  • the overlapping measurement target range X12 indicates a range where the measurement target range X1 and the measurement target range X2 overlap.
  • the overlap measurement target range X23 indicates a range where the measurement target range X2 and the measurement target range X3 overlap, and the overlap measurement target range X34 indicates a range where the measurement target range X3 and the measurement target range X4 overlap.
  • the stereo pair image acquisition unit 507 acquires a stereo pair image each time the upper revolving unit 3 turns by the turning angle ⁇ , and derives the distance to each measurement point in the measurement target range included in each stereo pair image. Then, the terrain data generation unit 508 derives the three-dimensional coordinates of each measurement point in the camera coordinate system based on the distance to each measurement point derived by the stereo pair image acquisition unit 507. Then, the coordinate conversion unit 509 converts the three-dimensional coordinates of each measurement point in the camera coordinate system derived by the topographic data generation unit 508 into coordinates in the world geodetic system.
  • the machine guidance device 50 can acquire two Z-axis (height) coordinates for each measurement point included in the annular region TR around the excavator when the operator turns the upper turning body 3 360 degrees.
  • the coordinate correction unit 510 derives an average value of the two Z-axis (height) coordinates as a representative Z-axis (height) coordinate. .
  • the stereo pair image acquisition unit 507 may acquire a stereo pair image every time the upper swing body 3 turns by a turning angle 2 ⁇ (twice the turning angle ⁇ ).
  • the machine guidance apparatus 50 obtains one Z-axis (height) coordinate for each measurement point included in the annular region TR around the excavator, and the one Z-axis (height) coordinate is representative as it is.
  • the Z axis (height) coordinates In this way, the machine guidance device 50 can generate topographic data of the annular region TR.
  • FIG. 8 is a top view of the shovel, and shows a measurement target range regarding three cameras S6 (rear camera S6B, right camera S6R, and left camera S6L) when the upper swing body 3 rotates rightward.
  • the measurement target ranges X1, Y1, and Z1 are captured by the rear camera S6B, the right camera S6R, and the left camera S6L, respectively, when the shovel is facing the reference direction as indicated by the solid line in FIG.
  • This is a measurement target range included in the paired camera images.
  • the overlapping measurement target range X12 indicates a range where the measurement target range X1 and the measurement target range X2 overlap. The same applies to the overlapping measurement target ranges Y12, Z12, X23, Y23, and Z23.
  • the stereo pair image acquisition unit 507 acquires three pairs of stereo pair images each time the upper swing body 3 turns by the turning angle ⁇ , and derives the distance to each measurement point in the measurement target range included in each stereo pair image. .
  • the terrain data generation unit 508 derives the three-dimensional coordinates of each measurement point in the camera coordinate system based on the distance to each measurement point derived by the stereo pair image acquisition unit 507.
  • the coordinate conversion unit 509 converts the three-dimensional coordinates of each measurement point in the camera coordinate system derived by the topographic data generation unit 508 into coordinates in the world geodetic system.
  • the machine guidance device 50 acquires two or four Z-axis (height) coordinates for each measurement point included in the annular region TR around the excavator. it can.
  • the measurement points included in the annular region TR are measurement points having two Z-axis (height) coordinates derived from two pairs of stereo images captured by the left side camera S6L, and the right side camera S6R. Measurement points having two Z-axis (height) coordinates derived from two pairs of stereo pairs captured by the camera, and two pairs of stereo pairs captured by the left camera S6L or the right camera S6R and the rear camera S6B.
  • Is composed of measurement points having four Z-axis (height) coordinates derived from two pairs of stereo pair images captured.
  • a front camera may be additionally attached to the excavator.
  • the machine guidance device 50 can acquire two Z-axis (height) coordinates for each measurement point included in the annular region TR around the excavator when the operator turns the upper swing body 3 by 90 degrees.
  • the coordinate correction unit 510 uses the average value of the at least two Z-axis (height) coordinates as a representative Z-axis (height) coordinate. As derived.
  • the stereo pair image acquisition unit 507 may acquire a stereo pair image every time the upper swing body 3 turns by a turning angle 2 ⁇ (twice the turning angle ⁇ ).
  • the machine guidance device 50 acquires one or two Z-axis (height) coordinates for each measurement point included in the annular region TR around the excavator. If the number of Z-axis (height) coordinates is one, that one Z-axis (height) coordinate is used as a representative Z-axis (height) coordinate as it is, and the number of Z-axis (height) coordinates If there are two, the average value is used as a representative Z-axis (height) coordinate. In this way, the machine guidance device 50 can generate topographic data of the annular region TR.
  • FIG. 9A and 9B are top views of the excavator in which the camera S6 is mounted on the upper rear end of the upper swing body 3.
  • FIG. 9A shows an annular region TR1 (region indicated by hatching) representing a range of topographic data generated when a shovel that has stopped traveling is turned 360 degrees.
  • FIG. 9B shows an annular region TR2 that represents a range of terrain data generated when the excavator travels a predetermined distance D and then turns 360 degrees in addition to the annular region TR1 of FIG. 9A.
  • a region TR12 indicated by fine dot hatching indicates an overlapping region between the annular region TR1 and the annular region TR2.
  • the predetermined distance D is a length obtained by subtracting the inner diameter Db from the outer diameter Da of the annular regions TR1 and TR2. This is because when the excavator travels a predetermined distance D, the inner circle of the annular region TR1 and the outer circle of the annular region TR2 come into contact with each other, and the inner circle of the annular region TR2 and the outer circle of the annular region TR1 Means contact.
  • 9B represents the range of the terrain data generated for the first time when the excavator is driven a predetermined distance D and then turned 360 degrees. Specifically, a region inside the inner circle of the annular region TR1 and a region outside the outer circle of the annular region TR1 and inside the outer circle of the annular region TR2.
  • FIG. 10 shows the positional relationship between the excavator movement path CT and the annular regions TR1 to TR8. 10 shows that the excavator moves from the left to the right along the movement path CT, and the terrain data is generated in the order of the annular regions TR1, TR2,.
  • FIG. 10 shows the range of terrain data generated when the excavator turns 360 degrees each time the excavator moves by the distance D up to the annular region TR3.
  • the circular region TR4 to the circular region TR6 indicate the range of topographic data generated when the excavator turns 360 degrees each time the excavator moves by the distance (Da + Db).
  • From the annular region TR7 the range of the terrain data generated when the excavator turns 360 degrees each time the excavator moves by a distance 2 Da (twice the outer diameter Da of the annular region) is shown.
  • the machine guidance device 50 can generate terrain data while automatically acquiring a stereo pair image at an appropriate timing on an excavator that repeatedly turns and moves.
  • the machine guidance device 50 notifies the excavator operator of the operation content necessary to generate the terrain data of a desired range, while avoiding duplication as much as possible or causing duplication as much as possible.
  • the terrain data of the desired range may be generated. “Overlapping” means obtaining two or more different Z-axis (height) coordinates for one measurement point. Avoiding duplication brings about the effect that the terrain data can be generated efficiently, while creating duplication brings about the effect that the accuracy of the terrain data can be increased.
  • the topography of the work site changes every moment as the work progresses. Therefore, the machine guidance device 50 may acquire the latest terrain data by measuring the terrain around the excavator every predetermined time and updating the terrain data with the measurement result.
  • the amount of earth and sand that is a work target is, for example, the amount of earth and sand excavated by excavation work, the amount of earth and sand backfilled by backfilling work, and the like.
  • the machine guidance device 50 functioning as a shovel measuring device measures the topography around the shovel based on a stereo pair image captured by a camera capable of stereo shooting while the shovel is turning. Therefore, it is possible to generate terrain data around the excavator (for example, 360 degrees around). As a result, efficient management of construction progress can be realized.
  • the machine guidance device 50 measures the topography around the excavator based on a plurality of pairs of stereo pairs captured at various turning angles. Therefore, it is possible to narrow a blind spot area (area where terrain data cannot be generated) formed by objects existing around the excavator.
  • the periphery of the excavator is more efficiently and / or more accurately detected.
  • Terrain data can be generated.
  • the machine guidance device 50 can support the operation by the operator of the shovel using the terrain data generated in this way, or can execute the automatic control of the shovel. As a result, smooth construction can be realized.
  • the machine guidance device 50 measures the terrain around the excavator based on the stereo pair image, it can generate the terrain data more accurately than the configuration in which the terrain data is derived from the locus of the blade edge of the bucket. This is because, for example, it is possible to grasp changes in the ground surface due to earth and sand spilled from the bucket 6, earth and sand collapsed into a hollow, earth and sand refilled, and the like.
  • the machine guidance device 50 measures the topography around the excavator based on a stereo pair image captured by a camera attached to the upper swing body 3. Therefore, there is no need to install a camera outside the excavator, and the camera does not interfere with work.
  • the machine guidance device 50 is derived from the first position coordinates of the measurement point derived from the first stereo pair image and the second stereo pair image captured under conditions different from the first stereo pair image.
  • the position coordinates of the measurement point may be determined based on the second position coordinates of the measurement point.
  • the machine guidance device 50 also includes a first position coordinate of the measurement point derived from the stereo pair image captured by the first camera and a second position of the measurement point derived from the stereo pair image captured by the second camera.
  • the position coordinates of the measurement point may be determined based on the coordinates.
  • the machine guidance apparatus 50 may determine the position coordinate to be finally used from a plurality of position coordinates related to one measurement point. For example, an average value of a plurality of height coordinates may be used as the final height coordinate.
  • the functional unit for measuring the terrain around the excavator is mounted as a part of the machine guidance device 50, but may be incorporated in the controller 30 attached to the excavator body.
  • FIG. 11 is a diagram illustrating an example of a measurement system as a measurement device in which a functional unit for measuring the topography around a shovel is incorporated in at least one of a management device and a mobile terminal.
  • the measurement system includes an excavator PS, a management device FS, and a mobile terminal MS (support device).
  • the excavator PS, the management device FS, and the mobile terminal MS function as communication terminals connected to each other through the communication network CN.
  • the shovel PS, the management device FS, and the mobile terminal MS that constitute the measurement system may each be one or more than one.
  • the measurement system includes one excavator PS, one management device FS, and one mobile terminal MS.
  • the excavator PS has a communication device S7.
  • the communication device S7 transmits information to the outside of the excavator PS.
  • the communication device S7 transmits information that can be received by at least one of the management device FS and the mobile terminal MS.
  • the management device FS is a device that manages the work of the excavator PS, and is, for example, a computer provided with a display device installed in a management center or the like outside the work site.
  • the management apparatus FS may be a portable computer that can be carried by the user.
  • the mobile terminal MS is a communication terminal provided with a display device, and includes a smartphone, a tablet terminal, a notebook computer, and the like.
  • the communication device S7 of the excavator PS transmits information to the management device FS and the mobile terminal MS via the communication network CN.
  • This information includes information necessary for measuring the topography around the excavator.
  • the management device FS and the mobile terminal MS generate a three-dimensional image (for example, a wire frame, a polygon mesh, etc.) of the terrain around the excavator and display the three-dimensional image on an attached display device (display unit).
  • the administrator of the shovel PS can check the terrain around the shovel using at least one of the management device FS and the mobile terminal MS.
  • the excavator PS or the management device FS generates a three-dimensional image of the terrain around the excavator, transmits data relating to the generated three-dimensional image to the portable terminal MS, and the display device (display unit) of the portable terminal MS 3 A dimensional image may be displayed.
  • the machine guidance device 50 measures the terrain around the shovel based on the stereo pair image captured by the camera S6 while the shovel is turning.
  • the present invention is not limited to this configuration.
  • the machine guidance device 50 may measure the terrain around the excavator based on the stereo pair image captured by the camera S6 while the excavator is traveling, and the stereo captured by the camera S6 while the excavator is traveling and turning.
  • the topography around the excavator may be measured based on the pair image.
  • Inclination angle calculation unit 503 ... Height calculation unit 504 ... Comparison unit 505 ...
  • Alarm control unit 506 ...
  • Guidance data output unit 507 ... Stereo pair image acquisition unit 508 ...
  • Terrain data generation unit 509 ...
  • Coordinate conversion unit 510 ... Coordinate correction unit 511 ... Terrain data display unit B ... Object CN ... Communication network FS ... Management device MS ... Mobile terminal S1 ... Boom angle sensor S2 ... Arm angle sensor S3 ... Bucket angle sensor S4 ... Airframe tilt sensor S5 ... Turning angular velocity sensor S6, S6a ... Camera S6B ... Rear camera S6L ... Left camera S6R ... Right camera S61, S61a, S62 ... Image unit S7 ...
  • Communication device S8 ... Positioning device D1 ... Input device D2 ... Audio output device D3 ... Display device D3a ... Conversion processing unit D4 ... Storage device D5 ... Gate lock lever D6 ... Gate lock valve D7 ... Engine controller unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本発明の実施例に係るショベルの計測装置は、下部走行体（１）と、下部走行体（１）に旋回可能に搭載される上部旋回体（３）と、上部旋回体（３）に取り付けられるステレオ撮影可能なカメラ（Ｓ６）と、を備えるショベルの計測装置であって、ショベルの旋回中又は走行中にカメラ（Ｓ６）が撮像したステレオペア画像に基づいてショベル周辺の地形を計測する。

Description

ショベルの計測装置
　本発明は、ショベル周辺の地形を計測する計測装置に関する。
　ショベル本体の三次元位置と、ブーム、アーム、及びバケットのそれぞれの傾斜角と、ショベル本体の幅方向の傾斜角とに基づいてバケットの刃先の軌跡を導き出す表示システムを備えたショベルが知られている（例えば、特許文献１参照）。
　この表示システムは、設計データに基づく設計地形の断面図と刃先の軌跡によって表される現在の地形の断面図とをモニタ上に表示する。
特開２０１４－１４８８９３号公報
　しかしながら、特許文献１の表示システムは、バケットからこぼれ落ちた土砂、くぼみに崩れ落ちた土砂、埋め戻された土砂等を考慮していない。そのため、現在の地形の断面図を正確に表示できないおそれがある。
　上述に鑑み、ショベル周辺の地形をより正確に計測できる計測装置を提供することが望ましい。
　本発明の実施例に係るショベルの計測装置は、下部走行体と、前記下部走行体に旋回可能に搭載される上部旋回体と、前記上部旋回体に取り付けられるステレオ撮影可能なカメラとを備えるショベルの計測装置であって、ショベルの旋回中又は走行中に前記カメラが撮像したステレオペア画像に基づいてショベル周辺の地形を計測する。
　上述の手段により、ショベル周辺の地形をより正確に計測できる計測装置を提供できる。
本発明の実施例に係るショベルの側面図である。 図１のショベルの駆動系の構成を示す図である。 マシンガイダンス装置の構成例を示すブロック図である。 ステレオペア画像とカメラとの関係を示す図である。 ステレオペア画像とカメラとの関係を示す図である。 ステレオペア画像とカメラとの関係を示す図である。 カメラの取り付け位置を示すショベルの左側面図である。 カメラの撮像範囲を表すショベルの上面図である。 カメラの撮像範囲を表すショベルの上面図である。 上部旋回体が右方向に旋回する際のカメラに関する測定対象範囲を示すショベルの上面図である。 上部旋回体が右方向に旋回する際の３台のカメラに関する測定対象範囲を示すショベルの上面図である。 生成される地形データの範囲を表す円環状領域を示すショベルの上面図である。 生成される地形データの範囲を表す円環状領域を示すショベルの上面図である。 ショベルの移動経路と円環状領域の位置関係を示す図である。 ショベル周辺の地形を計測する計測システムの一例を示す図である。
　図１は本発明の実施例に係るショベル（掘削機）の側面図である。ショベルの下部走行体１には旋回機構２を介して上部旋回体３が旋回可能に搭載される。上部旋回体３にはブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられる。エンドアタッチメントとして、法面用バケット、浚渫用バケット等が用いられてもよい。
　ブーム４、アーム５、及びバケット６は、アタッチメントの一例としての掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。ブーム４にはブーム角度センサＳ１が取り付けられ、アーム５にはアーム角度センサＳ２が取り付けられ、バケット６にはバケット角度センサＳ３が取り付けられる。掘削アタッチメントには、バケットチルト機構が設けられてもよい。
　ブーム角度センサＳ１はブーム４の回動角度を検出する。本実施例では、ブーム角度センサＳ１は水平面に対する傾斜を検出して上部旋回体３に対するブーム４の回動角度を検出する加速度センサである。
　アーム角度センサＳ２はアーム５の回動角度を検出する。本実施例では、アーム角度センサＳ２は水平面に対する傾斜を検出してブーム４に対するアーム５の回動角度を検出する加速度センサである。
　バケット角度センサＳ３はバケット６の回動角度を検出する。本実施例では、バケット角度センサＳ３は水平面に対する傾斜を検出してアーム５に対するバケット６の回動角度を検出する加速度センサである。掘削アタッチメントがバケットチルト機構を備える場合、バケット角度センサＳ３はチルト軸回りのバケット６の回動角度を追加的に検出する。
　ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３は、可変抵抗器を利用したポテンショメータ、対応する油圧シリンダのストローク量を検出するストロークセンサ、連結ピン回りの回動角度を検出するロータリエンコーダ等であってもよい。
　上部旋回体３にはキャビン１０が設けられ且つエンジン１１等の動力源が搭載される。上部旋回体３には機体傾斜センサＳ４、旋回角速度センサＳ５、及びカメラＳ６が取り付けられる。通信装置Ｓ７及び測位装置Ｓ８が取り付けられてもよい。
　機体傾斜センサＳ４は水平面に対する上部旋回体３の傾斜を検出する。本実施例では、機体傾斜センサＳ４は上部旋回体３の前後軸及び左右軸回りの傾斜角を検出する２軸加速度センサである。上部旋回体３の前後軸及び左右軸は、例えば、互いに直交してショベルの旋回軸上の一点であるショベル中心点を通る。
　旋回角速度センサＳ５は、例えばジャイロセンサであり、上部旋回体３の旋回角速度を検出する。旋回角速度センサＳ５は、レゾルバ、ロータリエンコーダ等であってもよい。
　カメラＳ６はショベルの周辺の画像を取得するステレオ撮影可能な撮像装置である。本実施例では、カメラＳ６は上部旋回体３に取り付けられる１又は複数台のステレオカメラである。但し、カメラＳ６は単眼カメラであってもよい。この場合、カメラＳ６は、撮像位置を僅かに異ならせて撮像した２つのカメラ画像をステレオペア画像とする。撮像位置の移動は、例えば、上部旋回体３の旋回によって実現され、且つ、ジャイロセンサ、ＧＮＳＳ（Global Navigation Satellite System）等を用いて測定される。
　通信装置Ｓ７は、ショベルと外部との間の通信を制御する装置である。通信装置Ｓ７は、例えば、ＧＮＳＳ等の測量システムとショベルとの間の無線通信を制御する。ショベルは、通信装置Ｓ７を用いることで無線通信を介して目標施工面に関する情報等を含む設計データを取得できる。但し、ショベルは、半導体メモリ等を用いて設計データを取得してもよい。
　測位装置Ｓ８は、ショベルの位置及び向きを測定する装置である。本実施例では、測位装置Ｓ８は、電子コンパスを組み込んだＧＮＳＳ受信機であり、ショベルの存在位置の緯度、経度、高度を測定し、且つ、ショベルの向きを測定する。
　キャビン１０内には、入力装置Ｄ１、音声出力装置Ｄ２、表示装置（表示部）Ｄ３、記憶装置Ｄ４、ゲートロックレバーＤ５、コントローラ３０、及びマシンガイダンス装置５０が設置される。
　コントローラ３０は、ショベルの駆動制御を行う主制御部として機能する。本実施例では、コントローラ３０は、ＣＰＵ及び内部メモリを含む演算処理装置で構成される。コントローラ３０の各種機能は、ＣＰＵが内部メモリに格納されたプログラムを実行することで実現される。
　マシンガイダンス装置５０は、ショベルの操作をガイドする。本実施例では、マシンガイダンス装置５０は、例えば、操作者が設定した目標施工面とバケット６の先端（爪先）位置との鉛直方向における距離を視覚的に且つ聴覚的に操作者に報知する。これにより、マシンガイダンス装置５０は操作者によるショベルの操作をガイドする。マシンガイダンス装置５０は、その距離を視覚的に操作者に知らせるのみであってもよく、聴覚的に操作者に知らせるのみであってもよい。具体的には、マシンガイダンス装置５０は、コントローラ３０と同様、ＣＰＵ及び内部メモリを含む演算処理装置で構成される。マシンガイダンス装置５０の各種機能はＣＰＵが内部メモリに格納されたプログラムを実行することで実現される。マシンガイダンス装置５０は、コントローラ３０とは別個に設けられてもよく、或いは、コントローラ３０に組み込まれていてもよい。
　入力装置Ｄ１は、ショベルの操作者がマシンガイダンス装置５０に各種情報を入力するための装置である。本実施例では、入力装置Ｄ１は、表示装置Ｄ３の周囲に取り付けられるメンブレンスイッチである。入力装置Ｄ１としてタッチパネル等が用いられてもよい。
　音声出力装置Ｄ２は、マシンガイダンス装置５０からの音声出力指令に応じて各種音声情報を出力する。本実施例では、音声出力装置Ｄ２として、マシンガイダンス装置５０に直接接続される車載スピーカが利用される。音声出力装置Ｄ２として、ブザー等の警報器が利用されてもよい。
　表示装置Ｄ３は、マシンガイダンス装置５０からの指令に応じて各種画像情報を出力する。本実施例では、表示装置Ｄ３として、マシンガイダンス装置５０に直接接続される車載液晶ディスプレイが利用される。
　記憶装置Ｄ４は、各種情報を記憶するための装置である。本実施例では、記憶装置Ｄ４として、半導体メモリ等の不揮発性記憶媒体が用いられる。記憶装置Ｄ４は、マシンガイダンス装置５０等が出力する各種情報を記憶する。
　ゲートロックレバーＤ５は、ショベルが誤って操作されるのを防止する機構である。本実施例では、ゲートロックレバーＤ５は、キャビン１０のドアと運転席との間に配置される。キャビン１０から操作者が退出できないようにゲートロックレバーＤ５が引き上げられた場合に、各種操作装置は操作可能となる。一方、キャビン１０から操作者が退出できるようにゲートロックレバーＤ５が押し下げられた場合には、各種操作装置は操作不能となる。
　図２は、図１のショベルの駆動系の構成例を示す図である。図２において、機械的動力系は二重線、高圧油圧ラインは太実線、パイロットラインは破線、電気駆動・制御系は細実線でそれぞれ示される。
　エンジン１１はショベルの動力源である。本実施例では、エンジン１１は、エンジン負荷の増減にかかわらずエンジン回転数を一定に維持するアイソクロナス制御を採用したディーゼルエンジンである。エンジン１１における燃料噴射量、燃料噴射タイミング、ブースト圧等は、エンジンコントローラユニット（ＥＣＵ）Ｄ７により制御される。
　エンジン１１には油圧ポンプとしてのメインポンプ１４及びパイロットポンプ１５が接続される。メインポンプ１４には高圧油圧ラインを介してコントロールバルブ１７が接続される。
　コントロールバルブ１７は、ショベルの油圧系の制御を行う油圧制御装置である。右側走行用油圧モータ、左側走行用油圧モータ、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、旋回用油圧モータ等の油圧アクチュエータは、高圧油圧ラインを介してコントロールバルブ１７に接続される。旋回用油圧モータは旋回用電動発電機であってもよい。
　パイロットポンプ１５にはパイロットラインを介して操作装置２６が接続される。操作装置２６はレバー及びペダルを含む。操作装置２６は、油圧ライン及びゲートロック弁Ｄ６を介してコントロールバルブ１７に接続される。
　ゲートロック弁Ｄ６は、コントロールバルブ１７と操作装置２６とを接続する油圧ラインの連通・遮断を切り換える。本実施例では、ゲートロック弁Ｄ６は、コントローラ３０からの指令に応じて油圧ラインの連通・遮断を切り換える電磁弁である。コントローラ３０は、ゲートロックレバーＤ５が出力する状態信号に基づいてゲートロックレバーＤ５の状態を判定する。そして、コントローラ３０は、ゲートロックレバーＤ５が引き上げられた状態にあると判定した場合に、ゲートロック弁Ｄ６に対して連通指令を出力する。連通指令を受けると、ゲートロック弁Ｄ６は開いて油圧ラインを連通させる。その結果、操作装置２６に対する操作者の操作が有効となる。一方、コントローラ３０は、ゲートロックレバーＤ５が引き下げられた状態にあると判定した場合に、ゲートロック弁Ｄ６に対して遮断指令を出力する。遮断指令を受けると、ゲートロック弁Ｄ６は閉じて油圧ラインを遮断する。その結果、操作装置２６に対する操作者の操作が無効となる。
　圧力センサ２９は、操作装置２６の操作内容を圧力の形で検出する。圧力センサ２９は、検出値をコントローラ３０に対して出力する。
　図２はコントローラ３０と表示装置Ｄ３との接続関係を示す。本実施例では、表示装置Ｄ３はマシンガイダンス装置５０を介してコントローラ３０に接続される。表示装置Ｄ３、マシンガイダンス装置５０、及びコントローラ３０は、ＣＡＮ等の通信ネットワークを介して接続されてもよく、専用線を介して接続されてもよい。
　表示装置Ｄ３は画像を生成する変換処理部Ｄ３ａを含む。本実施例では、変換処理部Ｄ３ａは、カメラＳ６の出力に基づいて表示用のカメラ画像を生成する。そのため、表示装置Ｄ３は、マシンガイダンス装置５０に接続されたカメラＳ６の出力をマシンガイダンス装置５０を介して取得する。但し、カメラＳ６は、表示装置Ｄ３に接続されてもよく、コントローラ３０に接続されてもよい。
　変換処理部Ｄ３ａは、コントローラ３０又はマシンガイダンス装置５０の出力に基づいて表示用の画像を生成する。本実施例では、変換処理部Ｄ３ａは、コントローラ３０又はマシンガイダンス装置５０が出力する各種情報を画像信号に変換する。コントローラ３０が出力する情報は、例えば、エンジン冷却水の温度を示すデータ、作動油の温度を示すデータ、燃料の残量を示すデータ等を含む。マシンガイダンス装置５０が出力する情報は、バケット６の先端（爪先）位置を示すデータ、作業対象の法面の向きを示すデータ、ショベルの向きを示すデータ、ショベルを法面に正対させるための操作方向を示すデータ等を含む。
　変換処理部Ｄ３ａは、表示装置Ｄ３が有する機能としてではなく、コントローラ３０又はマシンガイダンス装置５０が有する機能として実現されてもよい。
　表示装置Ｄ３は、蓄電池７０から電力の供給を受けて動作する。蓄電池７０はエンジン１１のオルタネータ１１ａ（発電機）で発電した電力で充電される。蓄電池７０の電力は、コントローラ３０及び表示装置Ｄ３以外のショベルの電装品７２等にも供給される。エンジン１１のスタータ１１ｂは、蓄電池７０からの電力で駆動され、エンジン１１を始動する。
　エンジン１１は、エンジンコントローラユニットＤ７により制御される。エンジンコントローラユニットＤ７は、エンジン１１の状態を示す各種データをコントローラ３０に常時送信する。エンジン１１の状態を示す各種データは、例えば、水温センサ１１ｃで検出される冷却水温（物理量）を示すデータである。したがって、コントローラ３０は一時記憶部（メモリ）３０ａにこのデータを蓄積しておき、必要なときに表示装置Ｄ３に送信することができる。
　コントローラ３０には以下のように各種のデータが供給される。各種のデータは、コントローラ３０の一時記憶部３０ａに格納される。
　まず、可変容量式油圧ポンプであるメインポンプ１４のレギュレータ１４ａから斜板傾転角を示すデータがコントローラ３０に供給される。また、メインポンプ１４の吐出圧力を示すデータが、吐出圧力センサ１４ｂからコントローラ３０に送られる。これらのデータ（物理量を表すデータ）は一時記憶部３０ａに格納される。メインポンプ１４が吸入する作動油が貯蔵されたタンクとメインポンプ１４との間の管路には油温センサ１４ｃが設けられている。その管路を流れる作動油の温度を表すデータが油温センサ１４ｃからコントローラ３０に供給される。
　燃料収容部５５における燃料収容量検出部５５ａから燃料収容量を示すデータがコントローラ３０に供給される。本実施例では、燃料収容部５５としての燃料タンクにおける燃料収容量検出部５５ａとしての燃料残量センサから燃料の残量状態を示すデータがコントローラ３０に供給される。
　具体的には、燃料残量センサは、液面に追従するフロートと、フロートの上下変動量を抵抗値に変換する可変抵抗器（ポテンショメータ）とで構成される。この構成により、燃料残量センサは、表示装置Ｄ３で燃料の残量状態を無段階表示させることができる。燃料収容量検出部５５ａの検出方式は、使用環境等に応じて適宜選択され得るものであり、燃料の残量状態を段階表示させることができる検出方式が採用されてもよい。
　操作装置２６を操作した際にコントロールバルブ１７に送られるパイロット圧は、圧力センサ２９で検出される。圧力センサ２９は、検出したパイロット圧を示すデータをコントローラ３０に供給する。
　本実施例では、図２に示すように、ショベルは、キャビン１０内にエンジン回転数調整ダイヤル７５を備える。エンジン回転数調整ダイヤル７５は、エンジン１１の回転数を調整するためのダイヤルであり、本実施例ではエンジン回転数を４段階で切り換えできる。エンジン回転数調整ダイヤル７５からは、エンジン回転数の設定状態を示すデータがコントローラ３０に常時送信される。エンジン回転数調整ダイヤル７５は、ＳＰモード、Ｈモード、Ａモード、及びアイドリングモードの４段階でエンジン回転数を切り換えできる。図２は、エンジン回転数調整ダイヤル７５でＨモードが選択された状態を示す。
　ＳＰモードは、作業量を優先したい場合に選択される回転数モードであり、最も高いエンジン回転数を利用する。Ｈモードは、作業量と燃費を両立させたい場合に選択される回転数モードであり、二番目に高いエンジン回転数を利用する。Ａモードは、燃費を優先させながら低騒音でショベルを稼働させたい場合に選択される回転数モードであり、三番目に高いエンジン回転数を利用する。アイドリングモードは、エンジン１１をアイドリング状態にしたい場合に選択される回転数モードであり、最も低いエンジン回転数を利用する。そして、エンジン１１は、エンジン回転数調整ダイヤル７５で設定された回転数モードのエンジン回転数で一定に回転数制御される。
　次に、図３を参照しながら、マシンガイダンス装置５０の各種機能要素について説明する。図３は、マシンガイダンス装置５０の構成例を示す機能ブロック図である。
　本実施例では、コントローラ３０は、ショベル全体の動作の制御に加えて、マシンガイダンス装置５０によるガイダンスを行うか否かを制御する。具体的には、コントローラ３０は、ゲートロックレバーＤ５の状態、圧力センサ２９からの検出信号等に基づいてマシンガイダンス装置５０によるガイダンスを行うか否かを制御する。
　次に、マシンガイダンス装置５０について説明する。本実施例では、マシンガイダンス装置５０は、例えば、ブーム角度センサＳ１、アーム角度センサＳ２、バケット角度センサＳ３、機体傾斜センサＳ４、旋回角速度センサＳ５、入力装置Ｄ１、及びコントローラ３０から出力される各種信号及びデータを受信する。そして、マシンガイダンス装置５０は、受信した信号及びデータに基づいてアタッチメント（例えば、バケット６）の実際の位置を算出する。そして、マシンガイダンス装置５０は、アタッチメントの実際の位置が目標位置と異なる場合に、音声出力装置Ｄ２及び表示装置Ｄ３に警報指令を送信し、警報を発令させる。
　マシンガイダンス装置５０は、様々な機能を担う機能部を含む。本実施例では、マシンガイダンス装置５０は、アタッチメントの動作をガイダンスするための機能部として、傾斜角算出部５０１、高さ算出部５０３、比較部５０４、警報制御部５０５、及びガイダンスデータ出力部５０６を含む。また、マシンガイダンス装置５０は、ショベル周辺の地形を計測するための機能部として、ステレオペア画像取得部５０７、地形データ生成部５０８、座標変換部５０９、座標修正部５１０、及び地形データ表示部５１１を含み、ショベルの計測装置として機能する。
　傾斜角算出部５０１は、水平面に対する上部旋回体３の傾斜角（ショベルの傾斜角）を算出する。例えば、傾斜角算出部５０１は、機体傾斜センサＳ４からの検出信号を用いてショベルの傾斜角を算出する。
　高さ算出部５０３は、エンドアタッチメントの作業部位の高さを算出する。例えば、高さ算出部５０３は、傾斜角算出部５０１が算出した傾斜角と、ブーム４、アーム５、及びバケット６の角度とから、バケット６の先端（爪先）の高さを算出する。ブーム４、アーム５、及びバケット６の角度は、ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３の検出信号から算出される。本実施例では、バケット６の先端で掘削を行うため、バケット６の先端（爪先）はエンドアタッチメントの作業部位に相当する。一方、バケット６の背面で土砂をならすような作業をするときには、バケット６の背面がエンドアタッチメントの作業部位に相当する。バケット６以外のエンドアタッチメントとしてブレーカを用いた場合には、ブレーカの先端がエンドアタッチメントの作業部位に相当する。
　比較部５０４は、高さ算出部５０３が算出したバケット６の先端（爪先）の高さと、バケット６の先端（爪先）の目標高さとを比較する。目標高さは、ガイダンスデータ出力部５０６から出力されるガイダンスデータに含まれている。予め入力された設計図面とショベルの現在位置と作業姿勢とから算出されてもよい。設定された過去のショベルの爪先位置と、入力された目標深さと、ショベルの傾斜角と現在の作業姿勢（現在の爪先位置）から算出されてもよい。
　警報制御部５０５は、比較部５０４での比較結果に基づいて、警報が必要と判断した場合には警報指令を音声出力装置Ｄ２及び表示装置Ｄ３の両方又は一方に送信する。音声出力装置Ｄ２及び表示装置Ｄ３は、警報指令を受けると所定の警報を発してショベルの操作者に通報する。
　ガイダンスデータ出力部５０６は、マシンガイダンス装置５０の記憶装置に予め格納されていたガイダンスデータからバケット６の目標高さのデータを抽出して比較部５０４に対して出力する。この際、ガイダンスデータ出力部５０６は、ショベルの現在位置、作業姿勢、傾斜角等に対応するバケット６の目標高さのデータを出力してもよい。
　ステレオペア画像取得部５０７はステレオペア画像を取得する機能要素である。ステレオペア画像は、三角測量の手法を用いてカメラＳ６と測定対象となる点（以下、「測定点」とする。）との距離を導き出すために用いる１対のカメラ画像である。本実施例では、ステレオペア画像取得部５０７は、ステレオカメラであるカメラＳ６が出力する１対のカメラ画像をステレオペア画像として取得する。ステレオペア画像取得部５０７は、単眼カメラとしてのカメラＳ６が出力する２つのカメラ画像をステレオペア画像として取得してもよい。単眼カメラとしてのカメラＳ６がステレオペア画像としての２つのカメラ画像を取得する場合のカメラＳ６の撮像位置の移動は、例えば、上部旋回体３の旋回によって実現され、且つ、ジャイロセンサ、ＧＮＳＳ等を用いて測定される。そして、カメラＳ６の移動量から三角測量の手法を用い、ステレオカメラとしてのカメラＳ６の場合と同様にカメラＳ６と測定点との間の距離を導き出すことができる。また、カメラＳ６の取り付け位置、取り付け角度、焦点距離等のカメラＳ６に関するパラメータは予め記憶装置Ｄ４等に記憶されている。ステレオペア画像取得部５０７は、それらパラメータを必要に応じて記憶装置Ｄ４等から読み出す。
　ここで、図４Ａ～図４Ｃ及び図５を参照し、カメラＳ６の詳細について説明する。図４Ａ～図４Ｃは、ステレオペア画像とカメラＳ６との関係を示す図である。具体的には、図４ＡはステレオカメラとしてのカメラＳ６の上面図であり、図４Ｂは単眼カメラとしてのカメラＳ６ａの上面図である。図４ＣはカメラＳ６又はカメラＳ６ａが撮像したステレオペア画像の概略図である。また、図５は、カメラＳ６（カメラＳ６ａ）の取り付け位置を示すショベルの左側面図である。
　図４Ａに示すように、ステレオカメラとしてのカメラＳ６がショベルに取り付けられている場合、ステレオペア画像取得部５０７は、カメラＳ６における１対の撮像部Ｓ６１、Ｓ６２のそれぞれが同時に撮像した１対のカメラ画像をステレオペア画像として取得する。そして、取得した１対のカメラ画像のそれぞれにおける測定点Ｐに対応する画素の間のズレと、撮像部Ｓ６１と撮像部Ｓ６２との間の距離Ｌとに基づいて三角測量の手法を用いてカメラＳ６と測定点Ｐとの距離を取得する。
　また、図４Ｂに示すように、単眼カメラとしてのカメラＳ６ａがショベルに取り付けられている場合、ステレオペア画像取得部５０７は、カメラＳ６ａの撮像部Ｓ６１ａが異なるタイミングで撮像した２つのカメラ画像をステレオペア画像として取得する。例えば、ステレオペア画像取得部５０７は、カメラＳ６ａが実線で示す位置にあるときに撮像した第１のカメラ画像と、その後にカメラＳ６ａが破線で示す位置まで移動したときに撮像した第２のカメラ画像とをステレオペア画像として取得する。この場合、カメラＳ６ａの移動は、例えば、ショベル本体の走行によって実現される。そして、ステレオペア画像取得部５０７は、ＧＮＳＳの位置情報からカメラＳ６ａの移動量Ｌを決定し、図４Ａの場合と同様に三角測量の手法を用いてカメラＳ６ａと測定点Ｐとの距離を取得する。
　また、図４Ａ～図４Ｃでは、撮像部Ｓ６１及び（カメラＳ６ａが実線で示す位置にあるときの）撮像部Ｓ６１ａのそれぞれの撮像範囲は破線で囲まれた撮像範囲Ｒａで表される。また、撮像部Ｓ６２及び（カメラＳ６ａが破線で示す位置にあるときの）撮像部Ｓ６１ａのそれぞれの撮像範囲は破線で囲まれた撮像範囲Ｒｂで表される。また、撮像範囲Ｒａと撮像範囲Ｒｂとの重複撮像範囲Ｒはドットパターンでハッチングされている。一点鎖線で囲まれる測定対象範囲Ｘは測定点の存在範囲を示す。本実施例では、測定対象範囲Ｘは各カメラ画像の中心部分に限定される。各カメラ画像の周縁部は口径食、歪み等の影響により距離を正確に導き出せない場合があるためである。但し、本発明は測定対象範囲Ｘが周縁部を含む構成を除外しない。
　また、ステレオペア画像取得部５０７は、所定の取得条件が満たされる度にステレオペア画像を取得する。所定の取得条件は、例えば、上部旋回体３の旋回角度、ショベルの移動距離等に基づいて設定される。本実施例では、ステレオペア画像取得部５０７は、上部旋回体３が所定の旋回角度αだけ旋回する毎にステレオペア画像を取得する。旋回角度は、例えば、旋回角速度センサＳ５の出力から導き出される。また、ステレオペア画像取得部５０７は、ショベルが所定の距離Ｄだけ移動（走行）する毎にステレオペア画像を取得してもよい。移動距離は、例えば、測位装置Ｓ８の出力から導き出される。或いは、ステレオペア画像取得部５０７は、所望の測定点の画像を含むステレオペア画像を効率的に取得できるように、取得条件となる旋回角度、移動距離等に関する閾値を動的に決定してもよい。また、ステレオペア画像取得部５０７は、所定の時間間隔毎にステレオペア画像を取得してもよく、ショベルの操作者による操作入力（例えばスイッチ操作）に応じて任意のタイミングでステレオペア画像を取得してもよい。計測装置としてのマシンガイダンス装置５０は、このように取得したステレオペア画像からショベル周辺の地形を計測する。
　ここで図６Ａ及び図６Ｂを参照し、ステレオペア画像の取得条件の例について説明する。図６Ａ及び図６ＢはカメラＳ６の撮像範囲を表すショベルの上面図である。具体的には、図６ＡはカメラＳ６の重複撮像範囲Ｒ１、Ｒ２を示し、図６Ｂはショベルの後方に存在する物体Ｂによって形成される死角領域ＢＡ１、ＢＡ２を示す。また、図６Ａ及び図６Ｂのそれぞれにおける点線で示す部分は、旋回軸ＳＸ回りに上部旋回体３が旋回角度αだけ旋回したときの状態を示す。
　例えば、ステレオペア画像取得部５０７は、図６Ａの実線で示すようにショベルが基準方向を向いているときにカメラＳ６が撮像した１対のカメラ画像をステレオペア画像として取得する。重複撮像範囲Ｒ１は、このときのカメラＳ６が撮像した１対のカメラ画像のそれぞれの撮像範囲に関する重複撮像範囲を表す。
　その後、ステレオペア画像取得部５０７は、図６Ａの点線で示すように上部旋回体３が右回りに旋回角度αだけ旋回したときにカメラＳ６が撮像した１対のカメラ画像をステレオペア画像として取得する。重複撮像範囲Ｒ２は、このときのカメラＳ６が撮像した１対のカメラ画像のそれぞれの撮像範囲に関する重複撮像範囲を表す。
　また、図６Ｂは、上部旋回体３が旋回角度αだけ旋回する毎にステレオペア画像を取得することの効果の１つを示す。具体的には、死角領域ＢＡ１は、図６Ｂの実線で示すようにショベルが基準方向を向いているときに取得されたステレオペア画像においてその距離を計測できない測定点が存在する範囲を示す。また、死角領域ＢＡ２は、図６Ｂの点線で示すように上部旋回体３が右回りに旋回角度αだけ旋回したときに取得されたステレオペア画像においてその距離を計測できない測定点が存在する範囲を示す。そして、死角領域ＢＡ１２は死角領域ＢＡ１と死角領域ＢＡ２とが重複する範囲を示す。このように、旋回角度が異なるときに取得された２対のステレオペア画像を取得することで、ステレオペア画像取得部５０７は、１対のステレオペア画像では撮像されなかった範囲に含まれる測定点までの距離を導き出すことができる。
　また、ステレオペア画像取得部５０７は、所望のステレオペア画像が取得できるようにショベルの操作者に対して指示を出してもよい。例えば、ステレオペア画像取得部５０７は、音声出力装置Ｄ２及び表示装置Ｄ３の少なくとも一方に制御指令を出力して所望のステレオペア画像を取得するために必要な操作の内容をショベルの操作者に通知してもよい。具体的には、「右に旋回させて下さい」といった音声メッセージを出力させてもよい。
　地形データ生成部５０８は、地形データを生成する機能要素である。地形データは、例えば、ショベル周辺の地面上の各点を表す三次元座標の集合である。三次元座標は、例えば、カメラ座標系における座標である。カメラ座標系は、カメラを基準とする座標系であり、例えば、カメラＳ６の中心点を原点とし、カメラＳ６の２つの光軸の中間にＸ軸をとり、それら２つの光軸を含む平面に垂直にＺ軸をとる三次元直交ＸＹＺ座標系である。
　本実施例では、地形データ生成部５０８は、ステレオペア画像取得部５０７が導き出した各測定点までの距離に基づいてカメラ座標系における各測定点の三次元座標を導き出す。
　座標変換部５０９は、カメラ座標系における座標を他の座標系における座標に変換する機能要素である。例えば、座標変換部５０９は、カメラ座標系における座標をショベル座標系又は基準座標系における座標に変換する。ショベル座標系は、ショベルを基準とする座標系であり、例えば、上部旋回体３の旋回軸と下部走行体１の接地面との交点を原点とし、下部走行体１の前後軸をＸ軸とし、下部走行体１の左右軸をＹ軸とし、旋回軸をＺ軸とする三次元直交ＸＹＺ座標系である。基準座標系は、例えば世界測地系を含む。世界測地系は、地球の重心に原点をおき、Ｘ軸をグリニッジ子午線と赤道との交点の方向に、Ｙ軸を東経９０度の方向に、そしてＺ軸を北極の方向にとる三次元直交ＸＹＺ座標系である。
　本実施例では、座標変換部５０９は、地形データ生成部５０８が導き出したカメラ座標系における各測定点の三次元座標を世界測地系における座標に変換する。但し、ショベルを走行させずに地形データを生成する場合、座標変換部５０９は、地形データ生成部５０８が導き出したカメラ座標系における各測定点の三次元座標をショベル座標系における座標に変換してもよい。
　座標修正部５１０は、座標変換部５０９が導き出した変換後の座標を修正する機能要素である。本実施例では、座標修正部５１０は、世界測地系におけるＸ軸座標及びＹ軸座標が共通でＺ軸（高さ）座標が異なる２つ以上の座標が１つの測定点に対応している場合に、２つ以上のＺ軸（高さ）座標から１つの代表的なＺ軸（高さ）座標を導き出す。例えば、座標修正部５１０は、２つ以上のＺ軸（高さ）座標の平均値を代表的なＺ軸（高さ）座標として導き出す。座標修正部５１０は、この代表的なＺ軸（高さ）座標を導き出すために用いるＺ軸（高さ）座標の数が多いほどその測定点の高さをより高精度に導き出すことができる。
　地形データ表示部５１１は、マシンガイダンス装置５０が生成した地形データを表示する機能要素である。本実施例では、地形データ表示部５１１は、地形データに基づいてショベル周辺の地形の３次元画像（例えばワイヤフレーム、ポリゴンメッシュ等）を生成して表示装置Ｄ３に表示する。地形データは、例えば、座標変換部５０９が導き出した変換後の座標、又は、座標修正部５１０が修正した修正後の座標の集合である。地形データ表示部５１１は、設計データに基づいて設計地形の３次元画像を生成し、ショベル周辺の地形の３次元画像と共にその設計地形の３次元画像を表示装置Ｄ３に表示してもよい。地形データ表示部５１１は、ショベル周辺の地形の３次元画像に、カメラＳ６が現に撮像した画像を合成して表示してもよい。ショベルの操作者は、生成された地形データを視認し、未測定箇所の有無を確認できる。そして、未測定箇所があれば、その未測定箇所の地形を任意に計測できる。
　次に、図７を参照し、地形データの生成手順の一例について説明する。図７はショベルの上面図であり、上部旋回体３が右方向に旋回する際のカメラＳ６に関する測定対象範囲Ｘ１～Ｘ４を示す。具体的には、測定対象範囲Ｘ１は、図７の実線で示すようにショベルが基準方向を向いているときにカメラＳ６が撮像した１対のカメラ画像に含まれる測定対象範囲である。測定対象範囲Ｘ２は、図７の破線で示すように旋回軸ＳＸ回りに上部旋回体３が旋回角度αだけ旋回したときにカメラＳ６が撮像した１対のカメラ画像に含まれる測定対象範囲である。測定対象範囲Ｘ３は、図７の一点鎖線で示すように旋回軸ＳＸ回りに上部旋回体３が更に旋回角度αだけ旋回したときにカメラＳ６が撮像した１対のカメラ画像に含まれる測定対象範囲である。測定対象範囲Ｘ４は、図７の二点鎖線で示すように旋回軸ＳＸ回りに上部旋回体３が更に旋回角度αだけ旋回したときにカメラＳ６が撮像した１対のカメラ画像に含まれる測定対象範囲である。
　重複測定対象範囲Ｘ１２は、測定対象範囲Ｘ１と測定対象範囲Ｘ２が重複する範囲を示す。重複測定対象範囲Ｘ２３は、測定対象範囲Ｘ２と測定対象範囲Ｘ３が重複する範囲を示し、重複測定対象範囲Ｘ３４は、測定対象範囲Ｘ３と測定対象範囲Ｘ４が重複する範囲を示す。
　ステレオペア画像取得部５０７は、上部旋回体３が旋回角度αだけ旋回する度にステレオペア画像を取得し、各ステレオペア画像に含まれる測定対象範囲における各測定点までの距離を導き出す。そして、地形データ生成部５０８は、ステレオペア画像取得部５０７が導き出した各測定点までの距離に基づいてカメラ座標系における各測定点の三次元座標を導き出す。そして、座標変換部５０９は、地形データ生成部５０８が導き出したカメラ座標系における各測定点の三次元座標を世界測地系における座標に変換する。
　そのため、マシンガイダンス装置５０は、操作者が上部旋回体３を３６０度旋回させると、ショベル周辺の円環状領域ＴＲに含まれる各測定点につき２つのＺ軸（高さ）座標を取得できる。
　各測定点につき２つのＺ軸（高さ）座標を取得した場合、座標修正部５１０は、それら２つのＺ軸（高さ）座標の平均値を代表的なＺ軸（高さ）座標として導き出す。
　ステレオペア画像取得部５０７は、上部旋回体３が旋回角度２α（旋回角度αの２倍）だけ旋回する度にステレオペア画像を取得してもよい。この場合、マシンガイダンス装置５０は、ショベル周辺の円環状領域ＴＲに含まれる各測定点につき１つのＺ軸（高さ）座標を取得し、その１つのＺ軸（高さ）座標をそのまま代表的なＺ軸（高さ）座標とする。このようにして、マシンガイダンス装置５０は円環状領域ＴＲの地形データを生成できる。
　次に、図８を参照し、地形データの生成手順の別の一例について説明する。図８はショベルの上面図であり、上部旋回体３が右方向に旋回する際の３台のカメラＳ６（後方カメラＳ６Ｂ、右側方カメラＳ６Ｒ、左側方カメラＳ６Ｌ）に関する測定対象範囲を示す。具体的には、測定対象範囲Ｘ１、Ｙ１、Ｚ１は、図８の実線で示すようにショベルが基準方向を向いているときに後方カメラＳ６Ｂ、右側方カメラＳ６Ｒ、左側方カメラＳ６Ｌのそれぞれが撮像した１対のカメラ画像に含まれる測定対象範囲である。測定対象範囲Ｘ２、Ｙ２、Ｚ２、Ｘ３、Ｙ３、Ｚ３についても同様である。
　また、重複測定対象範囲Ｘ１２は、測定対象範囲Ｘ１と測定対象範囲Ｘ２が重複する範囲を示す。重複測定対象範囲Ｙ１２、Ｚ１２、Ｘ２３、Ｙ２３、Ｚ２３についても同様である。
　ステレオペア画像取得部５０７は、上部旋回体３が旋回角度αだけ旋回する度に３対のステレオペア画像を取得し、各ステレオペア画像に含まれる測定対象範囲における各測定点までの距離を導き出す。そして、地形データ生成部５０８は、ステレオペア画像取得部５０７が導き出した各測定点までの距離に基づいてカメラ座標系における各測定点の三次元座標を導き出す。そして、座標変換部５０９は、地形データ生成部５０８が導き出したカメラ座標系における各測定点の三次元座標を世界測地系における座標に変換する。
　そのため、マシンガイダンス装置５０は、操作者が上部旋回体３を１８０度旋回させると、ショベル周辺の円環状領域ＴＲに含まれる各測定点につき２つ又は４つのＺ軸（高さ）座標を取得できる。具体的には、円環状領域ＴＲに含まれる測定点は、左側方カメラＳ６Ｌが撮像した２対のステレオペア画像から導き出される２つのＺ軸（高さ）座標を有する測定点、右側方カメラＳ６Ｒが撮像した２対のステレオペア画像から導き出される２つのＺ軸（高さ）座標を有する測定点、及び、左側方カメラＳ６Ｌ又は右側方カメラＳ６Ｒが撮像した２対のステレオペア画像と後方カメラＳ６Ｂが撮像した２対のステレオペア画像とから導き出される４つのＺ軸（高さ）座標を有する測定点で構成される。ショベルには前方カメラが追加的に取り付けられていてもよい。この場合、マシンガイダンス装置５０は、操作者が上部旋回体３を９０度旋回させると、ショベル周辺の円環状領域ＴＲに含まれる各測定点につき２つのＺ軸（高さ）座標を取得できる。
　各測定点につき少なくとも２つのＺ軸（高さ）座標を取得した場合、座標修正部５１０は、それら少なくとも２つのＺ軸（高さ）座標の平均値を代表的なＺ軸（高さ）座標として導き出す。
　ステレオペア画像取得部５０７は、上部旋回体３が旋回角度２α（旋回角度αの２倍）だけ旋回する度にステレオペア画像を取得してもよい。この場合、マシンガイダンス装置５０は、ショベル周辺の円環状領域ＴＲに含まれる各測定点につき１つ又は２つのＺ軸（高さ）座標を取得する。そして、Ｚ軸（高さ）座標の数が１つの場合にはその１つのＺ軸（高さ）座標をそのまま代表的なＺ軸（高さ）座標とし、Ｚ軸（高さ）座標の数が２つの場合にはその平均値を代表的なＺ軸（高さ）座標とする。このようにして、マシンガイダンス装置５０は円環状領域ＴＲの地形データを生成できる。
　次に、図９Ａ、図９Ｂ及び図１０を参照し、旋回と走行を繰り返すショベルに搭載されたマシンガイダンス装置５０が地形データを生成する様子について説明する。図９Ａ及び図９Ｂは、上部旋回体３の上部後端にカメラＳ６を搭載するショベルの上面図である。具体的には、図９Ａは走行停止中のショベルを３６０度旋回させたときに生成される地形データの範囲を表す円環状領域ＴＲ１（斜線ハッチングで示す領域）を示す。また、図９Ｂは、図９Ａの円環状領域ＴＲ１に加え、ショベルを所定の距離Ｄだけ走行させてから３６０度旋回させたときに生成される地形データの範囲を表す円環状領域ＴＲ２を示す。また、細かいドットハッチングで示す領域ＴＲ１２は、円環状領域ＴＲ１と円環状領域ＴＲ２との重複領域を示す。また、所定の距離Ｄは、円環状領域ＴＲ１、ＴＲ２の外径Ｄａから内径Ｄｂを差し引いた長さである。これは、ショベルが所定の距離Ｄだけ走行すると、円環状領域ＴＲ１の内円と円環状領域ＴＲ２の外円とが接し、且つ、円環状領域ＴＲ２の内円と円環状領域ＴＲ１の外円とが接することを意味する。また、図９Ｂの粗いドットハッチングで示す領域は、ショベルを所定の距離Ｄだけ走行させてから３６０度旋回させたときに初めて生成される地形データの範囲を表す。具体的には、円環状領域ＴＲ１の内円の内側の領域、及び、円環状領域ＴＲ１の外円の外側で且つ円環状領域ＴＲ２の外円の内側の領域である。
　次に、図１０を参照し、移動するショベルが地形データの生成のために３６０度旋回を行うタイミングとその３６０度旋回によって生成される地形データの範囲（円環状領域）について説明する。図１０は、ショベルの移動経路ＣＴと円環状領域ＴＲ１～ＴＲ８の位置関係を示す。また、図１０は、ショベルが移動経路ＣＴに沿って左から右に移動し、円環状領域ＴＲ１、ＴＲ２、・・・の順で地形データが生成されることを示す。
　図１０は、円環状領域ＴＲ３までは、ショベルが距離Ｄだけ移動する毎に３６０度旋回した場合に生成される地形データの範囲を示す。円環状領域ＴＲ４から円環状領域ＴＲ６までは、ショベルが距離（Ｄａ＋Ｄｂ）だけ移動する毎に３６０度旋回した場合に生成される地形データの範囲を示す。円環状領域ＴＲ７からは、ショベルが距離２Ｄａ（円環状領域の外径Ｄａの２倍）だけ移動する毎に３６０度旋回した場合に生成される地形データの範囲を示す。
　このようにして、マシンガイダンス装置５０は、旋回と移動を繰り返すショベルの上でステレオペア画像を適切なタイミングで自動的に取得しながら地形データを生成できる。
　マシンガイダンス装置５０は、所望の範囲の地形データを生成するために必要な操作の内容をショベルの操作者に通知し、できるだけ重複を避けるようにしながら、或いは、できるだけ重複を生じさせるようにしながら、その所望の範囲の地形データを生成してもよい。「重複」は、１つの測定点に関して２つ以上の異なるＺ軸（高さ）座標を取得することを意味する。そして、重複を避けることは地形データを効率的に生成できるという効果をもたらし、一方で、重複を生じさせることは地形データの精度を高めることができるという効果をもたらす。但し、作業現場の地形は、作業の進行に伴って刻々と変化する。そのため、マシンガイダンス装置５０は、所定時間毎にショベル周辺の地形を計測し、その計測結果で地形データを更新することで最新の地形データを取得してもよい。また、新旧の地形データを比較することで作業対象となった土砂の量を算出してもよい。作業対象となった土砂の量は、例えば、掘削作業によって掘削された土砂の量、埋め戻し作業で埋め戻された土砂の量等である。
　以上の構成により、ショベルの計測装置として機能するマシンガイダンス装置５０は、ショベルの旋回中にステレオ撮影可能なカメラが撮像したステレオペア画像に基づいてショベル周辺の地形を計測する。そのため、ショベル周辺（例えば周囲３６０度）の地形データを生成できる。その結果、施工の進捗状況の効率的な管理を実現できる。
　また、マシンガイダンス装置５０は、様々な旋回角度で撮像した複数対のステレオペア画像に基づいてショベル周辺の地形を計測する。そのため、ショベル周辺に存在する物体によって形成される死角領域（地形データを生成できない領域）を狭めることができる。
　また、後方カメラＳ６Ｂ、右側方カメラＳ６Ｒ、及び左側方カメラＳ６Ｌの３台のカメラのそれぞれが撮像したステレオペア画像を利用することで、より効率的に、且つ／或いは、より高精度にショベル周辺の地形データを生成できる。
　また、マシンガイダンス装置５０は、このように生成した地形データを用い、ショベルの操作者による操作を支援でき、或いは、ショベルの自動コントロールを実行できる。その結果、スムーズな施工を実現できる。
　また、マシンガイダンス装置５０は、ステレオペア画像に基づいてショベル周辺の地形を計測するため、バケットの刃先の軌跡から地形データを導き出す構成よりも正確に地形データを生成できる。例えば、バケット６からこぼれ落ちた土砂、くぼみに崩れ落ちた土砂、埋め戻された土砂等による地表面の変化を把握できるためである。
　また、マシンガイダンス装置５０は、上部旋回体３に取り付けられたカメラが撮像したステレオペア画像に基づいてショベル周辺の地形を計測する。そのため、ショベルの外部にカメラを設置する必要が無く、カメラが作業の邪魔になることもない。
　また、マシンガイダンス装置５０は、第１のステレオペア画像から導き出される測定点の第１の位置座標と、第１のステレオペア画像とは異なる条件で撮像された第２のステレオペア画像から導き出されるその測定点の第２の位置座標とに基づいてその測定点の位置座標を決定してもよい。また、マシンガイダンス装置５０は、第１カメラが撮像したステレオペア画像から導き出される測定点の第１の位置座標と、第２カメラが撮像したステレオペア画像から導き出されるその測定点の第２の位置座標とに基づいてその測定点の位置座標を決定してもよい。このように、マシンガイダンス装置５０は、１つの測定点に関する複数の位置座標から最終的に使用する位置座標を決定してもよい。例えば、複数の高さ座標の平均値を最終的な高さ座標としてもよい。
　以上、本発明の好ましい実施例が詳説された。しかし、本発明は、上述した実施例に制限されることはない。本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
　例えば、上述の実施例では、ショベル周辺の地形を計測するための機能部は、マシンガイダンス装置５０の一部として実装されているが、ショベル本体に取り付けられたコントローラ３０に組み込まれてもよい。また、ショベルの外部に設置された管理装置、又は、スマートフォン等の携帯端末に組み込まれてもよい。
　図１１は、ショベル周辺の地形を計測するための機能部が管理装置及び携帯端末の少なくとも１つに組み込まれた、計測装置としての計測システムの一例を示す図である。図１１で示すように、計測システムは、ショベルＰＳ、管理装置ＦＳ、携帯端末ＭＳ（支援装置）を含む。ショベルＰＳ、管理装置ＦＳ、及び携帯端末ＭＳは、通信ネットワークＣＮを通じて互いに接続される通信端末として機能する。計測システムを構成するショベルＰＳ、管理装置ＦＳ、及び携帯端末ＭＳは、それぞれ１台であってもよく、複数台であってもよい。図１１の例では、計測システムは、１台のショベルＰＳと、１台の管理装置ＦＳと、１台の携帯端末ＭＳとを含む。
　ショベルＰＳは通信装置Ｓ７を有する。通信装置Ｓ７はショベルＰＳの外部に向けて情報を発信する。通信装置Ｓ７は、例えば、管理装置ＦＳ及び携帯端末ＭＳの少なくとも一方が受信可能な情報を発信する。
　管理装置ＦＳは、ショベルＰＳの作業を管理する装置であり、例えば、作業現場外の管理センタ等に設置される、表示装置を備えたコンピュータである。管理装置ＦＳは、使用者が持ち運び可能な可搬性のコンピュータであってもよい。携帯端末ＭＳは、表示装置を備えた通信端末であり、スマートフォン、タブレット端末、ノートパソコン等を含む。
　ショベルＰＳにおいてステレオペア画像が取得された場合、ショベルＰＳの通信装置Ｓ７は、通信ネットワークＣＮを介して管理装置ＦＳ及び携帯端末ＭＳに情報を発信する。この情報は、ショベル周辺の地形を計測するために必要な情報を含む。管理装置ＦＳ及び携帯端末ＭＳは、ショベル周辺の地形の３次元画像（例えばワイヤフレーム、ポリゴンメッシュ等）を生成し、その三次元画像を付属の表示装置（表示部）に表示する。これにより、ショベルＰＳの管理者等は、管理装置ＦＳ及び携帯端末ＭＳの少なくとも一方を用いてショベル周辺の地形を確認できる。その結果、バケット６からこぼれ落ちた土砂、くぼみに崩れ落ちた土砂、埋め戻された土砂等による地表面の変化を把握でき、施工の進捗状況の効率的な管理を実現できる。
　或いは、ショベルＰＳ又は管理装置ＦＳは、ショベル周辺の地形の３次元画像を生成し、生成した３次元画像に関するデータを携帯端末ＭＳに送信し、携帯端末ＭＳの表示装置（表示部）でその３次元画像を表示させるようにしてもよい。
　また、上述の実施例では、マシンガイダンス装置５０は、ショベルの旋回中にカメラＳ６が撮像したステレオペア画像に基づいてショベル周辺の地形を計測する。しかしながら、本発明はこの構成に限定されるものではない。例えば、マシンガイダンス装置５０は、ショベルの走行中にカメラＳ６が撮像したステレオペア画像に基づいてショベル周辺の地形を計測してもよく、ショベルの走行中で且つ旋回中にカメラＳ６が撮像したステレオペア画像に基づいてショベル周辺の地形を計測してもよい。
　本願は、２０１５年８月２６日に出願した日本国特許出願２０１５－１６７１６６号に基づく優先権を主張するものであり、この日本国特許出願の全内容を本願に参照により援用する。
　１・・・下部走行体　２・・・旋回機構　３・・・上部旋回体　４・・・ブーム　５・・・アーム　６・・・バケット　７・・・ブームシリンダ　８・・・アームシリンダ　９・・・バケットシリンダ　１０・・・キャビン　１１・・・エンジン　１１ａ・・・オルタネータ　１１ｂ・・・スタータ　１１ｃ・・・水温センサ　１４・・・メインポンプ　１４ａ・・・レギュレータ　１４ｂ・・・吐出圧力センサ　１４ｃ・・・油温センサ　１５・・・パイロットポンプ　１７・・・コントロールバルブ　２６・・・操作装置　２９・・・圧力センサ　３０・・・コントローラ　３０ａ・・・一時記憶部　５０・・・マシンガイダンス装置　５５・・・燃料収容部　５５ａ・・・燃料収容量検出部　７０・・・蓄電池　７２・・・電装品　７５・・・エンジン回転数調整ダイヤル　５０１・・・傾斜角算出部　５０３・・・高さ算出部　５０４・・・比較部　５０５・・・警報制御部　５０６・・・ガイダンスデータ出力部　５０７・・・ステレオペア画像取得部　５０８・・・地形データ生成部　５０９・・・座標変換部　５１０・・・座標修正部　５１１・・・地形データ表示部　Ｂ・・・物体　ＣＮ・・・通信ネットワーク　ＦＳ・・・管理装置　ＭＳ・・・携帯端末　Ｓ１・・・ブーム角度センサ　Ｓ２・・・アーム角度センサ　Ｓ３・・・バケット角度センサ　Ｓ４・・・機体傾斜センサ　Ｓ５・・・旋回角速度センサ　Ｓ６、Ｓ６ａ・・・カメラ　Ｓ６Ｂ・・・後方カメラ　Ｓ６Ｌ・・・左側方カメラ　Ｓ６Ｒ・・・右側方カメラ　Ｓ６１、Ｓ６１ａ、Ｓ６２・・・撮像部　Ｓ７・・・通信装置　Ｓ８・・・測位装置　Ｄ１・・・入力装置　Ｄ２・・・音声出力装置　Ｄ３・・・表示装置　Ｄ３ａ・・・変換処理部　Ｄ４・・・記憶装置　Ｄ５・・・ゲートロックレバー　Ｄ６・・・ゲートロック弁　Ｄ７・・・エンジンコントローラユニット

Claims (10)

  1. 　下部走行体と、前記下部走行体に旋回可能に搭載される上部旋回体と、前記上部旋回体に取り付けられるステレオ撮影可能なカメラとを備えるショベルの計測装置であって、
    　ショベルの旋回中又は走行中に前記カメラが撮像したステレオペア画像に基づいてショベル周辺の地形を計測する、ショベルの計測装置。
  2. 　前記カメラは複数のカメラで構成され、
    　前記複数のカメラを用いて撮像されたステレオペア画像からショベル周辺の地形を計測する、
    　請求項１に記載のショベルの計測装置。
  3. 　前記カメラは単眼カメラであり、
    　前記カメラが異なるタイミングで撮像した２つの画像をステレオペア画像として取得し、取得したステレオペア画像からショベル周辺の地形を計測する、
    　請求項１に記載のショベルの計測装置。
  4. 　カメラ座標系における地形データをショベル座標系における地形データに変換する、
    　請求項１に記載のショベルの計測装置。
  5. 　カメラ座標系における地形データを基準座標系における地形データに変換し、
    　前記基準座標系は世界測地系を含む、
    　請求項１に記載のショベルの計測装置。
  6. 　所定距離だけ走行する毎に、且つ／或いは、所定角度だけ旋回する毎に、且つ／或いは、所定の時間間隔毎に地形を計測する、
    　請求項１に記載のショベルの計測装置。
  7. 　前記ショベルの操作者による操作入力に応じて地形を計測する、
    　請求項１に記載のショベルの計測装置。
  8. 　地形データと設計データを同時に表示する、
    　請求項１に記載のショベルの計測装置。
  9. 　地形を計測すると同時にカメラ画像を取得し、地形データの上にカメラ画像を合成して表示する、
    　請求項１に記載のショベルの計測装置。
  10. 　所定時間毎に地形を計測し、その計測結果で地形データを更新することで最新の地形データを取得し、新旧の地形データを比較することで作業対象となった土砂の量を算出する、
    　請求項１に記載のショベルの計測装置。
PCT/JP2016/074763 2015-08-26 2016-08-25 ショベルの計測装置 WO2017033991A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201680049597.6A CN107923745B (zh) 2015-08-26 2016-08-25 挖土机的测量装置
KR1020187004675A KR20180042251A (ko) 2015-08-26 2016-08-25 쇼벨의 계측장치
EP16839338.7A EP3343171B1 (en) 2015-08-26 2016-08-25 Measurement device for a shovel
JP2017536473A JPWO2017033991A1 (ja) 2015-08-26 2016-08-25 ショベルの計測装置
US15/896,645 US10679371B2 (en) 2015-08-26 2018-02-14 Measurement device of shovel
US15/930,569 US11288827B2 (en) 2015-08-26 2020-05-13 Measurement device of shovel

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-167166 2015-08-26
JP2015167166 2015-08-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/896,645 Continuation US10679371B2 (en) 2015-08-26 2018-02-14 Measurement device of shovel

Publications (1)

Publication Number Publication Date
WO2017033991A1 true WO2017033991A1 (ja) 2017-03-02

Family

ID=58100306

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/074763 WO2017033991A1 (ja) 2015-08-26 2016-08-25 ショベルの計測装置

Country Status (6)

Country Link
US (2) US10679371B2 (ja)
EP (1) EP3343171B1 (ja)
JP (2) JPWO2017033991A1 (ja)
KR (1) KR20180042251A (ja)
CN (2) CN107923745B (ja)
WO (1) WO2017033991A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019044316A1 (ja) * 2017-09-01 2019-03-07 株式会社小松製作所 作業機械の計測システム、作業機械、及び作業機械の計測方法
WO2020003633A1 (ja) * 2018-06-29 2020-01-02 株式会社小松製作所 表示制御システム、表示制御装置、および表示制御方法
JPWO2019026802A1 (ja) * 2017-07-31 2020-07-27 住友重機械工業株式会社 ショベル
JP2020125668A (ja) * 2019-01-25 2020-08-20 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 材料スタックの３次元再構成方法、装置、電子デバイス及びコンピュータ可読媒体
WO2020241572A1 (ja) * 2019-05-31 2020-12-03 株式会社小松製作所 マップ生成システム及びマップ生成方法
JP2021008776A (ja) * 2019-07-02 2021-01-28 住友建機株式会社 ショベル
JP7511049B2 (ja) 2023-05-11 2024-07-04 株式会社トプコン 測量装置、測量方法および測量用プログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7204366B2 (ja) * 2018-07-31 2023-01-16 株式会社小松製作所 作業機械を制御するためのシステム及び方法
US10755484B1 (en) * 2018-08-17 2020-08-25 Bentley Systems, Incorporated Estimating subsurface feature locations during excavation
JP7301514B2 (ja) * 2018-09-21 2023-07-03 日立建機株式会社 座標変換システム及び作業機械
KR20210106409A (ko) * 2018-10-19 2021-08-30 스미토모 겐키 가부시키가이샤 쇼벨
JP2020143476A (ja) * 2019-03-05 2020-09-10 住友重機械工業株式会社 作業機械用画像取得装置、情報管理システム、情報端末、作業機械用画像取得プログラム
JP7407178B2 (ja) * 2019-04-26 2023-12-28 住友建機株式会社 ショベル
JP7165638B2 (ja) * 2019-09-25 2022-11-04 日立建機株式会社 作業機械
CN112836268B (zh) * 2019-11-25 2024-06-07 深圳云天励飞技术有限公司 管道挖掘方法及相关产品
JP7423391B2 (ja) * 2020-04-03 2024-01-31 株式会社小松製作所 表示システム、プログラムおよび表示システムの制御方法
EP4159932A4 (en) * 2020-05-25 2023-12-06 Sumitomo Construction Machinery Co., Ltd. EXCAVATOR AND EXCAVATOR SYSTEM

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04222175A (ja) * 1990-12-22 1992-08-12 Reatsukusu:Kk トンネル坑壁画像の記録解析装置
JPH09126743A (ja) * 1995-11-01 1997-05-16 Mitsubishi Heavy Ind Ltd 路面映像取得装置
JPH11211473A (ja) * 1998-01-22 1999-08-06 Komatsu Ltd 地形形状計測装置
JP2002328022A (ja) * 2001-05-02 2002-11-15 Komatsu Ltd 地形形状計測装置およびガイダンス装置
JP2002352224A (ja) * 2001-05-29 2002-12-06 Topcon Corp 画像測定表示装置、画像測定表示システム、施工管理方法、施工状態監視システム
JP2009541778A (ja) * 2007-08-02 2009-11-26 インハ インダストリー パートナーシップ インスティテュート 構造光を使用した土工量算出装置及び方法
JP2012173114A (ja) * 2011-02-21 2012-09-10 Topcon Corp 全周画像計測装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4222175Y1 (ja) * 1966-06-11 1967-12-19
JPS4943899B1 (ja) 1973-08-21 1974-11-25
JPS60115972A (ja) 1983-11-28 1985-06-22 Fuji Xerox Co Ltd 複写機の現像装置
JP3206874B2 (ja) * 1995-10-16 2001-09-10 鹿島建設株式会社 遠隔施工支援用の画像システム
US5854988A (en) 1996-06-05 1998-12-29 Topcon Laser Systems, Inc. Method for controlling an excavator
JP4193233B2 (ja) * 1998-08-12 2008-12-10 ソニー株式会社 動き判定装置、その方法および画像情報変換装置
JP2000291048A (ja) 1999-04-01 2000-10-17 Tokai Rika Co Ltd パワーショベル
JP3803750B2 (ja) * 2002-02-22 2006-08-02 防衛庁技術研究本部長 体積計測方法及び体積計測プログラム
JP2003329448A (ja) * 2002-05-10 2003-11-19 Komatsu Ltd 現場の３次元情報生成システム
JP3974491B2 (ja) * 2002-09-30 2007-09-12 三井住友建設株式会社 地形計測方法及び装置
DE10353212A1 (de) * 2003-11-13 2005-06-23 Db Netz Ag Verfahren und Vorrichtung zur Erkennung und Vermessung von Vegetation im Umfeld von Verkehrswegen
CN1237327C (zh) * 2004-04-20 2006-01-18 长安大学 一种识别路面裂缝的系统和方法
JP4943034B2 (ja) 2006-03-23 2012-05-30 株式会社デンソーアイティーラボラトリ ステレオ画像処理装置
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
US7865285B2 (en) * 2006-12-27 2011-01-04 Caterpillar Inc Machine control system and method
JP4996928B2 (ja) * 2007-01-05 2012-08-08 日立建機株式会社 作業機械の周囲監視装置
JP4943899B2 (ja) 2007-03-05 2012-05-30 株式会社日立国際電気 画像表示方法及び画像表示プログラム
US8351684B2 (en) * 2008-02-13 2013-01-08 Caterpillar Inc. Terrain map updating system
JP2010043961A (ja) * 2008-08-13 2010-02-25 Acutelogic Corp 三次元画像計測システム
JP5390813B2 (ja) 2008-09-02 2014-01-15 東急建設株式会社 空間情報表示装置及び支援装置
JP5227139B2 (ja) * 2008-11-12 2013-07-03 株式会社トプコン 建設機械
JP5667638B2 (ja) * 2010-10-22 2015-02-12 日立建機株式会社 作業機械の周辺監視装置
JP5497617B2 (ja) * 2010-11-16 2014-05-21 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5202667B2 (ja) * 2011-02-22 2013-06-05 株式会社小松製作所 油圧ショベルの位置誘導システム及びその制御方法
GB2494414A (en) * 2011-09-06 2013-03-13 Land Rover Uk Ltd Terrain visualisation for vehicle using combined colour camera and time of flight (ToF) camera images for augmented display
JP6029306B2 (ja) * 2012-03-29 2016-11-24 住友建機株式会社 作業機械用周辺監視装置
JP6084613B2 (ja) * 2012-07-19 2017-02-22 住友建機株式会社 ショベル
US9300954B2 (en) 2012-09-21 2016-03-29 Tadano Ltd. Surrounding information-obtaining device for working vehicle
JP6080450B2 (ja) * 2012-09-21 2017-02-15 株式会社タダノ 監視カメラ装置
WO2016089428A1 (en) * 2014-12-03 2016-06-09 Faro Technologies, Inc. Using a two-dimensional scanner to speed registration of three-dimensional scan data
JP6147037B2 (ja) 2013-03-14 2017-06-14 株式会社トプコン 建設機械制御システム
CN104048649B (zh) * 2013-03-15 2016-08-03 南京中观软件技术有限公司 一种多视影像与三维模型的快速配准方法
JP2014185996A (ja) 2013-03-25 2014-10-02 Toshiba Corp 計測装置
JP6073168B2 (ja) 2013-03-27 2017-02-01 住友建機株式会社 ショベル
JP6091977B2 (ja) * 2013-04-22 2017-03-08 日立建機株式会社 建設機械
JP6386213B2 (ja) 2013-05-16 2018-09-05 住友建機株式会社 ショベル
CN103528571B (zh) * 2013-10-12 2016-04-06 上海新跃仪表厂 单目立体视觉相对位姿测量方法
JP6326237B2 (ja) * 2014-01-31 2018-05-16 株式会社トプコン 測定システム
CN103821126B (zh) * 2014-02-12 2015-11-25 广州市恒盛建设工程有限公司 一种基坑三维变形的监测方法
JP5781668B2 (ja) * 2014-05-30 2015-09-24 株式会社小松製作所 油圧ショベルの表示システム
CN104101450B (zh) * 2014-08-01 2017-03-15 武汉理工光科股份有限公司 地埋式光纤光栅型周界入侵探测器
CN104374376B (zh) * 2014-11-05 2016-06-15 北京大学 一种车载三维测量系统装置及其应用

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04222175A (ja) * 1990-12-22 1992-08-12 Reatsukusu:Kk トンネル坑壁画像の記録解析装置
JPH09126743A (ja) * 1995-11-01 1997-05-16 Mitsubishi Heavy Ind Ltd 路面映像取得装置
JPH11211473A (ja) * 1998-01-22 1999-08-06 Komatsu Ltd 地形形状計測装置
JP2002328022A (ja) * 2001-05-02 2002-11-15 Komatsu Ltd 地形形状計測装置およびガイダンス装置
JP2002352224A (ja) * 2001-05-29 2002-12-06 Topcon Corp 画像測定表示装置、画像測定表示システム、施工管理方法、施工状態監視システム
JP2009541778A (ja) * 2007-08-02 2009-11-26 インハ インダストリー パートナーシップ インスティテュート 構造光を使用した土工量算出装置及び方法
JP2012173114A (ja) * 2011-02-21 2012-09-10 Topcon Corp 全周画像計測装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3343171A4 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12031302B2 (en) 2017-07-31 2024-07-09 Sumitomo Heavy Industries, Ltd. Excavator
JPWO2019026802A1 (ja) * 2017-07-31 2020-07-27 住友重機械工業株式会社 ショベル
US11195351B2 (en) 2017-09-01 2021-12-07 Komatsu Ltd. Work machine measurement system, work machine, and measuring method for work machine
KR20190108597A (ko) 2017-09-01 2019-09-24 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 계측 시스템, 작업 기계, 및 작업 기계의 계측 방법
DE112018000828T5 (de) 2017-09-01 2019-10-24 Komatsu Ltd. Arbeitsmaschinenmesssystem, Arbeitsmaschine und Messfahren für Arbeitsmaschine
DE112018000828B4 (de) 2017-09-01 2022-12-29 Komatsu Ltd. Arbeitsmaschinenmesssystem, Arbeitsmaschine und Messfahren für Arbeitsmaschine
WO2019044316A1 (ja) * 2017-09-01 2019-03-07 株式会社小松製作所 作業機械の計測システム、作業機械、及び作業機械の計測方法
JPWO2019044316A1 (ja) * 2017-09-01 2020-08-20 株式会社小松製作所 作業機械の計測システム、作業機械、及び作業機械の計測方法
JP7104050B2 (ja) 2017-09-01 2022-07-20 株式会社小松製作所 作業機械の計測システム、作業機械、及び作業機械の計測方法
US11459735B2 (en) 2018-06-29 2022-10-04 Komatsu Ltd. Display control system, display control device, and display control method
JP7080750B2 (ja) 2018-06-29 2022-06-06 株式会社小松製作所 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
JP2020002716A (ja) * 2018-06-29 2020-01-09 株式会社小松製作所 表示制御システム、表示制御装置、および表示制御方法
WO2020003633A1 (ja) * 2018-06-29 2020-01-02 株式会社小松製作所 表示制御システム、表示制御装置、および表示制御方法
JP7137548B2 (ja) 2019-01-25 2022-09-14 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 材料スタックの３次元再構成方法、装置、電子デバイス及びコンピュータ可読媒体
JP2020125668A (ja) * 2019-01-25 2020-08-20 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 材料スタックの３次元再構成方法、装置、電子デバイス及びコンピュータ可読媒体
US11568593B2 (en) 2019-01-25 2023-01-31 Beijing Baidu Netcom Science And Technology Co., Ltd. Three-dimensional reconstruction method and apparatus for material pile, electronic device, and computer-readable medium
JP2020197044A (ja) * 2019-05-31 2020-12-10 株式会社小松製作所 マップ生成システム及びマップ生成方法
WO2020241572A1 (ja) * 2019-05-31 2020-12-03 株式会社小松製作所 マップ生成システム及びマップ生成方法
JP2021008776A (ja) * 2019-07-02 2021-01-28 住友建機株式会社 ショベル
JP7330458B2 (ja) 2019-07-02 2023-08-22 住友建機株式会社 ショベル及びショベル用の制御装置
JP7511049B2 (ja) 2023-05-11 2024-07-04 株式会社トプコン 測量装置、測量方法および測量用プログラム

Also Published As

Publication number Publication date
KR20180042251A (ko) 2018-04-25
CN107923745B (zh) 2021-07-23
EP3343171A1 (en) 2018-07-04
CN107923745A (zh) 2018-04-17
JP2019214933A (ja) 2019-12-19
US10679371B2 (en) 2020-06-09
US20200273191A1 (en) 2020-08-27
US11288827B2 (en) 2022-03-29
US20180182120A1 (en) 2018-06-28
EP3343171B1 (en) 2024-01-17
CN113463721A (zh) 2021-10-01
JPWO2017033991A1 (ja) 2018-06-14
EP3343171A4 (en) 2018-08-08

Similar Documents

Publication Publication Date Title
WO2017033991A1 (ja) ショベルの計測装置
WO2017138552A1 (ja) ショベル
JP7242462B2 (ja) ショベル及びショベルの表示装置
US11613873B2 (en) Shovel and work support system for construction machine
JP6672313B2 (ja) ショベル
US9598845B2 (en) Posture computing apparatus for work machine, work machine, and posture computation method for work machine
JP6598685B2 (ja) ショベル
CN108885102B (zh) 形状测量系统、作业机械及形状测量方法
JPWO2018181534A1 (ja) ショベル、ショベルの表示装置及びショベルにおける画像の表示方法
JP6639990B2 (ja) ショベル
KR20200091878A (ko) 쇼벨
US11473272B2 (en) Shovel, display device for shovel, and display method for shovel
US12031302B2 (en) Excavator
JP7507559B2 (ja) ショベル及びショベルの制御方法
US20200165799A1 (en) Excavator
JP2023176800A (ja) ショベル及びショベルの管理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16839338

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017536473

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20187004675

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016839338

Country of ref document: EP