WO2020196895A1 - ショベル - Google Patents

ショベル Download PDF

Info

Publication number
WO2020196895A1
WO2020196895A1 PCT/JP2020/014353 JP2020014353W WO2020196895A1 WO 2020196895 A1 WO2020196895 A1 WO 2020196895A1 JP 2020014353 W JP2020014353 W JP 2020014353W WO 2020196895 A1 WO2020196895 A1 WO 2020196895A1
Authority
WO
WIPO (PCT)
Prior art keywords
excavator
controller
information
target
unit
Prior art date
Application number
PCT/JP2020/014353
Other languages
English (en)
French (fr)
Inventor
亮太 黒澤
Original Assignee
住友建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友建機株式会社 filed Critical 住友建機株式会社
Priority to JP2021509685A priority Critical patent/JPWO2020196895A1/ja
Priority to KR1020217031426A priority patent/KR20210141950A/ko
Priority to CN202080024829.9A priority patent/CN113661295B/zh
Priority to EP20778598.1A priority patent/EP3951078B1/en
Publication of WO2020196895A1 publication Critical patent/WO2020196895A1/ja
Priority to US17/448,411 priority patent/US20220002970A1/en

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • E02F9/262Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E02F3/437Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like providing automatic sequences of movements, e.g. linear excavation, keeping dipper angle constant
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2004Control mechanisms, e.g. control levers
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2033Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • E02F9/265Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2221Control of flow rate; Load sensing arrangements
    • E02F9/2232Control of flow rate; Load sensing arrangements using one or more variable displacement pumps
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2278Hydraulic circuits
    • E02F9/2285Pilot-operated systems
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2278Hydraulic circuits
    • E02F9/2292Systems with two or more pumps
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2278Hydraulic circuits
    • E02F9/2296Systems with a variable displacement pump

Definitions

  • This disclosure relates to excavators.
  • the positional relationship between the attachment as a work device and an object including a work object (for example, a dump truck for loading earth and sand) around the shovel is important. Therefore, even if the excavator determines the relative angle of the upper swivel body with respect to the lower traveling body, the positional relationship between the attachment and the object around the excavator, specifically, the upper swivel body based on the object around the shovel.
  • the orientation ie, top view angle
  • the purpose of the excavator is to provide a technology that can surely grasp the positional relationship between the own machine and the objects around the own machine.
  • an upper swing body that is freely mounted on the lower running body and An acquisition device mounted on the upper swing body to acquire information representing the surrounding conditions of the own machine, Based on the information acquired by the acquisition device, the reference object that is stopped or fixed around the own machine is recognized, and based on the change in the position of the reference object as seen from the upper swivel body.
  • a control device for estimating a turning angle of the upper turning body is provided.
  • a shovel is provided.
  • An upper swing body that is freely mounted on the lower running body and An acquisition device provided on the upper swing body to acquire information representing the surrounding conditions of the own machine, and A control device that recognizes an object around the own machine based on the information acquired by the acquisition device and grasps the position of the own machine with respect to the object is provided.
  • a shovel is provided.
  • FIG. 1 is a side view of the excavator 100 as an excavator according to the present embodiment.
  • the excavator 100 is located on a horizontal plane facing the uphill slope ES to be constructed, and is an uphill slope BS (that is, after construction on the uphill slope ES, which is an example of the target construction surface described later.
  • the slope shape is also described (see FIGS. 8A and 8B).
  • the excavator 100 includes a lower traveling body 1, an upper rotating body 3 mounted on the lower traveling body 1 so as to be swivelable via a swivel mechanism 2, a boom 4 and an arm constituting an attachment (working machine). It includes 5, a bucket 6, and a cabin 10.
  • the lower traveling body 1 travels the excavator 100 by hydraulically driving a pair of left and right crawlers with traveling hydraulic motors 1L and 1R, respectively. That is, the pair of traveling hydraulic motors 1L and 1R as the driving unit drive the lower traveling body 1 (crawler) as the driven unit.
  • the upper swing body 3 turns with respect to the lower traveling body 1 by being driven by the swing hydraulic motor 2A. That is, the swing hydraulic motor 2A as a drive unit is a swing drive unit that drives the upper swing body 3 as a driven unit, and can change the direction of the upper swing body 3 (in other words, the direction of the attachment). it can.
  • the upper swing body 3 may be electrically driven by an electric motor (hereinafter, "swivel motor”) instead of the swing hydraulic motor 2A. That is, the swivel electric motor is a swivel drive unit that drives the upper swivel body 3 as a driven unit, like the swivel hydraulic motor 2A, and can change the direction of the upper swivel body 3.
  • swivel motor an electric motor
  • the swivel electric motor is a swivel drive unit that drives the upper swivel body 3 as a driven unit, like the swivel hydraulic motor 2A, and can change the direction of the upper swivel body 3.
  • the boom 4 is pivotally attached to the center of the front portion of the upper swing body 3 so as to be vertically movable
  • the arm 5 is pivotally attached to the tip of the boom 4 so as to be vertically rotatable
  • the tip of the arm 5 is pivotally attached as an end attachment.
  • the bucket 6 is pivotally attached so as to be vertically rotatable.
  • the boom 4, arm 5, and bucket 6 are hydraulically driven by the boom cylinder 7, arm cylinder 8, and bucket cylinder 9 as hydraulic actuators, respectively.
  • the bucket 6 is an example of an end attachment, and the tip of the arm 5 has another end attachment, for example, a slope bucket, a dredging bucket, or a breaker, instead of the bucket 6 depending on the work content or the like. Etc. may be attached.
  • the cabin 10 is a driver's cab on which the operator is boarded, and is mounted on the front left side of the upper swing body 3.
  • FIG. 2 is a diagram schematically showing an example of the configuration of the excavator 100 according to the present embodiment.
  • FIG. 2 the mechanical power line, the hydraulic oil line, the pilot line, and the electric control line are shown by double lines, solid lines, broken lines, and dotted lines, respectively.
  • FIGS. 3, 4 (4A to 4C) and 12 which will be described later.
  • the hydraulic drive system of the excavator 100 includes traveling hydraulic motors 1L, 1R, and swivel that hydraulically drive each of the lower traveling body 1, the upper swivel body 3, the boom 4, the arm 5, and the bucket 6.
  • a hydraulic actuator as a drive unit for the hydraulic motor 2A, the boom cylinder 7, the arm cylinder 8, the bucket cylinder 9, and the like.
  • the hydraulic drive system of the excavator 100 according to the present embodiment includes an engine 11, a regulator 13, a main pump 14, and a control valve 17.
  • the engine 11 is a main power source in a hydraulic drive system, and is, for example, a diesel engine that uses light oil as fuel.
  • the engine 11 is mounted on the rear part of the upper swing body 3, for example, and rotates at a constant rotation speed at a preset target rotation speed under direct or indirect control by a controller 30 described later, and causes the main pump 14 and the pilot pump 15 to rotate at a constant speed. Drive.
  • the regulator 13 controls the discharge amount of the main pump 14. For example, the regulator 13 adjusts the angle of the swash plate of the main pump 14 (hereinafter, “tilt angle”) in response to a control command from the controller 30.
  • the regulator 13 includes, for example, regulators 13L and 13R as described later.
  • the main pump 14 is mounted on the rear part of the upper swing body 3 like the engine 11, and supplies hydraulic oil to the control valve 17 through the high-pressure hydraulic line.
  • the main pump 14 is driven by the engine 11 as described above.
  • the main pump 14 is, for example, a variable displacement hydraulic pump, and as described above, the stroke length of the piston is adjusted by adjusting the tilt angle of the swash plate by the regulator 13 under the control of the controller 30, and the pump is discharged.
  • the flow rate (discharge pressure) is controlled.
  • the main pump 14 includes, for example, the main pumps 14L and 14R as described later.
  • the control valve 17 is, for example, a hydraulic control device mounted in the central portion of the upper swing body 3 and controls the hydraulic drive system in response to an operator's operation on the operating device 26.
  • the control valve 17 is connected to the main pump 14 via the high-pressure hydraulic line, and the hydraulic oil supplied from the main pump 14 is supplied to the hydraulic actuator (running hydraulic motor 1L) according to the operating state of the operating device 26. , 1R, swing hydraulic motor 2A, boom cylinder 7, arm cylinder 8, and bucket cylinder 9) are selectively supplied.
  • the control valve 17 includes control valves 171 to 176 that control the flow rate and flow direction of the hydraulic oil supplied from the main pump 14 to each of the hydraulic actuators.
  • control valve 171 corresponds to the traveling hydraulic motor 1L
  • control valve 172 corresponds to the traveling hydraulic motor 1R
  • control valve 173 corresponds to the swing hydraulic motor 2A
  • control valve 174 corresponds to the bucket cylinder 9
  • control valve 175 corresponds to the boom cylinder 7
  • the control valve 176 corresponds to the arm cylinder 8.
  • control valve 175 includes, for example, control valves 175L and 175R as described later
  • control valve 176 includes, for example, control valves 176L and 176R as described later. Details of the control valves 171 to 176 will be described later (see FIG. 3).
  • the operation system of the excavator 100 includes the pilot pump 15 and the operation device 26.
  • the pilot pump 15 is mounted on the rear part of the upper swing body 3, for example, and supplies the pilot pressure to various hydraulic devices such as the proportional valve 31 via the pilot line.
  • the pilot pump 15 is, for example, a fixed displacement hydraulic pump, and is driven by the engine 11 as described above.
  • the operating device 26 is provided near the driver's seat of the cabin 10 and allows the operator to operate the driven portion of the excavator 100 (lower traveling body 1, upper turning body 3, boom 4, arm 5, bucket 6, etc.). It is an operation input means.
  • the operating device 26 is a hydraulic actuator (that is, traveling hydraulic motors 1L, 1R, swivel hydraulic motor 2A, boom cylinder 7, arm cylinder 8, bucket cylinder 9, etc.) in which the operator drives each driven portion.
  • the operation device 26 is an electric type, outputs an electric signal (hereinafter, “operation signal”) corresponding to the operation content, and the operation signal is input to the controller 30.
  • the operating device 26 includes, for example, a lever device for operating the arm 5 (arm cylinder 8). Further, the operating device 26 includes, for example, lever devices 26A to 26C for operating each of the boom 4 (boom cylinder 7), the bucket 6 (bucket cylinder 9), and the upper swing body 3 (swing hydraulic motor 2A) (FIG. 4A). -See FIG. 4C). Further, the operating device 26 includes, for example, a lever device or a pedal device that operates each of the pair of left and right crawlers (traveling hydraulic motors 1L, 1R) of the lower traveling body 1.
  • the operating device 26 may be a hydraulic pilot type.
  • the pilot pressure as the main pressure is supplied from the pilot pump 15 to the operating device 26 through the pilot line, and the pilot pressure according to the operation content is output to the secondary side pilot line to operate the shuttle valve. It is supplied to the control valve 17 via.
  • the control valves 171 to 176 in the control valve 17 may be solenoid solenoid type spool valves driven by a command from the controller 30, or the pilot pump 15 and the pilot ports of the respective control valves 171 to 176.
  • An electromagnetic valve that operates in response to an electric signal from the controller 30 may be arranged between them.
  • the controller 30 controls these solenoid valves to increase or decrease the pilot pressure in response to the operation signal corresponding to the operation amount (for example, the lever operation amount) of the electric operation device 26, thereby increasing or decreasing the operation device.
  • Each control valve 171 to 176 can be operated according to the operation content with respect to 26.
  • the control system of the excavator 100 includes a controller 30, a discharge pressure sensor 28, a proportional valve 31, a pressure reducing proportional valve 33, a display device 40, an input device 42, a sound output device 43, and the like. Includes a storage device 47. Further, the control system of the excavator 100 according to the present embodiment includes a boom angle sensor S1, an arm angle sensor S2, a bucket angle sensor S3, an aircraft tilt sensor S4, an image pickup device S6, a positioning device P1, and a communication device. Includes T1.
  • the controller 30 (an example of a control device) is provided in the cabin 10, for example, and performs various controls related to the excavator 100.
  • the function of the controller 30 may be realized by any hardware, or a combination of hardware and software.
  • the controller 30 is a microcomputer including a memory device such as a CPU (Central Processing Unit) and a RAM (Random Access Memory), a non-volatile auxiliary storage device such as a ROM (Read Only Memory), and an interface device related to various inputs and outputs. It is mainly composed of a computer.
  • controller 30 may include, for example, arithmetic circuits such as GPU (Graphics Processing Unit), ASIC (Application Specific Integrated Circuit), and FPGA (Field-Programmable Gate Array) that are linked with the CPU.
  • the controller 30 realizes various functions by executing various programs installed in the auxiliary storage device on the CPU, for example.
  • the controller 30 sets a target rotation speed based on an operation mode or the like preset by a predetermined operation of an operator or the like, and performs drive control to rotate the engine 11 at a constant speed.
  • controller 30 outputs a control command to the regulator 13 as needed to change the discharge amount of the main pump 14.
  • the controller 30 controls the machine guidance function for guiding the manual operation of the excavator 100 through the operating device 26 by the operator, for example. Further, the controller 30 controls, for example, a machine control function that automatically supports the manual operation of the excavator 100 through the operating device 26 by the operator. That is, the controller 30 includes the machine guidance unit 50 as a functional unit related to the machine guidance function and the machine control function.
  • controller 30 may be realized by another controller (control device). That is, the function of the controller 30 may be realized in a manner distributed by a plurality of controllers.
  • the machine guidance function and the machine control function may be realized by a dedicated controller (control device).
  • the discharge pressure sensor 28 detects the discharge pressure of the main pump 14.
  • the detection signal corresponding to the discharge pressure detected by the discharge pressure sensor 28 is taken into the controller 30.
  • the discharge pressure sensor 28 includes, for example, discharge pressure sensors 28L and 28R as described later.
  • the proportional valve 31 is provided in the pilot line connecting the pilot pump 15 and the control valve 17, and is configured so that the flow path area (cross-sectional area through which hydraulic oil can flow) can be changed.
  • the proportional valve 31 operates in response to a control command input from the controller 30.
  • the controller 30 applies the pilot pressure according to the operation content of the operation device 26 to the corresponding control valve in the control valve 17 via the proportional valve 31 in response to the operation content signal input from the operation device 26. It can act on the pilot port.
  • the controller 30 transmits the hydraulic oil discharged from the pilot pump 15 via the proportional valve 31 even when the operating devices 26 (specifically, the lever devices 26A to 26C) are not operated by the operator. , Can be supplied to the pilot port of the corresponding control valve in the control valve 17.
  • the proportional valve 31 includes, for example, proportional valves 31AL, 31AR, 31BL, 31BR, 31CL, 31CR as described later.
  • the proportional valve 31 operates the operating device 26 by reducing the cross-sectional area through which the hydraulic oil can flow to zero regardless of the operating state of the operating device 26 or by setting the flow path area corresponding to the operating state. That is, it is possible to switch between the enabled state and the disabled state of the operation of various driven elements of the excavator 100. As a result, the controller 30 can limit (stop) the operation of the excavator 100 by outputting a control command to the proportional valve 31.
  • a control valve may be provided.
  • the hydraulic control valve may be, for example, a gate lock valve configured to operate in response to a control command from the controller 30.
  • the gate lock lever provided near the entrance of the driver's seat of the cabin 10 is pulled up, the gate lock valve is in a communication state, and the operation on the operation device 26 becomes an effective state (operable state), and the gate lock is locked.
  • the shutoff state is set, and the operation on the operating device 26 is disabled (inoperable state).
  • the controller 30 can limit (stop) the operation of the excavator 100 by outputting a control command to the hydraulic control valve.
  • the pilot line on the secondary side of the proportional valve 31 is connected to the control valve 17 via the shuttle valve described above.
  • the pilot pressure supplied from the shuttle valve to the control valve 17 is related to the pilot pressure according to the operation content output from the operation device 26 and the operation content of the operation device 26 output from the proportional valve 31. The higher of the given pilot pressures without.
  • the pressure reducing proportional valve 33 is arranged on the pilot line between the proportional valve 31 and the control valve 17.
  • the controller 30 determines that the braking operation of decelerating or stopping the hydraulic actuator is necessary based on the signal from the object detection device (for example, the image pickup device S6 or the like)
  • the controller 30 discharges the hydraulic oil of the pilot line to the tank. Reduce the pilot pressure.
  • the spool of the control valve in the control valve 17 can be moved in the neutral direction regardless of the state of the proportional valve 31. Therefore, the pressure reducing proportional valve 33 is effective when it is desired to improve the braking characteristics.
  • the pressure reducing proportional valve 33 includes, for example, the pressure reducing proportional valves 33AL, 33AR, 33BL, 33BR, 33CL, 33CR as described later.
  • the display device 40 is provided in the cabin 10 at a location that is easily visible to the seated operator, and displays various information images under the control of the controller 30.
  • the display device 40 is, for example, a liquid crystal display, an organic EL (Electroluminescence) display, or the like.
  • the display device 40 may be connected to the controller 30 via an in-vehicle communication network such as CAN (Controller Area Network), or may be connected to the controller 30 via a one-to-one dedicated line.
  • CAN Controller Area Network
  • the input device 42 receives various inputs by the operator in the cabin 10 and outputs a signal corresponding to the received inputs to the controller 30.
  • the input device 42 includes, for example, an operation input device provided within reach of a seated operator in the cabin 10 and receiving an operation input of the operator.
  • the operation input device includes a touch panel mounted on the display of the display device 40 that displays various information images, a knob switch provided at the tip of the lever portion of the lever devices 26A to 26C, and a button switch installed around the display device 40. Includes levers, toggles, rotary dials, etc.
  • the input device 42 may include, for example, a voice input device or a gesture input device that accepts voice input or gesture input of an operator in the cabin 10.
  • the voice input device includes, for example, a microphone provided in the cabin 10. Further, the voice input device includes, for example, an image pickup device provided in the cabin 10 and capable of capturing an image of the operator. The signal corresponding to the input content to the input device 42 is taken into the controller 30.
  • the sound output device 43 is provided in the cabin 10, for example, and outputs a predetermined sound under the control of the controller 30.
  • the sound output device 43 is, for example, a speaker, a buzzer, or the like.
  • the sound output device 43 outputs various information by sound in response to a control command from the controller 30, that is, outputs auditory information.
  • the storage device 47 is provided in the cabin 10, for example, and stores various information under the control of the controller 30.
  • the storage device 47 is a non-volatile storage medium such as a semiconductor memory.
  • the storage device 47 may store information output by various devices during the operation of the excavator 100, or may store information acquired through the various devices before the operation of the excavator 100 is started.
  • the storage device 47 may store data regarding a target construction surface acquired via, for example, the communication device T1 or the like, or set through the input device 42 or the like.
  • the target construction surface may be set (saved) by the operator of the excavator 100, or may be set by the construction manager or the like.
  • the boom angle sensor S1 is attached to the boom 4, and the depression / elevation angle of the boom 4 with respect to the upper swing body 3 (hereinafter, “boom angle”), for example, in a side view, the boom 4 has a swing plane of the upper swing body 3. Detects the angle formed by the straight line connecting the fulcrums at both ends.
  • the boom angle sensor S1 may include, for example, a rotary encoder, an acceleration sensor, a 6-axis sensor, an IMU (Inertial Measurement Unit), and the like.
  • the boom angle sensor S1 may include a potentiometer using a variable resistor, a cylinder sensor for detecting the stroke amount of the hydraulic cylinder (boom cylinder 7) corresponding to the boom angle, and the like.
  • the detection signal corresponding to the boom angle by the boom angle sensor S1 is taken into the controller 30.
  • the arm angle sensor S2 is attached to the arm 5, and the rotation angle of the arm 5 with respect to the boom 4 (hereinafter, “arm angle”), for example, the arm 5 with respect to a straight line connecting the fulcrums at both ends of the boom 4 in a side view. Detects the angle formed by the straight line connecting the fulcrums at both ends of. The detection signal corresponding to the arm angle by the arm angle sensor S2 is taken into the controller 30.
  • the bucket angle sensor S3 is attached to the bucket 6, and the rotation angle of the bucket 6 with respect to the arm 5 (hereinafter, “bucket angle”), for example, the bucket 6 with respect to a straight line connecting the fulcrums at both ends of the arm 5 in a side view. Detects the angle formed by the straight line connecting the fulcrum and the tip (blade edge). The detection signal corresponding to the bucket angle by the bucket angle sensor S3 is taken into the controller 30.
  • the airframe tilt sensor S4 detects the tilted state of the airframe (upper swivel body 3 or lower traveling body 1) with respect to a predetermined plane (for example, a horizontal plane).
  • the airframe tilt sensor S4 is attached to, for example, the upper swing body 3, and tilt angles around two axes in the front-rear direction and the left-right direction of the shovel 100 (that is, the upper swing body 3) (hereinafter, “front-back tilt angle” and “left-right” Tilt angle ”) is detected.
  • the airframe tilt sensor S4 may include, for example, a rotary encoder, an acceleration sensor, a 6-axis sensor, an IMU, and the like.
  • the detection signal corresponding to the tilt angle (front-back tilt angle and left-right tilt angle) by the aircraft tilt sensor S4 is taken into the controller 30.
  • the image pickup device S6 images the periphery of the excavator 100 and acquires image information representing the state of the surroundings of the excavator 100.
  • the imaging device S6 includes a camera S6F that images the front of the excavator 100, a camera S6L that images the left side of the excavator 100, a camera S6R that images the right side of the excavator 100, and a camera S6B that images the rear of the excavator 100. ..
  • the camera S6F (an example of the acquisition device) is mounted on the ceiling of the cabin 10, that is, inside the cabin 10. Further, the camera S6F (an example of the acquisition device) may be attached to the outside of the cabin 10, such as the roof of the cabin 10 and the side surface of the boom 4.
  • the camera S6L (an example of an acquisition device) is attached to the left end of the upper surface of the upper swing body 3
  • the camera S6R (an example of an acquisition device) is attached to the right end of the upper surface of the upper swing body 3
  • the camera S6B (an example of an acquisition device). Is attached to the rear end of the upper surface of the upper swing body 3.
  • the image pickup apparatus S6 (cameras S6F, S6B, S6L, S6R) is, for example, a monocular wide-angle camera having a very wide angle of view. Further, the image pickup device S6 may be a stereo camera, a distance image camera, a depth camera, or the like. The image captured by the image pickup device S6 is captured by the controller 30 via the display device 40.
  • the image pickup apparatus S6 (cameras S6F, S6B, S6L, S6R)
  • another sensor capable of acquiring information indicating the surrounding state of the excavator 100 may be provided.
  • the other sensor may be, for example, an ultrasonic sensor, a millimeter wave radar, a LIDAR (Light Detection and Ranging), an infrared sensor, or the like.
  • the other sensor may calculate the distance to the object around the excavator 100 from the point cloud data or the like by receiving the reflected signal of the output signal output around the excavator 100.
  • the image pickup device S6 and other sensors thereof may function as an object detection device.
  • the image pickup apparatus S6 and other sensors thereof may detect a predetermined object to be detected existing around the excavator 100.
  • the object to be detected may include, for example, a person, an animal, a vehicle, a construction machine, a building, a hole, or the like.
  • the image pickup apparatus S6 and other sensors thereof may acquire (calculate) the distance from itself or the excavator 100 to the recognized object.
  • the controller 30 is an object to be monitored (for example, an object to be monitored (for example, a working area within 5 meters from the excavator 100) within a predetermined monitoring area around the excavator 100 (for example, a working area within 5 meters from the excavator 100) based on the output of the image pickup apparatus S6 or another sensor.
  • an object to be monitored for example, a working area within 5 meters from the excavator 100
  • a predetermined monitoring area around the excavator 100 for example, a working area within 5 meters from the excavator 100
  • control for avoiding contact between the shovel 100 and the object to be monitored
  • the controller 30 may output a control command to the display device 40 and the sound output device 43 to output an alarm as an example of contact avoidance control.
  • the controller 30 may output a control command to the proportional valve 31, the proportional pressure reducing valve 33, or the above-mentioned control valve to limit the operation of the excavator 100.
  • the target of the operation restriction may be all the driven elements, or may be only a part of the driven elements necessary for avoiding the contact between the object to be monitored and the excavator 100. ..
  • the determination of the existence of the monitoring target in the monitoring area by the controller 30 is executed even in the inoperable state. Then, the excavator 100 may determine whether or not the monitored object exists in the monitored area of the excavator 100, and may also determine whether or not the monitored object exists outside the monitored area of the excavator 100. Further, the determination of whether or not there is a monitoring target outside the monitoring area of the excavator 100 may be executed even when the excavator 100 is inoperable.
  • the image pickup apparatus S6 may be directly connected to the controller 30 so as to be communicable.
  • the positioning device P1 measures the position of the excavator 100 (upper swivel body 3).
  • the positioning device P1 is, for example, a GNSS (Global Navigation Satellite System) module, detects the position of the upper swing body 3, and captures a detection signal corresponding to the position of the upper swing body 3 into the controller 30.
  • GNSS Global Navigation Satellite System
  • the position of the excavator 100 may be acquired by using the estimation method described later.
  • the positioning device P1 may be omitted.
  • the communication device T1 is connected to a predetermined network that may include a mobile communication network ending at a base station, a satellite communication network that uses a communication satellite, an Internet network, and the like, and is connected to an external device (for example, a management device 200 described later). Communicate.
  • the communication device T1 is, for example, a mobile communication module corresponding to mobile communication standards such as LTE (LongTermEvolution), 4G (4thGeneration), and 5G (5thGeneration), and satellite communication for connecting to a satellite communication network. Modules, etc.
  • the machine guidance unit 50 controls the excavator 100 regarding the machine guidance function, for example.
  • the machine guidance unit 50 conveys work information such as the distance between the target construction surface and the tip of the attachment, specifically, the work part of the end attachment, to the operator through the display device 40, the sound output device 43, or the like. ..
  • the data regarding the target construction surface is stored in advance in the storage device 47, for example, as described above.
  • the data regarding the target construction surface is represented by, for example, a reference coordinate system.
  • the reference coordinate system is, for example, a local coordinate system unique to the construction site. The operator may set an arbitrary point on the construction site as a reference point and set a target construction surface through the input device 42 based on the relative positional relationship with the reference point.
  • the working part of the bucket 6 is, for example, the toe of the bucket 6, the back surface of the bucket 6, and the like. Further, when a breaker is adopted instead of the bucket 6 as the end attachment, for example, the tip portion of the breaker corresponds to the work part.
  • the machine guidance unit 50 notifies the operator of work information through the display device 40, the sound output device 43, and the like, and guides the operator to operate the excavator 100 through the operation device 26.
  • the machine guidance unit 50 executes control of the excavator 100 regarding the machine control function, for example.
  • the machine guidance unit 50 has, for example, the lower traveling body 1, the upper turning body 3, the boom 4, and the lower traveling body 1, the upper turning body 3, and the boom 4 so that the working part of the bucket 6 moves along a predetermined target trajectory in response to the operation of the operator with respect to the operating device 26.
  • At least one of the arm 5 and the bucket 6 is automatically operated.
  • the machine guidance unit 50 ensures that the target construction surface and the tip position of the bucket 6 (that is, a position that serves as a control reference at the work site) coincide with each other when the operator manually performs the excavation operation.
  • at least one of the boom 4, the arm 5, and the bucket 6 may be automatically operated.
  • the upper swivel body 3 faces a predetermined work target (for example, a dump truck for loading earth and sand, a slope for construction such as cutting or rolling).
  • a predetermined work target for example, a dump truck for loading earth and sand, a slope for construction such as cutting or rolling.
  • the upper swivel body 3 may be automatically moved.
  • the machine guidance unit 50 may automatically operate the lower traveling body 1 so that the shovel 100 moves on a predetermined route, for example.
  • the machine guidance unit 50 acquires information from the boom angle sensor S1, the arm angle sensor S2, the bucket angle sensor S3, the machine tilt sensor S4, the image pickup device S6, the positioning device P1, the communication device T1, the input device 42, and the like. Then, for example, the machine guidance unit 50 calculates the distance between the bucket 6 and the target construction surface based on the acquired information, and the bucket is based on the sound from the sound output device 43 and the image displayed on the display device 40. Notify the operator of the degree of distance between 6 and the work target (for example, the target construction surface), or the tip of the attachment (specifically, the work part such as the tip or back of the bucket 6) is the target construction surface. The operation of the attachment is automatically controlled so as to match the above.
  • the machine guidance unit 50 includes the position calculation unit 51 and the distance calculation unit 52 as detailed functional configurations related to the machine guidance function and the machine control function. , Information transmission unit 53, automatic control unit 54, turning angle calculation unit 55, and relative angle calculation unit 56.
  • the position calculation unit 51 calculates the position of a predetermined positioning target. For example, the position calculation unit 51 calculates the coordinate points in the reference coordinate system of the tip portion of the attachment, specifically, the work portion such as the toe or the back surface of the bucket 6. Specifically, the position calculation unit 51 calculates the coordinate points of the working portion of the bucket 6 from the elevation angles (boom angle, arm angle, and bucket angle) of the boom 4, the arm 5, and the bucket 6.
  • the elevation angles boost angle, arm angle, and bucket angle
  • the distance calculation unit 52 calculates the distance between two positioning targets. For example, the distance calculation unit 52 calculates the distance between the tip of the attachment, specifically, the work site such as the tip of the bucket 6 or the back surface, and the target construction surface. Further, the distance calculation unit 52 may calculate an angle (relative angle) between the back surface of the bucket 6 as a work portion and the target construction surface.
  • the information transmission unit 53 transmits (notifies) various information to the operator of the excavator 100 through predetermined notification means such as the display device 40 and the sound output device 43.
  • the information transmission unit 53 notifies the operator of the excavator 100 of the magnitude (degree) of various distances and the like calculated by the distance calculation unit 52.
  • the distance (magnitude) between the tip of the bucket 6 and the target construction surface is transmitted to the operator by using at least one of the visual information by the display device 40 and the auditory information by the sound output device 43.
  • the information transmission unit 53 uses at least one of the visual information by the display device 40 and the auditory information by the sound output device 43, and the relative angle (large) between the back surface of the bucket 6 as a work part and the target construction surface. You may tell the operator.
  • the information transmission unit 53 uses the intermittent sound generated by the sound output device 43 to inform the operator of the magnitude of the distance (for example, the vertical distance) between the work site of the bucket 6 and the target construction surface.
  • the information transmission unit 53 may shorten the interval of the intermittent sound as the vertical distance becomes smaller, and lengthen the sensation of the intermittent sound as the vertical distance increases.
  • the information transmission unit 53 may use continuous sound, and may represent the difference in the magnitude of the vertical distance while changing the pitch, strength, and the like of the sound.
  • the information transmission unit 53 may issue an alarm through the sound output device 43 when the tip end portion of the bucket 6 is at a position lower than the target construction surface, that is, when the target construction surface is exceeded.
  • the alarm is, for example, a continuous sound that is significantly louder than the intermittent sound.
  • the information transmission unit 53 is the tip of the attachment, specifically, the size of the distance between the work part of the bucket 6 and the target construction surface, and the relative angle between the back surface of the bucket 6 and the target construction surface.
  • the size and the like may be displayed on the display device 40 as work information.
  • the display device 40 displays, for example, the work information received from the information transmission unit 53 together with the image data received from the image pickup device S6.
  • the information transmission unit 53 may transmit the magnitude of the vertical distance to the operator by using, for example, an image of an analog meter or an image of a bar graph indicator.
  • the automatic control unit 54 automatically supports the manual operation of the excavator 100 through the operation device 26 by the operator by automatically operating the actuator that drives the driven unit of the excavator 100. Specifically, the automatic control unit 54 can control the proportional valve 31 and individually and automatically adjust the pilot pressure acting on the control valve in the control valve 17 corresponding to the plurality of hydraulic actuators. .. As a result, the automatic control unit 54 can automatically operate each hydraulic actuator.
  • the control related to the machine control function by the automatic control unit 54 may be executed, for example, when a predetermined switch included in the input device 42 is pressed.
  • the predetermined switch is, for example, a machine control switch (hereinafter, “MC (Machine Control) switch”), and is a grip portion by an operator of an operating device 26 (for example, a lever device corresponding to the operation of the arm 5) as a knob switch. It may be arranged at the tip of.
  • MC Machine Control
  • the automatic control unit 54 automatically switches at least one of the boom cylinder 7 and the bucket cylinder 9 in accordance with the operation of the arm cylinder 8 in order to support the excavation work and the shaping work. Expand and contract.
  • the automatic control unit 54 has a target construction surface and a work part such as a toe or a back surface of the bucket 6.
  • At least one of the boom cylinder 7 and the bucket cylinder 9 is automatically expanded and contracted so as to coincide with the position serving as the control reference. In this case, the operator can close the arm 5 while aligning the toes of the bucket 6 with the target construction surface by simply operating the lever device corresponding to the operation of the arm 5, for example.
  • the automatic control unit 54 makes the upper swivel body 3 face a predetermined work target (for example, a dump truck to be loaded with earth and sand, a target construction surface to be constructed, etc.). Therefore, the swing hydraulic motor 2A may be automatically rotated.
  • the control by the controller 30 (automatic control unit 54) to make the upper swing body 3 face the target construction surface may be referred to as "face-to-face control".
  • the operator or the like can work on the upper swivel body 3 simply by pressing a predetermined switch, or by operating the lever device 26C described later corresponding to the swivel operation while the switch is pressed. Can be made to face.
  • the operator can make the upper swivel body 3 face the work target and start the machine control function related to the excavation work of the dump truck, the excavation work of the target construction surface, etc., just by pressing the MC switch. ..
  • the bucket 6 at the tip of the attachment is oriented in the longitudinal direction of the dump truck bed, that is, the axis in the front-rear direction of the dump truck bed. It is in a state where it can be moved along.
  • the tip of the attachment (for example, the toe or the back surface as the work part of the bucket 6) is moved according to the operation of the attachment. It is in a state where it can be moved along the inclination direction of the target construction surface (for example, the ascending slope BS in FIG. 1).
  • the working surface (attachment working surface) AF of the attachment vertical to the swivel plane SF of the shovel 100 corresponds to the cylindrical body CB. It is a state including the normal of the target construction surface to be performed (in other words, a state along the normal) (see FIG. 8B described later).
  • the automatic control unit 54 can automatically rotate the swing hydraulic motor 2A to face the upper swing body 3. As a result, the excavator 100 can appropriately construct the target construction surface (see FIG. 8B).
  • the automatic control unit 54 for example, is the left end vertical distance between the left end coordinate point of the tip of the bucket 6 and the target construction surface (hereinafter, simply “left end vertical distance”).
  • the right end vertical distance between the right end coordinate point of the tip of the bucket 6 and the target construction surface (hereinafter, simply “right end vertical distance”) becomes equal, the excavator faces the target construction surface.
  • the automatic control unit 54 is not when the leftmost vertical distance and the rightmost vertical distance are equal (that is, when the difference between the leftmost vertical distance and the rightmost vertical distance becomes zero), but the difference is equal to or less than a predetermined value. When becomes, it may be determined that the excavator 100 faces the target construction surface.
  • the automatic control unit 54 may operate the swing hydraulic motor 2A based on, for example, the difference between the leftmost vertical distance and the rightmost vertical distance in the face-to-face control with respect to the target construction surface (uphill slope). Specifically, when the lever device 26C corresponding to the turning operation is operated while a predetermined switch such as the MC switch is pressed, the lever device 26C moves in the direction in which the upper turning body 3 faces the target construction surface. Determine if it has been manipulated. For example, when the lever device 26C is operated in the direction in which the vertical distance between the toe of the bucket 6 and the target construction surface (uphill slope) increases, the automatic control unit 54 does not execute the face-to-face control.
  • the automatic control unit 54 executes the facing control.
  • the automatic control unit 54 can operate the swing hydraulic motor 2A so that the difference between the leftmost vertical distance and the rightmost vertical distance becomes small.
  • the automatic control unit 54 stops the swing hydraulic motor 2A.
  • the automatic control unit 54 sets a turning angle at which the difference is equal to or less than a predetermined value or becomes zero as a target angle, and is based on the target angle and the current turning angle (specifically, the detection signal of the turning state sensor S5).
  • the operation of the swing hydraulic motor 2A may be controlled so that the angle difference from the detected value) becomes zero.
  • the turning angle is, for example, the angle of the front-rear axis of the upper turning body 3 with respect to the reference direction.
  • the automatic control unit 54 performs face-to-face control with the swivel motor as the control target.
  • the turning angle calculation unit 55 calculates the turning angle of the upper turning body 3. As a result, the controller 30 can specify the current orientation of the upper swing body 3. As described later, for example, the turning angle calculation unit 55 changes the position (in other words, the visible direction) of a stopped or fixed object included (reflected) in the captured image of the imaging device S6. The turning angle of the upper swinging body 3 is calculated (estimated) based on the above. Details will be described later (see FIGS. 5 to 8).
  • the turning angle represents the direction in which the attachment operating surface extends with respect to the reference direction as viewed from the upper turning body 3 (that is, the extending direction of the attachment when viewed from above the upper turning body 3).
  • the attachment operating surface is, for example, a virtual plane that vertically traverses the attachment, and is arranged so as to be perpendicular to the turning plane.
  • the swivel plane is, for example, a virtual plane including the bottom surface of the swivel frame perpendicular to the swivel axis.
  • the controller 30 machine guidance unit 50
  • determines that the attachment operating surface includes the normal of the target construction surface it may determine that the upper swing body 3 faces the target construction surface. ..
  • the relative angle calculation unit 56 calculates the turning angle (hereinafter, “relative angle”) required for the upper turning body 3 to face the work object.
  • the relative angle is, for example, the relative formed between the direction of the front-rear axis of the upper swivel body 3 when the upper swivel body 3 faces the work object and the current direction of the front-rear axis of the upper swivel body 3.
  • Angle For example, when the upper swivel body 3 faces the dump truck to be loaded with earth and sand, the relative angle calculation unit 56 uses the image captured by the image pickup device S6 to show the loading platform of the dump truck and the swivel angle calculation unit 55. The relative angle is calculated based on the calculated turning angle.
  • the relative angle calculation unit 56 includes data on the target construction surface stored in the storage device 47 and a swivel angle calculated by the swivel angle calculation unit 55. The relative angle is calculated based on.
  • the automatic control unit 54 When the lever device 26C corresponding to the turning operation is operated while a predetermined switch such as the MC switch is pressed, the automatic control unit 54 is turned in the direction in which the upper turning body 3 faces the work target. Judge whether or not. When the automatic control unit 54 determines that the upper swivel body 3 has been swiveled in the direction facing the work object, the automatic control unit 54 sets the relative angle calculated by the relative angle calculation unit 56 as the target angle. Then, when the change in the turning angle after the lever device 26C is operated reaches the target angle, the automatic control unit 54 determines that the upper turning body 3 faces the work target, and moves the turning hydraulic motor 2A. May be stopped.
  • the automatic control unit 54 can assist the operator in operating the lever device 26C on the premise of the configuration shown in FIG. 2 so that the upper swing body 3 faces the work target. Further, when a predetermined switch such as an MC switch is pressed, the automatic control unit 54 may automatically make the upper swing body 3 face the work target regardless of the operation of the lever device 26C.
  • FIG. 3 is a diagram schematically showing an example of the configuration of the hydraulic system of the excavator 100 according to the present embodiment.
  • the hydraulic system realized by the hydraulic circuit circulates hydraulic oil from the main pumps 14L and 14R driven by the engine 11 to the hydraulic oil tank via the center bypass oil passages C1L and C1R and the parallel oil passages C2L and C2R, respectively. Let me.
  • the center bypass oil passage C1L starts from the main pump 14L, passes through the control valves 171, 173, 175L, and 176L arranged in the control valve 17 in order, and reaches the hydraulic oil tank.
  • the center bypass oil passage C1R starts from the main pump 14R, passes through the control valves 172, 174, 175R, and 176R arranged in the control valve 17 in order, and reaches the hydraulic oil tank.
  • the control valve 171 is a spool valve that supplies the hydraulic oil discharged from the main pump 14L to the traveling hydraulic motor 1L and discharges the hydraulic oil discharged from the traveling hydraulic motor 1L to the hydraulic oil tank.
  • the control valve 172 is a spool valve that supplies the hydraulic oil discharged from the main pump 14R to the traveling hydraulic motor 1R and discharges the hydraulic oil discharged from the traveling hydraulic motor 1R to the hydraulic oil tank.
  • the control valve 173 is a spool valve that supplies the hydraulic oil discharged from the main pump 14L to the swing hydraulic motor 2A and discharges the hydraulic oil discharged by the swing hydraulic motor 2A to the hydraulic oil tank.
  • the control valve 174 is a spool valve that supplies the hydraulic oil discharged from the main pump 14R to the bucket cylinder 9 and discharges the hydraulic oil in the bucket cylinder 9 to the hydraulic oil tank.
  • the control valves 175L and 175R are spool valves that supply the hydraulic oil discharged by the main pumps 14L and 14R to the boom cylinder 7 and discharge the hydraulic oil in the boom cylinder 7 to the hydraulic oil tank, respectively.
  • the control valves 176L and 176R supply the hydraulic oil discharged by the main pumps 14L and 14R to the arm cylinder 8 and discharge the hydraulic oil in the arm cylinder 8 to the hydraulic oil tank.
  • the control valves 171, 172, 173, 174, 175L, 175R, 176L, and 176R adjust the flow rate of the hydraulic oil supplied to and discharged from the hydraulic actuator according to the pilot pressure acting on the pilot port, and the flow direction, respectively. To switch.
  • the parallel oil passage C2L supplies the hydraulic oil of the main pump 14L to the control valves 171, 173, 175L, and 176L in parallel with the center bypass oil passage C1L.
  • the parallel oil passage C2L branches from the center bypass oil passage C1L on the upstream side of the control valve 171 and supplies the hydraulic oil of the main pump 14L in parallel with the control valves 171, 173, 175L, and 176R, respectively. It is configured to be possible.
  • the parallel oil passage C2L supplies the hydraulic oil to the control valve further downstream when the flow of the hydraulic oil through the center bypass oil passage C1L is restricted or blocked by any of the control valves 171, 173, and 175L. it can.
  • the parallel oil passage C2R supplies the hydraulic oil of the main pump 14R to the control valves 172, 174, 175R and 176R in parallel with the center bypass oil passage C1R.
  • the parallel oil passage C2R branches from the center bypass oil passage C1R on the upstream side of the control valve 172, and supplies hydraulic oil for the main pump 14R in parallel with the control valves 172, 174, 175R, and 176R, respectively. It is configured to be possible.
  • the parallel oil passage C2R can supply the hydraulic oil to the control valve further downstream when the flow of the hydraulic oil through the center bypass oil passage C1R is restricted or blocked by any of the control valves 172, 174, and 175R.
  • the regulators 13L and 13R adjust the discharge amounts of the main pumps 14L and 14R by adjusting the tilt angle of the swash plate of the main pumps 14L and 14R, respectively, under the control of the controller 30.
  • the discharge pressure sensor 28L detects the discharge pressure of the main pump 14L, and the detection signal corresponding to the detected discharge pressure is taken into the controller 30. The same applies to the discharge pressure sensor 28R. As a result, the controller 30 can control the regulators 13L and 13R according to the discharge pressures of the main pumps 14L and 14R.
  • Negative control throttles (hereinafter, “negative control throttles”) 18L and 18R are provided between the most downstream control valves 176L and 176R and the hydraulic oil tank in the center bypass oil passages C1L and C1R. As a result, the flow of hydraulic oil discharged by the main pumps 14L and 14R is restricted by the negative control throttles 18L and 18R. Then, the negative control diaphragms 18L and 18R generate a control pressure (hereinafter, “negative control pressure”) for controlling the regulators 13L and 13R.
  • negative control pressure hereinafter, “negative control pressure”
  • the negative control pressure sensors 19L and 19R detect the negative control pressure, and the detection signal corresponding to the detected negative control pressure is taken into the controller 30.
  • the controller 30 may control the regulators 13L and 13R according to the discharge pressures of the main pumps 14L and 14R detected by the discharge pressure sensors 28L and 28R, and adjust the discharge amount of the main pumps 14L and 14R. For example, the controller 30 may reduce the discharge amount by controlling the regulator 13L according to the increase in the discharge pressure of the main pump 14L and adjusting the swash plate tilt angle of the main pump 14L. The same applies to the regulator 13R. As a result, the controller 30 controls the total horsepower of the main pumps 14L and 14R so that the absorbed horsepower of the main pumps 14L and 14R, which is represented by the product of the discharge pressure and the discharge amount, does not exceed the output horsepower of the engine 11. be able to.
  • the controller 30 may adjust the discharge amount of the main pumps 14L and 14R by controlling the regulators 13L and 13R according to the negative control pressure detected by the negative control pressure sensors 19L and 19R. For example, the controller 30 reduces the discharge amount of the main pumps 14L and 14R as the negative control pressure increases, and increases the discharge amount of the main pumps 14L and 14R as the negative control pressure decreases.
  • the hydraulic oil discharged from the main pumps 14L and 14R passes through the center bypass oil passages C1L and C1R. Through it, it reaches the negative control aperture 18L and 18R. Then, the flow of the hydraulic oil discharged from the main pumps 14L and 14R increases the negative control pressure generated upstream of the negative control throttles 18L and 18R. As a result, the controller 30 reduces the discharge amount of the main pumps 14L and 14R to the allowable minimum discharge amount, and suppresses the pressure loss (pumping loss) when the discharged hydraulic oil passes through the center bypass oil passages C1L and C1R. ..
  • the hydraulic oil discharged from the main pumps 14L and 14R is sent to the hydraulic actuator to be operated via the control valve corresponding to the hydraulic actuator to be operated. It flows in. Then, the flow of hydraulic oil discharged from the main pumps 14L and 14R reduces or eliminates the amount reaching the negative control diaphragms 18L and 18R, and lowers the negative control pressure generated upstream of the negative control throttles 18L and 18R. As a result, the controller 30 can increase the discharge amount of the main pumps 14L and 14R, circulate sufficient hydraulic oil to the hydraulic actuator to be operated, and reliably drive the hydraulic actuator to be operated.
  • FIG. 4A to 4C are diagrams schematically showing an example of a component related to an operation system in the hydraulic system of the excavator 100 according to the present embodiment.
  • FIG. 4A is a diagram showing an example of a pilot circuit in which a pilot pressure is applied to the control valves 175L and 175R that hydraulically control the boom cylinder 7.
  • FIG. 4B is a diagram showing an example of a pilot circuit in which a pilot pressure is applied to a control valve 174 that hydraulically controls the bucket cylinder 9.
  • FIG. 4C is a diagram showing an example of a pilot circuit in which a pilot pressure is applied to a control valve 173 that hydraulically controls the swing hydraulic motor 2A.
  • the lever device 26A is used by an operator or the like to operate the boom cylinder 7 corresponding to the boom 4.
  • the lever device 26A outputs an electric signal (hereinafter, “operation content signal”) corresponding to the operation content (for example, operation direction and operation amount) to the controller 30.
  • the controller 30 is preset with a correspondence relationship with the control current to the proportional valve 31 according to the operation amount of the operation device 26 (for example, the tilt angle of the lever devices 26A to 26C).
  • the proportional valve 31 corresponding to each of the individual lever devices (lever devices 26A to 26C, etc.) included in the operating device 26 is controlled based on the set correspondence.
  • the proportional valve 31AL operates according to the control current input from the controller 30. Specifically, the proportional valve 31AL uses the hydraulic oil discharged from the pilot pump 15 to apply the pilot pressure according to the control current input from the controller 30 to the pilot port on the right side of the control valve 175L and the control valve 175R. Output to the pilot port on the left side of. As a result, the proportional valve 31AL can adjust the pilot pressure acting on the pilot port on the right side of the control valve 175L and the pilot port on the left side of the control valve 175R.
  • the proportional valve 31AL operates the operation content (operation) in the lever device 26A.
  • the pilot pressure according to the amount) can be applied to the pilot port on the right side of the control valve 175L and the pilot port on the left side of the control valve 175R.
  • the proportional valve 31AL controls the pilot pressure on the right side of the control valve 175L regardless of the operation content of the lever device 26A. It can act on the pilot port and the pilot port on the left side of the control valve 175R.
  • the proportional valve 31AR operates according to the control current input from the controller 30. Specifically, the proportional valve 31AR uses the hydraulic oil discharged from the pilot pump 15 to output a pilot pressure corresponding to the control current input from the controller 30 to the pilot port on the right side of the control valve 175R. As a result, the proportional valve 31AR can adjust the pilot pressure acting on the pilot port on the right side of the control valve 175R. For example, when a control current corresponding to an operation in the lowering direction of the boom 4 with respect to the lever device 26A from the controller 30 (hereinafter, “boom lowering operation”) is input, the proportional valve 31 operates the operation content (operation) in the lever device 26A.
  • boost lowering operation a control current corresponding to an operation in the lowering direction of the boom 4 with respect to the lever device 26A from the controller 30
  • a pilot pressure corresponding to the amount) can be applied to the pilot port on the right side of the control valve 175R. Further, by inputting a predetermined control current from the controller 30 regardless of the operation content of the lever device 26A, the proportional valve 31 is connected to the pilot port on the right side of the control valve 175R regardless of the operation content of the lever device 26A. Can act.
  • the lever device 26A when the boom raising operation is performed, the lever device 26A outputs an operation content signal according to the operation direction and the operation amount to the controller 30, and of the control valve 175L via the controller 30 and the proportional valve 31AL.
  • a pilot pressure according to the operation content is applied to the pilot port on the right side and the pilot port on the left side of the control valve 175R.
  • the lever device 26A outputs an operation content signal according to the operation direction and the operation amount to the controller 30, and via the controller 30 and the proportional valve 31AR, the right side of the control valve 175R.
  • the pilot pressure is applied to the pilot port according to the operation content.
  • the proportional valves 31AL and 31AR output to the secondary side under the control of the controller 30 so that the control valves 175L and 175R can be stopped at an arbitrary valve position according to the operating state of the lever device 26A.
  • the pilot pressure can be adjusted.
  • the proportional valves 31AL and 31AR output the pilot pressure to the secondary side under the control of the controller 30 so that the control valves 175L and 175R can be stopped at an arbitrary valve position regardless of the operating state of the lever device 26A. Can be adjusted.
  • the pressure reducing proportional valve 33AL is arranged in the pilot line between the proportional valve 31AL and the pilot port on the right side of the control valve 175L and the pilot port on the left side of the control valve 175R.
  • the controller 30 determines that the braking operation of decelerating or stopping the hydraulic actuator (boom cylinder 7) is necessary based on the signal from the object detection device (for example, the image pickup device S6 or the like)
  • the controller 30 tanks the hydraulic oil of the pilot line.
  • the pilot pressure is reduced by discharging to.
  • the spools of the control valves 175L and 175R can be moved in the neutral direction regardless of the state of the proportional valve 31AL. Therefore, the pressure reducing proportional valve 33AL is effective when it is desired to improve the braking characteristics.
  • the pressure reducing proportional valve 33AR is arranged on the pilot line between the proportional valve 31AR and the pilot port on the right side of the control valve 175R.
  • the controller 30 determines that the braking operation of decelerating or stopping the hydraulic actuator (boom cylinder 7) is necessary based on the signal from the object detection device (for example, the image pickup device S6 or the like), the controller 30 tanks the hydraulic oil of the pilot line.
  • the pilot line is depressurized by discharging to.
  • the spools of the control valves 175L and 175R can be moved in the neutral direction regardless of the state of the proportional valve 31AR. Therefore, the pressure reducing proportional valve 33AR is effective when it is desired to improve the braking characteristics.
  • the controller 30 controls the proportional valve 31AL in response to the operation content signal corresponding to the boom raising operation for the lever device 26A of the operator, and controls the pilot pressure according to the operation content (operation amount) in the lever device 26A of the control valve 175L. It can be supplied to the pilot port on the right side and the pilot port on the left side of the control valve 175R. Further, the controller 30 controls the proportional valve 31AR in response to the operation content signal corresponding to the boom lowering operation of the lever device 26A of the operator, and controls the pilot pressure according to the operation content (operation amount) in the lever device 26A. It can be supplied to the pilot port on the right side of the 175R. That is, the controller 30 can control the proportional valves 31AL and 31AR according to the operation content signal input from the lever device 26A, and can realize the operation of raising and lowering the boom 4 according to the operation content of the lever device 26A. ..
  • the controller 30 controls the proportional valve 31AL regardless of the boom raising operation for the lever device 26A of the operator, and supplies the hydraulic oil discharged from the pilot pump 15 to the pilot port on the right side of the control valve 175L and the control valve 175R. It can be supplied to the pilot port on the left side of. Further, the controller 30 can control the proportional valve 31AR and supply the hydraulic oil discharged from the pilot pump 15 to the pilot port on the right side of the control valve 175R regardless of the boom lowering operation of the lever device 26A of the operator. That is, the controller 30 can automatically control the raising and lowering operation of the boom 4.
  • the lever device 26B is used by an operator or the like to operate the bucket cylinder 9 corresponding to the bucket 6.
  • the lever device 26B outputs an operation content signal according to the operation content (for example, the operation direction and the operation amount) to the controller 30.
  • the proportional valve 31BL operates according to the control current input from the controller 30. Specifically, the proportional valve 31BL uses the hydraulic oil discharged from the pilot pump 15 to output a pilot pressure corresponding to the control current input from the controller 30 to the pilot port on the left side of the control valve 174. As a result, the proportional valve 31BL can adjust the pilot pressure acting on the pilot port on the left side of the control valve 174. For example, when a control current corresponding to an operation in the closing direction of the bucket 6 with respect to the lever device 26B (hereinafter, “bucket closing operation”) is input from the controller 30, the proportional valve 31BL is operated by the lever device 26B. A pilot pressure corresponding to the amount) can be applied to the pilot port on the left side of the control valve 174.
  • bucket closing operation a control current corresponding to an operation in the closing direction of the bucket 6 with respect to the lever device 26B
  • the proportional valve 31BL controls the pilot pressure on the left side of the control valve 174 regardless of the operation content of the lever device 26B. It can act on the pilot port.
  • the proportional valve 31BR operates according to the control current output by the controller 30. Specifically, the proportional valve 31BR uses the hydraulic oil discharged from the pilot pump 15 to output a pilot pressure corresponding to the control current input from the controller 30 to the pilot port on the right side of the control valve 174. Thereby, the proportional valve 31BR can adjust the pilot pressure acting on the pilot port on the right side of the control valve 174 via the shuttle valve 32BR. For example, when a control current corresponding to an operation in the opening direction of the bucket 6 with respect to the lever device 26B (hereinafter, “bucket opening operation”) is input from the controller 30, the proportional valve 31BR has an operation content (operation) in the lever device 26B.
  • bucket opening operation a control current corresponding to an operation in the opening direction of the bucket 6 with respect to the lever device 26B
  • a pilot pressure corresponding to the amount) can be applied to the pilot port on the right side of the control valve 174. Further, by inputting a predetermined control current from the controller 30 regardless of the operation content of the lever device 26B, the proportional valve 31BR controls the pilot pressure on the right side of the control valve 174 regardless of the operation content of the lever device 26B. It can act on the pilot port.
  • the lever device 26B when the bucket closing operation is performed, the lever device 26B outputs an operation content signal according to the operation direction and the operation amount to the controller 30, and of the control valve 174 via the controller 30 and the proportional valve 31BL. Apply pilot pressure to the left pilot port according to the operation content. Further, when the bucket opening operation is performed, the lever device 26B outputs an operation content signal according to the operation direction and the operation amount to the controller 30, and via the controller 30 and the proportional valve 31BR, on the right side of the control valve 174. The pilot pressure is applied to the pilot port according to the operation content.
  • the proportional valves 31BL and 31BR output the pilot pressure to the secondary side so that the control valve 174 can be stopped at an arbitrary valve position according to the operating state of the lever device 26B under the control of the controller 30. Can be adjusted. Further, the proportional valves 31BL and 31BR can adjust the pilot pressure output to the secondary side so that the control valve 174 can be stopped at an arbitrary valve position regardless of the operating state of the lever device 26B.
  • the pressure reducing proportional valve 33BL is arranged on the pilot line between the proportional valve 31BL and the pilot port on the left side of the control valve 174.
  • the controller 30 determines that the braking operation of decelerating or stopping the hydraulic actuator (bucket cylinder 9) is necessary based on the signal from the object detection device (for example, the image pickup device S6 or the like), the controller 30 tanks the hydraulic oil of the pilot line.
  • the pilot pressure is reduced by discharging to.
  • the spool of the control valve 174 can be moved in the neutral direction regardless of the state of the proportional valve 31BL. Therefore, the pressure reducing proportional valve 33BL is effective when it is desired to improve the braking characteristics.
  • the pressure reducing proportional valve 33BR is arranged on the pilot line between the proportional valve 31BR and the pilot port on the right side of the control valve 174.
  • the controller 30 determines that the braking operation of decelerating or stopping the hydraulic actuator (bucket cylinder 9) is necessary based on the signal from the object detection device (for example, the image pickup device S6 or the like), the controller 30 tanks the hydraulic oil of the pilot line.
  • the pilot line is depressurized by discharging to.
  • the spool of the control valve 174 can be moved in the neutral direction regardless of the state of the proportional valve 31BR. Therefore, the pressure reducing proportional valve 33BR is effective when it is desired to improve the braking characteristics.
  • the controller 30 controls the proportional valve 31BL according to the operation content signal corresponding to the bucket closing operation for the lever device 26B of the operator, and controls the pilot pressure according to the operation content (operation amount) in the lever device 26B of the control valve 174. It can be supplied to the pilot port on the left side. Further, the controller 30 controls the proportional valve 31BR according to the operation content signal corresponding to the bucket opening operation for the lever device 26B of the operator, and controls the pilot pressure according to the operation content (operation amount) in the lever device 26B. It can be supplied to the pilot port on the right side of 174. That is, the controller 30 can control the proportional valves 31BL and 31BR according to the operation content signal input from the lever device 26B, and can realize the opening / closing operation of the bucket 6 according to the operation content of the lever device 26B.
  • the controller 30 controls the proportional valve 31BL regardless of the bucket closing operation for the lever device 26B of the operator, and supplies the hydraulic oil discharged from the pilot pump 15 to the pilot port on the left side of the control valve 174. Can be done. Further, the controller 30 controls the proportional valve 31BR regardless of the bucket opening operation for the lever device 26B of the operator, and supplies the hydraulic oil discharged from the pilot pump 15 to the pilot port on the right side of the control valve 174. Can be done. That is, the controller 30 can automatically control the opening / closing operation of the bucket 6.
  • the lever device 26C is used by an operator or the like to operate the swing hydraulic motor 2A corresponding to the upper swing body 3 (swing mechanism 2).
  • the lever device 26C outputs an operation content signal according to the operation content (for example, the operation direction and the operation amount) to the controller 30.
  • the proportional valve 31CL operates according to the control current input from the controller 30. Specifically, the proportional valve 31CL uses the hydraulic oil discharged from the pilot pump 15 to output a pilot pressure corresponding to the control current input from the controller 30 to the pilot port on the left side of the control valve 173. As a result, the proportional valve 31CL can adjust the pilot pressure acting on the pilot port on the left side of the control valve 173.
  • the proportional valve 31CL is operated by the lever device 26C by inputting a control current corresponding to the leftward turning operation of the upper swing body 3 (hereinafter, “left turning operation”) from the controller 30 to the lever device 26C.
  • a pilot pressure according to the content (operation amount) can be applied to the pilot port on the left side of the control valve 173.
  • the proportional valve 31CL controls the pilot pressure on the left side of the control valve 173 regardless of the operation content of the lever device 26C. It can act on the pilot port.
  • the proportional valve 31CR operates according to the control current output by the controller 30. Specifically, the proportional valve 31CR uses the hydraulic oil discharged from the pilot pump 15 to output a pilot pressure corresponding to the control current input from the controller 30 to the pilot port on the right side of the control valve 173. As a result, the proportional valve 31CR can adjust the pilot pressure acting on the pilot port on the right side of the control valve 173. For example, when a control current corresponding to a rightward turning operation (hereinafter, “right turning operation”) of the upper swinging body 3 with respect to the lever device 26C is input from the controller 30, the proportional valve 31CR is set in the lever device 26C. A pilot pressure according to the operation content (operation amount) can be applied to the pilot port on the right side of the control valve 173.
  • right turning operation a rightward turning operation
  • the proportional valve 31CR controls the pilot pressure on the right side of the control valve 173 regardless of the operation content of the lever device 26C. It can act on the pilot port.
  • the lever device 26C when the lever device 26C is turned left, the lever device 26C outputs an operation content signal according to the operation direction and the operation amount to the controller 30, and of the control valve 173 via the controller 30 and the proportional valve 31CL. Apply pilot pressure to the left pilot port according to the operation content. Further, when the lever device 26C is turned to the right, the lever device 26C outputs an operation content signal according to the operation direction and the operation amount to the controller 30, and the right side of the control valve 173 is output via the controller 30 and the proportional valve 31CR. Apply a pilot pressure to the pilot port according to the operation content.
  • the proportional valves 31CL and 31CR output the pilot pressure to the secondary side so that the control valve 173 can be stopped at an arbitrary valve position according to the operating state of the lever device 26C under the control of the controller 30. Can be adjusted. Further, the proportional valves 31CL and 31CR can adjust the pilot pressure output to the secondary side so that the control valve 173 can be stopped at an arbitrary valve position regardless of the operating state of the lever device 26C.
  • the pressure reducing proportional valve 33CL is arranged on the pilot line between the proportional valve 31CL and the pilot port on the left side of the control valve 173.
  • the controller 30 determines that the deceleration or stop braking operation of the hydraulic actuator (swivel hydraulic motor 2A) is necessary based on the signal from the object detection device (for example, the image pickup device S6 or the like), the controller 30 applies the hydraulic oil for the pilot line.
  • the pilot pressure is reduced by discharging to the tank.
  • the spool of the control valve 173 can be moved in the neutral direction regardless of the state of the proportional valve 31CL. Therefore, the pressure reducing proportional valve 33CL is effective when it is desired to improve the braking characteristics.
  • the pressure reducing proportional valve 33CR is arranged on the pilot line between the proportional valve 31CR and the pilot port on the right side of the control valve 173.
  • the controller 30 determines that the deceleration or stop braking operation of the hydraulic actuator (swivel hydraulic motor 2A) is necessary based on the signal from the object detection device (for example, the image pickup device S6 or the like), the controller 30 applies the hydraulic oil for the pilot line.
  • the pilot line is depressurized by discharging it to the tank.
  • the spool of the control valve 173 can be moved in the neutral direction regardless of the state of the proportional valve 31CR. Therefore, the pressure reducing proportional valve 33CR is effective when it is desired to improve the braking characteristics.
  • the controller 30 controls the proportional valve 31CL in response to the operation content signal corresponding to the left turning operation of the lever device 26C of the operator, and controls the pilot pressure according to the operation content (operation amount) in the lever device 26C of the control valve 173. It can be supplied to the pilot port on the left side. Further, the controller 30 controls the proportional valve 31CR according to the operation content signal corresponding to the right turning operation of the lever device 26C of the operator, and controls the pilot pressure according to the operation content (operation amount) in the lever device 26C. It can be supplied to the pilot port on the right side of the valve 173. That is, the controller 30 can control the proportional valves 31CL and 31CR according to the operation content signal input from the lever device 26C, and can realize the opening / closing operation of the bucket 6 according to the operation content of the lever device 26C.
  • the controller 30 can control the proportional valve 31CL and supply the hydraulic oil discharged from the pilot pump 15 to the pilot port on the left side of the control valve 173 regardless of the left turning operation of the lever device 26C of the operator. .. Further, the controller 30 controls the proportional valve 31CR regardless of the right turning operation of the lever device 26C of the operator, and supplies the hydraulic oil discharged from the pilot pump 15 to the pilot port on the right side of the control valve 173. be able to. That is, the controller 30 can automatically control the turning operation of the upper turning body 3 in the left-right direction.
  • the excavator 100 may further include a configuration in which the arm 5 is automatically opened and closed, and a configuration in which the lower traveling body 1 (specifically, the left and right crawlers) is automatically moved forward and backward. ..
  • the components related to the operation system of the arm cylinder 8 are the components related to the operation system of the traveling hydraulic motor 1L, and the components related to the operation of the traveling hydraulic motor 1R are the components related to the operation system of the boom cylinder 7. It may be configured in the same manner as the portions (FIGS. 4A to 4C).
  • FIG. 5 is a functional block diagram showing a first example of a functional configuration relating to estimation of the turning angle of the excavator 100 according to the present embodiment.
  • the excavator 100 is communicably connected to the management device 200 by using the communication device T1.
  • the function of the management device 200 may be realized by any hardware or a combination of hardware and software.
  • the management device 200 is mainly composed of a server computer including a processor such as a CPU, a memory device such as a RAM, an auxiliary storage device such as a ROM, and an interface device for communication with the outside.
  • the management device 200 includes, for example, a model learning unit 201 and a distribution unit 203 as functional units realized by executing a program installed in the auxiliary storage device on the CPU.
  • the management device 200 uses the learning result storage unit 202 and the like.
  • the learning result storage unit 202 and the like can be realized by, for example, an auxiliary storage device of the management device 200, a communicable external storage device, or the like.
  • the model learning unit 201 makes the learning model machine-learn using a predetermined teacher data set, and outputs a learned model (object detection model LM) as a result of so-called supervised learning. Then, the generated object detection model LM is stored in the learning result storage unit 202 after the accuracy verification is performed using the verification data set prepared in advance. Further, the model learning unit 201 may generate an additional learning model by performing additional learning of the object detection model LM using the teacher data set for additional learning. Then, the accuracy verification is performed on the additionally trained model using the verification data set prepared in advance, and the object detection model LM of the learning result storage unit 202 is updated with the accuracy verified additional trained model. May be done.
  • the object detection model LM uses an image captured by the object detection device, point group data, and the like as input information, and a predetermined object (for example, a person, a vehicle, another work machine, a building, etc.) included in the captured image of the work site. Determines the presence or absence of a pylon, electric pole, tree, etc. (hereinafter, "object"), the type of the object, the position of the object, the size of the object, and the like. Then, the object detection model LM outputs information related to the determination result (for example, label information indicating the type (type) of the object and position information indicating the position of the object).
  • a predetermined object for example, a person, a vehicle, another work machine, a building, etc.
  • the base learning model and the object detection model LM as the learning result thereof may be configured around, for example, a known deep neural network (DNN).
  • DNN deep neural network
  • the teacher data set and the data set for accuracy verification may be created, for example, based on images captured at various work sites by the imaging device S6, which are appropriately uploaded from the excavator 100. Further, the teacher data set and the data set for accuracy verification may be created based on, for example, an image of a work site artificially created by using a technique related to computer graphics or the like.
  • the learning result storage unit 202 stores the object detection model LM generated by the model learning unit 201. Further, the object detection model LM of the learning result storage unit 202 may be updated by the additional learning model generated by the model learning unit 201.
  • the distribution unit 203 distributes the latest object detection model LM stored in the learning result storage unit 202 to the excavator 100.
  • the excavator 100 includes an image pickup device S6 (cameras S6F, S6B, S6L, S6R), a controller 30, proportional valves 31CL, 31CR, and an input device 42 as a configuration for estimating the turning angle.
  • S6 image pickup device
  • S6B cameras S6F, S6B, S6L, S6R
  • controller 30 proportional valves 31CL, 31CR, and an input device 42 as a configuration for estimating the turning angle.
  • the controller 30 includes a surrounding situation recognition unit 60 and the above-mentioned machine guidance unit 50 as a configuration for estimating the turning angle.
  • the surrounding situation recognition unit 60 includes, for example, a model storage unit 61, a detection unit 62, an object position map generation unit 63, and a map storage unit 64.
  • the model storage unit 61 stores the latest object detection model LM received from the management device 200 through the communication device T1.
  • the detection unit 62 detects an object around the upper swivel body 3 based on the captured image input from the image pickup device S6 (cameras S6F, S6B, S6L, S6R). Specifically, the detection unit 62 reads the object detection model LM from the model storage unit 61, and uses the object detection model LM to determine the object around the upper swivel body 3 (for example, the presence / absence of the object, the determination thereof). Judgment of the type of the object, the position of the object, the size of the object, etc.). The detection unit 62 outputs, for example, label information indicating the type of the detected object, position information of the object, information on the size of the object, and the like.
  • the detection unit 62 may output label information indicating that the object is not detected.
  • the detection unit 62 since the captured images of a plurality of cameras (cameras S6F, S6B, S6L, S6R) can be used, the detection unit 62 is an object covering the entire circumference of the upper swing body 3, that is, a wider object. Objects can be detected in the range. Further, although the example of using the image pickup apparatus S6 is shown, the detection unit 62 receives the reflected signal of the output signal (for example, laser, infrared ray, electromagnetic wave, ultrasonic wave, etc.) output around the excavator 100, and the excavator 100 is used.
  • the output signal for example, laser, infrared ray, electromagnetic wave, ultrasonic wave, etc.
  • the distance to the object around the laser may be calculated from the point group data or the like. Further, the detection unit 62 obtains label information indicating the type (type) of the object, position information indicating the position of the object, and the like according to the shape of the point cloud based on the received reflected signal and the distance to the point cloud. You can ask.
  • the object position map generation unit 63 generates map information (object position map MP) indicating the position of the object detected by the detection unit 62, and the generated object position map MP is stored in the map storage unit 64. ..
  • map information object position map MP
  • the position information of the excavator 100, the position information of each detected object, the type information of the object and the size of the object associated with the position information of each object are linked. Etc. are included.
  • the object position map generation unit 63 creates an object position map MP according to the detection cycle of the detection unit 62 from the start to the stop of the excavator 100, and uses the latest object position map MP to create the map storage unit 64.
  • the object position map MP of the above may be sequentially updated.
  • the distance range in which the detection unit 62 can detect the object is limited with reference to the excavator 100 (upper swivel body 3), for example, when the excavator 100 travels on the lower traveling body 1, the object position map MP There is a possibility that the position of an object included in is out of the detection range. That is, when the excavator 100 travels and moves on the lower traveling body 1, the controller 30 determines whether an object at a position relatively distant from the excavator 100 is still in that position, or has it moved from that position, and the like. It may not be possible to grasp.
  • the object position map generation unit 63 may delete the information about the object at a position some distance from the excavator 100 (own machine) included in the object position map MP at the time of updating, for example. It may be left in the map information after adding a flag or the like indicating that the information has low accuracy.
  • the map storage unit 64 stores the latest object position map MP generated by the object position map generation unit 63.
  • the machine guidance unit 50 includes an automatic control unit 54, a turning angle calculation unit 55, a relative angle calculation unit 56, a storage unit 57, and a target position information generation unit 58 as functional configurations related to the estimation of the turning angle.
  • the automatic control unit 54 controls the proportional valves 31CL and 31CR based on the relative angle calculated (estimated) by the relative angle calculation unit 56, and moves the upper swing body 3 around the excavator 100 (own machine). Face the work target.
  • the automatic control unit 54 controls the turning operation of the upper turning body 3 so as to face the work target based on the relative angle calculated by the relative angle calculating unit 56.
  • the automatic control unit 54 faces the upper swivel body 3 to the object corresponding to the work target selected by the operator from one or more objects recognized from the object position map MP. Let me.
  • the turning angle calculation unit 55 is a stationary object (hereinafter, “stop object”) or a fixed object (hereinafter, “fixed object”) around the excavator 100. ”) Is recognized.
  • the stopped object means an object that is stopped without moving among movable objects (for example, a dump truck that is stopped waiting for loading of earth and sand).
  • the fixed object means an object (for example, a tree, a utility pole, etc.) that is fixed at a certain position and does not move.
  • the turning angle calculation unit 55 recognizes (extracts) a stopped object or a fixed object around the excavator 100 based on the object position map MP stored in the map storage unit 64, and uses the reference as the reference.
  • the target object (hereinafter referred to as "reference object”) is determined.
  • the turning angle calculation unit 55 is a stop object or a fixed object corresponding to a work object selected from a plurality of objects included in the object position map MP based on an operation input through the input device 42.
  • the object may be determined as the reference object.
  • the turning angle calculation unit 55 changes the position of the reference object as seen from the upper swivel body 3 due to the update of the object position map MP (in other words, the position of the reference object on the captured image of the imaging device S6). Estimate (calculate) the turning angle based on the change). This is because when the upper swing body 3 turns, the direction in which the reference object can be seen from the upper swing body 3 changes.
  • the relative angle calculation unit 56 calculates the relative angle as the turning angle required to face the work object.
  • the relative angle calculation unit 56 is a work target generated by the target position information generation unit 58 and the rotation angle of the upper swivel body 3 calculated by the rotation angle calculation unit 55.
  • the relative angle is calculated (estimated) based on the information about the position (hereinafter, "target position information").
  • target position information information about the position
  • the relative angle calculation unit 56 may use the turning angle calculated by the turning angle calculation unit 55 as it is as the relative angle. This is because, as described above, the turning angle calculation unit 55 calculates the turning angle (direction of the upper turning body 3) with respect to the work target.
  • the target setting information 57A is stored in the storage unit 57.
  • the target setting information 57A is setting information regarding a work target (for example, a dump truck in loading work such as earth and sand) as a target at the time of work, which is set by operation input from a user such as an operator through the input device 42. ..
  • the operator or the like uses the input device 42 to operate a predetermined operation screen (hereinafter, “target selection screen”) displayed on the display device 40, so that one or more of them are specified by the object position map MP. It is possible to select an object corresponding to the work object from the objects of the above and set it as a target at the time of work. Specifically, on the target selection screen of the display device 40, an image showing the surrounding state of the excavator 100 (hereinafter, “surrounding image”) is displayed based on the captured image of the imaging device S6.
  • surrounding image an image showing the surrounding state of the excavator 100
  • the target selection screen of the display device 40 information indicating the marker and the type of the object is superimposed on the position corresponding to the object around the excavator 100 specified by the object position map MP on the surrounding image. Is displayed in.
  • the operator or the like can identify and select (set) the work target by confirming the position and type of the target object on the target selection screen.
  • the target position information generation unit 58 generates target position information based on the object position map MP and the target setting information 57A.
  • FIGS. 6A and 6B show the dump truck DT as the work target while the excavator 100 estimates the turning angle under the control of the controller 30 in the work of loading the earth and sand on the dump truck DT as the work target. It is a figure which shows the situation which performs a turning operation so as to face each other. More specifically, FIG. 6A is a top view of the excavator 100 being worked, and FIG. 6B is a view of the excavator 100 (specifically, the bucket 6) being worked from the direction indicated by the arrow AR1 of FIG. 6A. It is a figure.
  • the solid excavator 100 shows the state when the earth and sand have been scooped into the bucket 6, and the bucket 6A shows the bucket 6 in this state (position P1). ing.
  • the dashed excavator 100 is in a combined operation of holding earth and sand in the bucket 6 and turning the upper swivel body 3 in the direction facing the dump truck DT while raising the boom 4.
  • the bucket 6B indicates the state of, and the bucket 6B indicates the bucket 6 in this state (position P2). Further, in FIGS.
  • the alternate long and short dash line excavator 100 (bucket 6) is in a state before the upper rotating body 3 faces the dump truck DT as the work target and the earth and sand draining operation of the bucket 6 is started.
  • the bucket 6C indicates the bucket 6 in this state (position P3).
  • the controller 30 estimates (calculates) the turning angle ⁇ a with the dump truck DT as the work target as the reference object. That is, as shown in FIG. 6A, the controller 30 estimates (calculates) the turning angle ⁇ a of the upper swivel body 3 with reference to the longitudinal axis of the loading platform of the dump truck DT, that is, the front-rear axis of the dump truck DT. ..
  • the controller 30 estimates (calculates) that the swivel angle ⁇ a with the dump truck DT as the reference object is the angle value ⁇ a0 in the state where the bucket 6 is at the position P1. Further, since the dump truck DT as the work target is the reference target in the controller 30 (relative angle calculation unit 56), the turning angle ⁇ a (angle value ⁇ a0) can be used as the relative angle. Then, the controller 30 (automatic control unit 54) performs a right turn operation on the lever device 26C in a state where the operator presses a predetermined switch such as an MC switch, that is, a turn operation in the direction facing the dump truck DT. When this is done, the proportional valve 31CR is controlled so that the upper swing body 3 faces the dump truck DT, that is, the swing angle ⁇ a corresponding to the relative angle becomes zero from the angle value ⁇ a0.
  • a predetermined switch such as an MC switch
  • the controller 30 moves the swing angle ⁇ a.
  • the swivel operation of the upper swivel body 3 is controlled through the proportional valve 31CR while estimating. For example, in a state where the bucket 6 is at the position P2, the controller 30 (swivel angle calculation unit 55) estimates (calculates) that the swivel angle ⁇ a with the dump truck DT as the reference object is the angle value ⁇ a1.
  • the controller 30 (automatic control unit 54) stops the operation of the turning hydraulic motor 2A when the relative angle based on the estimated turning angle ⁇ a, that is, the turning angle ⁇ a becomes zero.
  • the controller 30 can assist the operator in operating the lever device 26C so that the upper swing body 3 faces the dump truck DT.
  • the controller 30 automatically dumps the upper swivel body 3 while estimating the swivel angle ⁇ a with the dump truck DT as the work target as the reference object. You may make it face DT.
  • the controller 30 may automatically control the raising operation of the boom 4 in addition to the automatic control of the upper swing body 3, and may automatically perform the entire combined operation of the excavator 100.
  • the controller 30 uses the dump truck DT as a reference object and the tree TR1 as a fixed object around the excavator 100 as a reference object in addition to the swivel angle ⁇ a. ⁇ b may be calculated. For example, the controller 30 (swivel angle calculation unit 55) estimates that the swivel angle ⁇ b with the tree TR1 as the reference object is the angle value ⁇ b0 in the state where the bucket 6 is at the position P1. Further, the controller 30 (swivel angle calculation unit 55) estimates that the swivel angle ⁇ b with the tree TR1 as the reference object is the angle value ⁇ b1 in the state where the bucket 6 is at the position P3.
  • the controller 30 estimates the relative angle using both the turning angle ⁇ a with the dump truck DT as the reference object and the turning angle ⁇ b with the tree TR1 as the reference object (). Can be calculated). Therefore, the controller 30 can further improve the accuracy of estimating the relative angle, and as a result, can further improve the accuracy of the control that causes the upper swing body 3 to face the dump truck DT.
  • FIG. 7 is a functional block diagram showing a second example of the functional configuration relating to the estimation of the turning angle of the excavator 100 according to the present embodiment.
  • the parts different from FIG. 5 described above will be mainly described.
  • the communication device T1 is used to be communicably connected to the management device 200.
  • the management device 200 includes, for example, a model learning unit 201 and a distribution unit 203 as functional units realized by executing a program installed in the auxiliary storage device on the CPU. Further, the management device 200 uses the learning result storage unit 202 and the construction information storage unit 204.
  • the learning result storage unit 202, the construction information storage unit 204, and the like can be realized by, for example, an auxiliary storage device of the management device 200, a communicable external storage device, or the like.
  • a construction information database including construction information of a plurality of work sites including the work site of the excavator 100 is constructed.
  • the construction information includes information on the construction target (for example, target construction surface data, etc.).
  • the distribution unit 203 extracts the construction information of the work site of the excavator 100 from the construction information database and distributes it to the excavator 100.
  • the excavator 100 has the image pickup device S6 (cameras S6F, S6B, S6L, S6R), the controller 30, and the proportional valve 31CL as the configuration for estimating the turning angle, as in the case of the first example of FIG. , 31 CR is included.
  • the controller 30 includes a machine guidance unit 50 and a surrounding situation recognition unit 60 as a configuration for estimating the turning angle, as in the case of the first example of FIG.
  • the machine guidance unit 50 has the automatic control unit 54, the turning angle calculation unit 55, the relative angle calculation unit 56, and the storage unit 57 as functional configurations related to the estimation of the turning angle, as in the case of the first example of FIG. ,
  • the construction information 57B delivered from the management device 200 is stored in the storage unit 57.
  • the target position information generation unit 58 generates target position information regarding the target construction surface as a work target based on the target construction surface data included in the construction information.
  • the relative angle calculation unit 56 calculates (estimates) the relative angle based on the turning angle of the upper turning body 3 calculated by the turning angle calculating unit 55 and the target position information corresponding to the target construction surface of the work target.
  • the automatic control unit 54 controls the proportional valves 31CL and 31CR based on the relative angle calculated (estimated) by the relative angle calculation unit 56, and causes the upper swing body 3 to face the target construction surface corresponding to the construction information 57B. .. Further, when an object is detected within a predetermined range, the automatic control unit 54 performs a braking operation (deceleration, stop) by controlling the pressure reducing proportional valve 33 based on the positional relationship with the detected object. be able to.
  • a braking operation deceleration, stop
  • FIG. 8 shows the slope NS on which the excavator 100 has not been constructed from the vicinity of the boundary between the slope CS that has been constructed and the slope NS as an example of the target construction surface corresponding to the slope that has not been constructed. Indicates the state where construction is started.
  • FIG. 8A shows a state in which the upper swing body 3 does not face the slope NS as a work target
  • FIG. 8B shows a state in which the excavator 100 turns the upper swing body 3 from the state of FIG. 8A and the slope as a work target. The state in which the upper swivel body 3 faces the NS is shown.
  • the controller 30 sets a turning angle based on the tree TR2 as a fixed object around the excavator 100 (own machine). calculate.
  • the controller 30 estimates (calculates) the turning angle with the tree TR2 as the reference object in the state of FIG. 8A. Further, the controller 30 (relative angle calculation unit 56) estimates (calculates) the relative angle based on the estimated turning angle and the target position information corresponding to the slope NS as the target construction surface. Then, when the operator performs a left turn operation on the lever device 26C while the operator presses a predetermined switch such as an MC switch, the controller 30 (automatic control unit 54) sets a turning angle with the tree TR2 as a reference object. While estimating, the proportional valve 31CL is controlled so that the upper swing body 3 faces the slope NS. As a result, as shown in FIG.
  • the controller 30 can assist the operation of the lever device 26C by the operator to face the slope NS as the work target. Further, when the operator presses a predetermined switch such as an MC switch, the controller 30 automatically makes the upper swivel body 3 face the slope NS while estimating the swivel angle with the tree TR2 as the reference object. May be good.
  • a predetermined switch such as an MC switch
  • FIG. 9 is a diagram illustrating a third example of a method for estimating the turning angle of the excavator 100. Specifically, FIG. 9 is a diagram illustrating an example of a method for detecting an object (for example, a fixed object) around the excavator 100 according to this example, and the detection unit 62 detects an object around the excavator 100. It is a figure explaining a series of processing with respect to.
  • the detection unit 62 detects an object around the shovel 100 (upper swivel body 3) using the learned object detection model LM based on the output (image captured image) of the image pickup device S6 (object detection process 901). )I do.
  • the object detection model LM is mainly composed of a neural network DNN.
  • the neural network DNN is a so-called deep neural network having one or more intermediate layers (hidden layers) between the input layer and the output layer.
  • a weighting parameter representing the connection strength with the lower layer is defined for each of the plurality of neurons constituting each intermediate layer.
  • the neurons in each layer output the sum of the values obtained by multiplying the input values from the plurality of neurons in the upper layer by the weighting parameters defined for each neuron in the upper layer to the neurons in the lower layer through the threshold function.
  • the neural network DNN is configured.
  • the neural network DNN receives the captured image of the imaging device S6 as the input signal x (x1 to xm), and defines the object list as the output signal y (y1 to yn) (in this example, the object list). It is possible to output the probability (prediction probability) that an object exists for each type of object corresponding to "tree", "dump", ).
  • m is an integer of 2 or more, and corresponds to, for example, the number of divisions of the captured image divided into a plurality of image regions.
  • n is an integer of 2 or more and corresponds to the number of types of objects included in the object list.
  • the neural network DNN is, for example, a convolutional neural network (CNN).
  • CNN is a neural network to which existing image processing techniques (convolution processing and pooling processing) are applied. Specifically, CNN extracts feature amount data (feature map) smaller in size than the captured image by repeating a combination of convolution processing and pooling processing for the captured image of the imaging device S6. Then, the pixel value of each pixel of the extracted feature map is input to the neural network composed of a plurality of fully connected layers, and the output layer of the neural network outputs, for example, the prediction probability that an object exists for each type of object. can do.
  • the captured image of the imaging device S6 is input as the input signal x, and the position and size of the object in the captured image (that is, the occupied area of the object on the captured image) and the type of the object are output signals. It may be configured so that it can be output as y. That is, the neural network DNN may be configured to detect an object on the captured image (determine the occupied region portion of the object on the captured image) and determine the classification of the object. Further, in this case, the output signal y may be configured in an image data format in which information regarding the occupied area of the object and its classification is superimposed on the captured image as the input signal x.
  • the detection unit 62 receives the object from the excavator 100 based on the position and size of the occupied area of the object in the image captured by the image pickup device S6 output from the object detection model LM (neural network DNN).
  • the relative position (distance and direction) can be specified. This is because the image pickup apparatus S6 (camera S6F, camera S6B, camera S6L, and camera S6R) is fixed to the upper swing body 3 and the imaging range (angle of view) is defined (fixed) in advance. Then, when the position of the object detected by the object detection model LM is in the monitoring area and is classified as an object in the monitoring target list, the detection unit 62 detects the object to be monitored in the monitoring area. It can be determined that it has been done.
  • the neural network DNN has a neural network corresponding to each of a process of extracting an occupied area (window) in which an object exists in a captured image and a process of specifying the type of an object in the extracted area. It may be. That is, the neural network DNN may have a configuration in which object detection and object classification are performed step by step. Further, for example, in the neural network DNN, a process of classifying an object and defining an occupied area (bounding box) of an object for each grid cell in which the entire area of the captured image is divided into a predetermined number of partial areas, and a grid.
  • the configuration may have a neural network corresponding to the process of combining the occupied areas of the objects for each type and determining the final occupied area of the object. That is, the neural network DNN may have a configuration in which object detection and object classification are performed in parallel.
  • the detection unit 62 calculates the prediction probability for each type of object on the captured image by using the neural network DNN for each predetermined control cycle.
  • the detection unit 62 may further increase the current prediction probability when the current judgment result and the previous judgment result match. For example, at the time of the previous determination, the predicted probability that the object appearing in the predetermined area on the captured image is determined as "dump" (y2) is continuously determined as “dump” (y2). In this case, the prediction probability of being determined as the "dump" (y2) this time may be further increased.
  • the detection unit 62 can suppress erroneous determination.
  • the detection unit 62 may make a determination regarding an object on the captured image in consideration of operations such as traveling and turning of the excavator 100. This is because even when an object around the excavator 100 is stationary, the position of the object on the captured image may move due to the traveling or turning of the excavator 100, and the object may not be recognized as the same object. For example, the image area determined to be "tree" (y1) in the current process may be different from the image area determined to be "tree” (y1) in the previous process due to the traveling or turning of the excavator 100. ..
  • the detection unit 62 determines. It may be regarded as the same object, and continuous matching determination (that is, determination of a state in which the same object is continuously detected) may be performed.
  • the detection unit 62 may include the image area used in the current determination in addition to the image area used in the previous determination, and also include an image area within a predetermined range from this image area. As a result, even if the excavator 100 travels or turns, the detection unit 62 can continuously determine the match with respect to the same object around the excavator 100.
  • the object detection model LM may be configured around the neural network DNN as in this example.
  • the detection unit 62 may detect an object around the excavator 100 by using an object detection method based on any machine learning other than the method using the neural network DNN.
  • An object detection model LM representing a boundary may be generated by supervised learning.
  • the machine learning (supervised learning) method applied to the generation of information about the boundary may be, for example, a support vector machine (SVM: Support Vector Machine), a k-nearest neighbor method, a mixed Gaussian distribution model, or the like.
  • the detection unit 62 is in the range where the local feature amount acquired from the captured image of the image pickup apparatus S6 is in the range of a predetermined type of object or not in the range of not the object of that type based on the object detection model LM.
  • the object can be detected based on the above.
  • the detection unit 62 performs a process (distance calculation process 902) of calculating the distance from the excavator 100 to a surrounding object based on the output of the distance measuring device S7 mounted on the excavator 100.
  • the detection unit 62 has a distance L1 to an object in each direction as seen from the excavator 100 (imaging device S6) corresponding to the image areas x1 to xm obtained by dividing the image captured by the imaging device S6 into a plurality of image areas. Calculate Lm.
  • the distance measuring device S7 is mounted on the upper swivel body 3 and acquires information on the distance to an object around the excavator 100.
  • the distance measuring device S7 includes, for example, an ultrasonic sensor, a millimeter wave radar, a LIDAR, an infrared sensor, and the like. Further, the distance measuring device S7 may be, for example, an imaging device such as a monocular camera, a stereo camera, a distance image camera, or a depth camera. In the case of a monocular camera, the detection unit 62 can calculate the distance based on the captured image when the excavator 100 is traveling or turning.
  • the detection unit 62 combines the output of the object detection process 901 and the output of the distance calculation process 902 to generate object information including prediction probabilities and positions for each of a plurality of objects (object information generation process 903). I do. Specifically, the detection unit 62 includes a prediction probability for each of a plurality of types of objects included in the object list, an occupied area on the captured image, and distance information (distance L1) for each image area x1 to xm of the captured image. ⁇ Lm), object information including the prediction probability and position for each object may be generated.
  • the object information indicates that the "tree” corresponding to the output signal y1 is located at the coordinates "(e 1 , n 1 , h 1 )" with the prediction probability "xx%”. Further, in this embodiment, the object information, in corresponding to the output signal y2 "dump (truck)" is predicted probabilities "xx%", is located at coordinates "(e 2, n 2, h 2)" It represents that.
  • the object information may indicate that the corresponding output signal yn "xxxxxx” is in predicted probability "xx%”, is located at coordinates "(e n, n n, h n)
  • the detection unit 62 detects or detects an object within the imaging range of the imaging device S6 based on the object information and the prediction probabilities for each of a plurality of types of objects in the object list. The position of the object can be specified.
  • the detection unit 62 may specify the position of each object by using only the position and size of the occupied area for each object.
  • the distance calculation process 902 may be omitted, and the distance measuring device S7 may be omitted.
  • the controller 30 determines the reference object around the excavator 100 based on the object information generated by the object information generation process 903 described above, and calculates the orientation of the reference object as seen from the excavator 100. To do. Then, the controller 30 estimates the turning angle of the excavator 100 based on the time-series change of the orientation of the object as seen from the excavator 100.
  • the controller 30 determines a plurality of reference objects including at least a tree and a dump truck, and calculates the orientation (angle direction) ⁇ k (t1) of the reference object as seen from the excavator 100 for each reference object (for each reference object). k: an integer from 1 to n).
  • the controller 30 determines a plurality of reference objects including at least a tree and a dump truck, and calculates the orientation ⁇ k (t2) of the reference object as seen from the excavator 100 for each reference object.
  • the controller 30 uses the following equation (1) to time from time t1 based on the orientations ⁇ k (t1) and ⁇ k (t2) of the reference object as seen from the excavator 100 at time t1 and time t2 for each reference object.
  • the turning angle ⁇ up to t2 can be calculated.
  • the controller 30 determines the turning angle of the excavator 100 between the time t1 and the time t2 based on the turning angle ⁇ calculated for each of the plurality of reference objects.
  • the controller 30 may determine the turning angle of the excavator 100 between the time t1 and the time t2 by performing statistical processing such as averaging the turning angles ⁇ for each of the plurality of reference objects.
  • the controller 30 determines the turning angle ⁇ corresponding to one reference object as the turning angle of the excavator 100. Good.
  • the controller 30 determines the reference object around the excavator 100 based on the object information, and the excavator is based on the change in the orientation of the reference object as seen from the excavator 100 in time series.
  • a turning angle of 100 can be estimated.
  • the controller 30 estimates the turning angle of the excavator 100 based on the time-series change in the orientation of the reference object as seen from the excavator 100 for each of the plurality of reference objects, and a plurality of turning angles.
  • the turning angle of the excavator 100 is determined based on the estimated value of. Thereby, the estimation accuracy of the turning angle can be improved.
  • the controller 30 cannot use the dump truck as a reference object.
  • the controller 30 determines at least one or a plurality of reference objects including trees, and calculates the orientation ⁇ k (t3) of the reference object as seen from the excavator 100 for each reference object.
  • the controller 30 uses the following equation (2) to time from time t2 based on the orientations ⁇ k (t2) and ⁇ k (t3) of the reference object as seen from the excavator 100 at time t2 and time t3 for each reference object.
  • the turning angle ⁇ up to t3 can be calculated.
  • the controller 30 is viewed from the excavator 100 when there is another reference object in the detection state even when some reference objects are in the non-detection state.
  • the turning angle of the excavator 100 can be estimated based on the change in the orientation of the reference object. That is, by using the plurality of reference objects, the controller 30 stably continues the estimation process of the turning angle of the excavator 100 even in a situation where some of the reference objects are in a non-detection state. can do.
  • FIG. 12 is a diagram schematically showing another example of the configuration of the excavator 100 according to the present embodiment.
  • the control system of the excavator 100 includes a controller 30, a discharge pressure sensor 28, an operating pressure sensor 29, a proportional valve 31, a display device 40, an input device 42, a sound output device 43, and storage.
  • the device 47, a boom angle sensor S1, an arm angle sensor S2, a bucket angle sensor S3, a machine body tilt sensor S4, a turning state sensor S5, an image pickup device S6, and a communication device T1 are included.
  • the turning state sensor S5 outputs detection information regarding the turning state of the upper swing body 3.
  • the turning state sensor S5 detects, for example, the turning angular velocity and the turning angle of the upper swing body 3.
  • the swivel state sensor S5 may include, for example, a gyro sensor, a resolver, a rotary encoder, and the like.
  • the detection signal corresponding to the turning angle and the turning angular velocity of the upper turning body 3 by the turning state sensor S5 is taken into the controller 30.
  • the controller 30 includes a machine guidance unit 50.
  • the machine guidance unit 50 acquires information from the boom angle sensor S1, the arm angle sensor S2, the bucket angle sensor S3, the body tilt sensor S4, the turning state sensor S5, the image pickup device S6, the communication device T1, the input device 42, and the like. Then, for example, the machine guidance unit 50 calculates the distance between the bucket 6 and the target construction surface based on the acquired information, and the bucket is based on the sound from the sound output device 43 and the image displayed on the display device 40. Notify the operator of the degree of distance between 6 and the work target (for example, the target construction surface), or the tip of the attachment (specifically, the work part such as the tip or back of the bucket 6) is the target construction surface. The operation of the attachment is automatically controlled so as to match the above.
  • the work target for example, the target construction surface
  • the tip of the attachment specifically, the work part such as the tip or back of the bucket 6
  • the machine guidance unit 50 includes the position calculation unit 51 and the distance calculation unit 52 as detailed functional configurations related to the machine guidance function and the machine control function. , Information transmission unit 53, automatic control unit 54, turning angle calculation unit 55, relative angle calculation unit 56, and position estimation unit 59.
  • the turning angle calculation unit 55 calculates the turning angle of the upper turning body 3. As a result, the controller 30 can specify the current orientation of the upper swing body 3. The turning angle calculation unit 55 calculates the turning angle based on the detection signal of the turning state sensor S5. Further, when the reference point is set at the construction site, the turning angle calculation unit 55 may use the direction in which the reference point is viewed from the turning axis as the reference direction. Further, the turning angle calculation unit 55 uses, for example, the position (visible direction) of a stopped or fixed object included (reflected) in the captured image of the imaging device S6 by using the above-mentioned estimation method. The turning angle of the upper turning body 3 may be calculated (estimated) based on the change in (see FIGS. 5 to 11). In this case, the turning state sensor S5 may be omitted.
  • the position estimation unit 59 estimates the position of the excavator 100.
  • the position estimation unit 59 recognizes an object around the excavator 100 (own machine) based on the image captured by the image pickup apparatus S6, and calculates (estimates) the relative position of the excavator 100 with respect to the recognized object. Details will be described later (see FIGS. 13 to 18).
  • FIG. 13 is a functional block diagram showing a first example of a functional configuration relating to estimation of the position of the excavator 100 according to the present embodiment.
  • the excavator 100 is communicably connected to the management device 200 by using the communication device T1.
  • the function of the management device 200 may be realized by any hardware or a combination of hardware and software.
  • the management device 200 is mainly composed of a server computer including a processor such as a CPU, a memory device such as a RAM, an auxiliary storage device such as a ROM, and an interface device for communication with the outside.
  • the management device 200 includes, for example, a model learning unit 201 and a distribution unit 203 as functional units realized by executing a program installed in the auxiliary storage device on the CPU.
  • the management device 200 uses the learning result storage unit 202 and the like.
  • the learning result storage unit 202 and the like can be realized by, for example, an auxiliary storage device of the management device 200, a communicable external storage device, or the like.
  • the model learning unit 201 makes the learning model machine-learn using a predetermined teacher data set, and outputs a learned model (object detection model LM) as a result of so-called supervised learning. Then, the generated object detection model LM is stored in the learning result storage unit 202 after the accuracy verification is performed using the verification data set prepared in advance. Further, the model learning unit 201 may generate an additional learning model by performing additional learning of the object detection model LM using the teacher data set for additional learning. Then, the accuracy verification is performed on the additionally trained model using the verification data set prepared in advance, and the object detection model LM of the learning result storage unit 202 is updated with the accuracy verified additional trained model. May be done.
  • the object detection model LM uses an image captured by the object detection device, point group data, and the like as input information, and a predetermined object (for example, a person, a vehicle, another work machine, a building, etc.) included in the captured image of the work site. Determines the presence or absence of a pylon, electric pole, tree, etc. (hereinafter, "object"), the type of the object, the position of the object, the size of the object, and the like. Then, the object detection model LM outputs information related to the determination result (for example, label information indicating the type (type) of the object and position information indicating the position of the object).
  • a predetermined object for example, a person, a vehicle, another work machine, a building, etc.
  • the base learning model and the object detection model LM as the learning result thereof may be configured around, for example, a known deep neural network (DNN).
  • DNN deep neural network
  • the teacher data set and the data set for accuracy verification may be created, for example, based on images captured at various work sites by the imaging device S6, which are appropriately uploaded from the excavator 100. Further, the teacher data set and the data set for accuracy verification may be created based on, for example, an image of a work site artificially created by using a technique related to computer graphics or the like.
  • the learning result storage unit 202 stores the object detection model LM generated by the model learning unit 201. Further, the object detection model LM of the learning result storage unit 202 may be updated by the additional learning model generated by the model learning unit 201.
  • the distribution unit 203 distributes the latest object detection model LM stored in the learning result storage unit 202 to the excavator 100.
  • the excavator 100 includes an image pickup device S6 (cameras S6F, S6B, S6L, S6R) and a controller 30 as a configuration for estimating the position of the own machine.
  • S6 image pickup device
  • S6B cameras S6F, S6B, S6L, S6R
  • controller 30 as a configuration for estimating the position of the own machine.
  • the controller 30 includes a surrounding situation recognition unit 60 and the machine guidance unit 50 described above as a configuration for estimating the excavator 100 (own machine).
  • the surrounding situation recognition unit 60 includes, for example, a model storage unit 61, a detection unit 62, an object position map generation unit 63, and a map storage unit 64.
  • the model storage unit 61 stores the latest object detection model LM received from the management device 200 through the communication device T1.
  • the detection unit 62 detects an object around the upper swivel body 3 based on the captured image input from the image pickup device S6 (cameras S6F, S6B, S6L, S6R). Specifically, the detection unit 62 reads the object detection model LM from the model storage unit 61, and uses the object detection model LM to determine the object around the upper swivel body 3 (for example, the presence / absence of the object, the determination thereof). Judgment of the type of the object, the position of the object, the size of the object, etc.). The detection unit 62 outputs, for example, label information indicating the type of the detected object, position information of the object, information on the size of the object, and the like.
  • the detection unit 62 may output label information indicating that the object is not detected.
  • the detection unit 62 since the captured images of a plurality of cameras (cameras S6F, S6B, S6L, S6R) can be used, the detection unit 62 is an object covering the entire circumference of the upper swing body 3, that is, a wider object. Objects can be detected in the range. Further, although the example of using the image pickup apparatus S6 is shown, the detection unit 62 receives the reflected signal of the output signal (for example, laser, infrared ray, electromagnetic wave, ultrasonic wave, etc.) output around the excavator 100, and the excavator 100 is used.
  • the output signal for example, laser, infrared ray, electromagnetic wave, ultrasonic wave, etc.
  • the distance to the object around the laser may be calculated from the point group data or the like. Further, the detection unit 62 obtains label information indicating the type (type) of the object, position information indicating the position of the object, and the like according to the shape of the point cloud based on the received reflected signal, the distance to the point cloud, and the like. You can ask.
  • the object position map generation unit 63 generates map information (hereinafter, “object position map”) indicating the position of the excavator 100 (own machine) with respect to a surrounding object (object).
  • the generated object position map MP is stored in the map storage unit 64.
  • the object position map MP includes three-dimensional shape data (specifically, three-dimensional feature points) of objects around the excavator 100 based on the image captured by the imaging device S6, including the object detected by the detection unit 62. , And information indicating the current position of the excavator 100 and the orientation of the upper swivel body 3 with respect to the three-dimensional shape data. Further, the object position map MP includes the position of each object detected by the detection unit 62.
  • the object position map MP includes information on the type of the object (hereinafter, “type information”) and information on the size of the object (hereinafter, “size information”) associated with the position of each object. ) Etc. are included.
  • the object position map generation unit 63 is an object (object) around the excavator 100 at the current time based on the image captured by the image pickup device S6 (detection result of the detection unit 62) at predetermined processing cycles. Generates local map information (hereinafter, "local map”) including the three-dimensional shape of.
  • the local map is map information based on the current position of the excavator 100 and the current orientation of the upper swivel body 3.
  • the object position map generation unit 63 identifies the three-dimensional shape of the object between the generated local map and the past object position map MP created in the immediately preceding processing cycle, and the latest object position map. Generate MP. At this time, the object position map generation unit 63 identifies the three-dimensional shape of the local map based on the current position of the excavator 100 and the orientation of the upper swivel body 3 as the three-dimensional shape of the past object position map MP. At the same time, the position of the excavator 100 and the orientation of the upper swivel body 3 on the object position map MP are specified.
  • the object position map generation unit 63 creates an object position map MP according to the detection cycle of the detection unit 62 from the start to the stop of the excavator 100, and uses the latest object position map MP to create the map storage unit 64.
  • the object position map MP of the above may be sequentially updated.
  • the object position map generation unit. 63 may generate the object position map MP based on the captured image of the imaging device S6 and the detection information of the distance sensor. That is, the controller 30 estimates the position of the excavator 100 (own machine) based on the captured image of the imaging device S6 and the detection information of the distance sensor (that is, information on the distance to an object around the excavator 100), or the upper portion. The direction (swivel angle) of the swivel body 3 may be estimated.
  • the object position map generation unit 63 generates data corresponding to the three-dimensional shape around the excavator 100 based on the detection information of the distance sensor, and based on the captured image of the image pickup apparatus S6 on the data.
  • the object position map MP may be generated so as to reflect the information about the object detected by the detection unit 62.
  • the distance sensor can directly acquire the detection information regarding the distance to the object around the excavator 100, so that the processing load can be reduced and the processing time can be shortened as compared with the case where the distance is calculated from the image pickup device of the image pickup device S6. ..
  • the accuracy of the distance corresponding to the detection information acquired by the distance sensor is generally higher than the accuracy of the distance calculated from the image pickup device of the image pickup device S6, the accuracy of the object position map MP can be improved. it can. Further, since the distance range in which the detection unit 62 can detect the object is limited with reference to the excavator 100 (upper swivel body 3), for example, when the excavator 100 travels on the lower traveling body 1, the object position map MP There is a possibility that the position of an object included in is out of the detection range.
  • the controller 30 moves an object at a position relatively away from the excavator 100 and constructs a terrain shape at a position relatively away from the excavator 100. It may not be possible to grasp changes due to work. Therefore, even if the object position map generation unit 63 deletes the information on the three-dimensional shape including the object at a position some distance from the excavator 100 (own machine) included in the object position map MP at the time of updating. Alternatively, for example, a flag indicating that the information has low accuracy may be associated with the information and left in the map information.
  • the map storage unit 64 stores the latest object position map MP generated by the object position map generation unit 63.
  • the machine guidance unit 50 includes a turning angle calculation unit 55 and a position estimation unit 59 as a functional configuration for estimating the position of the excavator 100 (own machine).
  • the turning angle calculation unit 55 may use a stationary object (hereinafter, “stop object”) or a fixed object (hereinafter, “fixed object”) around the excavator 100. ”) Is recognized, and the turning angle (that is, the direction of the upper turning body 3) of the upper turning body 3 with reference to the stopped object or the fixed object is estimated (calculated).
  • the stopped object means an object that is stopped without moving (for example, a dump truck that is stopped) among the movable objects.
  • the fixed object means an object that is fixed at a certain position and does not move (for example, a tree, a utility pole, various devices placed in a scrap field described later, etc.).
  • the turning angle calculation unit 55 indicates the direction of the upper swivel body 3 on the latest object position map MP stored in the map storage unit 64, that is, the stop target specified on the object position map MP.
  • the direction (swivel angle) of the upper swivel body 3 as seen from an object or a fixed object is estimated (calculated). More specifically, the turning angle calculation unit 55 estimates (calculates) the turning angle of the upper turning body 3 with reference to the direction in which the turning axis is viewed from the stopped object or the fixed object in the object position map MP. You can.
  • the position estimation unit 59 recognizes an object (specifically, a stopped object or a fixed object) around the excavator 100 based on the captured image of the imaging device S6, and the excavator 100 (own machine) for the recognized object. ) Is grasped (estimated). Specifically, the position estimation unit 59 refers to the position of the excavator 100 on the object position map MP stored in the map storage unit 64, that is, with respect to a stopped object or a fixed object specified on the object position map MP. Grasp (estimate) the position of the excavator 100. As a result, the excavator 100 can grasp the position of its own machine without using GNSS.
  • FIG. 14 is a diagram showing a first example of an operation relating to estimation of the position of the excavator 100 according to the present embodiment.
  • the position estimation unit 59 is an XY coordinate system with reference (origin) the tree TR21 as a fixed object around the excavator 100 (own machine) specified on the object position map MP.
  • the position of the excavator 100 in the above is estimated (calculated).
  • the turning angle calculation unit 55 estimates (calculates) the turning angle of the upper turning body 3 with reference to the direction of the excavator 100 (turning axis) seen from the tree TR21.
  • the position estimation unit 59 determines the position of the excavator 100 in the XY coordinate system based on the tree TR21, where the X coordinate is a predetermined value X1 (> 0) and the Y coordinate is a predetermined value Y1 (>). Calculate as 0). Further, the position estimation unit 59 calculates the turning angle of the upper swinging body 3 with reference to the direction of the excavator 100 (turning axis AX) seen from the tree TR21 as a predetermined value ⁇ 1 (> 0).
  • the position estimation unit 59 sets the position of the excavator 100 in the XY coordinate system with respect to the tree TR21 as a predetermined value X2 (> X1> 0) for the X coordinate and a predetermined value for the Y coordinate. Calculate as Y2 (> Y1> 0).
  • the turning angle calculation unit 55 calculates the turning angle of the upper turning body 3 with reference to the direction of the excavator 100 (turning axis AX) seen from the tree TR21 as a predetermined value ⁇ 2 (> ⁇ 1> 0).
  • the position estimation unit 59 estimates the position of the excavator 100 with reference to the tree TR21 around the excavator 100 (own machine).
  • the controller 30 can continue to grasp the position of the excavator 100 with respect to the tree TR 21 in accordance with the movement of the excavator 100 in a situation where the excavator 100 works while moving around the tree TR21. it can.
  • the turning angle calculation unit 55 estimates the turning angle of the upper turning body 3 with reference to the direction in which the excavator 100 (turning axis) is viewed from the tree TR21.
  • the controller 30 is in a situation where the excavator 100 moves around the tree TR21 and works while turning the upper swivel body 3, and the orientation of the upper swivel body 3 with respect to the tree TR21 (that is, the attachment). You can keep track of the direction).
  • the excavator 100 includes an image pickup device S6 (cameras S6F, S6B, S6L, S6R) and a controller 30 as a configuration related to estimation of the own machine.
  • S6 image pickup device
  • S6B cameras S6F, S6B, S6L, S6R
  • controller 30 as a configuration related to estimation of the own machine.
  • the controller 30 includes a machine guidance unit 50 and a surrounding situation recognition unit 60 as a configuration for estimating the position of the excavator 100.
  • the object position map generation unit 63 generates an object position map MP representing the position of the excavator 100 (own machine) with respect to a surrounding object (object) as in the case of the first example described above.
  • the object position map MP is associated with the position of each object, such as object type information, object size information, and information indicating the accuracy of the object position (hereinafter, "accuracy information").
  • accuracy information information indicating the accuracy of the object position
  • Etc. information indicating the accuracy of the object position
  • the object position map generation unit 63 can refer to the accuracy information and grasp the accuracy of the position of the object included in the object position map MP.
  • the object position map generation unit 63 has, for example, the accuracy information of a certain object on the local map corresponding to the position of the current excavator 100 and the same on the past object position map MP generated in the latest processing cycle.
  • the latest object position map MP may be generated by comparing the accuracy information of the objects and adopting the one with the higher position accuracy. That is, the object position map generation unit 63 may update the object position map MP based on the information regarding the relatively high-precision object (object) acquired by the image pickup apparatus S6. As a result, the object position map generation unit 63 can improve the accuracy of the object position map MP.
  • the distance range in which the image pickup apparatus S6 (cameras S6F, S6B) can image at a constant angle in the vertical direction becomes relatively shorter as it approaches the excavator 100, and relative as it moves away from the excavator 100. It turns out that it becomes longer.
  • the image pickup apparatus S6 can acquire relatively dense pixel information for a region relatively close to the excavator 100, while it is relative to a region far away from the excavator 100. Only coarse pixel information can be acquired. Therefore, as the distance between the excavator 100 and the object becomes longer, the position of the object is estimated from the relatively coarse pixel information, and the accuracy becomes relatively low.
  • the accuracy information may be generated based on the distance from the excavator 100 when the object is detected by the detection unit 62.
  • the accuracy information is generated in such a manner that the longer the distance from the excavator 100 when the object is detected by the detection unit 62, the lower the accuracy of the position of the object.
  • the accuracy information may be generated based on, for example, the elapsed time since the last detection of the object. If the distance between the excavator 100 and an object is relatively large and the object is no longer detected by the detection unit 62, then whether or not the object exists at that position in its original shape. This is because it cannot be judged. In this case, the accuracy information may be generated in such a manner that the accuracy of the object decreases as the elapsed time increases.
  • the accuracy information may be generated based on the recognition probability of the object by the detection unit 62 (object detection model LM).
  • the accuracy information may be generated in such a manner that the accuracy of the position information of the object becomes lower as the recognition probability of the object output by the object detection model LM becomes relatively lower.
  • the machine guidance unit 50 includes a turning angle calculation unit 55 and a position estimation unit 59 as a functional configuration for estimating the position of the excavator 100.
  • the turning angle calculation unit 55 selects an object having a relatively high position accuracy among the stopped objects or fixed objects around the excavator 100, which are specified from the object position map MP stored in the map storage unit 64.
  • the direction (swivel angle) of the upper swivel body 3 as a reference is estimated (calculated).
  • the turning angle calculation unit 55 may be selected from among objects whose positions are relatively accurate (specifically, equal to or higher than a predetermined reference) among the stopped objects or fixed objects around the excavator 100.
  • a predetermined condition for example, "the distance from the excavator 100 is the shortest", etc.
  • the object may be automatically selected as the reference object for the orientation of the upper swing body 3.
  • the turning angle calculation unit 55 selects from among a plurality of objects specified from the object position map MP, which have relatively high position accuracy, based on the operation input through the input device 42.
  • the stopped object or the fixed object may be used as a reference for the orientation of the upper swing body 3.
  • the turning angle calculation unit 55 can estimate the turning angle of the upper turning body 3 with reference to an object having a relatively high position accuracy. Therefore, the accuracy of estimating the turning angle can be improved.
  • the position estimation unit 59 refers to an object with relatively high position accuracy among the objects around the excavator 100 identified from the object position map MP stored in the map storage unit 64 (excavator 100 (). Estimate (calculate) the position of your own machine). For example, the position estimation unit 59 determines the position of the stopped object or the fixed object around the excavator 100 from among the objects whose position accuracy is relatively high (specifically, equal to or higher than a predetermined reference). (For example, "the distance from the excavator 100 is the shortest", etc.), the object may be automatically selected as the reference object for the position of the excavator 100.
  • the position estimation unit 59 is selected from among the objects having relatively high position accuracy among the plurality of objects specified from the object position map MP based on the operation input through the input device 42.
  • the stopped object or the fixed object may be used as a reference for the position of the excavator 100.
  • the position estimation unit 59 can estimate the position of the excavator 100 (own machine) with reference to an object having a relatively high position accuracy. Therefore, the accuracy of estimating the position of the excavator 100 can be improved.
  • the excavator 100 has a configuration in which the left and right crawlers of the lower traveling body 1 are automatically advanced and updated.
  • the components related to the operating system of the traveling hydraulic motor 1L and the components related to the operating system of the traveling hydraulic motor 1R are the same as the components related to the operating system of the boom cylinder 7 (FIGS. 4A to 4C). It is composed.
  • the configurations corresponding to the proportional valves 31AL and 31AR of FIG. 4A in the components related to the operation system of the traveling hydraulic motor 1L and the components related to the operation of the traveling hydraulic motor 1R are described as the proportional valves 31DL, 31DR and the proportional valves. They are called 31EL and 31ER.
  • FIG. 16 is a functional block diagram showing a third example of the functional configuration relating to the estimation of the position of the excavator 100 according to the present embodiment.
  • the excavator 100 has a configuration in which the lower traveling body 1 (specifically, the left and right crawlers) is automatically moved forward and backward.
  • the communication device T1 is used to be communicably connected to the management device 200.
  • the management device 200 includes, for example, a model learning unit 201 and a distribution unit 203 as functional units realized by executing a program installed in the auxiliary storage device on the CPU. Further, the management device 200 uses the learning result storage unit 202 and the construction information storage unit 204.
  • the learning result storage unit 202, the construction information storage unit 204, and the like can be realized by, for example, an auxiliary storage device of the management device 200, a communicable external storage device, or the like.
  • a construction information database including construction information of a plurality of work sites including the work site of the excavator 100 is constructed.
  • the construction information includes information on the construction target (for example, target construction surface data, etc.).
  • the distribution unit 203 extracts the construction information of the work site of the excavator 100 from the construction information database and distributes it to the excavator 100.
  • the excavator 100 has an imaging device S6 (cameras S6F, S6B, S6L, S6R), a controller 30, and a proportional valve 31CL, 31CR, 31DL, 31DR, 31EL, as a configuration for estimating the position of the own machine. Includes 31ER.
  • the controller 30 includes a machine guidance unit 50 and a surrounding situation recognition unit 60 as a configuration for estimating the position of the excavator 100, as in the case of FIG.
  • the surrounding situation recognition unit 60 has a model storage unit 61, a detection unit 62, an object position map generation unit 63, a map storage unit 64, a storage unit 65, and a target position as a functional configuration for estimating the position of the excavator 100. It includes an information generation unit 66.
  • the storage unit 65 stores the construction information 65A delivered from the management device 200.
  • the target position information generation unit 66 generates information regarding the position of the work target as a target during work (hereinafter, “target position information”) and registers it on the object position map MP.
  • target position information information regarding the position of the work target as a target during work
  • the target position information generation unit 66 bases the target position information generation unit 66 on the target position information regarding the target construction surface as a work target, specifically, the position of the target construction surface and the target construction surface on the object position map MP.
  • the target position information that defines the three-dimensional shape of is generated and registered in the object position map MP. That is, the target position information generation unit 66 associates the position of the excavator 100 (own machine) with respect to the surrounding object (object) with the position of the construction target (target construction surface) corresponding to the construction information 65A, and the object position map MP. Is generated and stored in the map storage unit 64.
  • the controller 30 automated control unit 54
  • the controller 30 can grasp the positional relationship between the position of the excavator 100 and the construction target
  • the machine guidance unit 50 includes an automatic control unit 54, a turning angle calculation unit 55, a relative angle calculation unit 56, and a position estimation unit 59 as a functional configuration for estimating the position of the excavator 100.
  • the relative angle calculation unit 56 determines the direction (swivel angle) of the upper swivel body 3 on the object position map MP calculated by the swivel angle calculation unit 55, and the target construction as a work target specified from the object position map MP.
  • the relative angle is calculated (estimated) based on the position of the surface and the three-dimensional shape.
  • the relative angle calculation unit 56 is calculated from the direction (swivel angle) of the upper swivel body 3 as seen from a certain object and the same object on the object position map MP, which is calculated by the swivel angle calculation unit 55.
  • the relative angle may be calculated (estimated) based on the orientation of the target construction surface seen.
  • the automatic control unit 54 sets the proportional valves 31DL, DR, 31EL, and 31ER based on the position of the excavator 100 with reference to the object around the excavator 100 (own machine) calculated (estimated) by the position estimation unit 59.
  • the excavator 100 is moved to the front of the target construction surface (specifically, the unconstructed portion of the target construction surface) corresponding to the construction information 65A.
  • the automatic control unit 54 lowers the position based on the position of the excavator 100 on the object position map MP estimated by the position estimation unit 59 and the position of the target construction surface on the object position map MP.
  • the traveling body 1 may be controlled to travel.
  • the automatic control unit 54 controls the proportional valves 31CL, 31CR, 31DL, DR, 31EL, 31ER based on the relative angle calculated (estimated) by the relative angle calculation unit 56, and the target construction corresponding to the construction information 65A.
  • the upper swivel body 3 is made to face the surface.
  • the automatic control unit 54 may rotate the upper swivel body 3 so that the upper swivel body 3 faces the target construction surface.
  • the automatic control unit 54 may control the traveling path by the lower traveling body 1 so that the upper rotating body 3 faces the target construction surface when the shovel 100 approaches the target construction surface to some extent.
  • the automatic control unit 54 performs a braking operation (deceleration, stop) by controlling the pressure reducing proportional valve 33 based on the positional relationship with the detected object. be able to.
  • the controller 30 (position estimation unit 59) is based on the tree TR2 as a fixed object around the excavator 100 (own machine) specified on the object position map MP. The position of the excavator 100 to be used is estimated.
  • the controller 30 (position estimation unit 59) sequentially calculates (estimates) the position of the excavator 100 with respect to the tree TR2. Then, the controller 30 (position estimation unit 59) operates the lower traveling body 1 (specifically, the left and right crawlers) through the operating device 26 in a state where the operator presses a predetermined switch such as an MC switch. Based on the difference between the position of the excavator 100 and the position of the slope NS with reference to the tree TR2, the traveling control of the lower traveling body 1 is performed via the proportional valves 31DL, 31DR, 31EL, 31ER. As a result, as shown in FIG.
  • the controller 30 can assist the operator in operating the operating device 26 with respect to the lower traveling body 1 to move the excavator 100 to the front of the slope NS. Further, when a predetermined switch such as an MC switch is pressed, the controller 30 automatically controls the lower traveling body 1 via the proportional valves 31DL, 31DR, 31EL, 31ER, and does not depend on the operation on the operating device 26. The excavator 100 may be automatically moved to the front of the slope NS.
  • the controller 30 (turning angle calculation unit 55) is a tree TR2 as a fixed object around the excavator 100 (own machine) specified on the object position map MP. Calculate the turning angle with the reference object. Specifically, the controller 30 calculates a turning angle based on the direction in which the excavator 100 (turning axis) is viewed from the tree TR2.
  • the controller 30 estimates (calculates) the turning angle with the tree TR2 as the reference object in the state of FIG. 8A. Further, the controller 30 (relative angle calculation unit 56) estimates (calculates) the relative angle based on the estimated turning angle and the target position information corresponding to the slope NS as the target construction surface. Then, when the operator performs a left turn operation on the lever device 26C while the operator presses a predetermined switch such as an MC switch, the controller 30 (automatic control unit 54) sets a turning angle with the tree TR2 as a reference object. While estimating, the proportional valve 31CL is controlled so that the upper swing body 3 faces the slope NS. As a result, as shown in FIG.
  • the controller 30 can assist the operation of the lever device 26C by the operator to face the slope NS as the work target. Further, when the operator presses a predetermined switch such as an MC switch, the controller 30 automatically makes the upper swivel body 3 face the slope NS while estimating the swivel angle with the tree TR2 as the reference object. May be good.
  • a predetermined switch such as an MC switch
  • FIG. 17 is a functional block diagram showing a fourth example of the functional configuration relating to the estimation of the position of the excavator 100 according to the present embodiment.
  • the parts different from FIG. 13 described above will be mainly described.
  • the excavator 100 has an imaging device S6 (cameras S6F, S6B, S6L, S6R), a controller 30, and a proportional valve 31CL, 31CR, 31DL, 31DR, 31EL, as a configuration for estimating the position of the own machine. Includes 31ER.
  • the controller 30 includes a machine guidance unit 50 and a surrounding situation recognition unit 60 as a configuration for estimating the position of the excavator 100, as in the case of FIG.
  • the surrounding situation recognition unit 60 has a model storage unit 61, a detection unit 62, an object position map generation unit 63, a map storage unit 64, a storage unit 65, and a target position as a functional configuration for estimating the position of the excavator 100. It includes an information generation unit 66.
  • the target setting information 65B is stored in the storage unit 65.
  • the target setting information 65B is set by an operation input from a user such as an operator through the input device 42, and is a work target as a target during work (for example, a dump truck or a scrap yard that has come to be loaded or unloaded at the scrap yard STP described later). This is setting information related to various STP devices and scrap storage areas.
  • the operator or the like uses the input device 42 to operate a predetermined operation screen (hereinafter, “target selection screen”) displayed on the display device 40, so that one or more of them are specified by the object position map MP. It is possible to select an object corresponding to the work object from the objects of the above and set it as a target at the time of work. Specifically, on the target selection screen of the display device 40, an image showing the surrounding state of the excavator 100 (hereinafter, “surrounding image”) is displayed based on the captured image of the imaging device S6.
  • surrounding image an image showing the surrounding state of the excavator 100
  • the target selection screen of the display device 40 information indicating the marker and the type of the object is superimposed on the position corresponding to the object around the excavator 100 specified by the object position map MP on the surrounding image. Is displayed in.
  • the operator or the like can identify and select (set) the work target by confirming the position and type of the target object on the target selection screen.
  • the target position information generation unit 66 generates target position information corresponding to the work target set (selected) by the operator or the like based on the target setting information 65B, and registers the target position information on the object position map.
  • the target position information generation unit 66 uses the target setting information 65B to generate target position information that identifies an object corresponding to a work target set by an operator or the like among the objects on the object position map MP. Generate and register in the object position map MP.
  • the target position information generation unit 66 Object position map A form in which incidental information such as flag information indicating that the object is a work object and identification information for distinguishing it from other work objects is associated with the position of the object of the work object corresponding to the target setting information 65B on the MP.
  • the target position information generation unit 66 generates an object position map MP in which the position of the excavator 100 (own machine) with respect to the surrounding object (object) is associated with the position of the predetermined work target corresponding to the target setting information 65B. Then, it is stored in the map storage unit 64.
  • the controller 30 automated control unit 54
  • the controller 30 can grasp the positional relationship between the position of the excavator 100 and the work target set by the operation input from the operator or the like on the object position map MP.
  • the machine guidance unit 50 includes an automatic control unit 54, a turning angle calculation unit 55, a relative angle calculation unit 56, and a position estimation unit 59 as a functional configuration for estimating the position of the excavator 100.
  • the relative angle calculation unit 56 determines the direction (swivel angle) of the upper swivel body 3 on the object position map MP calculated by the swivel angle calculation unit 55, and the target construction as a work target specified from the object position map MP.
  • the relative angle is calculated (estimated) based on the position of the surface and the three-dimensional shape.
  • the relative angle calculation unit 56 is calculated from the direction (swivel angle) of the upper swivel body 3 as seen from a certain object and the same object on the object position map MP, which is calculated by the swivel angle calculation unit 55.
  • the relative angle may be calculated (estimated) based on the orientation of the target construction surface seen.
  • the automatic control unit 54 has proportional valves 31DL, DR based on the position of the excavator 100 with reference to the object corresponding to the work object around the excavator 100 (own machine) calculated (estimated) by the position estimation unit 59. , 31EL, 31ER are controlled to drive the lower traveling body 1. Specifically, the automatic control unit 54 determines the position of the excavator 100 on the object position map MP estimated by the position estimation unit 59 and the position of the object corresponding to the work target on the object position map MP. The lower traveling body 1 may be controlled to travel based on the above.
  • the automatic control unit 54 assists the operation of the operation device 26 by the operator, or controls the lower traveling body 1 regardless of the operation of the operation device 26 so as not to collide with the work target.
  • the excavator 100 can be moved to the front of the target, or can be moved between a plurality of work targets.
  • the automatic control unit 54 controls the proportional valves 31CL and 31CR based on the relative angle calculated (estimated) by the relative angle calculation unit 56, and causes the upper swing body 3 to face the object corresponding to the work target. ..
  • FIG. 18 is a diagram showing a fourth example of an operation relating to estimation of the turning angle of the excavator 100 according to the present embodiment.
  • FIG. 18 is a top view showing a situation in which work is performed while moving between a plurality of work targets in a scrap yard STP.
  • the work targets in this example are the dump truck DT that came to load and unload scrap, the designated scrap storage area of the scrap yard STP (scrap loading area, scrap decomposition site, collection site before and after various devices), and various devices of the scrap yard STP. (Crusher, line sorter, vibrating sieve).
  • the excavator 100 determines whether or not there is a possibility of contact by identifying various devices under the control of the controller 30. Then, under the control of the controller 30, the shovel 100 determines whether or not the braking operation is possible based on the determination result of the presence or absence of contact possibility, and generates the end attachment and the target trajectory of the lower traveling body 1.
  • the excavator 100 performs the work ST1 of taking out scrap from the loading platform of the dump truck DT as a work target under the control of the controller 30.
  • the work ST1 may be performed in a mode of assisting the operation of the operation device 26 of the operator or the like, or may be performed automatically regardless of the operation of the operation device 26 of the operator or the like.
  • the controller 30 sequentially updates the position of the excavator 100 and the orientation (turning) of the upper swivel body 3 with reference to a preset work target (dump truck DT, scrap pile at the scrap loading area, etc.). Angle) is monitored.
  • the excavator 100 operates the attachment so that the machine does not come into contact with the dump truck DT, the scrap in the scrap loading area, etc., and the dump truck DT's loading platform and scrap loading area
  • the upper swivel body 3 can be swiveled so as to reciprocate between the two.
  • the excavator 100 puts the scrap after the disassembly work of the collection site into the crusher, then travels to the line sorter, and collects the scrap after being crushed by the crusher.
  • the work ST2 to be put into the line sorter is continuously performed.
  • the controller 30 sequentially updates the position of the excavator 100 and the orientation of the upper swivel body 3 with reference to preset work targets (scrap piles at the accumulation site, crusher, line sorter, etc.). (Turning angle) is monitored.
  • the excavator 100 operates the attachment so that the machine does not come into contact with the scrap pile or the crusher of the collection site, or between the collection site and the input port of the crusher.
  • the upper swivel body 3 can be reciprocally swiveled.
  • the excavator 100 is a lower traveling body from the front of the crusher to the front of the line sorter so that the excavator 100 does not come into contact with the scrap pile, the crusher, the line sorter, etc. at the collection site. You can run at 1.
  • the excavator 100 operates an attachment so that the machine does not come into contact with the scrap pile of the collection site, the line sorter, or the like, or the collection site and the input port of the line sorter.
  • the upper swivel body 3 can be reciprocally swiveled between them.
  • the shovel 100 owns the scrap yard STP under the control of the controller 30. Work can be carried out safely so as not to come into contact with various devices.
  • the functional block diagram showing the functional configuration related to the estimation of the position of the excavator 100 according to this example
  • the functional block diagram (FIG. 13 or FIG. 17) of any of the above-mentioned first to fourth examples can be used. Therefore, the illustration is omitted.
  • the controller 30 moves the excavator 100 based on the change in the position of the reference object as seen from the excavator 100 in time series.
  • the distance and the moving direction may be estimated (calculated).
  • the controller 30 integrates the movement distance and the movement direction in the time series based on a certain time based on the change in the position of the reference object seen from the excavator 100 in the time series, so that the position of the excavator 100 May be estimated (calculated).
  • the controller 30 can calculate (estimate) the moving distance, moving direction, position, etc. of the excavator 100 by grasping the history of the position of the reference object as seen from the excavator 100.
  • the controller 30 uses a plurality of reference objects around the excavator 100 to determine the moving distance of the excavator 100.
  • the moving direction, position, etc. may be estimated (calculated).
  • the controller 30 can see the other reference objects as seen from the excavator 100 if there are other reference objects in the detection state.
  • the moving distance, moving direction, position, etc. of the excavator 100 can be estimated. That is, the controller 30 estimates the moving distance, moving direction, position, etc. of the excavator 100 even in a situation where some of the reference objects are not detected by using the plurality of reference objects.
  • the processing can be continued stably.
  • the function of estimating the turning angle and position of the excavator 100 may be transferred to a predetermined external device (for example, the management device 200) communicably connected to the excavator 100.
  • the output of the imaging device S6, the distance measuring device S7, or the like is transmitted from the excavator 100 to the management device 200.
  • the management device 200 grasps the positional relationship between the excavator 100 and the objects around the excavator 100 while estimating the turning angle and the position based on the information received from the excavator 100, and outputs the result to the excavator 100. Can be sent and fed back. Therefore, the processing load on the excavator 100 side (controller 30) can be reduced.
  • the information regarding the monitoring target detected in or outside the monitoring area of the excavator 100 may be transmitted from the excavator 100 to the management device 200.
  • the management device 200 information regarding the type of the monitoring target, the position of the monitoring target, and the like inside and outside the monitoring area of the excavator 100 is stored in a predetermined storage unit in chronological order.
  • the information about the monitoring target stored in the storage unit of the management device 200 includes the type of monitoring target and the monitoring target outside the monitoring area of the target excavator 100 and within the monitoring target of another excavator 100 (at the same work site). Information on the location of the and the like may be included.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Paleontology (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

ショベルにおいて、自機と自機の周囲の物体との位置関係を確実に把握可能な技術を提供する。本開示の一実施形態に係るショベル100は、下部走行体1と、下部走行体1に旋回自在に搭載される上部旋回体3と、上部旋回体3に搭載され、上部旋回体3に搭載され、自機の周囲の状況を表す情報を取得する撮像装置S6と、撮像装置S6により取得される情報に基づき、自機の周囲の停止している又は固定されている基準の物体を認識し、上部旋回体3から見た基準の物体の位置の変化に基づき、上部旋回体3の旋回角度を推定するコントローラ30と、を備える。本開示の他の実施形態に係るショベル100は、撮像装置S6により取得される画像情報に基づき、自機の周囲の物体を認識し、認識した当該物体に対する自機の位置を把握するコントローラ30を備える。

Description

ショベル
 本開示は、ショベルに関する。
 例えば、下部走行体を撮像する撮像装置を設け、当該撮像装置の撮像画像から下部走行体の所定の部位を検出することによって、下部走行体に対する上部旋回体の相対角度を求める技術が知られている(特許文献1参照)。
特開2017-58272号公報
 しかしながら、例えば、ショベルが作業を行う場合、作業装置としてのアタッチメントとショベルの周囲の作業対象(例えば、土砂を積み込むダンプトラック等)を含む物体との位置関係が重要になる。そのため、ショベルは、下部走行体に対する上部旋回体の相対角度を求めても、アタッチメントとショベルの周囲の物体との位置関係、具体的には、ショベルの周囲の物体を基準とする上部旋回体の向き(即ち、上面視の角度)を認識できない可能性がある。
 そこで、上記課題に鑑み、ショベルにおいて、自機と自機の周囲の物体との位置関係を確実に把握可能な技術を提供することを目的とする。
 上記目的を達成するため、本開示の一実施形態では、
 下部走行体と、
 前記下部走行体に旋回自在に搭載される上部旋回体と、
 前記上部旋回体に搭載され、自機の周囲の状況を表す情報を取得する取得装置と、
 前記取得装置により取得される情報に基づき、自機の周囲の停止している又は固定されている基準の物体を認識し、前記上部旋回体から見た前記基準の物体の位置の変化に基づき、前記上部旋回体の旋回角度を推定する制御装置と、を備える、
 ショベルが提供される。
 また、本開示の他の実施形態では、
 下部走行体と、
 前記下部走行体に旋回自在に搭載される上部旋回体と、
 前記上部旋回体に設けられ、自機の周囲の状況を表す情報を取得する取得装置と、
 前記取得装置により取得される情報に基づき、自機の周囲の物体を認識し、前記物体に対する自機の位置を把握する制御装置と、を備える、
 ショベルが提供される。
 上述の実施形態によれば、ショベルにおいて、自機と自機の周囲の物体との位置関係を確実に把握可能な技術を提供することができる。
ショベルの側面図である。 ショベルの構成の一例を概略的に示す図である。 ショベルの油圧システムの構成の一例を概略的に示す図である。 ショベルの油圧システムにおける操作系の構成部分の一例を示す図である。 ショベルの油圧システムにおける操作系の構成部分の一例を示す図である。 ショベルの油圧システムにおける操作系の構成部分の一例を示す図である。 ショベルの旋回角度の推定方法の第1例を説明する図である。 ショベルの旋回角度の推定方法の第1例を説明する図である。 ショベルの旋回角度の推定方法の第1例を説明する図である。 ショベルの旋回角度の推定方法の第2例を説明する図である。 ショベルの旋回角度の推定方法の第2例を説明する図である。 ショベルの旋回角度の推定方法の第2例を説明する図である。 ショベルの旋回角度の推定方法の第3例を説明する図である。 ショベルの旋回角度の推定方法の第3例を説明する図である。 ショベルの旋回角度の推定方法の第3例を説明する図である。 ショベルの構成の他の例を概略的に示す図である。 ショベルの位置の推定方法の第1例を説明する図である。 ショベルの位置の推定方法の第1例を説明する図である。 ショベルの位置の推定方法の第1例を説明する図である。 ショベルの位置の推定方法の第2例を説明する図である。 ショベルの位置の推定方法の第3例を説明する図である。 ショベルの位置の推定方法の第4例を説明する図である。 ショベルの位置の推定方法の第4例を説明する図である。
 以下、図面を参照して実施形態について説明する。
 [ショベルの概要]
 最初に、図1を参照して、本実施形態に係るショベル100の概要について説明する。
 図1は、本実施形態に係る掘削機としてのショベル100の側面図である。
 尚、図1では、ショベル100は、施工対象の上り傾斜面ESに面する水平面に位置すると共に、後述する目標施工面の一例である上り法面BS(つまり、上り傾斜面ESに対する施工後の法面形状)が併せて記載されている(図8A、図8B参照)。
 本実施形態に係るショベル100は、下部走行体1と、旋回機構2を介して旋回自在に下部走行体1に搭載される上部旋回体3と、アタッチメント(作業機)を構成するブーム4、アーム5、及び、バケット6と、キャビン10とを備える。
 下部走行体1は、左右一対のクローラが走行油圧モータ1L,1Rでそれぞれ油圧駆動されることにより、ショベル100を走行させる。つまり、駆動部としての一対の走行油圧モータ1L,1Rは、被駆動部としての下部走行体1(クローラ)を駆動する。
 上部旋回体3は、旋回油圧モータ2Aで駆動されることにより、下部走行体1に対して旋回する。つまり、駆動部としての旋回油圧モータ2Aは、被駆動部としての上部旋回体3を駆動する旋回駆動部であり、上部旋回体3の向き(換言すれば、アタッチメントの向き)を変化させることができる。
 尚、上部旋回体3は、旋回油圧モータ2Aの代わりに、電動機(以下、「旋回用電動機」)により電気駆動されてもよい。つまり、旋回用電動機は、旋回油圧モータ2Aと同様、被駆動部としての上部旋回体3を駆動する旋回駆動部であり、上部旋回体3の向きを変化させることができる。
 ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、エンドアタッチメントとしてのバケット6が上下回動可能に枢着される。ブーム4、アーム5、及びバケット6は、油圧アクチュエータとしてのブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。
 尚、バケット6は、エンドアタッチメントの一例であり、アーム5の先端には、作業内容等に応じて、バケット6の代わりに、他のエンドアタッチメント、例えば、法面用バケット、浚渫用バケット、ブレーカ等が取り付けられてもよい。
 キャビン10は、オペレータが搭乗する運転室であり、上部旋回体3の前部左側に搭載される。
 [ショベルの構成の一例]
 次に、図1に加えて、図2を参照して、本実施形態に係るショベル100の具体的な構成の一例、具体的には、後述のショベル100(自機)の旋回角度の推定方法に関する構成の具体例について説明する。
 図2は、本実施形態に係るショベル100の構成の一例を概略的に示す図である。
 尚、図2において、機械的動力ライン、作動油ライン、パイロットライン、及び電気制御ラインは、それぞれ、二重線、実線、破線、及び点線で示されている。以下、後述の図3、図4(図4A~図4C)、図12についても同様である。
 本実施形態に係るショベル100の油圧駆動系は、上述の如く、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6のそれぞれを油圧駆動する走行油圧モータ1L,1R、旋回油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等の駆動部としての油圧アクチュエータを含む。また、本実施形態に係るショベル100の油圧駆動系は、エンジン11と、レギュレータ13と、メインポンプ14と、コントロールバルブ17とを含む。
 エンジン11は、油圧駆動系におけるメイン動力源であり、例えば、軽油を燃料とするディーゼルエンジンである。エンジン11は、例えば、上部旋回体3の後部に搭載され、後述するコントローラ30による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ14及びパイロットポンプ15を駆動する。
 レギュレータ13は、メインポンプ14の吐出量を制御する。例えば、レギュレータ13は、コントローラ30からの制御指令に応じて、メインポンプ14の斜板の角度(以下、「傾転角」)を調節する。レギュレータ13は、例えば、後述の如く、レギュレータ13L,13Rを含む。
 メインポンプ14は、例えば、エンジン11と同様、上部旋回体3の後部に搭載され、高圧油圧ラインを通じてコントロールバルブ17に作動油を供給する。メインポンプ14は、上述の如く、エンジン11により駆動される。メインポンプ14は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ30による制御下で、レギュレータ13により斜板の傾転角が調節されることでピストンのストローク長が調整され、吐出流量(吐出圧)が制御される。メインポンプ14は、例えば、後述の如く、メインポンプ14L,14Rを含む。
 コントロールバルブ17は、例えば、上部旋回体3の中央部に搭載され、オペレータによる操作装置26に対する操作に応じて、油圧駆動系の制御を行う油圧制御装置である。コントロールバルブ17は、上述の如く、高圧油圧ラインを介してメインポンプ14と接続され、メインポンプ14から供給される作動油を、操作装置26の操作状態に応じて、油圧アクチュエータ(走行油圧モータ1L,1R、旋回油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9)に選択的に供給する。具体的には、コントロールバルブ17は、メインポンプ14から油圧アクチュエータのそれぞれに供給される作動油の流量と流れる方向を制御する制御弁171~176を含む。より具体的には、制御弁171は、走行油圧モータ1Lに対応し、制御弁172は、走行油圧モータ1Rに対応し、制御弁173は、旋回油圧モータ2Aに対応する。また、制御弁174は、バケットシリンダ9に対応し、制御弁175は、ブームシリンダ7に対応し、制御弁176は、アームシリンダ8に対応する。また、制御弁175は、例えば、後述の如く、制御弁175L,175Rを含み、制御弁176は、例えば、後述の如く、制御弁176L,176Rを含む。制御弁171~176の詳細は、後述する(図3参照)。
 本実施形態に係るショベル100の操作系は、パイロットポンプ15と、操作装置26とを含む。
 パイロットポンプ15は、例えば、上部旋回体3の後部に搭載され、パイロットラインを介して比例弁31等の各種油圧機器にパイロット圧を供給する。パイロットポンプ15は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン11により駆動される。
 操作装置26は、キャビン10の操縦席付近に設けられ、オペレータがショベル100の被駆動部(下部走行体1、上部旋回体3、ブーム4、アーム5、バケット6等)の操作を行うための操作入力手段である。換言すれば、操作装置26は、オペレータがそれぞれの被駆動部を駆動する油圧アクチュエータ(即ち、走行油圧モータ1L,1R、旋回油圧モータ2A、ブームシリンダ7、アームシリンダ8、バケットシリンダ9等)の操作を行うための操作入力手段である。例えば、操作装置26は、電気式であり、その操作内容に対応する電気信号(以下、「操作信号」)を出力し、当該操作信号は、コントローラ30に入力される。そして、コントローラ30は、操作信号に対応する制御指令を比例弁31に出力することにより、比例弁31からコントロールバルブ17に、操作装置26の操作内容に応じたパイロット圧が供給される。これにより、コントロールバルブ17は、操作装置26に対するオペレータの操作内容に応じたショベル100の動作を実現させることができる。操作装置26は、例えば、アーム5(アームシリンダ8)を操作するレバー装置を含む。また、操作装置26は、例えば、ブーム4(ブームシリンダ7)、バケット6(バケットシリンダ9)、上部旋回体3(旋回油圧モータ2A)のそれぞれを操作するレバー装置26A~26Cを含む(図4A~図4C参照)。また、操作装置26は、例えば、下部走行体1の左右一対のクローラ(走行油圧モータ1L,1R)のそれぞれを操作するレバー装置或いはペダル装置を含む。
 尚、操作装置26は、油圧パイロット式であってもよい。この場合、操作装置26には、パイロットラインを通じてパイロットポンプ15から元圧としてのパイロット圧が供給されると共に、その操作内容に応じたパイロット圧が二次側のパイロットラインに出力され、シャトル弁を介してコントロールバルブ17に供給される。また、コントロールバルブ17内の制御弁171~176は、コントローラ30からの指令により駆動される電磁ソレノイド式スプール弁であってもよいし、パイロットポンプ15と各制御弁171~176のパイロットポートとの間に、コントローラ30からの電気信号に応じて動作する電磁弁が配置されてもよい。これらの場合、コントローラ30は、電気式の操作装置26の操作量(例えば、レバー操作量)に対応する操作信号に応じて、これらの電磁弁を制御しパイロット圧を増減させることで、操作装置26に対する操作内容に合わせて、各制御弁171~176を動作させることができる。
 本実施形態に係るショベル100の制御系は、コントローラ30と、吐出圧センサ28と、比例弁31と、減圧用比例弁33と、表示装置40と、入力装置42と、音出力装置43と、記憶装置47とを含む。また、本実施形態に係るショベル100の制御系は、ブーム角度センサS1と、アーム角度センサS2と、バケット角度センサS3と、機体傾斜センサS4と、撮像装置S6と、測位装置P1と、通信装置T1とを含む。
 コントローラ30(制御装置の一例)は、例えば、キャビン10内に設けられ、ショベル100に関する各種制御を行う。コントローラ30は、その機能が任意のハードウェア、或いは、ハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、コントローラ30は、CPU(Central Processing Unit)、RAM(Random Access Memory)等のメモリ装置、ROM(Read Only Memory)等の不揮発性の補助記憶装置、及び各種入出力に関するインタフェース装置等を含むマイクロコンピュータを中心に構成される。また、コントローラ30は、例えば、CPUと連動する、GPU(Graphics Processing Unit),ASIC(Application Specific Integrated Circuit),FPGA(Field-Programmable Gate Array)等の演算回路を含んでもよい。コントローラ30は、例えば、補助記憶装置にインストールされる各種プログラムをCPU上で実行することにより各種機能を実現する。
 例えば、コントローラ30は、オペレータ等の所定操作により予め設定される運転モード等に基づき、目標回転数を設定し、エンジン11を一定回転させる駆動制御を行う。
 また、例えば、コントローラ30は、必要に応じてレギュレータ13に対して制御指令を出力し、メインポンプ14の吐出量を変化させる。
 また、例えば、コントローラ30は、例えば、オペレータによる操作装置26を通じたショベル100の手動操作をガイド(案内)するマシンガイダンス機能に関する制御を行う。また、コントローラ30は、例えば、オペレータによる操作装置26を通じたショベル100の手動操作を自動的に支援するマシンコントロール機能に関する制御を行う。つまり、コントローラ30は、マシンガイダンス機能及びマシンコントロール機能に関する機能部として、マシンガイダンス部50を含む。
 尚、コントローラ30の機能の一部は、他のコントローラ(制御装置)により実現されてもよい。即ち、コントローラ30の機能は、複数のコントローラにより分散される態様で実現されてもよい。例えば、マシンガイダンス機能及びマシンコントロール機能(マシンガイダンス部50の機能)は、専用のコントローラ(制御装置)により実現されてもよい。
 吐出圧センサ28は、メインポンプ14の吐出圧を検出する。吐出圧センサ28により検出された吐出圧に対応する検出信号は、コントローラ30に取り込まれる。吐出圧センサ28は、例えば、後述の如く、吐出圧センサ28L,28Rを含む。
 比例弁31は、パイロットポンプ15とコントロールバルブ17とを接続するパイロットラインに設けられ、その流路面積(作動油が通流可能な断面積)を変更できるように構成される。比例弁31は、コントローラ30から入力される制御指令に応じて動作する。これにより、コントローラ30は、操作装置26から入力される操作内容信号に応じて、操作装置26の操作内容に応じたパイロット圧を、比例弁31を介し、コントロールバルブ17内の対応する制御弁のパイロットポートに作用させることができる。また、コントローラ30は、オペレータにより操作装置26(具体的には、レバー装置26A~26C)が操作されていない場合であっても、パイロットポンプ15から吐出される作動油を、比例弁31を介し、コントロールバルブ17内の対応する制御弁のパイロットポートに供給できる。比例弁31は、例えば、後述の如く、比例弁31AL,31AR,31BL,31BR,31CL,31CRを含む。
 また、比例弁31は、作動油が通流可能な断面積を操作装置26の操作状態に依らずにゼロにしたり、操作状態に対応する流路面積にしたりすることにより、操作装置26に対する操作、つまり、ショベル100の各種被駆動要素の操作の有効状態と無効状態とを切り換えることができる。これにより、コントローラ30は、比例弁31に制御指令を出力することにより、ショベル100の動作を制限(停止)させることができる。
 また、操作装置26が油圧パイロット式の場合、パイロットポンプ15と操作装置26との間のパイロットラインに、コントローラ30からの制御指令に応じて、パイロットラインの連通/遮断(非連通)を切り換える油圧制御弁が設けられてもよい。当該油圧制御弁は、例えば、コントローラ30からの制御指令に応じて動作するように構成されるゲートロック弁であってよい。ゲートロック弁は、例えば、キャビン10の操縦席の入口付近に設けられるゲートロックレバーが引き上げられると、連通状態となって、操作装置26に対する操作が有効状態(操作可能状態)になり、ゲートロックレバーが押し下げられると、遮断状態となって、操作装置26に対する操作が無効状態(操作不可状態)になる。これにより、コントローラ30は、当該油圧制御弁に制御指令を出力することにより、ショベル100の動作を制限(停止)させることができる。
 尚、操作装置26として電気式の代わりに油圧パイロット式が採用される場合、比例弁31の二次側のパイロットラインは、上述のシャトル弁を介してコントロールバルブ17に接続される。この場合、シャトル弁からコントロールバルブ17に供給されるパイロット圧は、操作装置26から出力される、操作内容に応じたパイロット圧と、比例弁31から出力される、操作装置26の操作内容と関係のない所定のパイロット圧とのうちの高い方である。
 減圧用比例弁33は、比例弁31とコントロールバルブ17との間のパイロットラインに配置される。コントローラ30は、物体検知装置(例えば、撮像装置S6等)からの信号に基づき、油圧アクチュエータの減速或いは停止の制動動作が必要と判断した場合、当該パイロットラインの作動油をタンクへ排出することでパイロット圧を減圧させる。これにより、比例弁31の状態にかかわらず、コントロールバルブ17内の制御弁のスプールを中立方向へ移動させることができる。そのため、減圧用比例弁33は、制動特性を高めたい場合に有効である。減圧用比例弁33は、例えば、後述の如く、減圧用比例弁33AL,33AR,33BL,33BR,33CL,33CRを含む。
 尚、操作装置26として電気式の代わりに油圧パイロット式が採用される場合、減圧用比例弁33は、省略される。
 表示装置40は、キャビン10内の着座したオペレータから視認し易い場所に設けられ、コントローラ30による制御下で、各種情報画像を表示する。表示装置40は、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイ等である。表示装置40は、CAN(Controller Area Network)等の車載通信ネットワークを介してコントローラ30に接続されていてもよいし、一対一の専用線を介してコントローラ30に接続されていてもよい。
 入力装置42は、キャビン10内のオペレータによる各種入力を受け付け、受付られる入力に応じた信号をコントローラ30に出力する。入力装置42は、例えば、キャビン10内の着座したオペレータから手が届く範囲に設けられ、オペレータの操作入力を受け付ける操作入力装置を含む。操作入力装置は、各種情報画像を表示する表示装置40のディスプレイに実装されるタッチパネル、レバー装置26A~26Cのレバー部の先端に設けられるノブスイッチ、表示装置40の周囲に設置されるボタンスイッチ、レバー、トグル、回転ダイヤル等を含む。また、入力装置42は、例えば、キャビン10内のオペレータの音声入力やジェスチャ入力を受け付ける音声入力装置やジェスチャ入力装置を含んでもよい。音声入力装置は、例えば、キャビン10内に設けられるマイクロフォンを含む。また、音声入力装置は、例えば、キャビン10内に設けられ、オペレータの様子を撮像可能な撮像装置を含む。入力装置42に対する入力内容に対応する信号は、コントローラ30に取り込まれる。
 音出力装置43は、例えば、キャビン10内に設けられ、コントローラ30による制御下で、所定の音を出力する。音出力装置43は、例えば、スピーカやブザー等である。音出力装置43は、コントローラ30からの制御指令に応じて各種情報を音で出力する、つまり、聴覚的な情報を出力する。
 記憶装置47は、例えば、キャビン10内に設けられ、コントローラ30による制御下で、各種情報を記憶する。記憶装置47は、例えば、半導体メモリ等の不揮発性記憶媒体である。記憶装置47は、ショベル100の動作中に各種機器が出力する情報を記憶してもよく、ショベル100の動作が開始される前に各種機器を介して取得する情報を記憶してもよい。記憶装置47は、例えば、通信装置T1等を介して取得される、或いは、入力装置42等を通じて設定される目標施工面に関するデータを記憶していてもよい。当該目標施工面は、ショベル100のオペレータにより設定(保存)されてもよいし、施工管理者等により設定されてもよい。
 ブーム角度センサS1は、ブーム4に取り付けられ、ブーム4の上部旋回体3に対する俯仰角度(以下、「ブーム角度」)、例えば、側面視において、上部旋回体3の旋回平面に対してブーム4の両端の支点を結ぶ直線が成す角度を検出する。ブーム角度センサS1は、例えば、ロータリエンコーダ、加速度センサ、6軸センサ、IMU(Inertial Measurement Unit:慣性計測装置)等を含んでよい。また、ブーム角度センサS1は、可変抵抗器を利用したポテンショメータ、ブーム角度に対応する油圧シリンダ(ブームシリンダ7)のストローク量を検出するシリンダセンサ等を含んでもよい。以下、アーム角度センサS2、バケット角度センサS3についても同様である。ブーム角度センサS1によるブーム角度に対応する検出信号は、コントローラ30に取り込まれる。
 アーム角度センサS2は、アーム5に取り付けられ、アーム5のブーム4に対する回動角度(以下、「アーム角度」)、例えば、側面視において、ブーム4の両端の支点を結ぶ直線に対してアーム5の両端の支点を結ぶ直線が成す角度を検出する。アーム角度センサS2によるアーム角度に対応する検出信号は、コントローラ30に取り込まれる。
 バケット角度センサS3は、バケット6に取り付けられ、バケット6のアーム5に対する回動角度(以下、「バケット角度」)、例えば、側面視において、アーム5の両端の支点を結ぶ直線に対してバケット6の支点と先端(刃先)とを結ぶ直線が成す角度を検出する。バケット角度センサS3によるバケット角度に対応する検出信号は、コントローラ30に取り込まれる。
 機体傾斜センサS4は、所定の平面(例えば、水平面)に対する機体(上部旋回体3或いは下部走行体1)の傾斜状態を検出する。機体傾斜センサS4は、例えば、上部旋回体3に取り付けられ、ショベル100(即ち、上部旋回体3)の前後方向及び左右方向の2軸回りの傾斜角度(以下、「前後傾斜角」及び「左右傾斜角」)を検出する。機体傾斜センサS4は、例えば、ロータリエンコーダ、加速度センサ、6軸センサ、IMU等を含んでよい。機体傾斜センサS4による傾斜角度(前後傾斜角及び左右傾斜角)に対応する検出信号は、コントローラ30に取り込まれる。
 撮像装置S6は、ショベル100の周辺を撮像し、ショベル100の周囲の様子を表す画像情報を取得する。撮像装置S6は、ショベル100の前方を撮像するカメラS6F、ショベル100の左方を撮像するカメラS6L、ショベル100の右方を撮像するカメラS6R、及び、ショベル100の後方を撮像するカメラS6Bを含む。
 カメラS6F(取得装置の一例)は、例えば、キャビン10の天井、即ち、キャビン10の内部に取り付けられている。また、カメラS6F(取得装置の一例)は、キャビン10の屋根、ブーム4の側面等、キャビン10の外部に取り付けられていてもよい。カメラS6L(取得装置の一例)は、上部旋回体3の上面左端に取り付けられ、カメラS6R(取得装置の一例)は、上部旋回体3の上面右端に取り付けられ、カメラS6B(取得装置の一例)は、上部旋回体3の上面後端に取り付けられている。
 撮像装置S6(カメラS6F,S6B,S6L,S6R)は、それぞれ、例えば、非常に広い画角を有する単眼の広角カメラである。また、撮像装置S6は、ステレオカメラ、距離画像カメラ、デプスカメラ等であってもよい。撮像装置S6による撮像画像は、表示装置40を介してコントローラ30に取り込まれる。
 また、撮像装置S6(カメラS6F,S6B,S6L,S6R)に代えて、或いは、加えて、ショベル100の周囲の様子を表す情報を取得可能な他のセンサが設けられてもよい。他のセンサは、例えば、超音波センサ、ミリ波レーダ、LIDAR(Light Detection and Ranging)、赤外線センサ等であってよい。具体的には、他のセンサは、ショベル100の周囲に出力する出力信号の反射信号を受信することにより、ショベル100の周囲の物体までの距離を点群データ等により算出してもよい。また、撮像装置S6やこれらの他のセンサは、物体検知装置として機能してもよい。この場合、撮像装置S6やこれらの他のセンサは、ショベル100の周囲に存在する所定の検出対象の物体を検知してよい。検知対象の物体には、例えば、人、動物、車両、建設機械、建造物、穴等が含まれうる。撮像装置S6やこれらの他のセンサは、自身或いはショベル100から認識された物体までの距離を取得(算出)してもよい。
 コントローラ30は、例えば、撮像装置S6や他のセンサの出力に基づき、ショベル100の周囲の所定の監視領域内(例えば、ショベル100から5メートル以内の作業領域)で、監視対象の物体(例えば、人、トラック、他の建設機械等)が検知された場合、ショベル100と監視対象の物体との当接等を回避させる制御(以下、「当接回避制御」)を行う。具体的には、コントローラ30は、当接回避制御の一例として、表示装置40や音出力装置43に制御指令を出力し、警報を出力させてよい。また、コントローラ30は、当接回避制御の一例として、比例弁31、減圧用比例弁33、或いは、上述の制御弁に制御指令を出力し、ショベル100の動作を制限してもよい。このとき、動作制限の対象は、全ての被駆動要素であってもよいし、監視対象の物体とショベル100との当接回避のために必要な一部の被駆動要素だけであってもよい。
 コントローラ30による監視領域内における監視対象の存在の判断は、操作不可状態においても、実行される。そして、ショベル100は、ショベル100の監視領域内において監視対象が存在するかどうかも判断するとともに、ショベル100の監視領域外においても監視対象が存在するかどうかも判断してよい。また、ショベル100の監視領域外における監視対象が存在するかどうかの判断は、ショベル100が操作不可状態においても、実行されてよい。
 尚、撮像装置S6は、直接、コントローラ30と通信可能に接続されてもよい。
 測位装置P1は、ショベル100(上部旋回体3)の位置を測定する。測位装置P1は、例えば、GNSS(Global Navigation Satellite System)モジュールであり、上部旋回体3の位置を検出し、上部旋回体3の位置に対応する検出信号は、コントローラ30に取り込まれる。
 尚、ショベル100の位置は、後述の推定方法を用いて、取得されてもよい。この場合、測位装置P1は、省略されてもよい。
 通信装置T1は、基地局を末端とする移動体通信網、通信衛星を利用する衛星通信網、インターネット網等を含みうる所定のネットワークに接続し、外部機器(例えば、後述の管理装置200)と通信を行う。通信装置T1は、例えば、LTE(Long Term Evolution)、4G(4th Generation)、5G(5th Generation)等の移動体通信規格に対応する移動体通信モジュールや、衛星通信網に接続するための衛星通信モジュール等である。
 マシンガイダンス部50は、例えば、マシンガイダンス機能に関するショベル100の制御を実行する。マシンガイダンス部50は、例えば、目標施工面とアタッチメントの先端部、具体的には、エンドアタッチメントの作業部位との距離等の作業情報を、表示装置40や音出力装置43等を通じて、オペレータに伝える。目標施工面に関するデータは、例えば、上述の如く、記憶装置47に予め記憶されている。目標施工面に関するデータは、例えば、基準座標系で表現されている。基準座標系は、例えば、施工現場に固有のローカル座標系である。オペレータは、施工現場の任意の点を基準点と定め、入力装置42を通じて、基準点との相対的な位置関係により目標施工面を設定してもよい。バケット6の作業部位は、例えば、バケット6の爪先、バケット6の背面等である。また、エンドアタッチメントとして、バケット6の代わりに、例えば、ブレーカが採用される場合、ブレーカの先端部が作業部位に相当する。マシンガイダンス部50は、表示装置40、音出力装置43等を通じて、作業情報をオペレータに通知し、オペレータによる操作装置26を通じたショベル100の操作をガイドする。
 また、マシンガイダンス部50は、例えば、マシンコントロール機能に関するショベル100の制御を実行する。マシンガイダンス部50は、例えば、オペレータの操作装置26に対する操作に応じて、バケット6の作業部位が所定の目標軌道に沿って移動するように、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6の少なくとも一つを自動で動作させる。具体的には、マシンガイダンス部50は、オペレータが手動で掘削操作を行っているときに、目標施工面とバケット6の先端位置(つまり、作業部位における制御基準となる位置)とが一致するように、ブーム4、アーム5、及び、バケット6の少なくとも一つを自動的に動作させてよい。また、マシンガイダンス部50は、例えば、所定の作業対象(例えば、土砂の積み込み対象のダンプトラックや、切土や転圧等の施工対象である法面等)に上部旋回体3が正対するように、上部旋回体3を自動で移動させてもよい。また、マシンガイダンス部50は、例えば、ショベル100が所定の経路で移動するように、下部走行体1を自動で動作させてもよい。
 マシンガイダンス部50は、ブーム角度センサS1、アーム角度センサS2、バケット角度センサS3、機体傾斜センサS4、撮像装置S6、測位装置P1、通信装置T1及び入力装置42等から情報を取得する。そして、マシンガイダンス部50は、例えば、取得した情報に基づき、バケット6と目標施工面との間の距離を算出し、音出力装置43からの音声及び表示装置40に表示される画像により、バケット6と作業対象(例えば、目標施工面やとの間の距離の程度をオペレータに通知したり、アタッチメントの先端部(具体的には、バケット6の爪先や背面等の作業部位)が目標施工面に一致するように、アタッチメントの動作を自動的に制御したりする。マシンガイダンス部50は、当該マシンガイダンス機能及びマシンコントロール機能に関する詳細な機能構成として、位置算出部51と、距離算出部52と、情報伝達部53と、自動制御部54と、旋回角度算出部55と、相対角度算出部56とを含む。
 位置算出部51は、所定の測位対象の位置を算出する。例えば、位置算出部51は、アタッチメントの先端部、具体的には、バケット6の爪先や背面等の作業部位の基準座標系における座標点を算出する。具体的には、位置算出部51は、ブーム4、アーム5、及びバケット6のそれぞれの俯仰角度(ブーム角度、アーム角度、及びバケット角度)からバケット6の作業部位の座標点を算出する。
 距離算出部52は、2つの測位対象間の距離を算出する。例えば、距離算出部52は、アタッチメントの先端部、具体的には、バケット6爪先や背面等の作業部位と目標施工面との間の距離を算出する。また、距離算出部52は、バケット6の作業部位としての背面と目標施工面との間の角度(相対角度)を算出してもよい。
 情報伝達部53は、表示装置40や音出力装置43等の所定の通知手段を通じて、各種情報をショベル100のオペレータに伝達(通知)する。情報伝達部53は、距離算出部52により算出された各種距離等の大きさ(程度)をショベル100のオペレータに通知する。例えば、表示装置40による視覚情報及び音出力装置43による聴覚情報の少なくとも一方を用いて、バケット6の先端部と目標施工面との間の距離(の大きさ)をオペレータに伝える。また、情報伝達部53は、表示装置40による視覚情報及び音出力装置43による聴覚情報の少なくとも一方を用いて、バケット6の作業部位としての背面と目標施工面との間の相対角度(の大きさ)をオペレータに伝えてもよい。
 具体的には、情報伝達部53は、音出力装置43による断続音を用いて、バケット6の作業部位と目標施工面との間の距離(例えば、鉛直距離)の大きさをオペレータに伝える。この場合、情報伝達部53は、鉛直距離が小さくなるほど、断続音の間隔を短くし、鉛直距離が大きくなるほど、断続音の感覚を長くしてよい。また、情報伝達部53は、連続音を用いてもよく、音の高低、強弱等を変化させながら、鉛直距離の大きさの違いを表すようにしてもよい。また、情報伝達部53は、バケット6の先端部が目標施工面よりも低い位置になった、つまり、目標施工面を超えてしまった場合、音出力装置43を通じて警報を発してもよい。当該警報は、例えば、断続音より顕著に大きい連続音である。
 また、情報伝達部53は、アタッチメントの先端部、具体的には、バケット6の作業部位と目標施工面との間の距離の大きさやバケット6の背面と目標施工面との間の相対角度の大きさ等を作業情報として表示装置40に表示させてもよい。表示装置40は、コントローラ30による制御下で、例えば、撮像装置S6から受信した画像データと共に、情報伝達部53から受信した作業情報を表示する。情報伝達部53は、例えば、アナログメータの画像やバーグラフインジケータの画像等を用いて、鉛直距離の大きさをオペレータに伝えるようにしてもよい。
 自動制御部54は、ショベル100の被駆動部を駆動するアクチュエータを自動的に動作させることでオペレータによる操作装置26を通じたショベル100の手動操作を自動的に支援する。具体的には、自動制御部54は、比例弁31を制御し、複数の油圧アクチュエータに対応するコントロールバルブ17内の制御弁に作用するパイロット圧を個別的に且つ自動的に調整することができる。これにより、自動制御部54は、それぞれの油圧アクチュエータを自動的に動作させることができる。自動制御部54によるマシンコントロール機能に関する制御は、例えば、入力装置42に含まれる所定のスイッチが押下された場合に実行されてよい。当該所定のスイッチは、例えば、マシンコントロールスイッチ(以下、「MC(Machine Control)スイッチ」)であり、ノブスイッチとして操作装置26(例えば、アーム5の操作に対応するレバー装置)のオペレータによる把持部の先端に配置されていてもよい。以下、MCスイッチが押下されている場合に、マシンコントロール機能が有効である前提で説明を進める。
 例えば、自動制御部54は、MCスイッチ等が押下されている場合、掘削作業や整形作業を支援するために、アームシリンダ8の動作に合わせて、ブームシリンダ7及びバケットシリンダ9の少なくとも一方を自動的に伸縮させる。具体的には、自動制御部54は、オペレータが手動でアーム5の閉じ操作(以下、「アーム閉じ操作」)を行っている場合に、目標施工面とバケット6の爪先や背面等の作業部位の制御基準となる位置とが一致するようにブームシリンダ7及びバケットシリンダ9の少なくとも一方を自動的に伸縮させる。この場合、オペレータは、例えば、アーム5の操作に対応するレバー装置をアーム閉じ操作するだけで、バケット6の爪先等を目標施工面に一致させながら、アーム5を閉じることができる。
 また、自動制御部54は、MCスイッチ等が押下されている場合、上部旋回体3を所定の作業対象(例えば、土砂の積み込み対象のダンプトラックや施工対象の目標施工面等)に正対させるために旋回油圧モータ2Aを自動的に回転させてもよい。以下、コントローラ30(自動制御部54)による上部旋回体3を目標施工面に正対させる制御を「正対制御」と称する場合がある。これにより、オペレータ等は、所定のスイッチを押下するだけで、或いは、当該スイッチが押下された状態で、旋回操作に対応する後述のレバー装置26Cを操作するだけで、上部旋回体3を作業対象に正対させることができる。また、オペレータは、MCスイッチを押下するだけで、上部旋回体3を作業対象に正対させ且つダンプトラックへの排土作業や目標施工面の掘削作業等に関するマシンコントロール機能を開始させることができる。
 例えば、ショベル100の上部旋回体3が作業対象としてのダンプトラックに正対している状態は、アタッチメントの先端のバケット6をダンプトラックの荷台の長手方向、つまり、ダンプトラックの荷台の前後方向の軸に沿って移動させることが可能な状態である。
 例えば、ショベル100の上部旋回体3が作業対象としての目標施工面に正対している状態は、アタッチメントの動作に従い、アタッチメントの先端部(例えば、バケット6の作業部位としての爪先や背面等)を目標施工面(例えば、図1の上り法面BS)の傾斜方向に沿って移動させることが可能な状態である。具体的には、ショベル100の上部旋回体3が目標施工面に正対している状態は、ショベル100の旋回平面SFに鉛直なアタッチメントの稼動面(アタッチメント稼動面)AFが、円筒体CBに対応する目標施工面の法線を含む状態(換言すれば、当該法線に沿う状態)である(後述の図8B参照)。
 ショベル100のアタッチメント稼動面AFが円筒体CBに対応する目標施工面の法線を含む状態にない場合、アタッチメントの先端部は、目標施工面を傾斜方向に移動させることができない。そのため、結果として、ショベル100は、目標施工面を適切に施工できない(後述の図8A参照)。これに対して、自動制御部54は、自動的に旋回油圧モータ2Aを回転させることで、上部旋回体3を正対させることができる。これにより、ショベル100は、目標施工面を適切に施工することができる(図8B参照)。
 自動制御部54は、目標施工面(上り法面)に対する正対制御において、例えば、バケット6の爪先の左端の座標点と目標施工面との間の左端鉛直距離(以下、単に「左端鉛直距離」)と、バケット6の爪先の右端の座標点と目標施工面との間の右端鉛直距離(以下、単に「右端鉛直距離」)とが等しくなった場合に、ショベルが目標施工面に正対していると判断する。また、自動制御部54は、左端鉛直距離と右端鉛直距離とが等しくなった場合(即ち、左端鉛直距離と右端鉛直距離との差がゼロになった場合)ではなく、その差が所定値以下になった場合に、ショベル100が目標施工面に正対していると判断してもよい。
 また、自動制御部54は、目標施工面(上り法面)に対する正対制御において、例えば、左端鉛直距離と右端鉛直距離との差に基づき、旋回油圧モータ2Aを動作させてもよい。具体的には、MCスイッチ等の所定のスイッチが押下された状態で旋回操作に対応するレバー装置26Cが操作されると、上部旋回体3を目標施工面に正対させる方向にレバー装置26Cが操作されたか否かを判断する。例えば、バケット6の爪先と目標施工面(上り法面)との間の鉛直距離が大きくなる方向にレバー装置26Cが操作された場合、自動制御部54は、正対制御を実行しない。一方で、バケット6の爪先と目標施工面(上り法面)との間の鉛直距離が小さくなる方向に旋回操作レバーが操作された場合、自動制御部54は、正対制御を実行する。その結果、自動制御部54は、左端鉛直距離と右端鉛直距離との差が小さくなるように旋回油圧モータ2Aを動作させることができる。その後、自動制御部54は、その差が所定値以下或いはゼロになると、旋回油圧モータ2Aを停止させる。また、自動制御部54は、その差が所定値以下或いはゼロとなる旋回角度を目標角度として設定し、その目標角度と現在の旋回角度(具体的には、旋回状態センサS5の検出信号に基づく検出値)との角度差がゼロになるように、旋回油圧モータ2Aの動作制御を行ってもよい。この場合、旋回角度は、例えば、基準方向に対する上部旋回体3の前後軸の角度である。
 尚、上述の如く、旋回油圧モータ2Aの代わりに、旋回用電動機がショベル100に搭載される場合、自動制御部54は、旋回用電動機を制御対象として、正対制御を行う。
 旋回角度算出部55は、上部旋回体3の旋回角度を算出する。これにより、コントローラ30は、上部旋回体3の現在の向きを特定することができる。旋回角度算出部55は、例えば、後述の如く、撮像装置S6の撮像画像に含まれる(映っている)、停止している或いは固定されている物体の位置(換言すれば、見える方向)の変化に基づき、上部旋回体3の旋回角度を算出(推定)する。詳細は、後述する(図5~図8参照)。
 旋回角度は、上部旋回体3から見た基準方向に対するアタッチメント稼動面が延びる方向(即ち、上部旋回体3の上面視でアタッチメントの延出方向)を表す。アタッチメント稼動面は、例えば、アタッチメントを縦断する仮想平面であり、旋回平面に垂直となるように配置される。旋回平面は、例えば、旋回軸に垂直な旋回フレームの底面を含む仮想平面である。コントローラ30(マシンガイダンス部50)は、例えば、アタッチメント稼動面が目標施工面の法線を含んでいると判断した場合に、上部旋回体3が目標施工面に正対していると判断してよい。
 相対角度算出部56は、上部旋回体3を作業対象に正対させるために必要な旋回角度(以下、「相対角度」)を算出する。相対角度は、例えば、上部旋回体3を作業対象に正対させたときの上部旋回体3の前後軸の方向と、上部旋回体3の前後軸の現在の方向との間に形成される相対的な角度である。相対角度算出部56は、例えば、上部旋回体3を土砂等の積み込み対象のダンプトラックに正対させる場合、撮像装置S6によるダンプトラックの荷台が映っている撮像画像と、旋回角度算出部55により算出された旋回角度とに基づき、相対角度を算出する。相対角度算出部56は、例えば、上部旋回体3を目標施工面に正対させる場合、記憶装置47に記憶されている目標施工面に関するデータと、旋回角度算出部55により算出された旋回角度とに基づき、相対角度を算出する。
 自動制御部54は、MCスイッチ等の所定のスイッチが押下された状態で旋回操作に対応するレバー装置26Cが操作されると、上部旋回体3を作業対象に正対させる方向に旋回操作されたか否かを判断する。自動制御部54は、上部旋回体3を作業対象に正対させる方向に旋回操作されたと判断した場合、相対角度算出部56により算出された相対角度を目標角度として設定する。そして、自動制御部54は、レバー装置26Cが操作された後の旋回角度の変化が目標角度に達した場合、上部旋回体3が作業対象に正対したと判断し、旋回油圧モータ2Aの動きを停止させてよい。これにより、自動制御部54は、図2に示す構成を前提として、オペレータによるレバー装置26Cの操作をアシストして、上部旋回体3を作業対象に正対させることができる。また、自動制御部54は、MCスイッチ等の所定のスイッチが押下されると、レバー装置26Cの操作に依らず、自動で、上部旋回体3を作業対象に正対させてもよい。
 [ショベルの油圧システム]
 次に、図3を参照して、本実施形態に係るショベル100の油圧システムについて説明する。
 図3は、本実施形態に係るショベル100の油圧システムの構成の一例を概略的に示す図である。
 尚、図3において、機械的動力系、作動油ライン、パイロットライン、及び電気制御系は、図2の場合と同様、それぞれ、二重線、実線、破線、及び点線で示されている。
 当該油圧回路により実現される油圧システムは、エンジン11により駆動されるメインポンプ14L,14Rのそれぞれから、センタバイパス油路C1L,C1R、パラレル油路C2L,C2Rを経て作動油タンクまで作動油を循環させる。
 センタバイパス油路C1Lは、メインポンプ14Lを起点として、コントロールバルブ17内に配置される制御弁171,173,175L,176Lを順に通過し、作動油タンクに至る。
 センタバイパス油路C1Rは、メインポンプ14Rを起点として、コントロールバルブ17内に配置される制御弁172,174,175R,176Rを順に通過し、作動油タンクに至る。
 制御弁171は、メインポンプ14Lから吐出される作動油を走行油圧モータ1Lへ供給し、且つ、走行油圧モータ1Lが吐出する作動油を作動油タンクに排出させるスプール弁である。
 制御弁172は、メインポンプ14Rから吐出される作動油を走行油圧モータ1Rへ供給し、且つ、走行油圧モータ1Rが吐出する作動油を作動油タンクへ排出させるスプール弁である。
 制御弁173は、メインポンプ14Lから吐出される作動油を旋回油圧モータ2Aへ供給し、且つ、旋回油圧モータ2Aが吐出する作動油を作動油タンクへ排出させるスプール弁である。
 制御弁174は、メインポンプ14Rから吐出される作動油をバケットシリンダ9へ供給し、且つ、バケットシリンダ9内の作動油を作動油タンクへ排出させるスプール弁である。
 制御弁175L,175Rは、それぞれ、メインポンプ14L,14Rが吐出する作動油をブームシリンダ7へ供給し、且つ、ブームシリンダ7内の作動油を作動油タンクへ排出させるスプール弁である。
 制御弁176L,176Rは、メインポンプ14L,14Rが吐出する作動油をアームシリンダ8へ供給し、且つ、アームシリンダ8内の作動油を作動油タンクへ排出させる。
 制御弁171,172,173,174,175L,175R,176L,176Rは、それぞれ、パイロットポートに作用するパイロット圧に応じて、油圧アクチュエータに給排される作動油の流量を調整したり、流れる方向を切り換えたりする。
 パラレル油路C2Lは、センタバイパス油路C1Lと並列的に、制御弁171,173,175L,176Lにメインポンプ14Lの作動油を供給する。具体的には、パラレル油路C2Lは、制御弁171の上流側でセンタバイパス油路C1Lから分岐し、制御弁171,173,175L,176Rのそれぞれに並列してメインポンプ14Lの作動油を供給可能に構成される。これにより、パラレル油路C2Lは、制御弁171,173,175Lの何れかによってセンタバイパス油路C1Lを通る作動油の流れが制限或いは遮断された場合に、より下流の制御弁に作動油を供給できる。
 パラレル油路C2Rは、センタバイパス油路C1Rと並列的に、制御弁172,174,175R,176Rにメインポンプ14Rの作動油を供給する。具体的には、パラレル油路C2Rは、制御弁172の上流側でセンタバイパス油路C1Rから分岐し、制御弁172,174,175R,176Rのそれぞれに並列してメインポンプ14Rの作動油を供給可能に構成される。パラレル油路C2Rは、制御弁172,174,175Rの何れかによってセンタバイパス油路C1Rを通る作動油の流れが制限或いは遮断された場合に、より下流の制御弁に作動油を供給できる。
 レギュレータ13L,13Rは、それぞれ、コントローラ30による制御下で、メインポンプ14L、14Rの斜板の傾転角を調節することによって、メインポンプ14L,14Rの吐出量を調節する。
 吐出圧センサ28Lは、メインポンプ14Lの吐出圧を検出し、検出された吐出圧に対応する検出信号は、コントローラ30に取り込まれる。吐出圧センサ28Rについても同様である。これにより、コントローラ30は、メインポンプ14L,14Rの吐出圧に応じて、レギュレータ13L,13Rを制御することができる。
 センタバイパス油路C1L,C1Rには、最も下流にある制御弁176L,176Rのそれぞれと作動油タンクとの間には、ネガティブコントロール絞り(以下、「ネガコン絞り」)18L,18Rが設けられる。これにより、メインポンプ14L,14Rにより吐出された作動油の流れは、ネガコン絞り18L,18Rで制限される。そして、ネガコン絞り18L、18Rは、レギュレータ13L,13Rを制御するための制御圧(以下、「ネガコン圧」)を発生させる。
 ネガコン圧センサ19L,19Rは、ネガコン圧を検出し、検出されたネガコン圧に対応する検出信号は、コントローラ30に取り込まれる。
 コントローラ30は、吐出圧センサ28L,28Rにより検出されるメインポンプ14L,14Rの吐出圧に応じて、レギュレータ13L,13Rを制御し、メインポンプ14L,14Rの吐出量を調節してよい。例えば、コントローラ30は、メインポンプ14Lの吐出圧の増大に応じて、レギュレータ13Lを制御し、メインポンプ14Lの斜板傾転角を調節することにより、吐出量を減少させてよい。レギュレータ13Rについても同様である。これにより、コントローラ30は、吐出圧と吐出量との積で表されるメインポンプ14L,14Rの吸収馬力がエンジン11の出力馬力を超えないように、メインポンプ14L,14Rの全馬力制御を行うことができる。
 また、コントローラ30は、ネガコン圧センサ19L,19Rにより検出されるネガコン圧に応じて、レギュレータ13L,13Rを制御することにより、メインポンプ14L,14Rの吐出量を調節してよい。例えば、コントローラ30は、ネガコン圧が大きいほどメインポンプ14L,14Rの吐出量を減少させ、ネガコン圧が小さいほどメインポンプ14L,14Rの吐出量を増大させる。
 具体的には、ショベル100における油圧アクチュエータが何れも操作されていない待機状態(図3に示す状態)の場合、メインポンプ14L,14Rから吐出される作動油は、センタバイパス油路C1L,C1Rを通ってネガコン絞り18L、18Rに至る。そして、メインポンプ14L,14Rから吐出される作動油の流れは、ネガコン絞り18L,18Rの上流で発生するネガコン圧を増大させる。その結果、コントローラ30は、メインポンプ14L,14Rの吐出量を許容最小吐出量まで減少させ、吐出した作動油がセンタバイパス油路C1L,C1Rを通過する際の圧力損失(ポンピングロス)を抑制する。
 一方、何れかの油圧アクチュエータが操作装置26を通じて操作された場合、メインポンプ14L,14Rから吐出される作動油は、操作対象の油圧アクチュエータに対応する制御弁を介して、操作対象の油圧アクチュエータに流れ込む。そして、メインポンプ14L,14Rから吐出される作動油の流れは、ネガコン絞り18L,18Rに至る量を減少或いは消失させ、ネガコン絞り18L,18Rの上流で発生するネガコン圧を低下させる。その結果、コントローラ30は、メインポンプ14L,14Rの吐出量を増大させ、操作対象の油圧アクチュエータに十分な作動油を循環させ、操作対象の油圧アクチュエータを確実に駆動させることができる。
 [ショベルのマシンコントロール機能に関する構成の詳細]
 次に、図4(図4A~図4C)を参照して、ショベル100のマシンコントロール機能に関する構成の詳細について説明する。
 図4A~図4Cは、本実施形態に係るショベル100の油圧システムのうちの操作系に関する構成部分の一例を概略的に示す図である。具体的には、図4Aは、ブームシリンダ7を油圧制御する制御弁175L,175Rにパイロット圧を作用させるパイロット回路の一例を示す図である。また、図4Bは、バケットシリンダ9を油圧制御する制御弁174にパイロット圧を作用させるパイロット回路の一例を示す図である。また、図4Cは、旋回油圧モータ2Aを油圧制御する制御弁173にパイロット圧を作用させるパイロット回路の一例を示す図である。
 また、例えば、図4Aに示すように、レバー装置26Aは、オペレータ等がブーム4に対応するブームシリンダ7を操作するために用いられる。レバー装置26Aは、その操作内容(例えば、操作方向及び操作量)に応じた電気信号(以下、「操作内容信号」)をコントローラ30に出力する。
 コントローラ30には、操作装置26の操作量(例えば、レバー装置26A~26Cの傾倒角度)に応じた比例弁31への制御電流との対応関係が予め設定されている。操作装置26に含まれる個々のレバー装置(レバー装置26A~26C等)のそれぞれに対応する比例弁31は、設定された対応関係に基づき制御される。
 比例弁31ALは、コントローラ30から入力される制御電流に応じて動作する。具体的には、比例弁31ALは、パイロットポンプ15から吐出される作動油を利用して、コントローラ30から入力される制御電流に応じたパイロット圧を制御弁175Lの右側のパイロットポートと制御弁175Rの左側のパイロットポートとに出力する。これにより、比例弁31ALは、制御弁175Lの右側のパイロットポート及び制御弁175Rの左側のパイロットポートに作用するパイロット圧を調整することができる。例えば、コントローラ30からレバー装置26Aに対するブーム4の上げ方向の操作(以下、「ブーム上げ操作」)に対応する制御電流が入力されることで、比例弁31ALは、レバー装置26Aにおける操作内容(操作量)に応じたパイロット圧を制御弁175Lの右側のパイロットポートと制御弁175Rの左側のパイロットポートに作用させることができる。また、レバー装置26Aの操作内容に依らず、コントローラ30から所定の制御電流が入力されることで、比例弁31ALは、レバー装置26Aにおける操作内容と関係なく、パイロット圧を制御弁175Lの右側のパイロットポートと制御弁175Rの左側のパイロットポートとに作用させることができる。
 比例弁31ARは、コントローラ30から入力される制御電流に応じて動作する。具体的には、比例弁31ARは、パイロットポンプ15から吐出される作動油を利用して、コントローラ30から入力される制御電流に応じたパイロット圧を制御弁175Rの右側のパイロットポートに出力する。これにより、比例弁31ARは、制御弁175Rの右側のパイロットポートに作用するパイロット圧を調整することができる。例えば、コントローラ30からレバー装置26Aに対するブーム4の下げ方向の操作(以下、「ブーム下げ操作」)に対応する制御電流が入力されることで、比例弁31は、レバー装置26Aにおける操作内容(操作量)に応じたパイロット圧を制御弁175Rの右側のパイロットポートに作用させることができる。また、レバー装置26Aの操作内容に依らず、コントローラ30から所定の制御電流が入力されることで、比例弁31は、レバー装置26Aにおける操作内容と関係なく、制御弁175Rの右側のパイロットポートに作用させることができる。
 換言すれば、レバー装置26Aは、ブーム上げ操作がされた場合に、操作方向及び操作量に応じた操作内容信号をコントローラ30に出力し、コントローラ30及び比例弁31ALを介して、制御弁175Lの右側のパイロットポートと制御弁175Rの左側のパイロットポートにその操作内容に応じたパイロット圧を作用させる。また、レバー装置26Aは、ブーム下げ操作がされた場合に、操作方向及び操作量に応じた操作内容信号をコントローラ30に出力し、コントローラ30及び比例弁31ARを介して、制御弁175Rの右側のパイロットポートにその操作内容に応じたパイロット圧を作用させる。
 このように、比例弁31AL,31ARは、コントローラ30の制御下で、レバー装置26Aの操作状態に応じて、制御弁175L、175Rを任意の弁位置で停止できるように、二次側に出力するパイロット圧を調整することができる。また、比例弁31AL,31ARは、コントローラ30の制御下で、レバー装置26Aの操作状態に依らず、制御弁175L、175Rを任意の弁位置で停止できるように、二次側に出力するパイロット圧を調整することができる。
 減圧用比例弁33ALは、比例弁31ALと、制御弁175Lの右側のパイロットポート及び制御弁175Rの左側のパイロットポートとの間のパイロットラインに配置される。コントローラ30は、物体検知装置(例えば、撮像装置S6等)からの信号に基づき、油圧アクチュエータ(ブームシリンダ7)の減速或いは停止の制動動作が必要と判断した場合、当該パイロットラインの作動油をタンクへ排出することでパイロット圧を減圧させる。これにより、比例弁31ALの状態にかかわらず、制御弁175L,175Rのスプールを中立方向へ移動させることができる。そのため、減圧用比例弁33ALは、制動特性を高めたい場合に有効である。
 尚、本実施形態では、減圧用比例弁33ALを必ずしも備える必要はなく、省略されてもよい。以下、他の減圧用比例弁33(減圧用比例弁33AR,33BL,33BR,33CL,33CR等)についても同様である。
 減圧用比例弁33ARは、比例弁31ARと、制御弁175Rの右側のパイロットポートとの間のパイロットラインに配置される。コントローラ30は、物体検知装置(例えば、撮像装置S6等)からの信号に基づき、油圧アクチュエータ(ブームシリンダ7)の減速或いは停止の制動動作が必要と判断した場合、当該パイロットラインの作動油をタンクへ排出することでパイロットラインを減圧させる。これにより、比例弁31ARの状態にかかわらず、制御弁175L,175Rのスプールを中立方向へ移動させることができる。そのため、減圧用比例弁33ARは、制動特性を高めたい場合に有効である。
 コントローラ30は、オペレータのレバー装置26Aに対するブーム上げ操作に対応する操作内容信号に応じて、比例弁31ALを制御し、レバー装置26Aにおける操作内容(操作量)に応じたパイロット圧を制御弁175Lの右側のパイロットポート及び制御弁175Rの左側のパイロットポートに供給させることができる。また、コントローラ30は、オペレータのレバー装置26Aに対するブーム下げ操作に対応する操作内容信号に応じて、比例弁31ARを制御し、レバー装置26Aにおける操作内容(操作量)に応じたパイロット圧を制御弁175Rの右側のパイロットポートに供給させることができる。即ち、コントローラ30は、レバー装置26Aから入力される操作内容信号に応じて、比例弁31AL,31ARを制御し、レバー装置26Aの操作内容に応じたブーム4の上げ下げの動作を実現することができる。
 また、コントローラ30は、オペレータのレバー装置26Aに対するブーム上げ操作とは無関係に、比例弁31ALを制御し、パイロットポンプ15から吐出される作動油を、制御弁175Lの右側のパイロットポート及び制御弁175Rの左側のパイロットポートに供給させることができる。また、コントローラ30は、オペレータのレバー装置26Aに対するブーム下げ操作とは無関係に、比例弁31ARを制御し、パイロットポンプ15から吐出される作動油を、制御弁175Rの右側のパイロットポートに供給できる。即ち、コントローラ30は、ブーム4の上げ下げの動作を自動制御することができる。
 図4Bに示すように、レバー装置26Bは、オペレータ等がバケット6に対応するバケットシリンダ9を操作するために用いられる。レバー装置26Bは、その操作内容(例えば、操作方向及び操作量)に応じた操作内容信号をコントローラ30に出力する。
 比例弁31BLは、コントローラ30から入力される制御電流に応じて動作する。具体的には、比例弁31BLは、パイロットポンプ15から吐出される作動油を利用して、コントローラ30から入力される制御電流に応じたパイロット圧を制御弁174の左側のパイロットポートに出力する。これにより、比例弁31BLは、制御弁174の左側のパイロットポートに作用するパイロット圧を調整することができる。例えば、コントローラ30からレバー装置26Bに対するバケット6の閉じ方向の操作(以下、「バケット閉じ操作」)に対応する制御電流が入力されることで、比例弁31BLは、レバー装置26Bにおける操作内容(操作量)に応じたパイロット圧を制御弁174の左側のパイロットポートに作用させることができる。また、レバー装置26Bの操作内容に依らず、コントローラ30から所定の制御電流が入力されることで、比例弁31BLは、レバー装置26Bにおける操作内容と関係なく、パイロット圧を制御弁174の左側のパイロットポートに作用させることができる。
 比例弁31BRは、コントローラ30が出力する制御電流に応じて動作する。具体的には、比例弁31BRは、パイロットポンプ15から吐出される作動油を利用して、コントローラ30から入力される制御電流に応じたパイロット圧を制御弁174の右側のパイロットポートに出力する。これにより、比例弁31BRは、シャトル弁32BRを介して、制御弁174の右側のパイロットポートに作用するパイロット圧を調整することができる。例えば、コントローラ30からレバー装置26Bに対するバケット6の開き方向の操作(以下、「バケット開き操作」)に対応する制御電流が入力されることで、比例弁31BRは、レバー装置26Bにおける操作内容(操作量)に応じたパイロット圧を制御弁174の右側のパイロットポートに作用させることができる。また、レバー装置26Bの操作内容に依らず、コントローラ30から所定の制御電流が入力されることで、比例弁31BRは、レバー装置26Bにおける操作内容と関係なく、パイロット圧を制御弁174の右側のパイロットポートに作用させることができる。
 換言すれば、レバー装置26Bは、バケット閉じ操作がされた場合に、操作方向及び操作量に応じた操作内容信号をコントローラ30に出力し、コントローラ30及び比例弁31BLを介して、制御弁174の左側のパイロットポートにその操作内容に応じたパイロット圧を作用させる。また、レバー装置26Bは、バケット開き操作がされた場合に、操作方向及び操作量に応じた操作内容信号をコントローラ30に出力し、コントローラ30及び比例弁31BRを介して、制御弁174の右側のパイロットポートにその操作内容に応じたパイロット圧を作用させる。
 このように、比例弁31BL,31BRは、コントローラ30の制御下で、レバー装置26Bの操作状態に応じて、制御弁174を任意の弁位置で停止できるように、二次側に出力するパイロット圧を調整することができる。また、比例弁31BL,31BRは、レバー装置26Bの操作状態に依らず、制御弁174を任意の弁位置で停止できるように、二次側に出力するパイロット圧を調整することができる。
 減圧用比例弁33BLは、比例弁31BLと、制御弁174の左側のパイロットポートとの間のパイロットラインに配置される。コントローラ30は、物体検知装置(例えば、撮像装置S6等)からの信号に基づき、油圧アクチュエータ(バケットシリンダ9)の減速或いは停止の制動動作が必要と判断した場合、当該パイロットラインの作動油をタンクへ排出することでパイロット圧を減圧させる。これにより、比例弁31BLの状態にかかわらず、制御弁174のスプールを中立方向へ移動させることができる。そのため、減圧用比例弁33BLは、制動特性を高めたい場合に有効である。
 減圧用比例弁33BRは、比例弁31BRと、制御弁174の右側のパイロットポートとの間のパイロットラインに配置される。コントローラ30は、物体検知装置(例えば、撮像装置S6等)からの信号に基づき、油圧アクチュエータ(バケットシリンダ9)の減速或いは停止の制動動作が必要と判断した場合、当該パイロットラインの作動油をタンクへ排出することでパイロットラインを減圧させる。これにより、比例弁31BRの状態にかかわらず、制御弁174のスプールを中立方向へ移動させることができる。そのため、減圧用比例弁33BRは、制動特性を高めたい場合に有効である。
 コントローラ30は、オペレータのレバー装置26Bに対するバケット閉じ操作に対応する操作内容信号に応じて、比例弁31BLを制御し、レバー装置26Bにおける操作内容(操作量)に応じたパイロット圧を制御弁174の左側のパイロットポートに供給させることができる。また、コントローラ30は、オペレータのレバー装置26Bに対するバケット開き操作に対応する操作内容信号に応じて、比例弁31BRを制御し、レバー装置26Bにおける操作内容(操作量)に応じたパイロット圧を制御弁174の右側のパイロットポートに供給させることができる。即ち、コントローラ30は、レバー装置26Bから入力される操作内容信号に応じて、比例弁31BL,31BRを制御し、レバー装置26Bの操作内容に応じたバケット6の開閉動作を実現することができる。
 また、コントローラ30は、オペレータのレバー装置26Bに対するバケット閉じ操作とは無関係に、比例弁31BLを制御し、パイロットポンプ15から吐出される作動油を、制御弁174の左側のパイロットポートに供給させることができる。また、コントローラ30は、オペレータのレバー装置26Bに対するバケット開き操作とは無関係に、比例弁31BRを制御し、パイロットポンプ15から吐出される作動油を、制御弁174の右側のパイロットポートに供給させることができる。即ち、コントローラ30は、バケット6の開閉動作を自動制御することができる。
 また、例えば、図4Cに示すように、レバー装置26Cは、オペレータ等が上部旋回体3(旋回機構2)に対応する旋回油圧モータ2Aを操作するために用いられる。レバー装置26Cは、その操作内容(例えば、操作方向及び操作量)に応じた操作内容信号をコントローラ30に出力する。
 比例弁31CLは、コントローラ30から入力される制御電流に応じて動作する。具体的には、比例弁31CLは、パイロットポンプ15から吐出される作動油を利用して、コントローラ30から入力される制御電流に応じたパイロット圧を制御弁173の左側のパイロットポートに出力する。これにより、比例弁31CLは、制御弁173の左側のパイロットポートに作用するパイロット圧を調整することができる。例えば、コントローラ30からレバー装置26Cに対する上部旋回体3の左方向の旋回操作(以下、「左旋回操作」)に対応する制御電流が入力されることで、比例弁31CLは、レバー装置26Cにおける操作内容(操作量)に応じたパイロット圧を制御弁173の左側のパイロットポートに作用させることができる。また、レバー装置26Cの操作内容に依らず、コントローラ30から所定の制御電流が入力されることで、比例弁31CLは、レバー装置26Cにおける操作内容と関係なく、パイロット圧を制御弁173の左側のパイロットポートに作用させることができる。
 比例弁31CRは、コントローラ30が出力する制御電流に応じて動作する。具体的には、比例弁31CRは、パイロットポンプ15から吐出される作動油を利用して、コントローラ30から入力される制御電流に応じたパイロット圧を制御弁173の右側のパイロットポートに出力する。これにより、比例弁31CRは、制御弁173の右側のパイロットポートに作用するパイロット圧を調整することができる。例えば、コントローラ30からレバー装置26Cに対する上部旋回体3の右方向の旋回操作(以下、「右旋回操作」)に対応する制御電流が入力されることで、比例弁31CRは、レバー装置26Cにおける操作内容(操作量)に応じたパイロット圧を制御弁173の右側のパイロットポートに作用させることができる。また、レバー装置26Cの操作内容に依らず、コントローラ30から所定の制御電流が入力されることで、比例弁31CRは、レバー装置26Cにおける操作内容と関係なく、パイロット圧を制御弁173の右側のパイロットポートに作用させることができる。
 換言すれば、レバー装置26Cは、左旋回操作がされた場合に、操作方向及び操作量に応じた操作内容信号をコントローラ30に出力し、コントローラ30及び比例弁31CLを介して、制御弁173の左側のパイロットポートにその操作内容に応じたパイロット圧を作用させる。また、レバー装置26Cは、右旋回操作がされた場合に、操作方向及び操作量に応じた操作内容信号をコントローラ30に出力し、コントローラ30及び比例弁31CRを介して、制御弁173の右側のパイロットポートにその操作内容に応じたパイロット圧を作用させる。
 このように、比例弁31CL,31CRは、コントローラ30の制御下で、レバー装置26Cの操作状態に応じて、制御弁173を任意の弁位置で停止できるように、二次側に出力するパイロット圧を調整することができる。また、比例弁31CL,31CRは、レバー装置26Cの操作状態に依らず、制御弁173を任意の弁位置で停止できるように、二次側に出力するパイロット圧を調整することができる。
 減圧用比例弁33CLは、比例弁31CLと、制御弁173の左側のパイロットポートとの間のパイロットラインに配置される。コントローラ30は、物体検知装置(例えば、撮像装置S6等)からの信号に基づき、油圧アクチュエータ(旋回油圧モータ2A)の減速或いは停止の制動動作が必要と判断した場合、当該パイロットラインの作動油をタンクへ排出することでパイロット圧を減圧させる。これにより、比例弁31CLの状態にかかわらず、制御弁173のスプールを中立方向へ移動させることができる。そのため、減圧用比例弁33CLは、制動特性を高めたい場合に有効である。
 減圧用比例弁33CRは、比例弁31CRと、制御弁173の右側のパイロットポートとの間のパイロットラインに配置される。コントローラ30は、物体検知装置(例えば、撮像装置S6等)からの信号に基づき、油圧アクチュエータ(旋回油圧モータ2A)の減速或いは停止の制動動作が必要と判断した場合、当該パイロットラインの作動油をタンクへ排出することでパイロットラインを減圧させる。これにより、比例弁31CRの状態にかかわらず、制御弁173のスプールを中立方向へ移動させることができる。そのため、減圧用比例弁33CRは、制動特性を高めたい場合に有効である。
 コントローラ30は、オペレータのレバー装置26Cに対する左旋回操作に対応する操作内容信号に応じて、比例弁31CLを制御し、レバー装置26Cにおける操作内容(操作量)に応じたパイロット圧を制御弁173の左側のパイロットポートに供給させることができる。また、コントローラ30は、オペレータのレバー装置26Cに対する右旋回操作に対応する操作内容信号に応じて、比例弁31CRを制御し、レバー装置26Cにおける操作内容(操作量)に応じたパイロット圧を制御弁173の右側のパイロットポートに供給させることができる。即ち、コントローラ30は、レバー装置26Cから入力される操作内容信号に応じて、比例弁31CL,31CRを制御し、レバー装置26Cの操作内容に応じたバケット6の開閉動作を実現することができる。
 コントローラ30は、オペレータのレバー装置26Cに対する左旋回操作とは無関係に、比例弁31CLを制御し、パイロットポンプ15から吐出される作動油を、制御弁173の左側のパイロットポートに供給させることができる。また、コントローラ30は、オペレータのレバー装置26Cに対する右旋回操作とは無関係に、比例弁31CRを制御し、パイロットポンプ15から吐出される作動油を、制御弁173の右側のパイロットポートに供給させることができる。即ち、コントローラ30は、上部旋回体3の左右方向への旋回動作を自動制御することができる。
 尚、ショベル100は、更に、アーム5を自動的に開閉させる構成、及び、下部走行体1(具体的には、左右それぞれのクローラ)を自動的に前進・後進させる構成を備えていてもよい。この場合、油圧システムのうち、アームシリンダ8の操作系に関する構成部分、走行油圧モータ1Lの操作系に関する構成部分、及び、走行油圧モータ1Rの操作に関する構成部分は、ブームシリンダ7の操作系に関する構成部分等(図4A~図4C)と同様に構成されてよい。
 [旋回角度の推定方法(第1例)]
 次に、図5、図6(図6A、図6B)を参照して、コントローラ30(旋回角度算出部55)による旋回角度の推定方法の第1例について説明する。
  <旋回角度の推定に関する機能構成>
 図5は、本実施形態に係るショベル100の旋回角度の推定に関する機能構成の第1例を示す機能ブロック図である。
 図5に示すように、本例では、ショベル100は、通信装置T1を用いて、管理装置200と通信可能に接続される。
 管理装置200は、その機能が任意のハードウェア、或いは、ハードウェア及びソフトウェアの組み合わせにより実現されてよい。例えば、管理装置200は、CPU等のプロセッサ、RAM等のメモリ装置、ROM等の補助記憶装置、及び外部との通信用のインタフェース装置等を含むサーバコンピュータを中心に構成される。管理装置200は、例えば、補助記憶装置にインストールされるプログラムをCPU上で実行することにより実現される機能部として、モデル学習部201と、配信部203とを含む。また、管理装置200は、学習結果記憶部202等を利用する。学習結果記憶部202等は、例えば、管理装置200の補助記憶装置や通信可能な外部記憶装置等により実現可能である。
 モデル学習部201は、所定の教師データセットを用いて、学習モデルを機械学習させ、いわゆる教師あり学習の結果としての学習済みモデル(物体検出モデルLM)を出力する。そして、生成された物体検出モデルLMは、予め準備される検証用データセットを用いて、精度検証が実施された上で、学習結果記憶部202に格納される。また、モデル学習部201は、追加学習用の教師データセットを用いて、物体検出モデルLMの追加学習を行わせることにより追加学習済みモデルを生成してもよい。そして、追加学習済みモデルは、予め準備される検証用データセットを用いて、精度検証が実施されると共に、学習結果記憶部202の物体検出モデルLMは、精度検証済みの追加学習済みモデルで更新されてよい。
 物体検出モデルLMは、物体検知装置による作業現場の撮像画像や点群データ等を入力情報として、作業現場の撮像画像に含まれる所定の物体(例えば、人、車両、他の作業機械、建物、パイロン、電柱、木等)(以下、「対象物」)の有無、その対象物の種別、その対象物の位置、及び、その対象物の大きさ等を判定する。そして、物体検出モデルLMは、その判定結果に関する情報(例えば、対象物の種別(種類)を表すラベル情報や、対象物の位置を表す位置情報)を出力する。つまり、物体検出モデルLMは、ショベル100に適用される場合、撮像装置S6の撮像画像に基づき、ショベル100の周囲の対象物の有無、その対象物の種別(種類)、及びその対象物の位置等を判定することができる。ベースの学習モデル及びその学習結果としての物体検出モデルLMは、例えば、既知のディープニューラルネットワーク(DNN:Deep Neural Network)を中心に構成されてよい。
 尚、教師データセット及び精度検証用のデータセットは、例えば、ショベル100から適宜アップロードされる、撮像装置S6による様々な作業現場の撮像画像に基づき作成されてよい。また、教師データセット及び精度検証用のデータセットは、例えば、コンピュータグラフィクス等に関連する技術を用いて人工的に作成される作業現場の画像に基づき作成されてもよい。
 学習結果記憶部202には、モデル学習部201により生成される物体検出モデルLMが記憶される。また、学習結果記憶部202の物体検出モデルLMは、モデル学習部201により生成される追加学習済みモデルにより更新されてもよい。
 配信部203は、学習結果記憶部202に記憶される最新の物体検出モデルLMをショベル100に配信する。
 また、本例では、ショベル100は、旋回角度の推定に関する構成として、撮像装置S6(カメラS6F,S6B,S6L,S6R)、コントローラ30、比例弁31CL,31CR、及び入力装置42を含む。
 コントローラ30は、旋回角度の推定に関する構成として、周囲状況認識部60と、上述のマシンガイダンス部50を含む。
 周囲状況認識部60は、例えば、モデル記憶部61と、検出部62と、物体位置マップ生成部63と、マップ記憶部64とを含む。
 モデル記憶部61には、通信装置T1を通じて管理装置200から受信される、最新の物体検出モデルLMが記憶される。
 検出部62は、撮像装置S6(カメラS6F,S6B,S6L,S6R)から入力される撮像画像に基づき、上部旋回体3の周囲の対象物を検出する。具体的には、検出部62は、モデル記憶部61から物体検出モデルLMを読み出し、物体検出モデルLMを用いて、上部旋回体3の周囲の対象物に関する判定(例えば、対象物の有無、その対象物の種別、その対象物の位置、及びその対象物の大きさ等の判定)を行う。検出部62は、例えば、検出された対象物の種別を示すラベル情報、物体の位置情報、及び対象物の大きさに関する情報等を出力する。また、検出部62は、対象物が検出されなかった場合、検出されなかったことを示すラベル情報を出力してよい。本例では、複数のカメラ(カメラS6F,S6B,S6L,S6R)の撮像画像を利用することができるため、検出部62は、上部旋回体3の全周に亘る対象物、つまり、より広い対象範囲で対象物を検出することができる。また、撮像装置S6を利用する事例を示したが、検出部62は、ショベル100の周囲に出力する出力信号(例えば、レーザ、赤外線、電磁波、超音波等)の反射信号を受信し、ショベル100の周囲の物体までの距離を点群データ等により算出してもよい。また、検出部62は、受信される反射信号に基づく点群の形状及び点群までの距離等により、対象物の種別(種類)を表すラベル情報や、対象物の位置を表す位置情報等を求めることができる。
 物体位置マップ生成部63は、検出部62により検出された対象物の位置を示すマップ情報(物体位置マップMP)を生成し、生成される物体位置マップMPは、マップ記憶部64に格納される。物体位置マップMPには、ショベル100の位置情報と、検出された対象物ごとの位置情報と、それぞれの対象物の位置情報に紐付けられる、対象物の種別情報及び対象物の大きさに関する情報等が含まれる。例えば、物体位置マップ生成部63は、ショベル100の起動から停止までの間で、検出部62の検出周期に合わせて、物体位置マップMPを作成し、最新の物体位置マップMPでマップ記憶部64の物体位置マップMPを逐次更新する態様であってよい。
 尚、ショベル100(上部旋回体3)を基準として、検出部62が対象物を検出可能な距離範囲は限定されるため、例えば、ショベル100が下部走行体1で走行移動すると、物体位置マップMPに含まれるある対象物の位置が検出範囲外になってしまう可能性がある。つまり、ショベル100が下部走行体1で走行移動してしまうと、コントローラ30は、ショベル100から相対的に離れた位置の物体がそのままその位置にいるのか、その位置から移動してしまったのか等を把握することができない可能性がある。よって、物体位置マップ生成部63は、物体位置マップMPに含まれる、ショベル100(自機)からある程度離れた位置の対象物に関する情報を、更新の際に、削除してもよいし、例えば、精度が低い情報であることを示すフラグ等を付した上でマップ情報の中に残してもよい。
 マップ記憶部64には、物体位置マップ生成部63により生成される、最新の物体位置マップMPが記憶される。
 マシンガイダンス部50は、旋回角度の推定に関する機能構成として、自動制御部54と、旋回角度算出部55と、相対角度算出部56と、記憶部57と、目標位置情報生成部58とを含む。
 自動制御部54は、上述の如く、相対角度算出部56により算出(推定)される相対角度に基づき、比例弁31CL,31CRを制御し、上部旋回体3をショベル100(自機)の周囲の作業対象に正対させる。換言すれば、自動制御部54は、相対角度算出部56により算出される相対角度に基づき、作業対象に正対するように上部旋回体3の旋回動作を制御する。本例では、自動制御部54は、後述の如く、物体位置マップMPから認識される一又は複数の対象物の中からオペレータが選択する作業対象に対応する対象物に上部旋回体3を正対させる。
 旋回角度算出部55は、撮像装置S6の撮像画像に基づき、ショベル100の周囲の停止している対象物(以下、「停止対象物」)或いは固定されている対象物(以下、「固定対象物」)を認識する。停止対象物は、移動可能な対象物のうちの移動せずに停止している対象物(例えば、土砂の積み込み待ちで停車しているダンプトラック等)を意味する。また、固定対象物は、ある位置に固定されており移動しない対象物(例えば、木、電柱等)を意味する。具体的には、旋回角度算出部55は、マップ記憶部64に格納される物体位置マップMPに基づき、ショベル100の周囲の停止対象物或いは固定対象物を認識(抽出)し、その中から基準となる対象物(以下、「基準対象物」)を決定する。例えば、旋回角度算出部55は、後述の如く、入力装置42を通じた操作入力に基づき、物体位置マップMPに含まれる複数の対象物の中から選択された作業対象に対応する停止対象物或いは固定対象物を基準対象物に決定してよい。そして、旋回角度算出部55は、物体位置マップMPの更新による上部旋回体3から見た基準対象物の位置の変化(換言すれば、撮像装置S6の撮像画像上での基準対象物の位置の変化)に基づき、旋回角度を推定(算出)する。上部旋回体3が旋回すると、上部旋回体3から基準対象物が見える方向が変化するからである。
 相対角度算出部56は、上述の如く、作業対象に正対するために必要な旋回角度としての相対角度を算出する。具体的には、相対角度算出部56は、旋回角度算出部55により算出される上部旋回体3の旋回角度と、目標位置情報生成部58により生成される、作業時の目標としての作業対象の位置に関する情報(以下、「目標位置情報」)とに基づき、相対角度を算出(推定)する。また、相対角度算出部56は、作業対象が上述の基準対象物に設定されている場合、旋回角度算出部55により算出される旋回角度をそのまま相対角度として用いてよい。上述の如く、旋回角度算出部55によって、作業対象を基準とする旋回角度(上部旋回体3の向き)が算出されるからである。
 記憶部57には、目標設定情報57Aが記憶される。
 目標設定情報57Aは、入力装置42を通じたオペレータ等のユーザからの操作入力により設定される、作業時の目標としての作業対象(例えば、土砂等の積み込み作業におけるダンプトラック等)に関する設定情報である。
 例えば、オペレータ等は、入力装置42を用いて、表示装置40に表示される所定の操作画面(以下、「目標選択画面」)を操作することにより、物体位置マップMPで特定される一又は複数の対象物の中から作業対象に対応する対象物を選択し、作業時の目標として設定することができる。具体的には、表示装置40の目標選択画面には、撮像装置S6の撮像画像に基づき、ショベル100の周囲の様子を表す画像(以下、「周囲画像」)が表示される。そして、表示装置40の目標選択画面には、当該周囲画像上における、物体位置マップMPで特定されるショベル100の周囲の対象物に対応する位置にマーカや対象物の種別を示す情報が重畳的に表示される。オペレータ等は、当該目標選択画面上で、対象物の位置や種別を確認することで、作業対象を特定し選択(設定)することができる。
 目標位置情報生成部58は、物体位置マップMPと、目標設定情報57Aとに基づき、目標位置情報を生成する。
  <旋回角度の推定方法の具体例>
 図6A、図6Bは、本実施形態に係るショベル100の旋回角度の推定に関する動作の第1例を示す図である。具体的には、図6A、図6Bは、作業対象としてのダンプトラックDTに土砂等を積み込む作業において、ショベル100がコントローラ30の制御下で旋回角度を推定しながら作業対象としてのダンプトラックDTに正対するように旋回動作を行う状況を示す図である。より具体的には、図6Aは、作業中のショベル100の上面図であり、図6Bは、作業中のショベル100(具体的には、バケット6)を図6Aの矢印AR1で示す方向から見た図である。
 尚、図6A,Bにて、実線のショベル100(バケット6)は、土砂をバケット6に掬い終わったときの状態を示し、バケット6Aは、この状態(位置P1)のときのバケット6を示している。また、図6A,Bにて、破線のショベル100(バケット6)は、バケット6に土砂を抱え込んで、ブーム4を上げながら上部旋回体3をダンプトラックDTに正対する方向に旋回する複合動作中の状態を示し、バケット6Bは、この状態(位置P2)のときのバケット6を示す。また、図6A,Bにて、一点鎖線のショベル100(バケット6)は、上部旋回体3が作業対象としてのダンプトラックDTに正対し、バケット6の土砂の排土動作を開始する前の状態を示し、バケット6Cは、この状態(位置P3)のときのバケット6を示す。
 本例では、コントローラ30(旋回角度算出部55)は、作業対象としてのダンプトラックDTを基準対象物とする旋回角度θaを推定(算出)する。つまり、図6Aに示すように、コントローラ30は、ダンプトラックDTの荷台の長手方向の軸、つまり、ダンプトラックDTの前後軸を基準とする上部旋回体3の旋回角度θaを推定(算出)する。
 例えば、コントローラ30(旋回角度算出部55)は、バケット6が位置P1にある状態において、ダンプトラックDTを基準対象物とする旋回角度θaが角度値θa0と推定(算出)する。また、コントローラ30(相対角度算出部56)は、作業対象としてのダンプトラックDTが基準対象物であるため、相対角度として旋回角度θa(角度値θa0)を用いることができる。そして、コントローラ30(自動制御部54)は、オペレータがMCスイッチ等の所定のスイッチを押下した状態でレバー装置26Cに対して右旋回操作、つまり、ダンプトラックDTに正対する方向に旋回操作を行うと、上部旋回体3がダンプトラックDTに正対するように、つまり、相対角度に相当する旋回角度θaが角度値θa0からゼロになるように、比例弁31CRを制御する。
 バケット6が位置P1から位置P2を経由して、上部旋回体3がダンプトラックDTに正対した状態に対応する位置P3に向かう間で、コントローラ30(旋回角度算出部55)は、旋回角度θaを推定しながら、比例弁31CRを通じて、上部旋回体3の旋回動作を制御する。例えば、バケット6が位置P2にある状態において、コントローラ30(旋回角度算出部55)は、ダンプトラックDTを基準対象物とする旋回角度θaが角度値θa1と推定(算出)する。そして、コントローラ30(自動制御部54)は、推定する旋回角度θaに基づく相対角度、つまり、旋回角度θaがゼロになると、旋回油圧モータ2Aの動作を停止させる。これにより、コントローラ30は、オペレータによるレバー装置26Cの操作をアシストし、上部旋回体3をダンプトラックDTに正対させることができる。また、コントローラ30は、オペレータがMCスイッチ等の所定のスイッチを押下すると、作業対象としてのダンプトラックDTを基準対象物とする旋回角度θaを推定しながら、自動で、上部旋回体3をダンプトラックDTに正対させてもよい。この場合、コントローラ30は、上部旋回体3の自動制御と併せて、ブーム4の上げ動作の自動制御を行い、ショベル100の複合動作全体を自動で行うようにしてもよい。
 また、コントローラ30(旋回角度算出部55)は、ダンプトラックDTを基準対象物とする旋回角度θaに加えて、ショベル100の周囲にある固定対象物としての樹木TR1を基準対象物とする旋回角度θbを算出してもよい。例えば、コントローラ30(旋回角度算出部55)は、バケット6が位置P1にある状態において、樹木TR1を基準対象物とする旋回角度θbが角度値θb0と推定する。また、コントローラ30(旋回角度算出部55)は、バケット6が位置P3にある状態において、樹木TR1を基準対象物とする旋回角度θbが角度値θb1と推定する。これにより、コントローラ30(相対角度算出部56)は、ダンプトラックDTを基準対象物とする旋回角度θaと樹木TR1を基準対象物とする旋回角度θbとの双方を用いて、相対角度を推定(算出)することができる。そのため、コントローラ30は、相対角度の推定精度をより向上させることができ、結果として、上部旋回体3をダンプトラックDTに正対させる制御の精度をより向上させることができる。
 [旋回角度の推定方法(第2例)]
 次に、図7、図8(図8A、図8B)を参照して、コントローラ30(旋回角度算出部55)による旋回角度の推定方法の第2例について説明する。
  <旋回角度の推定に関する機能構成>
 図7は、本実施形態に係るショベル100の旋回角度の推定に関する機能構成の第2例を示す機能ブロック図である。以下、本例では、上述の図5と異なる部分を中心に説明する。
 図7に示すように、本例では、図5の第1例の場合と同様、通信装置T1を用いて、管理装置200と通信可能に接続される。
 管理装置200は、例えば、補助記憶装置にインストールされるプログラムをCPU上で実行することにより実現される機能部として、モデル学習部201と、配信部203とを含む。また、管理装置200は、学習結果記憶部202及び施工情報記憶部204を利用する。学習結果記憶部202及び施工情報記憶部204等は、例えば、管理装置200の補助記憶装置や通信可能な外部記憶装置等により実現可能である。
 施工情報記憶部204には、ショベル100の作業現場を含む複数の作業現場の施工情報を含む施工情報データベースが構築される。施工情報には、施工目標に関する情報(例えば、目標施工面データ等)が含まれる。
 配信部203は、施工情報データベースからショベル100の作業現場の施工情報を抽出し、ショベル100に配信する。
 また、本例では、ショベル100は、旋回角度の推定に関する構成として、図5の第1例の場合と同様、撮像装置S6(カメラS6F,S6B,S6L,S6R)、コントローラ30、及び比例弁31CL,31CRを含む。
 コントローラ30は、旋回角度の推定に関する構成として、図5の第1例の場合と同様、マシンガイダンス部50と、周囲状況認識部60とを含む。
 マシンガイダンス部50は、旋回角度の推定に関する機能構成として、図5の第1例の場合と同様、自動制御部54と、旋回角度算出部55と、相対角度算出部56と、記憶部57と、目標位置情報生成部58とを含む。
 記憶部57には、管理装置200から配信される施工情報57Bが記憶される。
 目標位置情報生成部58は、施工情報に含まれる目標施工面データに基づき、作業対象としての目標施工面に関する目標位置情報を生成する。
 相対角度算出部56は、旋回角度算出部55により算出される上部旋回体3の旋回角度と、作業対象の目標施工面に対応する目標位置情報とに基づき、相対角度を算出(推定)する。
 自動制御部54は、相対角度算出部56により算出(推定)される相対角度に基づき、比例弁31CL,31CRを制御し、施工情報57Bに対応する目標施工面に上部旋回体3を正対させる。また、自動制御部54は、所定範囲内に物体が検出された場合、検出された物体との位置関係に基づき、減圧用比例弁33を制御することで、制動動作(減速、停止)を行うことができる。
  <旋回角度の推定方法の具体例>
 図8A、図8Bは、本実施形態に係るショベル100の旋回角度の推定に関する動作の第2例を示す図である。具体的には、図8は、施工済の法面CSと未施工の傾斜面に対応する目標施工面の一例としての法面NSとの境界付近から、ショベル100が未施工の法面NSの施工を開始する状態を示す。図8Aは、作業対象として法面NSに上部旋回体3が正対していない状態を示し、図8Bは、ショベル100が図8Aの状態から上部旋回体3を旋回させ、作業対象としての法面NSに上部旋回体3が正対した状態を示す。
 図8A,Bに示すように、本例では、コントローラ30(旋回角度算出部55)は、ショベル100(自機)の周囲にある固定対象物としての樹木TR2を基準対象物とする旋回角度を算出する。
 例えば、コントローラ30(旋回角度算出部55)は、図8Aの状態において、樹木TR2を基準対象物とする旋回角度を推定(算出)する。また、コントローラ30(相対角度算出部56)は、推定した旋回角度と、目標施工面としての法面NSに対応する目標位置情報に基づき、相対角度を推定(算出)する。そして、コントローラ30(自動制御部54)は、オペレータがMCスイッチ等の所定のスイッチを押下した状態でレバー装置26Cに対して左旋回操作を行うと、樹木TR2を基準対象物とする旋回角度を推定しながら、上部旋回体3が法面NSに正対するように、比例弁31CLを制御する。これにより、図8Bに示すように、コントローラ30は、オペレータによるレバー装置26Cの操作をアシストして、作業対象としての法面NSに正対させることができる。また、コントローラ30は、オペレータがMCスイッチ等の所定のスイッチを押下すると、樹木TR2を基準対象物とする旋回角度を推定しながら、自動で、上部旋回体3を法面NSに正対させてもよい。
 [旋回角度の推定方法(第3例)]
 次に、図9~図11を参照し、コントローラ30(旋回角度算出部55)による旋回角度の推定方法の第3例について説明する。
 尚、本例に係るショベル100の旋回角度の推定に関する機能構成を表す機能ブロック図は、上述の第1例或いは第2例の機能ブロック図(図5或いは図7)を援用可能であるため、図示を省略する。
  <固定対象物の検出方法>
 図9は、ショベル100の旋回角度の推定方法の第3例を説明する図である。具体的には、図9は、本例に係るショベル100の周囲の物体(例えば、固定対象物)の検出方法の一例を説明する図であり、検出部62によるショベル100の周囲の物体の検出に関する一連の処理を説明する図である。
  <<物体検出処理>>
 検出部62は、撮像装置S6の出力(撮像画像)に基づき、学習済みの物体検出モデルLMを用いて、ショベル100(上部旋回体3)の周囲の対象物を検出する処理(物体検出処理901)を行う。
 本例では、物体検出モデルLMは、ニューラルネットワーク(Neural Network)DNNを中心に構成される。
 本例では、ニューラルネットワークDNNは、入力層及び出力層の間に一層以上の中間層(隠れ層)を有する、いわゆるディープニューラルネットワークである。ニューラルネットワークDNNでは、それぞれの中間層を構成する複数のニューロンごとに、下位層との間の接続強度を表す重みづけパラメータが規定されている。そして、各層のニューロンは、上位層の複数のニューロンからの入力値のそれぞれに上位層のニューロンごとに規定される重み付けパラメータを乗じた値の総和を、閾値関数を通じて、下位層のニューロンに出力する態様で、ニューラルネットワークDNNが構成される。
 ニューラルネットワークDNNを対象とし、後述の如く、管理装置200(モデル学習部201)により機械学習、具体的には、深層学習(ディープラーニング:Deep Learning)が行われ、上述の重み付けパラメータの最適化が図られる。これにより、ニューラルネットワークDNNは、入力信号x(x1~xm)として、撮像装置S6の撮像画像が入力され、出力信号y(y1~yn)として、予め規定される対象物リスト(本例では、"樹木"、"ダンプ"、・・・)に対応する物体の種類ごとの物体が存在する確率(予測確率)を出力することができる。mは、2以上の整数であり、例えば、複数の画像領域に区分された撮像画像の区分数に相当する。nは、2以上の整数であり、対象物リストに含まれる対象物の種類数に相当する。
 ニューラルネットワークDNNは、例えば、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)である。CNNは、既存の画像処理技術(畳み込み処理及びプーリング処理)を適用したニューラルネットワークである。具体的には、CNNは、撮像装置S6の撮像画像に対する畳み込み処理及びプーリング処理の組み合わせを繰り返すことにより撮像画像よりもサイズの小さい特徴量データ(特徴マップ)を取り出す。そして、取り出した特徴マップの各画素の画素値が複数の全結合層により構成されるニューラルネットワークに入力され、ニューラルネットワークの出力層は、例えば、物体の種類ごとの物体が存在する予測確率を出力することができる。
 また、ニューラルネットワークDNNは、入力信号xとして撮像装置S6の撮像画像が入力され、撮像画像における物体の位置及び大きさ(つまり、撮像画像上の物体の占有領域)及びその物体の種類を出力信号yとして出力可能な構成であってもよい。つまり、ニューラルネットワークDNNは、撮像画像上の物体の検出(撮像画像上で物体の占有領域部分の判定)と、その物体の分類の判定とを行う構成であってもよい。また、この場合、出力信号yは、入力信号xとしての撮像画像に対して物体の占有領域及びその分類に関する情報が重畳的に付加された画像データ形式で構成されていてもよい。これにより、検出部62は、物体検出モデルLM(ニューラルネットワークDNN)から出力される、撮像装置S6の撮像画像の中の物体の占有領域の位置及び大きさに基づき、当該物体のショベル100からの相対位置(距離や方向)を特定することができる。撮像装置S6(カメラS6F、カメラS6B、カメラS6L、及びカメラS6R)は、上部旋回体3に固定され、撮像範囲(画角)が予め規定(固定)されているからである。そして、検出部62は、物体検出モデルLMにより検出された物体の位置が監視領域内であり、且つ、監視対象リストの物体に分類されている場合、監視領域内で、監視対象の物体が検出されたと判定できる。
 例えば、ニューラルネットワークDNNは、撮像画像の中の物体が存在する占有領域(ウィンドウ)を抽出する処理、及び、抽出された領域の物体の種類を特定する処理のそれぞれに相当するニューラルネットワークを有する構成であってよい。つまり、ニューラルネットワークDNNは、物体の検出と、物体の分類とを段階的に行う構成であってよい。また、例えば、ニューラルネットワークDNNは、撮像画像の全領域が所定数の部分領域に区分されたグリッドセルごとに物体の分類及び物体の占有領域(バウンディングボックス:Bounding box)を規定する処理と、グリッドセルごとの物体の分類に基づき、種類ごとの物体の占有領域を結合し、最終的な物体の占有領域を確定させる処理とのそれぞれに対応するニューラルネットワークを有する構成であってもよい。つまり、ニューラルネットワークDNNは、物体の検出と、物体の分類とを並列的に行う構成であってもよい。
 検出部62は、例えば、所定の制御周期ごとに、ニューラルネットワークDNNを用いて、撮像画像上における物体の種類ごとの予測確率を算出する。検出部62は、予測確率を算出する際、今回の判定結果と前回の判定結果とが一致する場合、今回の予測確率を更に上げるようにしてもよい。例えば、前回の判定時に、撮像画像上の所定の領域に映っている物体が"ダンプ"(y2)と判定される予測確率に対し、今回も継続して"ダンプ"(y2)と判定された場合、今回の"ダンプ"(y2)と判定される予測確率を更に高めてよい。これにより、例えば、同じ画像領域に関する物体の分類に関する判定結果が継続的に一致している場合に、予測確率が相対的に高く算出される。そのため、検出部62は、誤判定を抑制することができる。
 また、検出部62は、ショベル100の走行や旋回等の動作を考慮して、撮像画像上の物体に関する判定を行ってもよい。ショベル100の周囲の物体が静止している場合であっても、ショベル100の走行や旋回によって、撮像画像上の物体の位置が移動し、同じ物体として認識できなくなる可能性があるからである。例えば、ショベル100の走行や旋回によって、今回の処理で"樹木"(y1)と判定された画像領域と前回の処理で"樹木"(y1)と判定された画像領域とが異なる場合がありうる。この場合、検出部62は、今回の処理で"樹木"(y1)と判定された画像領域が前回の処理で"樹木"(y1)と判定された画像領域から所定の範囲内にあれば、同一の物体とみなし、継続的な一致判定(即ち、同じ物体を継続して検出している状態の判定)を行ってよい。検出部62は、継続的な一致判定を行う場合、今回の判定で用いる画像領域を、前回の判定に用いた画像領域に加え、この画像領域から所定の範囲内の画像領域も含めてよい。これにより、ショベル100が走行したり、旋回したりしたとしても、検出部62は、ショベル100の周囲の同じ物体に関して継続的な一致判定を行うことができる。
 尚、上述の第1例、第2例の場合についても、本例と同様、物体検出モデルLMは、ニューラルネットワークDNNを中心に構成されてもよい。
 また、検出部62は、ニューラルネットワークDNNを用いる方法以外の任意の機械学習に基づく物体検出方法を用いて、ショベル100の周囲の物体を検出してもよい。
 例えば、撮像装置S6の撮像画像から取得される多変数の局所特徴量について、この多変数の空間上で物体の種類ごとにその種類の物体である範囲とその種類の物体でない範囲とを区分する境界を表す物体検出モデルLMが、教師あり学習により生成されてよい。境界に関する情報の生成に適用される機械学習(教師あり学習)の手法は、例えば、サポートベクターマシーン(SVM:Support Vector Machine)、k近傍法、混合ガウス分布モデル等であってよい。これにより、検出部62は、当該物体検出モデルLMに基づき、撮像装置S6の撮像画像から取得される局所特徴量が所定の種類の物体である範囲にあるのか、その種類の物体でない範囲にあるのかに基づき、物体を検出することができる。
  <<距離算出処理>>
 検出部62は、物体検出処理901とは別に、ショベル100に搭載される距離測定装置S7の出力に基づき、ショベル100から周囲の物体までの距離を算出する処理(距離算出処理902)を行う。本例では、検出部62は、撮像装置S6の撮像画像を複数の画像領域に区分した画像領域x1~xmに対応するショベル100(撮像装置S6)から見た方向ごとの物体までの距離L1~Lmを算出する。
 距離測定装置S7は、上部旋回体3に搭載され、ショベル100の周囲の物体との距離に関する情報を取得する。距離測定装置S7は、例えば、超音波センサ、ミリ波レーダ、LIDAR、赤外線センサ等を含む。また、距離測定装置S7は、例えば、単眼カメラ、ステレオカメラ、距離画像カメラ、デプスカメラ等の撮像装置であってもよい。単眼カメラの場合、検出部62は、ショベル100の走行時や旋回時の撮像画像に基づき、距離を算出することができる。
  <<対象物情報生成処理>>
 検出部62は、物体検出処理901の出力と、距離算出処理902の出力と組み合わせて、複数の対象物ごとの予測確率及び位置を含む対象物情報を生成する処理(対象物情報生成処理903)を行う。具体的には、検出部62は、対象物リストに含まれる複数の種類の対象物ごとの予測確率及び撮像画像上の占有領域と、撮像画像の画像領域x1~xmごとの距離情報(距離L1~Lm)とに基づき、対象物ごとの予測確率及び位置を含む対象物情報を生成してよい。本例では、対象物情報は、出力信号y1に対応する"樹木"が予測確率"xx%"で、座標"(e,n,h)"に位置することを表している。また、本例では、対象物情報は、出力信号y2に対応する"ダンプ(トラック)"が予測確率"xx%"で、座標"(e,n,h)"に位置していることを表している。また、本例では、対象物情報は、出力信号ynに対応する"xxxxxx"が予測確率"xx%"で、座標"(e,n,h)に位置していることを表している。これにより、検出部62は、対象物情報に基づき、対象物リストの複数の種類の対象物ごとの予測確率に基づき、撮像装置S6の撮像範囲内の対象物を検出したり、検出した対象物の位置を特定したりすることができる。
 尚、検出部62は、上述の如く、対象物ごとの占有領域の位置及び大きさだけを用いて、対象物ごとの位置を特定してもよい。この場合、距離算出処理902は、省略され、距離測定装置S7は、省略されてもよい。
  <旋回角度の推定方法の具体例>
 図10、図11は、ショベル100の旋回角度の推定方法の第3例を示す説明する図である。
 本例では、コントローラ30は、上述の対象物情報生成処理903により生成される対象物情報に基づき、ショベル100の周囲の基準対象物を決定し、ショベル100から見た基準対象物の向きを算出する。そして、コントローラ30は、ショベル100から見た対象物の向きの時系列の変化に基づき、ショベル100の旋回角度を推定する。
 例えば、図12に示すように、時刻t1にて、対象物情報は、"樹木"及び"ダンプ"の予測確率が90%であることを表している。そのため、コントローラ30は、少なくとも樹木及びダンプトラックを含む複数の基準対象物を決定し、基準対象物ごとに、ショベル100から見た基準対象物の向き(角度方向)θk(t1)を算出する(k:1~nの整数)。
 また、時刻t2にて、対象物情報は、引き続き、"樹木"及び"ダンプ"の予測確率が非常に高い90%であることを表している。そのため、コントローラ30は、少なくとも樹木及びダンプトラックを含む複数の基準対象物を決定し、基準対象物ごとに、ショベル100から見た基準対象物の向きθk(t2)を算出する。
 コントローラ30は、基準対象物ごとに、時刻t1及び時刻t2におけるショベル100から見た基準対象物の向きθk(t1),θk(t2)に基づき、以下の式(1)により、時刻t1から時刻t2までの間の旋回角度Δθを算出することができる。
  Δθ=θk(t2)-θk(t1)   ・・・(1)
 コントローラ30は、複数の基準対象物ごとに算出した旋回角度Δθに基づき、時刻t1から時刻t2までの間のショベル100の旋回角度を決定する。コントローラ30は、例えば、複数の基準対象物ごとの旋回角度Δθを平均化する等の統計処理を行うことにより、時刻t1から時刻t2までの間のショベル100の旋回角度を決定してよい。
 尚、対象物情報からショベル100の周囲に一つの対象物(基準対象物)しか存在しない場合、コントローラ30は、一つの基準対象物に対応する旋回角度Δθをショベル100の旋回角度に決定してよい。
 このように、本例では、コントローラ30は、対象物情報に基づき、ショベル100の周囲の基準対象物を決定し、ショベル100から見た基準対象物の向きの時系列での変化に基づき、ショベル100の旋回角度を推定することができる。また、本例では、コントローラ30は、複数の基準対象物ごとに、ショベル100から見た基準対象物の向きの時系列での変化に基づき、ショベル100の旋回角度を推定し、旋回角度の複数の推定値に基づき、ショベル100の旋回角度を決定する。これにより、旋回角度の推定精度を向上させることができる。
 また、例えば、図12に示すように、時刻t3にて、時刻t2までの基準対象物のダンプトラックが移動し、対象物情報は、"ダンプ"の予測確率が0%に変化している。そのため、時刻t3にて、コントローラ30は、ダンプトラックを基準対象物として利用できない。
 一方、時刻t3にて、対象物情報は、引き続き、"樹木"の予測確率が非常に高い90%であることを表している。そのため、コントローラ30は、少なくとも樹木含む一又は複数の基準対象物を決定し、基準対象物ごとに、ショベル100から見た基準対象物の向きθk(t3)を算出する。
 コントローラ30は、基準対象物ごとに、時刻t2及び時刻t3におけるショベル100から見た基準対象物の向きθk(t2),θk(t3)に基づき、以下の式(2)により、時刻t2から時刻t3までの間の旋回角度Δθを算出することができる。
  Δθ=θk(t3)-θk(t2)   ・・・(2)
 このように、本例では、コントローラ30は、一部の基準対象物が非検出状態になった場合であっても、検出状態の他の基準対象物が存在する場合、ショベル100から見た他の基準対象物の向きの変化に基づき、ショベル100の旋回角度を推定することができる。即ち、コントローラ30は、複数の基準対象物を利用することで、一部の基準対象物が非検出状態になるような状況であっても、ショベル100の旋回角度の推定処理を安定して継続することができる。
 [ショベルの構成の他の例]
 次に、図1に加えて、図12を参照して、本実施形態に係るショベル100の具体的な構成の他の例、具体的には、後述のショベル100(自機)の位置の推定方法に関する構成の具体例について説明する。以下、上述の一例(図2)と異なる部分を中心に説明し、同じ或いは対応する内容に関する説明を省略する場合がある。
 図12は、本実施形態に係るショベル100の構成の他の例を概略的に示す図である。
 本実施形態に係るショベル100の制御系は、コントローラ30と、吐出圧センサ28と、操作圧センサ29と、比例弁31と、表示装置40と、入力装置42と、音出力装置43と、記憶装置47と、ブーム角度センサS1と、アーム角度センサS2と、バケット角度センサS3と、機体傾斜センサS4と、旋回状態センサS5と、撮像装置S6と、通信装置T1とを含む。
 旋回状態センサS5は、上部旋回体3の旋回状態に関する検出情報を出力する。旋回状態センサS5は、例えば、上部旋回体3の旋回角速度及び旋回角度を検出する。旋回状態センサS5は、例えば、ジャイロセンサ、レゾルバ、ロータリエンコーダ等を含んでよい。旋回状態センサS5による上部旋回体3の旋回角度や旋回角速度に対応する検出信号は、コントローラ30に取り込まれる。
 コントローラ30は、マシンガイダンス部50を含む。
 マシンガイダンス部50は、ブーム角度センサS1、アーム角度センサS2、バケット角度センサS3、機体傾斜センサS4、旋回状態センサS5、撮像装置S6、通信装置T1及び入力装置42等から情報を取得する。そして、マシンガイダンス部50は、例えば、取得した情報に基づき、バケット6と目標施工面との間の距離を算出し、音出力装置43からの音声及び表示装置40に表示される画像により、バケット6と作業対象(例えば、目標施工面やとの間の距離の程度をオペレータに通知したり、アタッチメントの先端部(具体的には、バケット6の爪先や背面等の作業部位)が目標施工面に一致するように、アタッチメントの動作を自動的に制御したりする。マシンガイダンス部50は、当該マシンガイダンス機能及びマシンコントロール機能に関する詳細な機能構成として、位置算出部51と、距離算出部52と、情報伝達部53と、自動制御部54と、旋回角度算出部55と、相対角度算出部56と、位置推定部59とを含む。
 旋回角度算出部55は、上部旋回体3の旋回角度を算出する。これにより、コントローラ30は、上部旋回体3の現在の向きを特定することができる。旋回角度算出部55は、旋回状態センサS5の検出信号に基づき、旋回角度を算出する。また、施工現場に基準点が設定されている場合、旋回角度算出部55は、旋回軸から基準点を見た方向を基準方向としてもよい。また、旋回角度算出部55は、例えば、上述の推定方法を用いて、撮像装置S6の撮像画像に含まれる(映っている)、停止している或いは固定されている物体の位置(見える向き)の変化に基づき、上部旋回体3の旋回角度を算出(推定)してもよい(図5~図11参照)。この場合、旋回状態センサS5は、省略されてもよい。
 位置推定部59は、ショベル100の位置を推定する。位置推定部59は、例えば、撮像装置S6の撮像画像に基づき、ショベル100(自機)の周囲の物体を認識し、認識した物体に対するショベル100の相対的な位置を算出(推定)する。詳細は、後述する(図13~図18参照)。
 [ショベルの位置の推定方法(第1例)]
 次に、図13、図14を参照して、コントローラ30によるショベル100(自機)の位置の推定方法の第1例について説明する。
  <ショベルの位置の推定に関する機能構成>
 図13は、本実施形態に係るショベル100の位置の推定に関する機能構成の第1例を示す機能ブロック図である。
 図13に示すように、本例では、ショベル100は、通信装置T1を用いて、管理装置200と通信可能に接続される。
 管理装置200は、その機能が任意のハードウェア、或いは、ハードウェア及びソフトウェアの組み合わせにより実現されてよい。例えば、管理装置200は、CPU等のプロセッサ、RAM等のメモリ装置、ROM等の補助記憶装置、及び外部との通信用のインタフェース装置等を含むサーバコンピュータを中心に構成される。管理装置200は、例えば、補助記憶装置にインストールされるプログラムをCPU上で実行することにより実現される機能部として、モデル学習部201と、配信部203とを含む。また、管理装置200は、学習結果記憶部202等を利用する。学習結果記憶部202等は、例えば、管理装置200の補助記憶装置や通信可能な外部記憶装置等により実現可能である。
 モデル学習部201は、所定の教師データセットを用いて、学習モデルを機械学習させ、いわゆる教師あり学習の結果としての学習済みモデル(物体検出モデルLM)を出力する。そして、生成された物体検出モデルLMは、予め準備される検証用データセットを用いて、精度検証が実施された上で、学習結果記憶部202に格納される。また、モデル学習部201は、追加学習用の教師データセットを用いて、物体検出モデルLMの追加学習を行わせることにより追加学習済みモデルを生成してもよい。そして、追加学習済みモデルは、予め準備される検証用データセットを用いて、精度検証が実施されると共に、学習結果記憶部202の物体検出モデルLMは、精度検証済みの追加学習済みモデルで更新されてよい。
 物体検出モデルLMは、物体検知装置による作業現場の撮像画像や点群データ等を入力情報として、作業現場の撮像画像に含まれる所定の物体(例えば、人、車両、他の作業機械、建物、パイロン、電柱、木等)(以下、「対象物」)の有無、その対象物の種別、その対象物の位置、その対象物の大きさ等を判定する。そして、物体検出モデルLMは、その判定結果に関する情報(例えば、対象物の種別(種類)を表すラベル情報や、対象物の位置を表す位置情報)を出力する。つまり、物体検出モデルLMは、ショベル100に適用される場合、撮像装置S6の撮像画像に基づき、ショベル100の周囲の対象物の有無、その対象物の種別(種類)、及びその対象物の位置等を判定することができる。ベースの学習モデル及びその学習結果としての物体検出モデルLMは、例えば、既知のディープニューラルネットワーク(DNN:Deep Neural Network)を中心に構成されてよい。
 尚、教師データセット及び精度検証用のデータセットは、例えば、ショベル100から適宜アップロードされる、撮像装置S6による様々な作業現場の撮像画像に基づき作成されてよい。また、教師データセット及び精度検証用のデータセットは、例えば、コンピュータグラフィクス等に関連する技術を用いて人工的に作成される作業現場の画像に基づき作成されてもよい。
 学習結果記憶部202には、モデル学習部201により生成される物体検出モデルLMが記憶される。また、学習結果記憶部202の物体検出モデルLMは、モデル学習部201により生成される追加学習済みモデルにより更新されてもよい。
 配信部203は、学習結果記憶部202に記憶される最新の物体検出モデルLMをショベル100に配信する。
 また、本例では、ショベル100は、自機の位置の推定に関する構成として、撮像装置S6(カメラS6F,S6B,S6L,S6R)、コントローラ30を含む。
 コントローラ30は、ショベル100(自機)の推定に関する構成として、周囲状況認識部60と、上述のマシンガイダンス部50を含む。
 周囲状況認識部60は、例えば、モデル記憶部61と、検出部62と、物体位置マップ生成部63と、マップ記憶部64とを含む。
 モデル記憶部61には、通信装置T1を通じて管理装置200から受信される、最新の物体検出モデルLMが記憶される。
 検出部62は、撮像装置S6(カメラS6F,S6B,S6L,S6R)から入力される撮像画像に基づき、上部旋回体3の周囲の対象物を検出する。具体的には、検出部62は、モデル記憶部61から物体検出モデルLMを読み出し、物体検出モデルLMを用いて、上部旋回体3の周囲の対象物に関する判定(例えば、対象物の有無、その対象物の種別、その対象物の位置、及びその対象物の大きさ等の判定)を行う。検出部62は、例えば、検出された対象物の種別を示すラベル情報、対象物の位置情報、及び対象物の大きさに関する情報等を出力する。また、検出部62は、対象物が検出されなかった場合、検出されなかったことを示すラベル情報を出力してよい。本例では、複数のカメラ(カメラS6F,S6B,S6L,S6R)の撮像画像を利用することができるため、検出部62は、上部旋回体3の全周に亘る対象物、つまり、より広い対象範囲で対象物を検出することができる。また、撮像装置S6を利用する事例を示したが、検出部62は、ショベル100の周囲に出力する出力信号(例えば、レーザ、赤外線、電磁波、超音波等)の反射信号を受信し、ショベル100の周囲の物体までの距離を点群データ等により算出してもよい。また、検出部62は、受信される反射信号に基づく点群の形状及び点群までの距離等により、対象物の種別(種類)を表すラベル情報や、対象物の位置を表す位置情報等を求めることができる。
 物体位置マップ生成部63は、周囲の物体(対象物)に対するショベル100(自機)の位置を表すマップ情報(以下、「物体位置マップ」)を生成する。生成される物体位置マップMPは、マップ記憶部64に格納される。物体位置マップMPには、検出部62により検出された対象物を含む、撮像装置S6の撮像画像に基づくショベル100の周囲の物体の三次元形状データ(具体的には、三次元的な特徴点の集合)、及び三次元形状データに対する現在のショベル100の位置や上部旋回体3の向きを表す情報が含まれる。また、物体位置マップMPには、検出部62により検出された対象物ごとの位置が含まれる。また、物体位置マップMPには、それぞれの対象物の位置に紐付けられる、対象物の種別に関する情報(以下、「種別情報」)、対象物の大きさに関する情報(以下、「大きさ情報」)等の付随情報が含まれる。具体的には、物体位置マップ生成部63は、所定の処理周期ごとに、撮像装置S6の撮像画像(検出部62の検出結果)に基づき、現時刻のショベル100の周囲の物体(対象物)の三次元形状を含む局所的なマップ情報(以下、「局所マップ」)を生成する。局所マップは、ショベル100の現在の位置及び上部旋回体3の現在の向きを基準とするマップ情報である。そして、物体位置マップ生成部63は、生成した局所マップと、直前の処理周期で作成された過去の物体位置マップMPとの間での物体の三次元形状の同定を行い、最新の物体位置マップMPを生成する。このとき、物体位置マップ生成部63は、現在のショベル100の位置及び上部旋回体3の向きを基準とする局所マップの三次元形状を、過去の物体位置マップMPの三次元形状と同定させる過程において、同時に、物体位置マップMP上でのショベル100の位置及び上部旋回体3の向きを特定する。例えば、物体位置マップ生成部63は、ショベル100の起動から停止までの間で、検出部62の検出周期に合わせて、物体位置マップMPを作成し、最新の物体位置マップMPでマップ記憶部64の物体位置マップMPを逐次更新する態様であってよい。
 尚、撮像装置S6に加えて、撮像装置S6の撮像範囲の物体までの距離を取得可能な距離センサ(距離情報取得装置の一例)が上部旋回体3に搭載される場合、物体位置マップ生成部63は、撮像装置S6の撮像画像及び距離センサの検出情報に基づき、物体位置マップMPを生成してもよい。つまり、コントローラ30は、撮像装置S6の撮像画像及び距離センサの検出情報(即ち、ショベル100の周囲の物体までの距離に関する情報)に基づき、ショベル100(自機)の位置を推定したり、上部旋回体3の向き(旋回角度)を推定したりしてもよい。具体的には、物体位置マップ生成部63は、距離センサの検出情報に基づき、ショベル100の周囲の三次元形状に相当するデータを生成し、当該データ上に、撮像装置S6の撮像画像に基づき検出部62により検出された対象物に関する情報を反映させる形で物体位置マップMPを生成してよい。これにより、距離センサは、ショベル100の周囲の物体までの距離に関する検出情報を直接取得できるため、撮像装置S6の撮像装置から距離を演算する場合よりも処理負荷が軽減され、処理時間を短縮できる。また、距離センサで取得される検出情報に対応する距離の精度は、撮像装置S6の撮像装置から演算される距離の精度よりも一般的に高いため、物体位置マップMPの精度を向上させることができる。また、ショベル100(上部旋回体3)を基準として、検出部62が対象物を検出可能な距離範囲は限定されるため、例えば、ショベル100が下部走行体1で走行移動すると、物体位置マップMPに含まれるある対象物の位置が検出範囲外になってしまう可能性がある。つまり、ショベル100が下部走行体1で走行移動してしまうと、コントローラ30は、ショベル100から相対的に離れた位置の物体の移動や、ショベル100から相対的に離れた位置の地形形状の施工作業による変化等を把握することができない可能性がある。よって、物体位置マップ生成部63は、物体位置マップMPに含まれる、ショベル100(自機)からある程度離れた位置の対象物を含む三次元形状に関する情報を、更新の際に、削除してもよいし、例えば、精度が低い情報であることを示すフラグ等を紐づけた上でマップ情報の中に残してもよい。
 マップ記憶部64には、物体位置マップ生成部63により生成される、最新の物体位置マップMPが記憶される。
 マシンガイダンス部50は、ショベル100(自機)の位置の推定に関する機能構成として、旋回角度算出部55と、位置推定部59とを含む。
 旋回角度算出部55は、撮像装置S6の撮像画像に基づき、ショベル100の周囲の停止している対象物(以下、「停止対象物」)や固定されている対象物(以下、「固定対象物」)を認識し、停止対象物や固定対象物を基準とする上部旋回体3の旋回角度(つまり、上部旋回体3の向き)を推定(算出)する。停止対象物は、移動可能な対象物のうちの移動せずに停止している対象物(例えば、停車しているダンプトラック等)を意味する。また、固定対象物は、ある位置に固定されており移動しない対象物(例えば、木、電柱、後述のスクラップ場に定置される各種装置等)を意味する。具体的には、旋回角度算出部55は、マップ記憶部64に格納される、最新の物体位置マップMP上での上部旋回体3の向き、つまり、物体位置マップMP上で特定される停止対象物や固定対象物から見た上部旋回体3の向き(旋回角度)を推定(算出)する。より具体的には、旋回角度算出部55は、物体位置マップMPにおける停止対象物や固定対象物から旋回軸を見た方向を基準とする、上部旋回体3の旋回角度を推定(算出)してよい。
 位置推定部59は、撮像装置S6の撮像画像に基づき、ショベル100の周囲の対象物(具体的には、停止対象物や固定対象物)を認識し、認識した対象物に対するショベル100(自機)の位置を把握(推定)する。具体的には、位置推定部59は、マップ記憶部64に格納される物体位置マップMP上でのショベル100の位置、つまり、物体位置マップMP上で特定される停止対象物や固定対象物に対するショベル100の位置を把握(推定)する。これにより、ショベル100は、GNSSを用いずとも、自機の位置を把握することができる。
  <ショベルの位置の推定方法の具体例>
 図14(図14A、図14B)は、本実施形態に係るショベル100の位置の推定に関する動作の第1例を示す図である。
 図14に示すように、位置推定部59は、物体位置マップMP上で特定される、ショベル100(自機)の周囲にある固定対象物としての樹木TR21を基準(原点)とするXY座標系におけるショベル100の位置を推定(算出)する。また、旋回角度算出部55は、樹木TR21から見たショベル100(旋回軸)の方向を基準とする上部旋回体3の旋回角度を推定(算出)する。
 例えば、図14Aの作業状況において、位置推定部59は、樹木TR21を基準とするXY座標系におけるショベル100の位置を、X座標が所定値X1(>0)及びY座標が所定値Y1(>0)と算出する。また、位置推定部59は、樹木TR21から見たショベル100(旋回軸AX)の方向を基準とする上部旋回体3の旋回角度を所定値θ1(>0)と算出する。
 そして、ショベル100は、図14Aの作業状況から図14Bの作業状況に移行する、つまり、ショベル100は、下部走行体1により樹木TR21から離れる方向に移動し且つ上部旋回体3を左旋回させている。この場合、図14Bの作業状況において、位置推定部59は、樹木TR21を基準とするXY座標系におけるショベル100の位置を、X座標が所定値X2(>X1>0)及びY座標が所定値Y2(>Y1>0)と算出する。また、旋回角度算出部55は、樹木TR21から見たショベル100(旋回軸AX)の方向を基準とする上部旋回体3の旋回角度を所定値θ2(>θ1>0)と算出する。
 このように、本例では、位置推定部59は、ショベル100(自機)の周囲の樹木TR21を基準とするショベル100の位置を推定する。これにより、コントローラ30は、ショベル100が樹木TR21の周囲で移動しながら作業を行うような状況で、ショベル100の移動に合わせて、樹木TR21を基準とするショベル100の位置を把握し続けることができる。また、旋回角度算出部55は、樹木TR21からショベル100(旋回軸)を見た方向を基準とする上部旋回体3の旋回角度を推定する。これにより、コントローラ30は、ショベル100が樹木TR21の周囲で移動し且つ上部旋回体3を旋回させながら作業を行うような状況で、樹木TR21を基準とする上部旋回体3の向き(つまり、アタッチメントの向き)を把握し続けることができる。
 [ショベルの位置の推定方法(第2例)]
 次に、図15を参照して、コントローラ30によるショベル100(自機)の位置の推定方法の第2例について説明する。以下、本例に係るショベル100の位置の推定に関する機能構成は、図13で示されるため、図示を省略する。
  <ショベルの位置の推定に関する機能構成>
 本例では、上述の第1例と異なる部分を中心に説明する。
 図13に示すように、本例では、ショベル100は、自機の推定に関する構成として、撮像装置S6(カメラS6F,S6B,S6L,S6R)、コントローラ30を含む。
 コントローラ30は、ショベル100の位置の推定に関する構成として、マシンガイダンス部50と、周囲状況認識部60とを含む。
 物体位置マップ生成部63は、上述の第1例の場合と同様、周囲の物体(対象物)に対するショベル100(自機)の位置を表す物体位置マップMPを生成する。本例では、物体位置マップMPは、それぞれの対象物の位置に紐付けられる、対象物の種別情報、対象物の大きさ情報、対象物の位置の精度を示す情報(以下、「精度情報」)等の付随情報が含まれる。これにより、物体位置マップ生成部63は、精度情報を参照し、物体位置マップMPに含まれる対象物の位置の精度を把握することができる。そのため、物体位置マップ生成部63は、例えば、現在のショベル100の位置に対応する局所マップ上のある対象物の精度情報と、直近の処理周期で生成された過去の物体位置マップMP上の同じ対象物の精度情報を比較し、位置の精度が高い方を採用する形で、最新の物体位置マップMPを生成してよい。つまり、物体位置マップ生成部63は、撮像装置S6により取得される相対的に高い精度の物体(対象物)に関する情報に基づき、物体位置マップMPを更新してよい。これにより、物体位置マップ生成部63は、物体位置マップMPの精度を向上させることができる。
 図15に示すように、撮像装置S6(カメラS6F,S6B)が上下方向の一定角度で撮像可能な距離範囲は、ショベル100に近づくほど、相対的に短くなり、ショベル100から離れるほど、相対的に長くなることが分かる。換言すれば、撮像装置S6は、ショベル100から相対的に近接する領域について、相対的に密度の高い画素情報を取得可能である一方、ショベル100から相対的に離れた遠方の領域について、相対的に粗い画素情報しか取得できない。そのため、ショベル100と対象物との距離が長いほど、相対的に粗い画素情報から対象物の位置が推定されており、相対的に精度が低くなる。よって、精度情報は、検出部62により対象物が検出されたときのショベル100からの距離に基づき生成されてよい。この場合、精度情報は、検出部62により対象物が検出されたときのショベル100からの距離が長くなるほど、対象物の位置の精度が低くなる態様で生成される。
 また、精度情報は、例えば、対象物が最後に検出されてからの経過時間に基づき生成されてよい。ショベル100とある対象物との距離が相対的に大きく離れ、当該対象物が検出部62により検出されなくなってしまうと、その後、その対象物がそのままの形状でその位置に存在しているのかどうかを判断できないからである。この場合、精度情報は、経過時間が長くなるほど、対象物の精度が低くなる態様で生成されてよい。
 また、精度情報は、検出部62(物体検出モデルLM)による対象物の認識確率に基づき生成されてもよい。この場合、精度情報は、物体検出モデルLMにより出力される対象物の認識確率が相対的に低くなるほど、対象物の位置情報の精度が低くなる態様で生成されてよい。
 マシンガイダンス部50は、ショベル100の位置の推定に関する機能構成として、旋回角度算出部55と、位置推定部59とを含む。
 旋回角度算出部55は、マップ記憶部64に格納される物体位置マップMPから特定される、ショベル100の周囲の停止対象物或いは固定対象物のうち、位置の精度が相対的に高い対象物を基準とする上部旋回体3の向き(旋回角度)を推定(算出)する。例えば、旋回角度算出部55は、ショベル100の周囲の停止対象物或いは固定対象物のうちの位置の精度が相対的に高い(具体的には、所定基準以上である)対象物の中から、所定の条件(例えば、"ショベル100からの距離が最も近いこと"等)に従い、自動で、上部旋回体3の向きの基準とする対象物に選択してよい。また、例えば、旋回角度算出部55は、入力装置42を通じた操作入力に基づき、物体位置マップMPから特定される複数の対象物のうちの位置の精度が相対的に高い対象物の中から選択された停止対象物或いは固定対象物を上部旋回体3の向きの基準としてよい。これにより、旋回角度算出部55は、相対的に位置の精度が高い対象物を基準として、上部旋回体3の旋回角度を推定することができる。よって、旋回角度の推定精度を向上させることができる。
 位置推定部59は、マップ記憶部64に格納される物体位置マップMPから特定される、ショベル100の周囲の対象物のうち、位置の精度が相対的に高い対象物を基準とするショベル100(自機)の位置を推定(算出)する。例えば、位置推定部59は、ショベル100の周囲の停止対象物或いは固定対象物のうちの位置の精度が相対的に高い(具体的には、所定基準以上である)対象物の中から、所定の条件(例えば、"ショベル100からの距離が最も近いこと"等)に従い、自動で、ショベル100の位置の基準とする対象物に選択してよい。また、例えば、位置推定部59は、入力装置42を通じた操作入力に基づき、物体位置マップMPから特定される複数の対象物のうちの位置の精度が相対的に高い対象物の中から選択された停止対象物或いは固定対象物を、ショベル100の位置の基準としてよい。これにより、位置推定部59は、相対的に位置の精度が高い対象物を基準として、ショベル100(自機)の位置を推定することができる。よって、ショベル100の位置の推定精度を向上させることができる。
 [ショベルの位置の推定方法(第3例)]
 次に、図16を参照し、図8(図8A、図8B)を援用して、コントローラ30によるショベル100(自機)の位置の推定方法の第3例について説明する。本例では、ショベル100は、下部走行体1の左右それぞれのクローラを自動的に前進・更新させる構成を備えている。具体的には、走行油圧モータ1Lの操作系に関する構成部分、及び、走行油圧モータ1Rの操作系に関する構成部分は、ブームシリンダ7の操作系に関する構成部分等(図4A~図4C)と同様に構成される。以下、走行油圧モータ1Lの操作系に関する構成部分、及び、走行油圧モータ1Rの操作に関する構成部分のそれぞれにおける図4Aの比例弁31AL,31ARに相当する構成を、比例弁31DL,31DR、及び比例弁31EL,31ERと称する。
  <ショベルの位置の推定に関する機能構成>
 図16は、本実施形態に係るショベル100の位置の推定に関する機能構成の第3例を示す機能ブロック図である。以下、本例では、上述の図13と異なる部分を中心に説明する。また、本例では、ショベル100は、下部走行体1(具体的には、左右それぞれのクローラ)を自動的に前進・後進させる構成を備える。
 図16に示すように、本例では、図13の場合と同様、通信装置T1を用いて、管理装置200と通信可能に接続される。
 管理装置200は、例えば、補助記憶装置にインストールされるプログラムをCPU上で実行することにより実現される機能部として、モデル学習部201と、配信部203とを含む。また、管理装置200は、学習結果記憶部202及び施工情報記憶部204を利用する。学習結果記憶部202及び施工情報記憶部204等は、例えば、管理装置200の補助記憶装置や通信可能な外部記憶装置等により実現可能である。
 施工情報記憶部204には、ショベル100の作業現場を含む複数の作業現場の施工情報を含む施工情報データベースが構築される。施工情報には、施工目標に関する情報(例えば、目標施工面データ等)が含まれる。
 配信部203は、施工情報データベースからショベル100の作業現場の施工情報を抽出し、ショベル100に配信する。
 また、本例では、ショベル100は、自機の位置の推定に関する構成として、撮像装置S6(カメラS6F,S6B,S6L,S6R)、コントローラ30、及び比例弁31CL,31CR,31DL,31DR,31EL,31ERを含む。
 コントローラ30は、ショベル100の位置の推定に関する構成として、図13の場合と同様、マシンガイダンス部50と、周囲状況認識部60とを含む。
 周囲状況認識部60は、ショベル100の位置の推定に関する機能構成として、モデル記憶部61と、検出部62と、物体位置マップ生成部63と、マップ記憶部64と、記憶部65と、目標位置情報生成部66とを含む。
 記憶部65には、管理装置200から配信される施工情報65Aが記憶される。
 目標位置情報生成部66は、作業時の目標としての作業対象の位置に関する情報(以下、「目標位置情報」)を生成し、物体位置マップMP上に登録する。本例では、目標位置情報生成部66は、施工情報65Aに基づき、作業対象としての目標施工面に関する目標位置情報、具体的には、物体位置マップMP上における目標施工面の位置及び目標施工面の三次元形状を規定する目標位置情報を生成し、物体位置マップMPに登録する。つまり、目標位置情報生成部66は、周囲の物体(対象物)に対するショベル100(自機)の位置に、施工情報65Aに対応する施工目標(目標施工面)の位置を関連付けた物体位置マップMPを生成し、マップ記憶部64に保持する。これにより、コントローラ30(自動制御部54)は、物体位置マップMP上において、ショベル100の位置と、施工目標(目標施工面)との位置関係を把握することができる。
 マシンガイダンス部50は、ショベル100の位置の推定に関する機能構成として、自動制御部54と、旋回角度算出部55と、相対角度算出部56と、位置推定部59とを含む。
 相対角度算出部56は、旋回角度算出部55により算出される、物体位置マップMP上での上部旋回体3の向き(旋回角度)と、物体位置マップMPから特定される作業対象としての目標施工面の位置や三次元形状とに基づき、相対角度を算出(推定)する。具体的には、相対角度算出部56は、旋回角度算出部55により算出される、ある対象物から見た上部旋回体3の向き(旋回角度)と、物体位置マップMP上における同じ対象物から見た目標施工面の向きとに基づき、相対角度を算出(推定)してよい。
 自動制御部54は、位置推定部59により算出(推定)される、ショベル100(自機)の周囲の対象物を基準とするショベル100の位置に基づき、比例弁31DL,DR,31EL,31ERを制御し、下部走行体1を走行させることで、施工情報65Aに対応する目標施工面(具体的には、目標施工面のうちの未施工部分)の前までショベル100を移動させる。具体的には、自動制御部54は、位置推定部59により推定される、物体位置マップMP上でのショベル100の位置と、物体位置マップMP上での目標施工面の位置とに基づき、下部走行体1を走行制御してよい。また、自動制御部54は、相対角度算出部56により算出(推定)される相対角度に基づき、比例弁31CL,31CR,31DL,DR,31EL,31ERを制御し、施工情報65Aに対応する目標施工面に上部旋回体3を正対させる。自動制御部54は、ショベル100を目標施工面の未施工部分の前まで移動させた後に、上部旋回体3が目標施工面に正対するように、上部旋回体3を旋回させてよい。また、自動制御部54は、ショベル100が目標施工面にある程度近づくと、上部旋回体3が目標施工面に正対するように、下部走行体1による走行経路を制御してもよい。また、自動制御部54は、所定範囲内に物体が検出された場合、検出された物体との位置関係に基づき、減圧用比例弁33を制御することで、制動動作(減速、停止)を行うことができる。
  <ショベルの位置の推定方法の具体例>
 図8Aに示すように、本例では、コントローラ30(位置推定部59)は、物体位置マップMP上で特定される、ショベル100(自機)の周囲の固定対象物としての樹木TR2を基準とするショベル100の位置を推定する。
 例えば、コントローラ30(位置推定部59)は、樹木TR2を基準とするショベル100の位置を逐次算出(推定)する。そして、コントローラ30(位置推定部59)は、オペレータがMCスイッチ等の所定のスイッチを押下した状態で、操作装置26を通じた下部走行体1(具体的には、左右のクローラ)の操作を行うと、樹木TR2を基準とする、ショベル100の位置と法面NSの位置との差分に基づき、比例弁31DL,31DR,31EL,31ERを介して、下部走行体1の走行制御を行う。これにより、図8Aに示すように、コントローラ30は、オペレータによる操作装置26に対する下部走行体1に関する操作をアシストして、ショベル100を法面NSの前まで移動させることができる。また、コントローラ30は、MCスイッチ等の所定のスイッチが押下されると、比例弁31DL,31DR,31EL,31ERを介して、下部走行体1を自動制御し、操作装置26に対する操作に依らず、ショベル100を自動で法面NSの前まで移動させてもよい。
 また、図8A,図8Bに示すように、コントローラ30(旋回角度算出部55)は、物体位置マップMP上で特定される、ショベル100(自機)の周囲にある固定対象物としての樹木TR2を基準対象物とする旋回角度を算出する。具体的には、コントローラ30は、樹木TR2からショベル100(旋回軸)を見た方向を基準とする旋回角度を算出する。
 例えば、コントローラ30(旋回角度算出部55)は、図8Aの状態において、樹木TR2を基準対象物とする旋回角度を推定(算出)する。また、コントローラ30(相対角度算出部56)は、推定した旋回角度と、目標施工面としての法面NSに対応する目標位置情報に基づき、相対角度を推定(算出)する。そして、コントローラ30(自動制御部54)は、オペレータがMCスイッチ等の所定のスイッチを押下した状態でレバー装置26Cに対して左旋回操作を行うと、樹木TR2を基準対象物とする旋回角度を推定しながら、上部旋回体3が法面NSに正対するように、比例弁31CLを制御する。これにより、図16Bに示すように、コントローラ30は、オペレータによるレバー装置26Cの操作をアシストして、作業対象としての法面NSに正対させることができる。また、コントローラ30は、オペレータがMCスイッチ等の所定のスイッチを押下すると、樹木TR2を基準対象物とする旋回角度を推定しながら、自動で、上部旋回体3を法面NSに正対させてもよい。
 [ショベルの位置の推定方法(第4例)]
 次に、図17、図18を参照して、コントローラ30によるショベル100(自機)の位置の推定方法の第4例について説明する。
  <ショベルの位置の推定に関する機能構成>
 図17は、本実施形態に係るショベル100の位置の推定に関する機能構成の第4例を示す機能ブロック図である。以下、本例では、上述の図13と異なる部分を中心に説明する。
 また、本例では、ショベル100は、自機の位置の推定に関する構成として、撮像装置S6(カメラS6F,S6B,S6L,S6R)、コントローラ30、及び比例弁31CL,31CR,31DL,31DR,31EL,31ERを含む。
 コントローラ30は、ショベル100の位置の推定に関する構成として、図13の場合と同様、マシンガイダンス部50と、周囲状況認識部60とを含む。
 周囲状況認識部60は、ショベル100の位置の推定に関する機能構成として、モデル記憶部61と、検出部62と、物体位置マップ生成部63と、マップ記憶部64と、記憶部65と、目標位置情報生成部66とを含む。
 記憶部65には、目標設定情報65Bが記憶される。
 目標設定情報65Bは、入力装置42を通じたオペレータ等のユーザからの操作入力により設定される、作業時の目標としての作業対象(例えば、後述するスクラップヤードSTPに積み下ろしに来たダンプトラックやスクラップヤードSTPの各種装置やスクラップの置場等)に関する設定情報である。
 例えば、オペレータ等は、入力装置42を用いて、表示装置40に表示される所定の操作画面(以下、「目標選択画面」)を操作することにより、物体位置マップMPで特定される一又は複数の対象物の中から作業対象に対応する対象物を選択し、作業時の目標として設定することができる。具体的には、表示装置40の目標選択画面には、撮像装置S6の撮像画像に基づき、ショベル100の周囲の様子を表す画像(以下、「周囲画像」)が表示される。そして、表示装置40の目標選択画面には、当該周囲画像上における、物体位置マップMPで特定されるショベル100の周囲の対象物に対応する位置にマーカや対象物の種別を示す情報が重畳的に表示される。オペレータ等は、当該目標選択画面上で、対象物の位置や種別を確認することで、作業対象を特定し選択(設定)することができる。
 目標位置情報生成部66は、目標設定情報65Bに基づき、オペレータ等により設定(選択)された作業対象に対応する目標位置情報を生成し、物体位置マップ上に登録する。本例では、目標位置情報生成部66は、目標設定情報65Bに基づき、物体位置マップMP上の対象物のうちのオペレータ等により設定された作業対象に対応する対象物を特定する目標位置情報を生成し、物体位置マップMPに登録する。具体的には、目標位置情報生成部66は。物体位置マップMP上における目標設定情報65Bに対応する作業対象の対象物の位置に、作業対象であること示すフラグ情報や他の作業対象と区別するための識別情報等の付随情報を紐づける形で、物体位置マップMPに登録する。つまり、目標位置情報生成部66は、周囲の物体(対象物)に対するショベル100(自機)の位置に、目標設定情報65Bに対応する所定の作業対象の位置を関連付けた物体位置マップMPを生成し、マップ記憶部64に保持する。これにより、コントローラ30(自動制御部54)は、物体位置マップMP上において、ショベル100の位置と、オペレータ等からの操作入力等で設定された作業対象との位置関係を把握することができる。
 マシンガイダンス部50は、ショベル100の位置の推定に関する機能構成として、自動制御部54と、旋回角度算出部55と、相対角度算出部56と、位置推定部59とを含む。
 相対角度算出部56は、旋回角度算出部55により算出される、物体位置マップMP上での上部旋回体3の向き(旋回角度)と、物体位置マップMPから特定される作業対象としての目標施工面の位置や三次元形状とに基づき、相対角度を算出(推定)する。具体的には、相対角度算出部56は、旋回角度算出部55により算出される、ある対象物から見た上部旋回体3の向き(旋回角度)と、物体位置マップMP上における同じ対象物から見た目標施工面の向きとに基づき、相対角度を算出(推定)してよい。
 自動制御部54は、位置推定部59により算出(推定)される、ショベル100(自機)の周囲の作業対象に対応する対象物を基準とするショベル100の位置に基づき、比例弁31DL,DR,31EL,31ERを制御し、下部走行体1を走行させる。具体的には、自動制御部54は、位置推定部59により推定される、物体位置マップMP上でのショベル100の位置と、物体位置マップMP上での作業対象に対応する対象物の位置とに基づき、下部走行体1を走行制御してよい。これにより、自動制御部54は、オペレータによる操作装置26に対する操作をアシストして、或いは、操作装置26に対する操作に依らず、下部走行体1を制御し、作業対象との衝突しないように、作業対象の前までショベル100を移動させたり、複数の作業対象の間を移動させたりすることができる。また、自動制御部54は、相対角度算出部56により算出(推定)される相対角度に基づき、比例弁31CL,31CRを制御し、作業対象に対応する対象物に上部旋回体3を正対させる。
  <ショベルの位置の推定方法の具体例>
 図18は、本実施形態に係るショベル100の旋回角度の推定に関する動作の第4例を示す図である。具体的には、図18は、スクラップヤードSTPにおいて、複数の作業対象の間を移動しながら作業を行う状況を示す上面図である。本例における作業対象は、スクラップを積み下ろしに来たダンプトラックDT、スクラップヤードSTPの指定のスクラップ置場(スクラップ搬入場、スクラップ分解場、各種装置の前後の集積場)、並びにスクラップヤードSTPの各種装置(破砕機、ライン選別機、振動ふるい機)である。
 ショベル100は、コントローラ30の制御下で、各種装置を識別することで、当接の可能性の有無を判断する。そして、ショベル100は、コントローラ30の制御下で、当接可能性の有無の判断結果に基づき、制動動作の可否を決定したり、エンドアタッチメントや下部走行体1の目標軌道を生成したりする。
 本例では、ショベル100は、コントローラ30の制御下で、作業対象としてのダンプトラックDTの荷台からスクラップを取り出す作業ST1を行う。作業ST1は、オペレータ等の操作装置26に対する操作をアシストする態様で行われてもよいし、オペレータ等の操作装置26に対する操作に依らず、自動で行われてもよい。以下、作業ST2の作業についても同様である。コントローラ30は、物体位置マップMPを逐次更新しながら、予め設定される作業対象(ダンプトラックDTやスクラップ搬入場のスクラップ山等)を基準とするショベル100の位置や上部旋回体3の向き(旋回角度)をモニタリングする。これにより、ショベル100は、コントローラ30の制御下で、ダンプトラックDT、スクラップ搬入場内のスクラップ等に自機が当接しないように、アタッチメントを動作させたり、ダンプトラックDTの荷台とスクラップ搬入場との間で往復するように上部旋回体3を旋回させたりすることができる。
 また、ショベル100は、コントローラ30の制御下で、集積場の分解作業後のスクラップを破砕機に投入し、その後、ライン選別機まで走行移動し、破砕機で破砕された後のスクラップを集積場からライン選別機に投入する作業ST2を連続的に行う。コントローラ30は、物体位置マップMPを逐次更新しながら、予め設定される作業対象(集積場のスクラップ山、破砕機、ライン選別機等)を基準とするショベル100の位置や上部旋回体3の向き(旋回角度)をモニタリングする。これにより、ショベル100は、コントローラ30の制御下で、集積場のスクラップ山や破砕機等に自機が当接しないように、アタッチメントを動作させたり、集積場と破砕機の投入口との間で上部旋回体3を往復旋回させたりすることができる。また、ショベル100は、コントローラ30の制御下で、集積場のスクラップ山、破砕機、ライン選別機等に自機が当接しないように、破砕機の前からライン選別機の前まで下部走行体1で走行することができる。また、ショベル100は、コントローラ30の制御下で、集積場のスクラップ山やライン選別機等に自機が当接しないように、アタッチメントを動作させたり、集積場とライン選別機の投入口との間で上部旋回体3を往復旋回させたりすることができる。
 このように、本例では、物体位置マップMPに、スクラップヤードSTPの複数の作業対象が予め設定(登録)されることにより、ショベル100は、コントローラ30の制御下で、自機がスクラップヤードSTPの各種装置等と当接しないよう、安全に作業を進めることができる。
 [ショベルの位置の推定方法(第5例)]
 次に、コントローラ30によるショベル100(自機)の位置の推定方法の第4例について説明する。
 尚、本例に係るショベル100の位置の推定に関する機能構成を表す機能ブロック図は、上述の第1例~第4例の何れかの機能ブロック図(図13或いは図17)を援用可能であるため、図示を省略する。
 コントローラ30は、上述の旋回角度の推定方法の第3例(図10、図11)の場合と同様、ショベル100から見た基準対象物の位置の時系列での変化に基づき、ショベル100の移動距離、移動方向を推定(算出)してよい。また、コントローラ30は、ショベル100から見た基準対象物の位置の時系列での変化に基づき、ある時刻を基準として、時系列での移動距離及び移動方向を積算することにより、ショベル100の位置を推定(算出)してよい。これにより、コントローラ30は、ショベル100から見た基準対象物の位置の履歴を把握することで、ショベル100の移動距離、移動方向、位置等を算出(推定)することができる。
 また、コントローラ30は、上述の旋回角度の推定方法の第3例(図10、図11)の場合と同様、ショベル100の周囲の複数の基準対象物を利用して、ショベル100の移動距離、移動方向、位置等を推定(算出)してよい。これにより、コントローラ30は、一部の基準対象物が非検出状態になった場合であっても、検出状態の他の基準対象物が存在する場合、ショベル100から見た他の基準対象物の位置の変化に基づき、ショベル100の移動距離、移動方向、位置等を推定することができる。即ち、コントローラ30は、複数の基準対象物を利用することで、一部の基準対象物が非検出状態になるような状況であっても、ショベル100の移動距離、移動方向、位置等の推定処理を安定して継続することができる。
 [変形・変更]
 以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。
 例えば、上述の実施形態において、ショベル100の旋回角度や位置の推定機能は、ショベル100と通信可能に接続される所定の外部装置(例えば、管理装置200)に移管されてもよい。この場合、撮像装置S6や距離測定装置S7等の出力は、ショベル100から管理装置200に送信される。これにより、管理装置200は、ショベル100から受信される情報に基づき、旋回角度や位置を推定しながら、ショベル100とショベル100の周囲の物体との位置関係を把握し、その結果をショベル100に送信しフィードバックすることができる。そのため、ショベル100側(コントローラ30)の処理負荷を軽減させることができる。
 また、上述の実施形態において、ショベル100の監視領域内や監視領域外で検出された監視対象に関する情報は、ショベル100から管理装置200に送信されてもよい。この場合、管理装置200において、ショベル100の監視領域内や監視領域外における監視対象の種類や監視対象の位置等に関する情報が時系列的に所定の記憶部に記憶される。管理装置200の記憶部に記憶される監視対象に関する情報には、対象のショベル100の監視領域外、且つ、(同じ作業現場の)他のショベル100の監視対象内における監視対象の種類や監視対象の位置等に関する情報が含まれてよい。
 最後に、本願は、2019年3月27日に出願した日本国特許出願2019-61772号及び2019年3月27日に出願した日本国特許出願2019-61773号に基づく優先権を主張するものであり、日本国特許出願の全内容を本願に参照により援用する。
 1 下部走行体
 3 上部旋回体
 4 ブーム
 5 アーム
 6 バケット
 26 操作装置
 26A~26C レバー装置
 30 コントローラ(制御装置)
 31,31AL,31AR,31BL,31BR,31CL,31CR 比例弁
 50 マシンガイダンス部
 54 自動制御部
 55 旋回角度算出部
 56 相対角度算出部
 57 記憶部
 57A 目標設定情報
 57B 施工情報
 58 目標位置情報生成部
 59 位置推定部
 60 周囲状況認識部
 62 検出部
 63 物体位置マップ生成部
 64 マップ記憶部
 65 記憶部
 65A 施工情報
 65B 目標設定情報
 66 目標位置情報生成部
 100 ショベル
 200 管理装置
 MP 物体位置マップ
 S6 撮像装置
 S6B,S6F,S6L,S6R カメラ(取得装置)
 T1 通信装置

Claims (13)

  1.  下部走行体と、
     前記下部走行体に旋回自在に搭載される上部旋回体と、
     前記上部旋回体に搭載され、自機の周囲の状況を表す情報を取得する取得装置と、
     前記取得装置により取得される情報に基づき、自機の周囲の停止している又は固定されている基準の物体を認識し、前記上部旋回体から見た前記基準の物体の位置の変化に基づき、前記上部旋回体の旋回角度を推定する制御装置と、を備える、
     ショベル。
  2.  前記制御装置は、推定した旋回角度に基づき、自機の周囲の所定の目標物に正対するように前記上部旋回体の旋回動作を制御する、
     請求項1に記載のショベル。
  3.  前記目標物に関する情報は、施工情報に含まれる、
     請求項2に記載のショベル。
  4.  前記制御装置により認識される、自機の周囲の複数の物体の中から前記目標物に対応する物体を選択する操作入力を受け付ける入力装置を更に備える、
     請求項2に記載のショベル。
  5.  前記制御装置は、前記上部旋回体から見た前記基準の物体としての前記目標物の位置の変化に基づき、前記上部旋回体の旋回角度を推定しながら、前記上部旋回体を前記目標物に正対させる、
     請求項4に記載のショベル。
  6.  前記取得装置は、複数あり、
     前記制御装置は、一の前記基準の物体に関する情報を取得可能な二以上の前記取得装置の出力情報に基づき、一の前記基準の物体の位置の変化を認識する、
     請求項1に記載のショベル。
  7.  前記制御装置は、前記上部旋回体から見た複数の前記基準の物体の位置の変化に基づき、前記上部旋回体の旋回角度を推定する、
     請求項1に記載のショベル。
  8.  下部走行体と、
     前記下部走行体に旋回自在に搭載される上部旋回体と、
     前記上部旋回体に設けられ、自機の周囲の状況を表す情報を取得する取得装置と、
     前記取得装置により取得される情報に基づき、自機の周囲の物体を認識し、前記物体に対する自機の位置を把握する制御装置と、を備える、
     ショベル。
  9.  前記制御装置は、前記物体に対する自機の位置を表すマップ情報を生成し保持する、
     請求項8に記載のショベル。
  10.  前記制御装置は、前記取得装置により取得される相対的に高い精度の前記物体に関する情報に基づき、前記マップ情報を更新する、
     請求項9に記載のショベル。
  11.  前記制御装置は、前記物体に対する自機の位置に、施工情報に対応する施工目標の位置を関連付けた情報を生成し保持する、
     請求項8に記載のショベル。
  12.  前記制御装置は、前記物体に対する自機の位置に、所定の作業対象の位置を関連付けた情報を生成し保持する、
     請求項8に記載のショベル。
  13.  前記取得装置は、自機の周囲の画像を取得する撮像装置と、前記撮像装置の撮像範囲の前記物体までの距離情報を取得する距離情報取得装置とを含み、
     前記制御装置は、前記画像と前記距離情報とに基づき、自機の周囲の前記物体を認識し、前記物体に対する自機の位置を把握する、
     請求項8に記載のショベル。
PCT/JP2020/014353 2019-03-27 2020-03-27 ショベル WO2020196895A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021509685A JPWO2020196895A1 (ja) 2019-03-27 2020-03-27
KR1020217031426A KR20210141950A (ko) 2019-03-27 2020-03-27 쇼벨
CN202080024829.9A CN113661295B (zh) 2019-03-27 2020-03-27 挖土机
EP20778598.1A EP3951078B1 (en) 2019-03-27 2020-03-27 Shovel
US17/448,411 US20220002970A1 (en) 2019-03-27 2021-09-22 Excavator

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-061773 2019-03-27
JP2019061772 2019-03-27
JP2019061773 2019-03-27
JP2019-061772 2019-03-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/448,411 Continuation US20220002970A1 (en) 2019-03-27 2021-09-22 Excavator

Publications (1)

Publication Number Publication Date
WO2020196895A1 true WO2020196895A1 (ja) 2020-10-01

Family

ID=72609490

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014353 WO2020196895A1 (ja) 2019-03-27 2020-03-27 ショベル

Country Status (6)

Country Link
US (1) US20220002970A1 (ja)
EP (1) EP3951078B1 (ja)
JP (1) JPWO2020196895A1 (ja)
KR (1) KR20210141950A (ja)
CN (1) CN113661295B (ja)
WO (1) WO2020196895A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220002970A1 (en) * 2019-03-27 2022-01-06 Sumitomo Construction Machinery Co., Ltd. Excavator
JP7367131B1 (ja) 2022-06-30 2023-10-23 株式会社神戸製鋼所 作業機械用旋回角度測定装置、該方法およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230272599A1 (en) * 2022-02-28 2023-08-31 Caterpillar Inc. Work machine safety zone control

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1088625A (ja) * 1996-09-13 1998-04-07 Komatsu Ltd 自動掘削機、自動掘削方法および自動積み込み方法
JP2012107395A (ja) * 2010-11-15 2012-06-07 Sumitomo (Shi) Construction Machinery Co Ltd 建設機械のモニター装置
JP2016089559A (ja) * 2014-11-10 2016-05-23 日立建機株式会社 建設機械
JP2017058272A (ja) 2015-09-17 2017-03-23 Kyb株式会社 建設機械の角度検出装置および角度検出方法
WO2017221904A1 (ja) * 2016-06-21 2017-12-28 株式会社小松製作所 作業車両、作業管理システムおよび作業車両の制御方法
US20180063427A1 (en) * 2016-09-01 2018-03-01 Caterpillar Inc. Image processing system using predefined stitching configurations
JP2019061773A (ja) 2017-09-25 2019-04-18 東芝ライテック株式会社 電源装置及び照明器具
JP2019061772A (ja) 2017-09-25 2019-04-18 本田技研工業株式会社 燃料電池スタック

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8945746B2 (en) * 2009-08-12 2015-02-03 Samsung Sdi Co., Ltd. Battery pack with improved heat dissipation efficiency
JP2008101416A (ja) * 2006-10-20 2008-05-01 Hitachi Constr Mach Co Ltd 作業現場の管理システム
US9598836B2 (en) * 2012-03-29 2017-03-21 Harnischfeger Technologies, Inc. Overhead view system for a shovel
US9523180B2 (en) * 2014-04-28 2016-12-20 Deere & Company Semi-automatic material loading
JP6925816B2 (ja) * 2017-02-09 2021-08-25 株式会社小松製作所 位置計測システム、作業機械、及び位置計測方法
CN113661295B (zh) * 2019-03-27 2023-09-01 住友建机株式会社 挖土机
WO2023278471A2 (en) * 2021-06-28 2023-01-05 Clark Equipment Company Systems and methods for control of excavators and other power machines
WO2024143349A1 (ja) * 2022-12-28 2024-07-04 住友重機械工業株式会社 作業機械の周辺監視システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1088625A (ja) * 1996-09-13 1998-04-07 Komatsu Ltd 自動掘削機、自動掘削方法および自動積み込み方法
JP2012107395A (ja) * 2010-11-15 2012-06-07 Sumitomo (Shi) Construction Machinery Co Ltd 建設機械のモニター装置
JP2016089559A (ja) * 2014-11-10 2016-05-23 日立建機株式会社 建設機械
JP2017058272A (ja) 2015-09-17 2017-03-23 Kyb株式会社 建設機械の角度検出装置および角度検出方法
WO2017221904A1 (ja) * 2016-06-21 2017-12-28 株式会社小松製作所 作業車両、作業管理システムおよび作業車両の制御方法
US20180063427A1 (en) * 2016-09-01 2018-03-01 Caterpillar Inc. Image processing system using predefined stitching configurations
JP2019061773A (ja) 2017-09-25 2019-04-18 東芝ライテック株式会社 電源装置及び照明器具
JP2019061772A (ja) 2017-09-25 2019-04-18 本田技研工業株式会社 燃料電池スタック

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220002970A1 (en) * 2019-03-27 2022-01-06 Sumitomo Construction Machinery Co., Ltd. Excavator
JP7367131B1 (ja) 2022-06-30 2023-10-23 株式会社神戸製鋼所 作業機械用旋回角度測定装置、該方法およびプログラム
WO2024004733A1 (ja) * 2022-06-30 2024-01-04 株式会社神戸製鋼所 作業機械用旋回角度測定装置、該方法および記録媒体
JP2024005257A (ja) * 2022-06-30 2024-01-17 株式会社神戸製鋼所 作業機械用旋回角度測定装置、該方法およびプログラム

Also Published As

Publication number Publication date
EP3951078A4 (en) 2022-05-25
CN113661295A (zh) 2021-11-16
US20220002970A1 (en) 2022-01-06
CN113661295B (zh) 2023-09-01
KR20210141950A (ko) 2021-11-23
JPWO2020196895A1 (ja) 2020-10-01
EP3951078A1 (en) 2022-02-09
EP3951078B1 (en) 2024-05-22

Similar Documents

Publication Publication Date Title
US12104353B2 (en) Excavator and control apparatus for excavator
EP3779054B1 (en) Excavator
WO2020196895A1 (ja) ショベル
CN113039326B (zh) 挖土机、挖土机的控制装置
US20210010229A1 (en) Shovel
US20220002979A1 (en) Shovel and shovel management apparatus
KR102659076B1 (ko) 쇼벨
WO2020196874A1 (ja) 建設機械、支援システム
KR20210104668A (ko) 쇼벨, 쇼벨의 제어장치, 쇼벨의 지원장치
US20230078047A1 (en) Excavator and system for excavator
JP2021188258A (ja) ショベル用のシステム
WO2022210980A1 (ja) 建設機械、建設機械の支援システム
JP2021059945A (ja) ショベル
CN113677855A (zh) 挖土机及挖土机的控制装置
CN114174595B (zh) 挖土机及挖土机的控制装置
CN118048944A (zh) 挖土机、挖土机的控制装置及机器学习装置
WO2020095935A1 (ja) ショベル
JP2021095718A (ja) ショベル、情報処理装置
JP2022154722A (ja) ショベル
JP2021188260A (ja) ショベル
JP2021055433A (ja) ショベル
US20240209589A1 (en) Shovel
JP2024099211A (ja) ショベル
JP2021070922A (ja) ショベル

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20778598

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021509685

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20217031426

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020778598

Country of ref document: EP

Effective date: 20211027