WO2020027139A1 - ショベル - Google Patents

ショベル Download PDF

Info

Publication number
WO2020027139A1
WO2020027139A1 PCT/JP2019/029849 JP2019029849W WO2020027139A1 WO 2020027139 A1 WO2020027139 A1 WO 2020027139A1 JP 2019029849 W JP2019029849 W JP 2019029849W WO 2020027139 A1 WO2020027139 A1 WO 2020027139A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
shovel
camera
imaging device
back camera
Prior art date
Application number
PCT/JP2019/029849
Other languages
English (en)
French (fr)
Inventor
琢磨 関
Original Assignee
住友建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友建機株式会社 filed Critical 住友建機株式会社
Priority to KR1020207033739A priority Critical patent/KR20210037607A/ko
Priority to JP2020534673A priority patent/JP7396987B2/ja
Priority to CN201980037140.7A priority patent/CN112218988B/zh
Priority to EP19844538.9A priority patent/EP3832034B1/en
Publication of WO2020027139A1 publication Critical patent/WO2020027139A1/ja
Priority to US17/158,268 priority patent/US11987959B2/en

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08Superstructures; Supports for superstructures
    • E02F9/0858Arrangement of component parts installed on superstructures not otherwise provided for, e.g. electric components, fenders, air-conditioning units
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/16Cabins, platforms, or the like, for drivers
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2221Control of flow rate; Load sensing arrangements
    • E02F9/2225Control of flow rate; Load sensing arrangements using pressure-compensating valves
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2278Hydraulic circuits
    • E02F9/2285Pilot-operated systems
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2278Hydraulic circuits
    • E02F9/2292Systems with two or more pumps
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2278Hydraulic circuits
    • E02F9/2296Systems with a variable displacement pump
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Definitions

  • the present disclosure relates to a shovel.
  • a shovel equipped with a back camera is known (see Patent Document 1).
  • the back camera is attached to the upper surface of the upper swing body so that the lower end of the image captured by the back camera includes the image of the edge of the counterweight. Then, in the portion of the image captured by the back camera above the image of the edge of the counterweight, an image of the ground behind the shovel is usually arranged.
  • the shovel according to the embodiment of the present invention is attached to the lower traveling body, the upper rotating body mounted on the lower traveling body via a rotating mechanism, and the upper rotating body so as to capture an image of the periphery of the upper rotating body.
  • a display device for displaying an image captured by the imaging device wherein the display device has a distortion in an image portion of an edge of an upper surface of the upper revolving unit, and the other image has An image captured by the imaging device is displayed so as to be smaller than the distortion of the portion.
  • FIG. 1 is a side view of a shovel according to an embodiment of the present invention.
  • FIG. 2 is a system configuration diagram of the shovel of FIG. 1. It is a top view of the shovel of FIG. It is a figure showing the example of a display of a back camera image. It is a right view of the shovel which shows the example of installation of an imaging device. It is a rear view of the shovel which shows the example of installation of an imaging device.
  • FIG. 3 is a diagram illustrating an example of an image captured by a back camera. It is a figure showing the example of a display of a back camera image.
  • FIG. 4 is a diagram illustrating an example of an image captured by a right camera. It is a figure showing the example of a display of a right camera image.
  • FIG. 3 is a diagram illustrating a configuration example of a main screen.
  • FIG. 6 is a side view of a shovel according to another embodiment of the present invention. It is a figure showing another example of composition of a main screen. It is a figure showing another example of a display of a back camera image.
  • FIG. 1 is a side view illustrating a shovel PS as an excavator according to the embodiment of the present invention.
  • An upper revolving unit 3 is mounted on the lower traveling unit 1 of the shovel PS via a revolving mechanism 2 so as to be revolvable.
  • a boom 4 is attached to the upper swing body 3.
  • An arm 5 is attached to the tip of the boom 4.
  • a bucket 6 is attached to the end of the arm 5 as an end attachment.
  • the boom 4, the arm 5, and the bucket 6 constitute a digging attachment as an example of the attachment.
  • the boom 4 is driven by a boom cylinder 7, the arm 5 is driven by an arm cylinder 8, and the bucket 6 is driven by a bucket cylinder 9.
  • a power source such as the engine 11 is mounted on the upper swing body 3 and the imaging device 80 is attached.
  • the imaging device 80 includes a side camera that images a space beside the shovel PS, and a back camera 80B that images a space behind the shovel PS.
  • the side camera includes a left camera 80L for imaging the space to the left of the shovel PS and a right camera 80R for imaging the space to the right of the shovel PS.
  • Each of the left camera 80L, the right camera 80R, and the back camera 80B is, for example, a digital camera having an image sensor such as a CCD or a CMOS, and sends a captured image to the display device 40 provided in the cab 10.
  • the imaging device 80 may be a stereo camera, a LIDAR, or the like.
  • each of the left camera 80L, the right camera 80R, and the back camera 80B is a digital camera including a wide-angle lens having a horizontal angle of view of 160 degrees.
  • a driver's cab 10 is provided at the left front of the upper revolving superstructure 3.
  • a controller 30, a display device 40, a gate lock lever 49, and the like are provided in the cab 10.
  • the cab 10 is provided with a GPS device (GNSS receiver) GP1 and a communication device T1.
  • the GPS device GP1 is configured to detect the position of the shovel PS and supply data relating to the detected position to the controller 30.
  • the communication device T1 is configured to control communication with the outside and to supply data obtained from the outside to the controller 30.
  • the controller 30 is configured to function as a main control unit that performs drive control of the shovel PS.
  • the controller 30 is configured by an arithmetic processing device including a CPU and an internal memory.
  • Various functions of the controller 30 are realized by the CPU executing a program stored in the internal memory.
  • the display device 40 is configured to display an image including various types of work information in response to a command from the controller 30.
  • the gate lock lever 49 is a mechanism for preventing the shovel PS from being operated by mistake, and is provided between the door of the cab 10 and the driver's seat.
  • the gate lock lever 49 activates the operation device 26 (see FIG. 2) when pulled up so as to prevent the operator from leaving the cab 10 and is pushed down so that the operator can exit.
  • the operation device 26 is sometimes invalidated.
  • Fig. 2 is a system configuration diagram of the shovel PS.
  • the display device 40 displays an image including work information and the like.
  • the display device 40 is connected to the controller 30 via a communication network such as CAN or LIN, or a dedicated line, for example.
  • the display device 40 includes a conversion processing unit 40a that generates an image to be displayed on the image display unit 41.
  • the conversion processing unit 40a is configured to generate an image including a captured image to be displayed on the image display unit 41 based on image data obtained from the imaging device 80, for example.
  • Image data is input to the display device 40 from each of the left camera 80L, the right camera 80R, and the back camera 80B.
  • the conversion processing unit 40a is configured to convert data to be displayed on the image display unit 41 among various data input from the controller 30 to the display device 40 into image signals.
  • Data input from the controller 30 to the display device 40 include, for example, data indicating the temperature of the engine cooling water, data indicating the temperature of the hydraulic oil, data indicating the remaining amount of the urea water, and data indicating the remaining amount of the fuel. And so on.
  • the conversion processing unit 40a is configured to output the converted image signal to the image display unit 41 and display the captured image or an image generated based on various data or the like on the image display unit 41.
  • the conversion processing unit 40a may be provided in the controller 30 instead of the display device 40, for example. In this case, the imaging device 80 is connected to the controller 30.
  • the display device 40 includes the input device 42.
  • the input device 42 is a device for the operator of the shovel PS to input various information to the controller 30 or the display device 40 or the like.
  • the input device 42 is a push button switch provided on a switch panel.
  • the input device 42 may be, for example, a membrane switch or a touch panel.
  • the display device 40 is configured to operate by receiving power supply from the storage battery 70.
  • the storage battery 70 is charged, for example, with electric power generated by an alternator 11 a (generator) of the engine 11.
  • the electric power of the storage battery 70 is also supplied to the electrical components 72 of the shovel PS other than the controller 30 and the display device 40.
  • the starter 11b of the engine 11 is configured to be driven by electric power from the storage battery 70 to start the engine 11.
  • the engine 11 is controlled by the engine controller 74.
  • the rotation shaft of the engine 11 is connected to the rotation shafts of the main pump 14 and the pilot pump 15.
  • the engine controller 74 transmits various data indicating the state of the engine 11 (for example, data indicating the cooling water temperature detected by the water temperature sensor 11c) to the controller 30.
  • the controller 30 stores these data in the storage unit 30a and transmits the data to the display device 40 as necessary.
  • the main pump 14 is a hydraulic pump for supplying hydraulic oil to the control valve unit 17 via a hydraulic oil line.
  • the main pump 14 is, for example, a swash plate type variable displacement hydraulic pump.
  • the pilot pump 15 is a hydraulic pump for supplying hydraulic oil to various hydraulic control devices via a pilot line.
  • the pilot pump 15 is, for example, a fixed displacement hydraulic pump. However, the pilot pump 15 may be omitted.
  • the function of the pilot pump 15 may be realized by the main pump 14. That is, the main pump 14 has a function of supplying the operating oil to the operation device 26 and the like after reducing the pressure of the operating oil by a throttle or the like, separately from the function of supplying the operating oil to the control valve unit 17. Is also good.
  • the control valve unit 17 is a hydraulic control device that controls a hydraulic system in the shovel PS, and includes a plurality of flow control valves.
  • the control valve unit 17 is configured to selectively supply the hydraulic oil discharged from the main pump 14 to one or a plurality of hydraulic actuators, for example.
  • the hydraulic actuator includes, for example, a boom cylinder 7, an arm cylinder 8, a bucket cylinder 9, a traveling hydraulic motor, a turning hydraulic motor, and the like.
  • the operation device 26 is a device used by an operator to operate the hydraulic actuator, and is provided in the cab 10.
  • the operating oil is supplied from the pilot pump 15 to the pilot port of the corresponding flow control valve.
  • the pilot port is supplied with hydraulic oil having a pressure according to the operation of the operation device 26.
  • the operation content includes, for example, an operation direction and an operation amount.
  • the controller 30 is configured to control the operation of the shovel PS.
  • the controller 30 closes the gate lock valve 49a when the gate lock lever 49 is pressed down, and opens the gate lock valve 49a when the gate lock lever 49 is raised.
  • the gate lock valve 49a is a switching valve provided in an oil passage between the control valve unit 17 and the operation device 26.
  • the gate lock valve 49a opens and closes according to a command from the controller 30.
  • the gate lock valve 49a may be mechanically connected to the gate lock lever 49 and may be opened and closed according to the operation of the gate lock lever 49.
  • the gate lock valve 49a shuts off the flow of the hydraulic oil between the control valve unit 17 and the operating device 26, and disables the operating device 26. That is, when the gate lock valve 49a is in the closed state, the operation of the hydraulic actuator through the operation of the operation device 26 is prohibited.
  • the gate lock valve 49a communicates hydraulic oil between the control valve unit 17 and the operating device 26 to enable the operating device 26. That is, when the gate lock valve 49a is in the open state, the operation of the hydraulic actuator through the operation of the operation device 26 is allowed.
  • the controller 30 detects the operation of the operating device 26 based on the pilot pressure detected by the pressure sensors 15a and 15b in a state where the gate lock valve 49a is in the open state and the operating device 26 is enabled.
  • the controller 30 acquires various data as described below, for example.
  • the data acquired by the controller 30 is stored in the storage unit 30a.
  • the regulator 14a of the main pump 14 outputs data indicating the swash plate angle to the controller 30.
  • the discharge pressure sensor 14b outputs data indicating the discharge pressure of the main pump 14 to the controller 30.
  • An oil temperature sensor 14c provided in a pipe between the hydraulic oil tank and the main pump 14 outputs data representing the temperature of the hydraulic oil flowing through the pipe to the controller 30.
  • the pressure sensors 15a and 15b detect a pilot pressure generated when the operation device 26 is operated, and output data indicating the detected pilot pressure to the controller 30.
  • the operation lever as the operation device 26 is provided with a switch button 26S as another example of the input device 42.
  • the operator can output a command signal to the controller 30 by operating the switch button 26S while operating the operation lever.
  • An engine speed adjustment dial 75 is provided in the cab 10 of the shovel PS.
  • the engine speed adjustment dial 75 is a dial for adjusting the engine speed of the engine 11.
  • the engine speed adjustment dial 75 is configured to be able to switch the engine speed in four stages: SP mode, H mode, A mode, and idling mode.
  • the engine speed adjustment dial 75 outputs data indicating the setting state of the engine speed to the controller 30.
  • FIG. 2 shows a state in which the H mode is selected by the engine speed adjustment dial 75.
  • the SP mode is a rotation speed mode that is selected when priority is given to the amount of work, and typically uses the highest engine rotation speed.
  • the H mode is a rotation speed mode that is selected when it is desired to achieve both a work amount and fuel efficiency, and typically uses the second highest engine rotation speed.
  • the A mode is a rotation speed mode selected when it is desired to operate the shovel PS with low noise while giving priority to fuel economy, and typically uses the third highest engine rotation speed.
  • the idling mode is a speed mode selected when the engine 11 is to be operated in an idling state, and typically uses the lowest engine speed. In the present embodiment, the engine 11 is controlled so as to maintain the engine speed corresponding to the speed mode set by the engine speed adjustment dial 75.
  • FIG. 3A is a top view of the shovel PS.
  • FIG. 3B shows a display example of the back camera image 41B.
  • the back camera image 41B is an image generated and displayed based on the image captured by the back camera 80B, and includes a first pole image G1, a second pole image G2, a counter weight image G3, a pile image G4, and a counter.
  • the weight figure G5 is included.
  • the optical axis point M1 of the back camera image 41B is a pixel corresponding to the intersection of the optical axis AXB of the back camera 80B and a terrestrial object.
  • the optical axis AXB of the back camera 80B is an imaginary straight line passing through the center and the focal point of the lens constituting the back camera 80B.
  • the feature that is the subject is the ground in this example, but may be a person, an animal, a machine, a building, or the like.
  • the optical axis point M1 is represented by a round mark, but is not actually displayed on the back camera image 41B.
  • the longitudinal axis of the lower traveling structure 1 and the longitudinal axis of the upper revolving structure 3 are parallel to each other. That is, in the shovel PS, the extending direction of the excavation attachment is parallel to the extending direction of each of the left crawler 1CL and the right crawler 1CR.
  • the first pole image G1 is an image of the first pole P1 set on the ground
  • the second pole image G2 is an image of the second pole P2 set on the ground.
  • the first pole P1 is set outside (-Y side) of the position where the outer edge of the right crawler 1CR passes when the shovel PS moves backward.
  • the second pole P2 is set outside (+ Y side) of the position where the outer edge of the left crawler 1CL passes when the shovel PS moves backward. That is, the distance D1 between the first pole P1 and the second pole P2 corresponds to a width slightly larger than the width W1 of the shovel PS (counter weight CW).
  • the counterweight image G3 is an image of the rear ( ⁇ X side) edge of the upper surface of the counterweight CW attached to the rear end of the upper swing body 3.
  • the pile image G4 is an image of the pile P3 standing on the ground.
  • the stake P3 is located on the + Y side of the second pole P2. Specifically, the pile P3 exists at a position where the shovel PS does not come into contact with the shovel PS even if the shovel PS moves backward.
  • the counterweight figure G5 is a figure showing the size of the width W1 of the upper swing body 3.
  • the counterweight graphic G5 is a substantially rectangular computer graphic (graphic) having a width when the width W1 of the counterweight CW is projected onto a predetermined virtual plane. It is superimposed on the display.
  • the counterweight figure G5 is drawn based on the position and orientation of the back camera 80B attached to the upper swing body 3, camera parameters of the back camera 80B, and the like.
  • the predetermined virtual plane is, for example, a virtual plane corresponding to the ground on which the shovel PS is located.
  • the virtual plane corresponding to the ground on which the shovel PS is located may be a virtual horizontal plane or a virtual inclined plane.
  • the width of the counterweight graphic G5 is smaller than the width of the counterweight image G3.
  • the virtual plane corresponding to the ground on which the shovel PS is located is set at a position lower than the virtual plane corresponding to the upper surface of the counterweight CW, that is, a position farther from the back camera 80B.
  • the predetermined virtual plane may be a virtual plane located higher than the virtual plane corresponding to the ground on which the shovel PS is located, or is located lower than the virtual plane corresponding to the ground on which the shovel PS is located. It may be a virtual plane.
  • the counterweight figure G5 may be drawn on a layer different from the layer on which the back camera image is drawn, and may be superimposed at the time of display.
  • the conversion processing unit 40a of the display device 40 displays the counterweight figure G5 in such a manner that the positional relationship between the body width of the shovel and the feature in the back camera image 41B is the same as the actual positional relationship.
  • the aspect in which the positional relationship between the shovel body width and the feature in the back camera image 41B is the same as the actual positional relationship means that the apparent positional relationship in the back camera image 41B does not contradict the actual positional relationship.
  • the conversion processing unit 40a determines that the width of the counterweight graphic G5 is slightly smaller than the width between the first pole image G1 and the second pole image G2. Is displayed.
  • the actual width W1 of the counter weight CW that is, the width of the crawler 1C is slightly smaller than the width between the first pole P1 and the second pole P2. Therefore, even when the shovel PS is moved backward, the display device 40 can make the operator of the shovel PS recognize that the counterweight CW and the pile P3 do not come into contact with each other. This is because, in the back camera image 41B, the right end of the counterweight figure G5 is located on the left side of the pile image G4 in the width direction of the back camera image 41B.
  • the conversion processing unit 40a it is not necessary for the conversion processing unit 40a to display the counterweight figure G5 in such a manner that the positional relationship between the body width of the shovel and the feature in the back camera image 41B is completely the same as the actual positional relationship.
  • the scale of the counterweight figure G5 does not necessarily need to be accurate.
  • the conversion processing unit 40a of the display device 40 may make the counterweight image G3 inconspicuous in order to make the counterweight figure G5 stand out.
  • the conversion processing unit 40a may, for example, reduce the brightness of the counterweight image G3.
  • the conversion processing unit 40a may perform a trimming process, a mask process, or the like on the counterweight image G3.
  • the display of the counterweight figure G5, the trimming process, the mask process, and the like may be realized by the controller 30, or may be realized by an arithmetic processing device provided with the imaging device 80 (back camera 80B).
  • the shovel PS can make the operator more easily understand the relationship between the feature existing around the shovel PS and the width W1 of the shovel PS.
  • FIG. 4A is a right side view of the shovel PS.
  • FIG. 4B is a rear view of the shovel PS.
  • the back camera 80B is attached to a bracket CP extending from the upper surface of the counter weight CW in the + Z direction.
  • the dotted line VXB in FIG. 4A indicates the vertical angle of view of the back camera 80B
  • the dashed-dotted optical axis AXB indicates the optical axis of the back camera 80B.
  • a broken line VXaB indicates a vertical angle of view of the vertical angle of view of the back camera 80B at which the distortion is equal to or less than a predetermined value.
  • the dotted line HXB in FIG. 4B indicates the horizontal angle of view of the back camera 80B
  • the broken line HXaB indicates the horizontal angle of view of the horizontal angle of view of the back camera 80B at which the distortion is equal to or less than a predetermined value.
  • FIG. 5A shows an image 41Ba captured by the back camera 80B.
  • FIG. 5B shows a back camera image 41 ⁇ / b> B displayed on the image display unit 41 of the display device 40.
  • an image 41Ba captured by the back camera 80B includes a counterweight image G11, a right end image G12, a left end image G13, a first road cone image G14, a second road cone image G15, a pile image G16, and a pile image.
  • the image G17 is included.
  • the optical axis point M11 is a pixel corresponding to the intersection of the optical axis AXB of the back camera 80B and the terrestrial object as the subject.
  • An ellipse indicated by a broken line M12 indicates an image range in which the distortion is equal to or less than a predetermined value, and corresponds to a vertical angle of view indicated by a broken line VXaB in FIG. 4A and a horizontal angle of view indicated by a broken line HXaB in FIG. 4B.
  • a rectangle indicated by a two-dot chain line M13 indicates a range in which trimming processing or mask processing is performed.
  • optical axis point M11, the broken line M12, and the two-dot chain line M13 are figures added for explanation, and are not actually included in the image 41Ba captured by the back camera 80B.
  • the counterweight image G11 is an image on the rear side ( ⁇ X side) of the upper surface of the counterweight CW.
  • the right end image G12 is an image at the right end ( ⁇ Y side end) of the counter weight CW.
  • the left end image G13 is an image at the left end (+ Y side end) of the counter weight CW.
  • the first load cone image G14 is an image of three load cones arranged on the orbit through which the right crawler 1CR passes when the shovel PS moves backward.
  • the second load cone image G15 is an image of three load cones arranged on the orbit through which the left crawler 1CL passes when the shovel PS moves backward.
  • the pile image G16 is an image of the pile P4 standing on the ground.
  • the pile image G17 is an image of the pile P5 standing on the ground.
  • the stake P ⁇ b> 4 is erected at a position obliquely rearward and leftward of the upper swing body 3.
  • the stake P ⁇ b> 5 is erected at a position obliquely right behind the upper swing body 3.
  • the piles P4 and P5 are set up at positions where they do not come into contact with the shovel PS even if the shovel PS moves backward.
  • the image 41Ba is configured such that the optical axis point M11 is disposed closer to the counterweight image G11 than in the case of the back camera image 41B shown in FIG. 3B.
  • the image 41Ba has an image range where the distortion is equal to or less than a predetermined value (a range surrounded by a dashed line M12 and includes the optical axis point M11). It is configured to include a boundary portion with the portion. That is, the image 41Ba is configured such that the distortion in the image portion at the edge of the upper surface of the upper rotating body 3 is smaller than the distortion in the other image portions.
  • the back camera image 41B is generated by performing a trimming process or a mask process on a rectangular area surrounded by a two-dot chain line M13 in the image 41Ba captured by the back camera 80B.
  • the positional relationship between the feature and the shovel PS includes, for example, the distance between the feature and the shovel PS.
  • the edge of the upper end of the upper surface of the counterweight CW (actually, having a convex shape toward the rear of the upper swing body 3) has a concave shape due to barrel distortion. It is displayed as having.
  • the optical axis point M11 is arranged outside (upper side) of the counterweight image G11, but may be arranged inside the counterweight image G11. That is, the back camera 80B may be attached to the bracket CP such that the optical axis AXB and the counterweight CW intersect.
  • the operator who has viewed the image 41Ba has the right end image G12 and the left end image G13 displayed, the operator is more likely than the case where the counter weight image is displayed over the entire width of the camera image, that is, both ends of the counter weight CW. Is not displayed, the positional relationship between the shovel PS and the feature existing behind the upper swing body 3 can be more easily recognized.
  • the operator may erroneously recognize that the counter weight CW contacts the piles P4 and P5 when the shovel PS moves backward. This is because, in the width direction of the image 41Ba, the right end image G12 is displayed on the left side of the pile image G17, and the left end image G13 is displayed on the right side of the pile image G16.
  • the conversion processing unit 40a of the display device 40 performs a trimming process or a mask process on a rectangular area surrounded by a two-dot chain line M13, and then performs the back camera image 41B shown in FIG. 5B.
  • the counterweight figure G18 is displayed in such a manner that the positional relationship between the body width of the shovel and the feature in the image 41B is the same as the actual positional relationship.
  • the conversion processing unit 40a determines that the width of the counterweight graphic G18 looks almost the same as the width between the left end of the first load cone image G14 and the right end of the second load cone image G15. , The counter weight figure G18 is displayed.
  • the actual width W1 of the counterweight CW is determined by the load cone arranged on the orbit through which the right crawler 1CR passes when the shovel PS moves backward and the orbit on the orbit through which the left crawler 1CL passes. This is because it is almost the same as the width between the road cone. Therefore, even when the operator of the shovel PS moves the shovel PS backward, the display device 40 surely recognizes that the operator of the shovel PS does not contact the counter weight CW with the piles P4 and P5. be able to.
  • the conversion processing unit 40a of the display device 40 may perform distortion correction at this time. Further, the conversion processing unit 40a does not need to display the counterweight figure G18 in such a manner that the positional relationship between the body width of the shovel and the feature in the back camera image 41B is completely the same as the actual positional relationship. For example, the scale of the counterweight figure G18 does not necessarily need to be accurate.
  • FIGS. 4A, 4B, 6A, and 6B a display example of the right camera image 41R will be described with reference to FIGS. 4A, 4B, 6A, and 6B. However, the following description is similarly applied to a left camera image generated based on an image captured by the left camera 80L.
  • the right camera 80R is attached to a right guardrail GRR provided on the upper revolving unit 3, and the left camera 80L is attached to a left guardrail GRL provided on the upper revolving unit 3.
  • the right camera 80R may be attached to a handrail HR or a mirror stay (not shown) provided on the upper swing body 3.
  • the right camera 80R may be provided on a horizontal member SB which is a reinforcing plate member forming the right guardrail GRR, or may be provided on the top of a handrail member PM which is a pipe member forming the right guardrail GRR. May be.
  • the right camera 80R may be provided at a position higher than the horizontal member SB in the handrail member PM.
  • the back camera 80B, the left camera 80L, and the right camera 80R are desirably mounted such that the installation heights are substantially equal.
  • the dotted line HXR in FIG. 4A indicates the horizontal angle of view of the right camera 80R
  • the dashed line optical axis AXR indicates the optical axis of the right camera 80R
  • a broken line HXaR indicates a horizontal angle of view of the horizontal angle of view of the right camera 80R at which the distortion is equal to or less than a predetermined value.
  • the horizontal angle of view of the left camera 80L and the horizontal angle of view in which the distortion is equal to or less than a predetermined value among the horizontal angles of view are invisible in FIG. 4A, but are the same as those of the right camera 80R.
  • the dotted line VXR indicates the vertical angle of view of the right camera 80R
  • the dashed line VXaR indicates the vertical angle of view of the vertical angle of view of the right camera 80R at which the distortion is equal to or less than a predetermined value.
  • the dashed-dotted optical axis AXL indicates the optical axis of the left camera 80L
  • the dotted line VXL indicates the vertical angle of view of the left camera 80L
  • the dashed line VXaL indicates the distortion of the vertical angle of view of the left camera 80L. Indicates a vertical angle of view that is equal to or less than a predetermined value.
  • FIG. 6A shows an image 41Ra taken by the right camera 80R.
  • FIG. 6B shows a right camera image 41 ⁇ / b> R displayed on the image display unit 41 of the display device 40.
  • the image 41Ra captured by the right camera 80R includes a right side panel image G21, a front end image G22, a rear end image G23, and a pile image G24.
  • the optical axis point M21 is a pixel corresponding to the intersection between the optical axis AXR of the right camera 80R and the terrestrial object.
  • the ellipse indicated by the broken line M22 indicates an image range in which the distortion is equal to or smaller than a predetermined value, and corresponds to the horizontal angle of view indicated by the broken line HXaR in FIG. 4A and the vertical angle of view indicated by the broken line VXaR in FIG. 4B.
  • a rectangle indicated by a two-dot chain line M23 indicates a range in which trimming processing or mask processing is performed.
  • optical axis point M21, the broken line M22, and the two-dot chain line M23 are figures added for explanation, and are not actually included in the image 41Ra captured by the right camera 80R.
  • Right side panel image G21 is an image of right side panel SPR.
  • the front end image G22 is an image of the right front end of the upper swing body 3.
  • the rear end image G23 is an image of the right rear end of the upper swing body 3.
  • the pile image G24 is an image of the pile P5 standing on the ground. As shown in FIGS. 4A and 4B, the stake P ⁇ b> 5 is erected at a position obliquely right behind the upper swing body 3.
  • the pile P5 Even if the traveling body 1 moves forward or backward, it is set at a position where it does not come into contact with the shovel PS.
  • the image 41Ra is configured such that the optical axis point M21 is arranged near the right side panel image G21, as in the case of the image 41Ba shown in FIG. 5A.
  • the image 41Ra has an image range where the distortion is equal to or less than a predetermined value (a range surrounded by a dashed line M22 and includes the optical axis point M21). It is configured to include a boundary portion with the central portion. That is, the image 41Ra is configured such that the distortion in the image portion at the edge of the upper surface of the upper rotating body 3 is smaller than the distortion in the other image portions.
  • the right camera image 41R is generated by performing a trimming process or a mask process on a rectangular area surrounded by a two-dot chain line M23 in the image 41Ra captured by the right camera 80R.
  • the optical axis point M21 is arranged outside (upper side) of the right side panel image G21, but may be arranged inside the right side panel image G21. That is, the right camera 80R may be attached to the right guardrail GRR such that the optical axis AXR and the right side panel SPR intersect.
  • the operator who has viewed the right camera image 41R displays the front end image G22 that can be imaged by the right camera 80R attached at a relatively high position in the right camera image 41R. It is possible to easily recognize the positional relationship between the shovel PS and a feature existing rightward or diagonally forward right. Similarly, when viewing the right camera image 41R, the operator can see that the rear end image G23, which can be captured by the right camera 80R attached at a relatively high position, is displayed in the right camera image 41R. It is possible to easily recognize the positional relationship between the shovel PS and a feature existing to the right or diagonally backward right of 3.
  • the operator who has viewed the right camera image 41R is more likely than the case where the right side panel image is displayed over the entire width of the camera image because the front end image G22 and the rear end image G23 are displayed in the right camera image 41R. That is, the positional relationship between the feature existing on the right side of the upper swing body 3 and the shovel PS can be more easily recognized than when the front end and the rear end of the upper swing body 3 are not displayed.
  • the right camera image 41R in FIG. 7 differs from the right camera image 41R in FIG. 6B in that the right camera image 41R includes an upper revolving body graphic G31 and a step graphic G32 instead of the right side panel image G21, the front end image G22, and the rear end image G23. different. Also, it differs from the right camera image 41R in FIG. 6B in that it includes another pile image G33.
  • the right camera image 41R in FIG. 7 is the same as the right camera image 41R in FIG. Therefore, the description of the same parts will be omitted, and different parts will be described in detail.
  • the upper swing body graphic G31 is a figure showing the length L1 of the upper swing body 3 (see FIG. 3A).
  • the upper revolving unit graphic G31 has a length when the length L1 of the upper revolving unit 3 is projected on a predetermined virtual plane (for example, a virtual plane corresponding to the ground on which the shovel PS is located).
  • a predetermined virtual plane for example, a virtual plane corresponding to the ground on which the shovel PS is located.
  • the step graphic G32 is a graphic showing the length L2 (see FIG. 3A) of the step ST installed on the right front part of the upper swing body 3.
  • the step graphic G32 is obtained by projecting the length L2 of the step ST onto a predetermined virtual plane (for example, a virtual plane corresponding to the ground on which the shovel PS is located), like the upper revolving superstructure graphic G31.
  • a predetermined virtual plane for example, a virtual plane corresponding to the ground on which the shovel PS is located
  • These are computer graphics (graphics) of a substantially rectangular shape having a length, and are superimposed on the right side panel image.
  • the conversion processing unit 40a of the display device 40 performs a trimming process or a mask process on a rectangular area surrounded by a two-dot chain line M23 in FIG. 6A, and then displays the right side panel image G21 on the right side panel image G21.
  • the upper revolving body graphic G31 and the step graphic G32 are displayed in a superimposed manner so that the positional relationship between the body length of the shovel and the feature in the camera image 41R is the same as the actual positional relationship.
  • the pile image G33 is an image of the pile P6 (not shown) which is set up at a position obliquely forward right of the upper swing body 3. Specifically, even if the shovel PS (upper revolving unit 3) moves rightward in a state where the longitudinal axis of the lower traveling unit 1 and the longitudinal axis of the upper revolving unit 3 are perpendicular to the pile P6, Even if the traveling body 1 moves forward or backward, it is set at a position where it does not come into contact with the shovel PS.
  • the operator who looks at the right camera image 41R in FIG. 6B may turn the upper revolving unit 3 rightward when the front and rear axes of the lower traveling unit 1 and the upper revolving unit 3 are perpendicular to each other.
  • the right rear end of the body 3 comes into contact with the stake P5
  • the trailing edge image G23 is located on the right side of the pile image G24 in the width direction of the right camera image 41R.
  • the right camera image 41R in FIG. 7 allows the operator of the shovel PS to reliably recognize that the right rear end of the upper swing body 3 does not contact the pile P5. This is because, in the width direction of the right camera image 41R, the right end of the upper swing body graphic G31 is located on the left side of the pile image G24. Similarly, the right camera image 41R in FIG. 7 allows the operator of the shovel PS to reliably recognize that the step ST and the pile P6 do not contact each other. This is because the left end of the step graphic G32 is located on the right side of the pile image G33 in the width direction of the right camera image 41R.
  • the conversion processing unit 40a determines that the width between the right end of the upper swing body graphic G31 and the left end of the step graphic G32 is larger than the width between the pile image G24 and the pile image G33.
  • the upper revolving body graphic G31 and the step graphic G32 are displayed in a superimposed manner so as to appear small. This is because the sum of the actual length L1 of the upper swing body 3 (see FIG. 3A) and the length L2 of the step ST (see FIG. 3A) is smaller than the width between the piles P5 and P6. .
  • the conversion processing unit 40a needs to display the upper revolving unit graphic G31 and the step graphic G32 in such a manner that the positional relationship between the body length of the shovel and the feature in the right camera image 41R is completely the same as the actual positional relationship.
  • the scale of at least one of the upper revolving unit graphic G31 and the step graphic G32 is not necessarily required to be accurate.
  • the main screen 41V of FIG. 8 is displayed on the image display unit 41 during the operation of the shovel PS, for example.
  • the main screen 41V includes a date / time display area 41a, a driving mode display area 41b, an attachment display area 41c, an engine control state display area 41e, an engine operating time display area 41f, a coolant temperature display area 41g, a fuel remaining amount display area 41h, and a rotation speed.
  • a mode display area 41i, a hydraulic oil temperature display area 41k, a camera image display area 41m, and a direction display icon 41x are included.
  • the driving mode display area 41b, the attachment display area 41c, the engine control state display area 41e, and the rotation speed mode display area 41i are areas for displaying setting state information that is information relating to the setting state of the shovel PS.
  • the engine operating time display area 41f, the cooling water temperature display area 41g, the remaining fuel amount display area 41h, and the operating oil temperature display area 41k are areas for displaying operating state information that is information on the operating state of the shovel PS.
  • the date and time display area 41a is an area for displaying the current date and time.
  • the traveling mode display area 41b is an area for displaying the current traveling mode.
  • the attachment display area 41c is an area for displaying an image representing the currently attached end attachment.
  • FIG. 8 shows a state in which an image representing a rock drill is displayed.
  • the engine control state display area 41e is an area for displaying the control state of the engine 11.
  • the engine operating time display area 41f is an area for displaying the accumulated operating time of the engine 11.
  • the cooling water temperature display area 41g is an area for displaying a current temperature state of the engine cooling water.
  • the remaining fuel amount display area 41h is an area for displaying a remaining fuel amount state stored in the fuel tank.
  • the rotation speed mode display area 41i is an area for displaying the current rotation speed mode set by the engine rotation speed adjustment dial 75.
  • the hydraulic oil temperature display area 41k is an area for displaying a temperature state of hydraulic oil in the hydraulic oil tank.
  • the camera image display area 41m is an area for displaying an image captured by the imaging device 80.
  • the camera image display area 41m displays a back camera image generated based on an image captured by the back camera 80B.
  • This back camera image is, for example, the back camera image 41B shown in FIG. 5B and includes the counterweight figure G18.
  • the direction display icon 41x is an icon indicating a relative positional relationship between the direction of the imaging device 80 that has captured the captured image displayed on the display screen and the direction of the upper swing body 3.
  • a direction display icon 41x indicating that the camera that captured the camera image displayed in the camera image display area 41m is the back camera 80B is displayed in the lower right corner of the camera image display area 41m.
  • the orientation display icon 41x may be displayed at a position other than the lower right corner such as the lower center, lower left corner, upper right corner, or upper left corner of the camera image display area 41m, and is displayed outside the camera image display area 41m. You may.
  • the display device 40 may display another camera image such as the back camera image 41B as shown in FIG. 3B or the right camera image 41R as shown in FIG. 6B or FIG. 7 in the camera image display area 41m.
  • the shovel PS captures an image of the lower traveling body 1, the upper rotating body 3 mounted on the lower traveling body 1 via the rotating mechanism 2, and the periphery of the upper rotating body 3.
  • a display device 40 for displaying an image captured by the imaging device 80 displays the image captured by the imaging device 80 such that the distortion in the image portion at the edge of the upper surface of the upper swing body 3 is smaller than the distortion in the other image portions.
  • the imaging device 80 may be mounted above the upper swing body 3 so that the optical axis passes near the edge of the upper surface of the upper swing body 3.
  • the angle between the optical axis passing near the edge of the upper surface of the upper swing body 3 and the optical axis passing through the edge of the upper surface of the upper swing body 3 is equal to or smaller than a predetermined angle.
  • the distance between the optical axis passing near the edge of the upper surface of the upper swing body 3 and the optical axis passing through the edge of the upper surface of the upper swing body 3 in the virtual horizontal plane including the upper surface of the upper swing body 3 Is not more than a predetermined distance.
  • the imaging device 80 includes, for example, a back camera 80B, a left camera 80L, and a right camera 80R.
  • the back camera 80B is installed above the upper revolving unit 3 so that the optical axis AXB passes near the rear edge of the upper surface of the upper revolving unit 3. May be attached to the bracket CP.
  • the left camera 80L may be attached to a left guardrail GRL installed above the upper swing body 3 so that the optical axis AXL passes near the upper left edge of the upper swing body 3.
  • the right camera 80R may be attached to a right guardrail GRR installed above the upper swing body 3 so that the optical axis AXR passes near the upper right edge of the upper swing body 3.
  • the shovel PS allows the operator to more easily understand the relationship between the feature existing around the shovel PS and the width of the shovel PS (including the front-rear width and the left-right width). . Therefore, the operator can more accurately grasp the situation around the shovel PS. As a result, the shovel PS can improve the working environment of the operator.
  • the operator of the shovel PS sees the back camera image 41B, for example, when the shovel PS located on the ground higher than the slope (for example, the ground including the slope) reverses during the slope finishing work.
  • the shovel PS can prevent the operator from being unnecessarily careful about the reverse movement of the shovel PS.
  • the shovel PS can prevent the working efficiency from being reduced.
  • a shovel PS includes a lower traveling unit 1, an upper revolving unit 3 mounted on the lower traveling unit 1 via a revolving mechanism 2, and an operation mounted on the upper revolving unit 3.
  • the vehicle 10 includes a cabin 10, a display device 40 provided in the driver's cab 10, and an imaging device 80 attached to the upper swing body 3 so as to capture an image of the periphery of the upper swing body 3. Then, the display device 40 displays a graphic representing the width of the upper swing body 3 at or near the position where the image of the edge of the upper surface of the upper swing body 3 in the image captured by the imaging device 80 is displayed. Is configured.
  • the display device 40 displays a counter weight image G3, which is an image of the rear edge of the upper surface of the upper swing body 3 in the back camera image 41B captured by the back camera 80B, for example, as illustrated in FIGS. 3A and 3B.
  • a counterweight figure G5 which is a figure representing the width of the upper swing body 3 may be displayed at or near the position where the upper revolving superstructure 3 is located.
  • the display device 40 displays a counter weight image G11, which is an image of the edge on the upper rear surface side of the upper rotating body 3 in the image 41Ba captured by the back camera 80B, for example, as illustrated in FIGS. 5A and 5B.
  • a counter weight graphic G18 which is a graphic representing the width of the upper swing body 3 may be displayed at or near the position where the upper weight 3 is located.
  • the display device 40 displays a right side panel image G21 that is an image of the right upper edge of the upper revolving unit 3 in the image 41Ra (see FIG. 6A) captured by the right camera 80R.
  • a right side panel image G21 that is an image of the right upper edge of the upper revolving unit 3 in the image 41Ra (see FIG. 6A) captured by the right camera 80R.
  • the imaging device 80 is desirably attached to the upper side of the upper rotating body 3 such that the image captured by the imaging device 80 includes the images of both ends of the upper surface of the upper rotating body 3.
  • the back camera 80B includes a right end image G12 and a left end image G13 in which the image 41Ba captured by the back camera 80B is an image of both ends of the upper rear edge of the counterweight CW.
  • the right camera 80R includes a front end image G22 and a rear end image G23 in which the image 41Ra captured by the right camera 80R is an image of both ends of the right edge of the upper swing body 3.
  • it may be attached to the right guardrail GRR installed on the upper swing body 3.
  • image parts other than the image part of the edge part may be subjected to a trimming process or a mask process. This is to make it easy to see the image of the part requiring monitoring as much as possible.
  • FIG. 9 is a side view of the shovel PS illustrating another configuration example of the shovel PS.
  • the shovel PS illustrated in FIG. 9 is different from the shovel PS illustrated in FIG. 1 in that an object detection device 90 is mounted, but is common in other points. Therefore, description of common parts is omitted, and different parts will be described in detail.
  • the shovel PS illustrated in FIG. 9 is configured to detect an object using at least one of the imaging device 80 and the object detection device 90.
  • the object detection device 90 includes a back sensor 90B that monitors a space behind the shovel PS, a left sensor 90L that monitors a space to the left of the shovel PS, and a right sensor 90R that monitors a space to the right of the shovel PS. .
  • the object detection device 90 may include a front sensor that monitors a space in front of the shovel PS.
  • Each of the back sensor 90B, the left sensor 90L, and the right sensor 90R is, for example, a LIDAR, a millimeter wave radar, a stereo camera, or the like.
  • the controller 30 When detecting an object using the output of the imaging device 80, the controller 30 performs, for example, various types of image processing on the image captured by the imaging device 80, and then detects the object using a known image recognition technology. I do.
  • the imaging device 80 may include a front camera that captures an image of a space in front of the shovel PS.
  • the excavator PS may cause the display device 40 to display information on an object detected by at least one of the imaging device 80 and the object detection device 90. Specifically, when an object is detected by at least one of the imaging device 80 and the object detection device 90, the shovel PS moves the detected object to a position on the display image corresponding to the actual position of the detected object. May be displayed.
  • the shovel PS when a person is detected behind the shovel PS, the shovel PS places a specific image (frame or frame) at a position on the back camera image 41B corresponding to the detected actual position of the person on the back camera image 41B. Icon etc.) may be superimposed.
  • the shovel PS may change the display mode of the specific image according to the positional relationship between the shovel PS and a person.
  • the shovel PS may change at least one of the color and the shading of the specific image according to the distance between the shovel PS and a person. The same applies to the case where a person is detected on the side of the shovel PS.
  • FIG. 10 shows a configuration example of a main screen 41V displayed on the image display unit 41 when the imaging device 80 detects a person behind the shovel PS, and corresponds to FIG.
  • the main screen 41V of FIG. 10 differs from the main screen 41V of FIG. 8 in that a human image WK is displayed on the back camera image 41B and a frame image FR surrounding the image WK is displayed. This is common to the main screen 41V in FIG.
  • the shovel PS has detected two workers working backward. Therefore, the back camera image 41B includes one image WK1 of the two workers and a frame image FR1 surrounding the image WK1, and the other camera WK2 of the two workers and the frame image FR2 surrounding the image WK2. A frame image FR2 is displayed.
  • the shovel PS changes the thickness of the frame image FR based on whether or not the detected position of the person is included in the range of the trajectory of the lower traveling unit 1.
  • the trajectory range of the lower traveling body 1 is, for example, a range including a trajectory through which the right crawler 1CR passes when the lower traveling body 1 is moved straight forward and backward, a trajectory through which the left crawler 1CL passes, and an area therebetween.
  • the excavator PS includes one position of the two workers within the track range of the lower traveling unit 1 and the other position of the two workers corresponds to the lower traveling unit. It is determined that they are not included in the orbit range of No. 1. For this reason, the shovel PS makes the thickness of the frame image FR1 surrounding the image WK1 larger than the thickness of the frame image FR2 surrounding the image WK2.
  • the shovel PS may be configured to change the color of the frame image FR based on whether or not the detected position of the person is included in the range of the trajectory of the lower traveling unit 1.
  • the shovel PS may superimpose and display a trajectory graphic, which is a graphic representing a trajectory that the crawler 1C passes when the shovel PS moves straight in the front-rear direction, on the back camera image 41B. The same applies to the right camera image and the left camera image.
  • FIG. 11 shows a display example of the back camera image 41B on which the trajectory figure G6 is superimposed, and corresponds to FIG. 3B.
  • the trajectory graphic G6 is a line segment G6L representing the left end of the trajectory through which the left crawler 1CL passes when the shovel PS goes straight forward and the right side when the shovel PS goes straight forward and backward.
  • the operator who looks at the back camera image 41B on which the trajectory graphic G6 is superimposed is intuitively perceived as a line passing through the left end of the left crawler 1CL and a line passing through the right end of the right crawler 1CR when the shovel PS goes straight back. Can be grasped.
  • Track figure G 1 Counterweight image G12 Right image G13 Left image G14 First load cone image G15 Second load cone image G16 Pile image G17 Pile image G18 ⁇ ⁇ ⁇ Counter weight figure G21 ⁇ ⁇ ⁇ Right side panel image G22 ⁇ ⁇ ⁇ Front end image G23 ⁇ ⁇ ⁇ Back end image G24 ⁇ ⁇ ⁇ Pile image G31 ⁇ ⁇ ⁇ Top revolving body figure G32 ⁇ ⁇ ⁇ Step figure G33 ... ⁇ Pile image GP1 ⁇ ⁇ ⁇ GPS device GRL ⁇ ⁇ ⁇ Left guardrail GRR ⁇ ⁇ ⁇ Right guardrail P1 ⁇ ⁇ ⁇ First pole P2 ⁇ ⁇ ⁇ Second pole P3 ⁇ P5 ⁇ ⁇ ⁇ Pile PM ⁇ ⁇ ⁇ Handrail member PS ... Excavator ⁇ ⁇ SB ⁇ Horizontal member SPR ⁇ Right side panel ST Step T1 ⁇ Communication device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

ショベル(PS)は、下部走行体(1)と、旋回機構(2)を介して下部走行体(1)に搭載された上部旋回体(3)と、上部旋回体(3)の周囲を撮像するように上部旋回体(3)に取り付けられたバックカメラ(80B)と、バックカメラ(80B)で撮像された画像を表示する表示装置(40)と、を有する。表示装置(40)は、上部旋回体(3)の上面の縁部の画像部分における歪曲収差が、他の画像部分の歪曲収差よりも小さくなるように、バックカメラ(80B)で撮像された画像を表示する。

Description

ショベル
 本開示は、ショベルに関する。
 従来、バックカメラを備えたショベルが知られている(特許文献1参照。)。このバックカメラは、バックカメラが撮像した画像の下端部にカウンタウェイトの縁部の画像が含まれるように、上部旋回体の上面に取り付けられている。そして、バックカメラが撮像した画像のうち、カウンタウェイトの縁部の画像より上の部分には、通常、ショベルの後方にある地面の画像が配置されている。
特開2014-183497号公報
 バックカメラが撮像した画像を見る操作者は、ショベルを後退させるときに、ショベルの後方にある崖、穴、又は障害物等の地物とショベルの幅との関係を分かり難いと感じてしまうおそれがある。バックカメラが撮像した画像の全幅にわたってカウンタウェイトの縁部の画像が存在するためである。言い換えれば、バックカメラが撮像した画像には、カウンタウェイトの左端及び右端のそれぞれの画像が含まれていないためである。
 そこで、ショベルの周囲に存在する地物とショベルの幅との関係をより分かり易く操作者に認識させることができるショベルを提供することが望ましい。
 本発明の実施形態に係るショベルは、下部走行体と、旋回機構を介して前記下部走行体に搭載された上部旋回体と、前記上部旋回体の周囲を撮像するように前記上部旋回体に取り付けられた撮像装置と、前記撮像装置で撮像された画像を表示する表示装置と、を有し、前記表示装置は、前記上部旋回体の上面の縁部の画像部分における歪曲収差が、他の画像部分の歪曲収差よりも小さくなるように、前記撮像装置で撮像された画像を表示する。
 上述の手段により、ショベルの周囲に存在する地物とショベルの幅との関係をより分かり易く操作者に認識させることができるショベルが提供される。
本発明の実施形態に係るショベルの側面図である。 図1のショベルのシステム構成図である。 図1のショベルの上面図である。 バックカメラ画像の表示例を示す図である。 撮像装置の設置例を示すショベルの右側面図である。 撮像装置の設置例を示すショベルの背面図である。 バックカメラが撮像した画像の例を示す図である。 バックカメラ画像の表示例を示す図である。 右カメラが撮像した画像の例を示す図である。 右カメラ画像の表示例を示す図である。 右カメラ画像の別の表示例を示す図である。 メイン画面の構成例を示す図である。 本発明の別の実施形態に係るショベルの側面図である。 メイン画面の別の構成例を示す図である。 バックカメラ画像の別の表示例を示す図である。
 以下、図面を参照して本発明の実施形態に係るショベルについて説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
 図1は、本発明の実施形態に係る掘削機としてのショベルPSを例示する側面図である。ショベルPSの下部走行体1には、旋回機構2を介して旋回自在に上部旋回体3が搭載されている。上部旋回体3には、ブーム4が取り付けられている。ブーム4の先端には、アーム5が取り付けられている。アーム5の先端には、エンドアタッチメントとしてバケット6が取り付けられている。
 ブーム4、アーム5、及びバケット6は、アタッチメントの一例としての掘削アタッチメントを構成している。ブーム4はブームシリンダ7により駆動され、アーム5はアームシリンダ8により駆動され、バケット6はバケットシリンダ9により駆動される。
 上部旋回体3には、エンジン11等の動力源が搭載され、且つ、撮像装置80が取り付けられている。撮像装置80は、ショベルPSの側方の空間を撮像するサイドカメラ、及び、ショベルPSの後方の空間を撮像するバックカメラ80Bを含む。サイドカメラは、ショベルPSの左方の空間を撮像する左カメラ80L、及び、ショベルPSの右方の空間を撮像する右カメラ80Rを含む。左カメラ80L、右カメラ80R、及びバックカメラ80Bのそれぞれは、例えば、CCD又はCMOS等の撮像素子を有するデジタルカメラであり、撮影した画像を運転室10内に設けられている表示装置40に送る。撮像装置80は、ステレオカメラ又はLIDAR等であってもよい。本実施形態では、左カメラ80L、右カメラ80R、及びバックカメラ80Bのそれぞれは、160度の水平画角を有する広角レンズを備えたデジタルカメラである。
 上部旋回体3の左前部には運転室10が設けられている。運転室10内には、コントローラ30、表示装置40、及びゲートロックレバー49等が設けられている。運転室10には、GPS装置(GNSS受信機)GP1及び通信装置T1が取り付けられている。GPS装置GP1は、ショベルPSの位置を検出し、検出した位置に関するデータをコントローラ30に供給するように構成されている。通信装置T1は、外部との通信を制御し、外部から取得したデータをコントローラ30に供給するように構成されている。
 コントローラ30は、ショベルPSの駆動制御を行う主制御部として機能するように構成されている。本実施形態では、コントローラ30は、CPU及び内部メモリを含む演算処理装置で構成されている。コントローラ30の各種機能は、CPUが内部メモリに格納されているプログラムを実行することで実現される。
 表示装置40は、コントローラ30からの指令に応じて各種作業情報を含む画像を表示するように構成されている。
 ゲートロックレバー49は、ショベルPSが誤って操作されるのを防止する機構であり、運転室10のドアと運転席との間に設けられている。ゲートロックレバー49は、運転室10からの操作者の退出を妨げるように引き上げられたときに操作装置26(図2参照。)を有効にし、操作者の退出が可能となるように押し下げられたときに操作装置26を無効にする。
 図2は、ショベルPSのシステム構成図である。表示装置40は、作業情報等を含む画像を表示する。表示装置40は、例えば、CAN若しくはLIN等の通信ネットワーク又は専用線等を介してコントローラ30に接続されている。
 表示装置40は、画像表示部41に表示する画像を生成する変換処理部40aを有する。変換処理部40aは、例えば、撮像装置80から得られる画像データに基づいて画像表示部41上に表示する撮影画像を含む画像を生成するように構成されている。表示装置40には、左カメラ80L、右カメラ80R、及びバックカメラ80Bのそれぞれから画像データが入力される。
 本実施形態では、変換処理部40aは、コントローラ30から表示装置40に入力される各種データのうち画像表示部41に表示させるデータを画像信号に変換するように構成されている。コントローラ30から表示装置40に入力されるデータは、例えば、エンジン冷却水の温度を示すデータ、作動油の温度を示すデータ、尿素水の残量を示すデータ、及び、燃料の残量を示すデータ等を含む。
 本実施形態では、変換処理部40aは、変換した画像信号を画像表示部41に出力し、撮影画像又は各種データ等に基づいて生成した画像を画像表示部41に表示させるように構成されている。変換処理部40aは、表示装置40ではなく、例えば、コントローラ30に設けられていてもよい。この場合、撮像装置80は、コントローラ30に接続される。
 本実施形態では、表示装置40は、入力装置42を備える。入力装置42は、ショベルPSの操作者がコントローラ30又は表示装置40等に各種情報を入力するための装置である。図2の例では、入力装置42は、スイッチパネルに設けられた押しボタンスイッチである。入力装置42は、例えば、メンブレンスイッチであってもよく、タッチパネルであってもよい。
 表示装置40は、蓄電池70から電力の供給を受けて動作するように構成されている。蓄電池70は、例えば、エンジン11のオルタネータ11a(発電機)で発電した電力で充電される。本実施形態では、蓄電池70の電力は、コントローラ30及び表示装置40以外のショベルPSの電装品72等にも供給される。エンジン11のスタータ11bは、蓄電池70からの電力で駆動されてエンジン11を始動させるように構成されている。
 本実施形態では、エンジン11は、エンジンコントローラ74により制御される。エンジン11の回転軸は、メインポンプ14及びパイロットポンプ15のそれぞれの回転軸に連結されている。エンジンコントローラ74は、エンジン11の状態を示す各種データ(例えば、水温センサ11cで検出される冷却水温を示すデータ等)をコントローラ30に向けて送信する。コントローラ30は、記憶部30aにこれらのデータを蓄積し、必要に応じて表示装置40に送信する。
 メインポンプ14は、作動油ラインを介して作動油をコントロールバルブユニット17に供給するための油圧ポンプである。メインポンプ14は、例えば、斜板式可変容量型油圧ポンプである。
 パイロットポンプ15は、パイロットラインを介して各種油圧制御機器に作動油を供給するための油圧ポンプである。パイロットポンプ15は、例えば、固定容量型油圧ポンプである。但し、パイロットポンプ15は、省略されてもよい。この場合、パイロットポンプ15が担っていた機能は、メインポンプ14によって実現されてもよい。すなわち、メインポンプ14は、コントロールバルブユニット17に作動油を供給する機能とは別に、絞り等により作動油の圧力を低下させた後で操作装置26等に作動油を供給する機能を備えていてもよい。
 コントロールバルブユニット17は、ショベルPSにおける油圧システムを制御する油圧制御装置であり、複数の流量制御弁を含む。コントロールバルブユニット17は、例えば、1又は複数の油圧アクチュエータに、メインポンプ14が吐出する作動油を選択的に供給するように構成されている。油圧アクチュエータは、例えば、ブームシリンダ7、アームシリンダ8、バケットシリンダ9、走行用油圧モータ、及び旋回用油圧モータ等を含む。
 操作装置26は、操作者が油圧アクチュエータを操作するために用いる装置であり、運転室10内に設けられている。操作装置26が操作されると、対応する流量制御弁のパイロットポートにパイロットポンプ15から作動油が供給される。パイロットポートには、操作装置26の操作内容に応じた圧力の作動油が供給される。操作内容は、例えば、操作方向及び操作量を含む。
 コントローラ30は、ショベルPSの動作を制御するように構成されている。コントローラ30は、ゲートロックレバー49が押し下げられている状態では、ゲートロック弁49aを閉状態とし、ゲートロックレバー49が引き上げられている状態では、ゲートロック弁49aを開状態とする。ゲートロック弁49aは、コントロールバルブユニット17と操作装置26との間の油路に設けられている切換弁である。ゲートロック弁49aは、コントローラ30からの指令に応じて開閉する。但し、ゲートロック弁49aは、ゲートロックレバー49と機械的に接続され、ゲートロックレバー49の動作に応じて開閉してもよい。
 ゲートロック弁49aは、閉状態において、コントロールバルブユニット17と操作装置26との間の作動油の流れを遮断して操作装置26を無効にする。すなわち、ゲートロック弁49aが閉状態のときには、操作装置26の操作を通じた油圧アクチュエータの動作が禁止される。また、ゲートロック弁49aは、開状態において、コントロールバルブユニット17と操作装置26との間で作動油を連通させて操作装置26を有効にする。すなわち、ゲートロック弁49aが開状態のときには、操作装置26の操作を通じた油圧アクチュエータの動作が許容される。
 コントローラ30は、ゲートロック弁49aが開状態となり、操作装置26が有効になった状態で、圧力センサ15a、15bによって検出されるパイロット圧に基づき、操作装置26の操作内容を検出する。
 また、コントローラ30は、例えば以下で説明するような各種データを取得する。コントローラ30が取得したデータは、記憶部30aに格納される。
 メインポンプ14のレギュレータ14aは、斜板角度を示すデータをコントローラ30に対して出力する。吐出圧力センサ14bは、メインポンプ14の吐出圧力を示すデータをコントローラ30に対して出力する。作動油タンクとメインポンプ14との間の管路に設けられている油温センサ14cは、管路を流れる作動油の温度を表すデータをコントローラ30に対して出力する。圧力センサ15a、15bは、操作装置26が操作された際に生成されるパイロット圧を検出し、検出したパイロット圧を示すデータをコントローラ30に対して出力する。
 操作装置26としての操作レバーには、入力装置42の別の一例としてのスイッチボタン26Sが設けられている。操作者は、操作レバーを操作しながらスイッチボタン26Sを操作することで、コントローラ30に対して指令信号を出力できる。
 ショベルPSの運転室10内には、エンジン回転数調整ダイヤル75が設けられている。エンジン回転数調整ダイヤル75は、エンジン11の回転数を調整するためのダイヤルである。本実施形態では、エンジン回転数調整ダイヤル75は、SPモード、Hモード、Aモード、及びアイドリングモードの4段階にエンジン回転数を切り換えることができるように構成されている。エンジン回転数調整ダイヤル75は、エンジン回転数の設定状態を示すデータをコントローラ30に対して出力する。図2は、エンジン回転数調整ダイヤル75によりHモードが選択された状態を示している。
 SPモードは、作業量を優先させたい場合に選択される回転数モードであり、典型的には最も高いエンジン回転数を利用する。Hモードは、作業量と燃費を両立させたい場合に選択される回転数モードであり、典型的には二番目に高いエンジン回転数を利用する。Aモードは、燃費を優先させながら低騒音でショベルPSを稼働させたい場合に選択される回転数モードであり、典型的には三番目に高いエンジン回転数を利用する。アイドリングモードは、エンジン11をアイドリング状態で動作させたい場合に選択される回転数モードであり、典型的には最も低いエンジン回転数を利用する。本実施形態では、エンジン11は、エンジン回転数調整ダイヤル75で設定された回転数モードに対応するエンジン回転数を維持するように制御される。
 次に、図3A及び図3Bを参照し、表示装置40の画像表示部41に表示される画像について説明する。図3Aは、ショベルPSの上面図である。図3Bは、バックカメラ画像41Bの表示例を示す。バックカメラ画像41Bは、バックカメラ80Bが撮像した画像に基づいて生成され且つ表示される画像であり、第1ポール画像G1、第2ポール画像G2、カウンタウェイト画像G3、杭画像G4、及び、カウンタウェイト図形G5を含む。バックカメラ画像41Bの光軸点M1は、バックカメラ80Bの光軸AXBと被写体である地物との交点に対応する画素である。バックカメラ80Bの光軸AXBは、バックカメラ80Bを構成するレンズの中心と焦点とを通る仮想直線である。左カメラ80Lの光軸AXL及び右カメラ80Rの光軸AXRについても同様である。被写体である地物は、この例では地面であるが、人、動物、機械、又は建造物等であってもよい。図3A及び図3Bでは、光軸点M1は、丸いマークで表されているが、実際にはバックカメラ画像41B上には表示されていない。
 ショベルPSは、図3Aに示すように、下部走行体1の前後軸と上部旋回体3の前後軸とが平行な状態にある。すなわち、ショベルPSは、掘削アタッチメントの延在方向が、左側クローラ1CL及び右側クローラ1CRのそれぞれの延在方向と平行な状態にある。
 第1ポール画像G1は、地面に立てられた第1ポールP1の画像であり、第2ポール画像G2は、地面に立てられた第2ポールP2の画像である。第1ポールP1は、ショベルPSが後進したときに右側クローラ1CRの外縁が通過する位置の外側(-Y側)に立てられている。第2ポールP2は、ショベルPSが後進したときに左側クローラ1CLの外縁が通過する位置の外側(+Y側)に立てられている。すなわち、第1ポールP1と第2ポールP2との間の距離D1は、ショベルPS(カウンタウェイトCW)の幅W1より僅かに大きい幅に相当する。
 カウンタウェイト画像G3は、上部旋回体3の後端に取り付けられたカウンタウェイトCWの上面の後側(-X側)の縁部の画像である。
 杭画像G4は、地面に立てられた杭P3の画像である。杭P3は、第2ポールP2よりも+Y側に存在している。具体的には、杭P3は、ショベルPSが後進したとしても、ショベルPSとは接触しない位置に存在している。
 カウンタウェイト図形G5は、上部旋回体3の幅W1の大きさを示す図形である。図3A及び図3Bの例では、カウンタウェイト図形G5は、カウンタウェイトCWの幅W1を所定の仮想平面に投影したときの幅を有する略矩形のコンピュータグラフィクス(図形)であり、カウンタウェイト画像G3の上に重畳表示されている。本実施形態では、カウンタウェイト図形G5は、上部旋回体3に取り付けられたバックカメラ80Bの位置及び姿勢並びにバックカメラ80Bのカメラパラメータ等に基づいて描画される。所定の仮想平面は、例えば、ショベルPSが位置する地面に対応する仮想平面である。ショベルPSが位置する地面に対応する仮想平面は、仮想水平面であってもよく、仮想傾斜面であってもよい。この場合、バックカメラ画像41Bでは、カウンタウェイト図形G5の幅は、カウンタウェイト画像G3の幅よりも小さい。ショベルPSが位置する地面に対応する仮想平面は、カウンタウェイトCWの上面に対応する仮想平面よりも低い位置、すなわち、バックカメラ80Bから遠い位置に設定されているためである。但し、所定の仮想平面は、ショベルPSが位置する地面に対応する仮想平面よりも高い位置にある仮想平面であってもよく、ショベルPSが位置する地面に対応する仮想平面よりも低い位置にある仮想平面であってもよい。カウンタウェイト図形G5は、例えば、バックカメラ画像が描画されるレイヤーとは別のレイヤーに描画され、表示の際に重ね合わされてもよい。
 操作者は、仮にカウンタウェイト図形G5を含まないバックカメラ画像を見た場合、ショベルPSを後進させるときに、カウンタウェイトCWと杭P3とが接触すると誤って認識してしまうおそれがある。カウンタウェイト画像G3がバックカメラ画像の下端の全幅にわたって表示されているためである。
 これに対し、表示装置40の変換処理部40aは、バックカメラ画像41Bにおけるショベルの機体幅と地物との位置関係が実際の位置関係と同じになる態様で、カウンタウェイト図形G5を表示させる。「バックカメラ画像41Bにおけるショベルの機体幅と地物との位置関係が実際の位置関係と同じになる態様」とは、バックカメラ画像41Bにおける見かけ上の位置関係が実際の位置関係と矛盾しない態様を意味する。図3Bに示す例では、変換処理部40aは、カウンタウェイト図形G5の幅が、第1ポール画像G1と第2ポール画像G2との間の幅よりも僅かに小さく見えるように、カウンタウェイト図形G5を表示させる。実際のカウンタウェイトCWの幅W1、すなわち、クローラ1Cの幅は、第1ポールP1と第2ポールP2との間の幅よりも僅かに小さいためである。そのため、表示装置40は、ショベルPSを後進させた場合であっても、カウンタウェイトCWと杭P3とが接触しないことをショベルPSの操作者に認識させることができる。バックカメラ画像41Bでは、バックカメラ画像41Bの幅方向において、カウンタウェイト図形G5の右端が杭画像G4よりも左側に位置しているためである。なお、変換処理部40aは、バックカメラ画像41Bにおけるショベルの機体幅と地物との位置関係が実際の位置関係と完全に同じになる態様でカウンタウェイト図形G5を表示させる必要はない。例えば、カウンタウェイト図形G5の縮尺は必ずしも正確である必要はない。
 なお、表示装置40の変換処理部40aは、カウンタウェイト図形G5を際立たせるため、カウンタウェイト画像G3を目立たないようにしてもよい。変換処理部40aは、例えば、カウンタウェイト画像G3の輝度が低くなるようにしてもよい。変換処理部40aは、カウンタウェイト画像G3にトリミング処理又はマスク処理等を施してもよい。
 また、カウンタウェイト図形G5の表示、トリミング処理、又はマスク処理等は、コントローラ30によって実現されてもよく、撮像装置80(バックカメラ80B)が搭載している演算処理装置によって実現されてもよい。
 この構成により、ショベルPSは、ショベルPSの周囲に存在する地物とショベルPSの幅W1との関係をより分かり易く操作者に認識させることができる。
 次に、図4A、図4B、図5A、及び図5Bを参照し、バックカメラ画像41Bの別の表示例について説明する。図4Aは、ショベルPSの右側面図である。図4Bは、ショベルPSの背面図である。
 この例では、バックカメラ80Bは、図4A及び図4Bに示すように、カウンタウェイトCWの上面から+Z方向に延びるブラケットCPに取り付けられている。
 そして、図4Aにおける点線VXBは、バックカメラ80Bの垂直画角を示し、一点鎖線の光軸AXBは、バックカメラ80Bの光軸を示す。破線VXaBは、バックカメラ80Bの垂直画角のうち、歪曲収差が所定値以下となる垂直画角を示す。
 図4Bにおける点線HXBは、バックカメラ80Bの水平画角を示し、破線HXaBは、バックカメラ80Bの水平画角のうち、歪曲収差が所定値以下となる水平画角を示す。
 図5Aは、バックカメラ80Bが撮像した画像41Baを示す。図5Bは、表示装置40の画像表示部41に表示されるバックカメラ画像41Bを示す。
 図5Aに示すように、バックカメラ80Bが撮像した画像41Baは、カウンタウェイト画像G11、右端画像G12、左端画像G13、第1ロードコーン画像G14、第2ロードコーン画像G15、杭画像G16、及び杭画像G17を含む。
 光軸点M11は、バックカメラ80Bの光軸AXBと被写体である地物との交点に対応する画素である。破線M12で示す楕円は、歪曲収差が所定値以下となる画像範囲を示し、図4Aの破線VXaBで示す垂直画角、及び、図4Bの破線HXaBで示す水平画角に対応している。二点鎖線M13で示す矩形は、トリミング処理又はマスク処理が施される範囲を示す。
 光軸点M11、破線M12、及び二点鎖線M13は、説明のために追加された図形であり、実際にはバックカメラ80Bが撮像した画像41Baには含まれていない。
 カウンタウェイト画像G11は、カウンタウェイトCWの上面の後側(-X側)の画像である。右端画像G12は、カウンタウェイトCWの右端(-Y側端)の画像である。左端画像G13は、カウンタウェイトCWの左端(+Y側端)の画像である。第1ロードコーン画像G14は、ショベルPSを後進させたときに右側クローラ1CRが通る軌道上に配置された3つのロードコーンの画像である。第2ロードコーン画像G15は、ショベルPSを後進させたときに左側クローラ1CLが通る軌道上に配置された3つのロードコーンの画像である。杭画像G16は、地面に立てられた杭P4の画像である。杭画像G17は、地面に立てられた杭P5の画像である。杭P4は、図4A及び図4Bに示すように、上部旋回体3の左斜め後方の位置に立てられている。杭P5は、図4A及び図4Bに示すように、上部旋回体3の右斜め後方の位置に立てられている。具体的には、杭P4及び杭P5は、ショベルPSが後進したとしても、ショベルPSとは接触しない位置に立てられている。
 画像41Baは、図3Bに示すバックカメラ画像41Bの場合よりも、光軸点M11がカウンタウェイト画像G11の近くに配置されるように構成されている。具体的には、画像41Baは、歪曲収差が所定値以下となる画像範囲(破線M12で囲まれた範囲であり、光軸点M11を含む。)が、地面の画像とカウンタウェイト画像G11の中央部分との境界部分を含むように構成されている。すなわち、画像41Baは、上部旋回体3の上面の縁部の画像部分における歪曲収差が、他の画像部分の歪曲収差よりも小さくなるように構成されている。
 バックカメラ画像41Bは、バックカメラ80Bが撮像した画像41Baのうちの二点鎖線M13で囲まれた矩形領域にトリミング処理又はマスク処理を施すことで生成される。
 この構成により、地面の画像とカウンタウェイト画像G11との境界部分は、図3Bに示すバックカメラ画像41Bの場合よりも、歪曲が抑制される。そのため、画像41Baを見た操作者は、その境界部分における地物とショベルPSとの位置関係をより直感的に把握できる。地物とショベルPSとの位置関係は、例えば、地物とショベルPSとの間の距離を含む。なお、図3Bに示すバックカメラ画像41Bでは、カウンタウェイトCWの上面後端の縁部(実際には上部旋回体3の後方に向かって凸の形状を有する)は、樽型歪曲により凹形状を有するものとして表示されている。
 また、この例では、光軸点M11は、カウンタウェイト画像G11の外側(上側)に配置されているが、カウンタウェイト画像G11の内側に配置されていてもよい。すなわち、バックカメラ80Bは、光軸AXBとカウンタウェイトCWとが交差するように、ブラケットCPに取り付けられていてもよい。
 また、画像41Baを見た操作者は、右端画像G12と左端画像G13とが表示されているため、カウンタウェイト画像がカメラ画像の全幅にわたって表示されている場合よりも、すなわち、カウンタウェイトCWの両端が表示されていない場合よりも、上部旋回体3の後方に存在する地物とショベルPSとの位置関係を容易に認識できる。
 但し、それでもなお、画像41Baを見た操作者は、ショベルPSを後進させるときに、カウンタウェイトCWと杭P4及び杭P5とが接触すると誤って認識してしまうおそれがある。画像41Baの幅方向において、右端画像G12が杭画像G17よりも左側に表示され、且つ、左端画像G13が杭画像G16よりも右側に表示されているためである。
 これに対し、表示装置40の変換処理部40aは、二点鎖線M13で囲まれた矩形領域にトリミング処理又はマスク処理を施した上で、図5Bに示すバックカメラ画像41Bのように、バックカメラ画像41Bにおけるショベルの機体幅と地物との位置関係が実際の位置関係と同じになる態様で、カウンタウェイト図形G18を表示させる。図5Bに示す例では、変換処理部40aは、カウンタウェイト図形G18の幅が、第1ロードコーン画像G14の左端と第2ロードコーン画像G15の右端との間の幅とほぼ同じに見えるように、カウンタウェイト図形G18を表示させる。実際のカウンタウェイトCWの幅W1、すなわち、クローラ1Cの幅は、ショベルPSを後進させたときに右側クローラ1CRが通る軌道上に配置されたロードコーンと、左側クローラ1CLが通る軌道上に配置されたロードコーンとの間の幅とほぼ同じであるためである。そのため、表示装置40は、ショベルPSの操作者がショベルPSを後進させた場合であっても、カウンタウェイトCWと杭P4及び杭P5とが接触しないことをショベルPSの操作者により確実に認識させることができる。バックカメラ画像41Bの幅方向において、カウンタウェイト図形G18の左端が杭画像G17よりも右側に表示され、且つ、カウンタウェイト図形G18の右端が杭画像G16よりも左側に表示されるためである。なお、表示装置40の変換処理部40aは、このときに歪補正を行ってもよい。また、変換処理部40aは、バックカメラ画像41Bにおけるショベルの機体幅と地物との位置関係が実際の位置関係と完全に同じになる態様でカウンタウェイト図形G18を表示させる必要はない。例えば、カウンタウェイト図形G18の縮尺は、必ずしも正確である必要はない。
 次に、図4A、図4B、図6A、及び図6Bを参照し、右カメラ画像41Rの表示例について説明する。但し、以下の説明は、左カメラ80Lが撮像した画像に基づいて生成される左カメラ画像にも同様に適用される。
 図4A及び図4Bに示すように、右カメラ80Rは、上部旋回体3に設けられた右ガードレールGRRに取り付けられ、左カメラ80Lは、上部旋回体3に設けられた左ガードレールGRLに取り付けられている。但し、右カメラ80Rは、所定の高さに設置されるのであれば、上部旋回体3に設けられたハンドレールHR又はミラーステー(不図示。)等に取り付けられていてもよい。例えば、右カメラ80Rは、右ガードレールGRRを構成する補強板部材である横部材SBに設けられていてもよいし、右ガードレールGRRを構成するパイプ部材である手摺り部材PMの最上部に設けられていてもよい。或いは、右カメラ80Rは、手摺り部材PMにおける、横部材SBより高い位置に設けられていてもよい。左カメラ80Lについても同様である。また、バックカメラ80B、左カメラ80L、及び右カメラ80Rは、望ましくは、設置高さがほぼ等しくなるように取り付けられる。
 図4Aにおける点線HXRは、右カメラ80Rの水平画角を示し、一点鎖線の光軸AXRは、右カメラ80Rの光軸を示す。破線HXaRは、右カメラ80Rの水平画角のうち、歪曲収差が所定値以下となる水平画角を示す。左カメラ80Lの水平画角、及び、その水平画角のうち歪曲収差が所定値以下となる水平画角は、図4Aでは不可視であるが、右カメラ80Rと同じである。
 また、図4Bにおける点線VXRは、右カメラ80Rの垂直画角を示し、破線VXaRは、右カメラ80Rの垂直画角のうち、歪曲収差が所定値以下となる垂直画角を示す。また、一点鎖線の光軸AXLは、左カメラ80Lの光軸を示し、点線VXLは、左カメラ80Lの垂直画角を示し、破線VXaLは、左カメラ80Lの垂直画角のうち、歪曲収差が所定値以下となる垂直画角を示す。
 図6Aは、右カメラ80Rが撮像した画像41Raを示す。図6Bは、表示装置40の画像表示部41に表示される右カメラ画像41Rを示す。
 図6Aに示すように、右カメラ80Rが撮像した画像41Raは、右サイドパネル画像G21、前端画像G22、後端画像G23、及び杭画像G24を含む。
 光軸点M21は、右カメラ80Rの光軸AXRと被写体である地物との交点に対応する画素である。破線M22で示す楕円は、歪曲収差が所定値以下となる画像範囲を示し、図4Aの破線HXaRで示す水平画角、及び、図4Bの破線VXaRで示す垂直画角に対応している。二点鎖線M23で示す矩形は、トリミング処理又はマスク処理が施される範囲を示す。
 光軸点M21、破線M22、及び二点鎖線M23は、説明のために追加された図形であり、実際には右カメラ80Rが撮像した画像41Raには含まれていない。
 右サイドパネル画像G21は、右サイドパネルSPRの画像である。前端画像G22は、上部旋回体3の右前端の画像である。後端画像G23は、上部旋回体3の右後端の画像である。杭画像G24は、地面に立てられた杭P5の画像である。杭P5は、図4A及び図4Bに示すように、上部旋回体3の右斜め後方の位置に立てられている。具体的には、杭P5は、下部走行体1の前後軸と上部旋回体3の前後軸とが垂直な状態においてショベルPS(上部旋回体3)が右方向に移動したとしても、すなわち、下部走行体1が前進或いは後進したとしても、ショベルPSとは接触しない位置に立てられている。
 画像41Raは、図5Aに示す画像41Baの場合と同様に、光軸点M21が右サイドパネル画像G21の近くに配置されるように構成されている。具体的には、画像41Raは、歪曲収差が所定値以下となる画像範囲(破線M22で囲まれた範囲であり、光軸点M21を含む。)が、地面の画像と右サイドパネル画像G21の中央部分との境界部分を含むように構成されている。すなわち、画像41Raは、上部旋回体3の上面の縁部の画像部分における歪曲収差が、他の画像部分の歪曲収差よりも小さくなるように構成されている。
 右カメラ画像41Rは、右カメラ80Rが撮像した画像41Raのうちの二点鎖線M23で囲まれた矩形領域にトリミング処理又はマスク処理を施すことで生成される。
 この構成により、地面の画像と右サイドパネル画像G21との境界部分は、図5Aに示す境界部分の場合と同様に、歪曲が抑制される。そのため、右カメラ画像41Rを見た操作者は、その境界部分における地物とショベルPSとの位置関係をより直感的に把握できる。
 また、この例では、光軸点M21は、右サイドパネル画像G21の外側(上側)に配置されているが、右サイドパネル画像G21の内側に配置されていてもよい。すなわち、右カメラ80Rは、光軸AXRと右サイドパネルSPRとが交差するように、右ガードレールGRRに取り付けられていてもよい。
 また、右カメラ画像41Rを見た操作者は、比較的高い位置に取り付けられた右カメラ80Rによって撮像可能となった前端画像G22が右カメラ画像41Rに表示されているため、上部旋回体3の右方又は右斜め前方に存在する地物とショベルPSとの位置関係を容易に認識できる。同様に、右カメラ画像41Rを見た操作者は、比較的高い位置に取り付けられた右カメラ80Rによって撮像可能となった後端画像G23が右カメラ画像41Rに表示されているため、上部旋回体3の右方又は右斜め後方に存在する地物とショベルPSとの位置関係を容易に認識できる。
 また、右カメラ画像41Rを見た操作者は、前端画像G22と後端画像G23とが右カメラ画像41Rに表示されているため、右サイドパネル画像がカメラ画像の全幅にわたって表示されている場合よりも、すなわち、上部旋回体3の前端及び後端が表示されていない場合よりも、上部旋回体3の右方に存在する地物とショベルPSとの位置関係を容易に認識できる。
 次に、図7を参照し、右カメラ画像41Rの別の表示例について説明する。図7の右カメラ画像41Rは、右サイドパネル画像G21、前端画像G22、及び後端画像G23の代わりに、上部旋回体図形G31及びステップ図形G32を含む点で、図6Bの右カメラ画像41Rと異なる。また、別の杭画像G33を含む点で、図6Bの右カメラ画像41Rと異なる。但し、図7の右カメラ画像41Rは、他の部分に関しては、図6Bの右カメラ画像41Rと同じである。そのため、同じ部分の説明を省略し、相違部分を詳説する。
 上部旋回体図形G31は、上部旋回体3の長さL1(図3A参照。)を示す図形である。図7の例では、上部旋回体図形G31は、上部旋回体3の長さL1を所定の仮想平面(例えばショベルPSが位置する地面に対応する仮想平面)に投影したときの長さを有する略矩形のコンピュータグラフィクス(図形)であり、右サイドパネル画像の上に重畳表示されている。
 ステップ図形G32は、上部旋回体3の右前部に設置されているステップSTの長さL2(図3A参照。)を示す図形である。図7の例では、ステップ図形G32は、上部旋回体図形G31と同様に、ステップSTの長さL2を所定の仮想平面(例えばショベルPSが位置する地面に対応する仮想平面)に投影したときの長さを有する略矩形のコンピュータグラフィクス(図形)であり、右サイドパネル画像の上に重畳表示されている。
 具体的には、表示装置40の変換処理部40aは、図6Aにおける二点鎖線M23で囲まれた矩形領域にトリミング処理又はマスク処理を施した上で、右サイドパネル画像G21の上に、右カメラ画像41Rにおけるショベルの機体長さと地物との位置関係が実際の位置関係と同じになる態様で、上部旋回体図形G31及びステップ図形G32を重畳表示させている。
 杭画像G33は、上部旋回体3の右斜め前方の位置に立てられている不図示の杭P6の画像である。具体的には、杭P6は、下部走行体1の前後軸と上部旋回体3の前後軸とが垂直な状態においてショベルPS(上部旋回体3)が右方向に移動したとしても、すなわち、下部走行体1が前進或いは後進したとしても、ショベルPSとは接触しない位置に立てられている。
 図6Bの右カメラ画像41Rを見た操作者は、下部走行体1の前後軸と上部旋回体3の前後軸とが垂直な状態において上部旋回体3を右方向に移動させるときに、上部旋回体3の右側後端と杭P5とが接触すると誤って認識してしまうおそれがある。右カメラ画像41Rの幅方向において、後端画像G23が杭画像G24よりも右側に位置しているためである。
 これに対し、図7の右カメラ画像41Rは、上部旋回体3の右側後端と杭P5とが接触しないことをショベルPSの操作者により確実に認識させることができる。右カメラ画像41Rの幅方向において、上部旋回体図形G31の右端が杭画像G24よりも左側に位置しているためである。同様に、図7の右カメラ画像41Rは、ステップSTと杭P6とが接触しないことをショベルPSの操作者により確実に認識させることができる。右カメラ画像41Rの幅方向において、ステップ図形G32の左端が杭画像G33よりも右側に位置しているためである。
 このように、図7に示す例では、変換処理部40aは、上部旋回体図形G31の右端とステップ図形G32の左端との間の幅が、杭画像G24と杭画像G33との間の幅より小さく見えるように、上部旋回体図形G31及びステップ図形G32を重畳表示させている。実際の上部旋回体3の長さL1(図3A参照。)とステップSTの長さL2(図3A参照。)との合計は、杭P5と杭P6との間の幅よりも小さいためである。但し、変換処理部40aは、右カメラ画像41Rにおけるショベルの機体長さと地物との位置関係が実際の位置関係と完全に同じになる態様で上部旋回体図形G31及びステップ図形G32を表示させる必要はない。例えば、上部旋回体図形G31及びステップ図形G32の少なくとも一方の縮尺は、必ずしも正確である必要はない。
 次に、図8を参照し、表示装置40に表示されるメイン画面41Vの構成例について説明する。図8のメイン画面41Vは、例えば、ショベルPSの稼働中に画像表示部41に表示される。
 メイン画面41Vは、日時表示領域41a、走行モード表示領域41b、アタッチメント表示領域41c、エンジン制御状態表示領域41e、エンジン稼働時間表示領域41f、冷却水温表示領域41g、燃料残量表示領域41h、回転数モード表示領域41i、作動油温表示領域41k、カメラ画像表示領域41m、及び向き表示アイコン41xを含む。
 走行モード表示領域41b、アタッチメント表示領域41c、エンジン制御状態表示領域41e、及び回転数モード表示領域41iは、ショベルPSの設定状態に関する情報である設定状態情報を表示する領域である。エンジン稼働時間表示領域41f、冷却水温表示領域41g、燃料残量表示領域41h、及び作動油温表示領域41kは、ショベルPSの稼動状態に関する情報である稼動状態情報を表示する領域である。
 具体的には、日時表示領域41aは、現在の日時を表示する領域である。走行モード表示領域41bは、現在の走行モードを表示する領域である。アタッチメント表示領域41cは、現在装着されているエンドアタッチメントを表す画像を表示する領域である。図8は、削岩機を表す画像が表示された状態を示している。
 エンジン制御状態表示領域41eは、エンジン11の制御状態を表示する領域である。エンジン稼働時間表示領域41fは、エンジン11の累積稼働時間を表示する領域である。冷却水温表示領域41gは、現在のエンジン冷却水の温度状態を表示する領域である。燃料残量表示領域41hは、燃料タンクに貯蔵されている燃料の残量状態を表示する領域である。回転数モード表示領域41iは、エンジン回転数調整ダイヤル75によって設定された現在の回転数モードを表示する領域である。作動油温表示領域41kは、作動油タンク内の作動油の温度状態を表示する領域である。
 カメラ画像表示領域41mは、撮像装置80が撮像した画像を表示する領域である。図8の例では、カメラ画像表示領域41mは、バックカメラ80Bが撮像した画像に基づいて生成されるバックカメラ画像を表示している。このバックカメラ画像は、例えば図5Bに示すバックカメラ画像41Bであり、カウンタウェイト図形G18を含む。
 向き表示アイコン41xは、表示画面に表示される撮像画像を撮像した撮像装置80の向きと上部旋回体3の向きとの相対的位置関係を表すアイコンである。図8に示す例では、カメラ画像表示領域41mに表示されるカメラ画像を撮像したカメラがバックカメラ80Bであることを表す向き表示アイコン41xがカメラ画像表示領域41mの右下隅に表示されている。なお、向き表示アイコン41xは、カメラ画像表示領域41mの下部中央、左下隅、右上隅、又は左上隅等、右下隅以外の位置に表示されてもよく、カメラ画像表示領域41mの外部に表示されてもよい。
 表示装置40は、図3Bに示すようなバックカメラ画像41B、又は、図6B若しくは図7に示すような右カメラ画像41R等の他のカメラ画像をカメラ画像表示領域41mに表示させてもよい。
 上述のように、本発明の実施形態に係るショベルPSは、下部走行体1と、旋回機構2を介して下部走行体1に搭載された上部旋回体3と、上部旋回体3の周囲を撮像するように上部旋回体3に取り付けられた撮像装置80と、撮像装置80で撮像された画像を表示する表示装置40と、を有する。そして、表示装置40は、上部旋回体3の上面の縁部の画像部分における歪曲収差が、他の画像部分の歪曲収差よりも小さくなるように、撮像装置80で撮像された画像を表示するように構成されている。撮像装置80は、光軸が上部旋回体3の上面の縁部の近傍を通るように、上部旋回体3の上側に取り付けられていてもよい。この場合、上部旋回体3の上面の縁部の近傍を通る光軸と、上部旋回体3の上面の縁部を通る光軸との間の角度は、所定角度以下である。言い換えれば、上部旋回体3の上面を含む仮想水平面における、上部旋回体3の上面の縁部の近傍を通る光軸と、上部旋回体3の上面の縁部を通る光軸との間の距離は、所定距離以下である。
 撮像装置80は、例えば、バックカメラ80B、左カメラ80L、及び右カメラ80Rを含む。この場合、例えば図4A及び図4Bに示すように、バックカメラ80Bは、光軸AXBが上部旋回体3の上面後側の縁部の近傍を通るように、上部旋回体3の上側に設置されたブラケットCPに取り付けられていてもよい。左カメラ80Lは、光軸AXLが上部旋回体3の上面左側の縁部の近傍を通るように、上部旋回体3の上側に設置された左ガードレールGRLに取り付けられていてもよい。右カメラ80Rは、光軸AXRが上部旋回体3の上面右側の縁部の近傍を通るように、上部旋回体3の上側に設置された右ガードレールGRRに取り付けられていてもよい。
 この構成により、ショベルPSは、ショベルPSの周囲に存在する地物とショベルPSの幅(ショベルPSの前後幅及び左右幅を含む。)との関係をより分かり易く操作者に認識させることができる。そのため、操作者は、ショベルPSの周囲の状況をより正確に把握できる。その結果、ショベルPSは、操作者の作業環境を改善できる。ショベルPSの操作者は、例えば、法面仕上げ作業の際に、法面より高いところにある地面(例えば法肩を含む地面)に位置するショベルPSを後進させる場合、バックカメラ画像41Bを見ることで、クローラ1Cが通る軌道と法肩との位置関係を正確に把握できる。そのため、ショベルPSは、ショベルPSの後進に関して操作者が必要以上に慎重になってしまうのを防止できる。その結果、ショベルPSは、作業効率が低下してしまうのを防止できる。
 また、本発明の別の実施形態に係るショベルPSは、下部走行体1と、旋回機構2を介して下部走行体1に搭載された上部旋回体3と、上部旋回体3に搭載された運転室10と、運転室10内に設けられた表示装置40と、上部旋回体3の周囲を撮像するように上部旋回体3に取り付けられた撮像装置80と、を有する。そして、表示装置40は、撮像装置80が撮像した画像における、上部旋回体3の上面の縁部の画像が表示される位置又はその近傍に、上部旋回体3の幅を表す図形を表示するように構成されている。
 表示装置40は、例えば図3A及び図3Bに示すように、バックカメラ80Bが撮像したバックカメラ画像41Bにおける、上部旋回体3の上面後側の縁部の画像であるカウンタウェイト画像G3が表示される位置或いはその近傍に、上部旋回体3の幅を表す図形であるカウンタウェイト図形G5を表示するように構成されていてもよい。
 或いは、表示装置40は、例えば図5A及び図5Bに示すように、バックカメラ80Bが撮像した画像41Baにおける、上部旋回体3の上面後側の縁部の画像であるカウンタウェイト画像G11が表示される位置或いはその近傍に、上部旋回体3の幅を表す図形であるカウンタウェイト図形G18を表示するように構成されていてもよい。
 或いは、表示装置40は、例えば図7に示すように、右カメラ80Rが撮像した画像41Ra(図6A参照。)における、上部旋回体3の上面右側の縁部の画像である右サイドパネル画像G21が表示される位置或いはその近傍に、上部旋回体3の前後幅を表す図形である上部旋回体図形G31及びステップ図形G32を表示するように構成されていてもよい。
 撮像装置80は、望ましくは、撮像装置80が撮像した画像が、上部旋回体3の上面の縁部の両端の画像を含むように、上部旋回体3の上側に取り付けられている。例えば、バックカメラ80Bは、図5Aに示すように、バックカメラ80Bが撮像した画像41Baが、カウンタウェイトCWの上面後側の縁部の両端の画像である、右端画像G12及び左端画像G13を含むように、カウンタウェイトCWの上側に設置されたブラケットCPに取り付けられていてもよい。また、右カメラ80Rは、図6Aに示すように、右カメラ80Rが撮像した画像41Raが、上部旋回体3の右側の縁部の両端の画像である、前端画像G22及び後端画像G23を含むように、上部旋回体3に設置された右ガードレールGRRに取り付けられていてもよい。
 上部旋回体3の上面の画像のうち、縁部の画像部分以外の画像部分はトリミング処理又はマスク処理が施されてもよい。監視が必要な部分の画像をできるだけ見易くするためである。
 ショベルPSは、ショベルPSの周囲に存在する物体が検出できるように構成されていてもよい。図9は、ショベルPSの別の構成例を示すショベルPSの側面図である。図9に示すショベルPSは、物体検出装置90を搭載している点で、図1に示すショベルPSと異なるが、その他の点で共通している。そのため、共通部分の説明を省略し、相違部分を詳説する。
 図9に示すショベルPSは、撮像装置80及び物体検出装置90の少なくとも一方を用いて物体が検出できるように構成されている。
 物体検出装置90は、ショベルPSの後方の空間を監視するバックセンサ90B、ショベルPSの左方の空間を監視する左センサ90L、及び、ショベルPSの右方の空間を監視する右センサ90Rを含む。物体検出装置90は、ショベルPSの前方の空間を監視する前センサを含んでいてもよい。バックセンサ90B、左センサ90L、及び右センサ90Rのそれぞれは、例えば、LIDAR、ミリ波レーダ、又はステレオカメラ等である。
 撮像装置80の出力を用いて物体を検出する場合、コントローラ30は、例えば、撮像装置80が撮像した画像に各種の画像処理を施した上で、公知の画像認識技術を利用して物体を検出する。なお、撮像装置80は、ショベルPSの前方の空間を撮像する前カメラを含んでいてもよい。
 ショベルPSは、撮像装置80及び物体検出装置90の少なくとも一方によって検出された物体に関する情報を表示装置40に表示させてもよい。具体的には、撮像装置80及び物体検出装置90の少なくとも一方によって物体が検出された場合、ショベルPSは、検出された物体の実際の位置に対応する表示画像上の位置に、検出された物体を特定できるようにする画像を表示させてもよい。
 例えば、ショベルPSの後方で人が検出された場合、ショベルPSは、バックカメラ画像41B上において、検出された人の実際の位置に対応するバックカメラ画像41B上の位置に、特定画像(枠又はアイコン等)を重畳表示させてもよい。ショベルPSは、ショベルPSと人との位置関係に応じ、特定画像の表示形態を変化させてもよい。例えば、ショベルPSは、ショベルPSと人との間の距離に応じて特定画像の色及び濃淡の少なくとも1つを変化させてもよい。ショベルPSの側方で人が検出された場合についても同様である。
 図10は、撮像装置80がショベルPSの後方で人を検出したときに画像表示部41に表示されるメイン画面41Vの構成例を示し、図8に対応している。
 図10のメイン画面41Vは、バックカメラ画像41Bに人の画像WKが表示され、且つ、画像WKを囲む枠画像FRが表示されている点で、図8のメイン画面41Vと異なるが、その他の点で図8のメイン画面41Vと共通する。
 図10に示す例では、ショベルPSは、後方で作業する二人の作業者を検出している。そのため、バックカメラ画像41Bには、二人の作業者のうちの一方の画像WK1及びその画像WK1を囲む枠画像FR1と、二人の作業者のうちの他方の画像WK2及びその画像WK2を囲む枠画像FR2とが表示されている。
 具体的には、図10に示す例では、ショベルPSは、検出した人の位置が、下部走行体1の軌道範囲内に含まれるか否かに基づいて枠画像FRの太さを変更するように構成されている。下部走行体1の軌道範囲は、例えば、下部走行体1を前後方向に直進させたときに右側クローラ1CRが通る軌道と、左側クローラ1CLが通る軌道と、それらの間にある領域とを含む範囲を意味する。図10に示す例では、ショベルPSは、二人の作業者のうちの一方の位置が下部走行体1の軌道範囲内に含まれ、二人の作業者のうちの他方の位置が下部走行体1の軌道範囲内に含まれないと判定している。そのため、ショベルPSは、画像WK1を囲む枠画像FR1の太さを、画像WK2を囲む枠画像FR2の太さよりも太くしている。
 なお、ショベルPSは、検出した人の位置が、下部走行体1の軌道範囲内に含まれるか否かに基づいて枠画像FRの色を変更するように構成されていてもよい。
 このメイン画面41Vを見た操作者は、ショベルPSを後方に直進させた場合には、ショベルPSと二人の作業者のうちの一方とが接触するおそれがあることを直感的に把握できる。
 ショベルPSは、ショベルPSを前後方向に直進させたときにクローラ1Cが通る軌道を表す図形である軌道図形をバックカメラ画像41B上に重畳表示させてもよい。右カメラ画像及び左カメラ画像についても同様である。
 図11は、軌道図形G6が重畳表示されたバックカメラ画像41Bの表示例を示し、図3Bに対応している。
 図11に示す例では、軌道図形G6は、ショベルPSを前後方向に直進させたときに左側クローラ1CLが通る軌道の左端を表す線分G6Lと、ショベルPSを前後方向に直進させたときに右側クローラ1CRが通る軌道の右端を表す線分G6Rと、を含む。
 軌道図形G6が重畳表示されたバックカメラ画像41Bを見た操作者は、ショベルPSを後方に直進させたときに左側クローラ1CLの左端が通る線、及び、右側クローラ1CRの右端が通る線を直感的に把握できる。
 以上、本発明の好ましい実施形態が説明された。しかしながら、本発明は、上述した実施形態に限定されることはない。上述した実施形態は、本発明の範囲を逸脱することなしに、種々の変形、置換等が適用され得る。また、上述の実施形態を参照して説明された特徴のそれぞれは、技術的に矛盾しない限り、適宜に組み合わされてもよい。
 本願は、2018年7月31日に出願した日本国特許出願2018-144608号に基づく優先権を主張するものであり、この日本国特許出願の全内容を本願に参照により援用する。
 1・・・下部走行体 1C・・・クローラ 1CL・・・左側クローラ 1CR・・・右側クローラ 2・・・旋回機構 3・・・上部旋回体 4・・・ブーム 5・・・アーム 6・・・バケット 7・・・ブームシリンダ 8・・・アームシリンダ 9・・・バケットシリンダ 10・・・運転室 11・・・エンジン 11a・・・オルタネータ 11b・・・スタータ 11c・・・水温センサ 14・・・メインポンプ 14a・・・レギュレータ 14b・・・吐出圧力センサ 14c・・・油温センサ 15・・・パイロットポンプ 15a、15b・・・圧力センサ 17・・・コントロールバルブユニット 26・・・操作装置 26S・・・スイッチボタン 30・・・コントローラ 30a・・・記憶部 40・・・表示装置 40a・・・変換処理部 41・・・画像表示部 42・・・入力装置 49・・・ゲートロックレバー 49a・・・ゲートロック弁 70・・・蓄電池 72・・・電装品 74・・・エンジンコントローラ 75・・・エンジン回転数調整ダイヤル 80・・・撮像装置 80B・・・バックカメラ 80L・・・左カメラ 80R・・・右カメラ 90・・・物体検出装置 90B・・・バックセンサ 90L・・・左センサ 90R・・・右センサ CP・・・ブラケット CW・・・カウンタウェイト FR、FR1、FR2・・・枠画像 G1・・・第1ポール画像 G2・・・第2ポール画像 G3・・・カウンタウェイト画像 G4・・・杭画像 G5・・・カウンタウェイト図形 G6・・・軌道図形 G11・・・カウンタウェイト画像 G12・・・右端画像 G13・・・左端画像 G14・・・第1ロードコーン画像 G15・・・第2ロードコーン画像 G16・・・杭画像 G17・・・杭画像 G18・・・カウンタウェイト図形 G21・・・右サイドパネル画像 G22・・・前端画像 G23・・・後端画像 G24・・・杭画像 G31・・・上部旋回体図形 G32・・・ステップ図形 G33・・・杭画像 GP1・・・GPS装置 GRL・・・左ガードレール GRR・・・右ガードレール P1・・・第1ポール P2・・・第2ポール P3~P5・・・杭 PM・・・手摺り部材 PS・・・ショベル SB・・・横部材 SPR・・・右サイドパネル ST・・・ステップ T1・・・通信装置

Claims (7)

  1.  下部走行体と、
     旋回機構を介して前記下部走行体に搭載された上部旋回体と、
     前記上部旋回体の周囲を撮像するように前記上部旋回体に取り付けられた撮像装置と、
     前記撮像装置で撮像された画像を表示する表示装置と、を有し、
     前記表示装置は、前記上部旋回体の上面の縁部の画像部分における歪曲収差が、他の画像部分の歪曲収差よりも小さくなるように、前記撮像装置で撮像された画像を表示する、
     ショベル。
  2.  下部走行体と、
     旋回機構を介して前記下部走行体に搭載された上部旋回体と、
     前記上部旋回体に搭載された運転室と、
     前記運転室内に設けられた表示装置と、
     前記上部旋回体の周囲を撮像するように前記上部旋回体に取り付けられた撮像装置と、を有し、
     前記表示装置は、前記撮像装置が撮像した画像における、前記上部旋回体の上面の縁部の画像が表示される位置に、前記上部旋回体の幅を表す図形を表示する、
     ショベル。
  3.  前記撮像装置は、前記撮像装置が撮像した画像が、前記上部旋回体の上面の縁部の両端の画像を含むように、前記上部旋回体の上側に取り付けられている、
     請求項1に記載のショベル。
  4.  前記上部旋回体の上面の画像のうち、前記縁部の画像部分以外の画像部分はトリミング処理又はマスク処理が施される、
     請求項1に記載のショベル。
  5.  前記撮像装置は、バックカメラを含み、
     前記バックカメラは、前記バックカメラが撮像した画像が、カウンタウェイトの左端及び右端の画像を含むように、前記カウンタウェイトの上面から所定の高さの位置に設置される、
     請求項1に記載のショベル。
  6.  前記撮像装置は、サイドカメラを含み、
     前記サイドカメラは、前記サイドカメラが撮像した画像が、前記上部旋回体の前端及び後端の画像を含むように、前記上部旋回体に設けられたハンドレール又はガードレールに取り付けられる、
     請求項1に記載のショベル。
  7.  前記撮像装置の光軸は、前記上部旋回体の上面の縁部の近傍を通る、
     請求項1に記載のショベル。
PCT/JP2019/029849 2018-07-31 2019-07-30 ショベル WO2020027139A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020207033739A KR20210037607A (ko) 2018-07-31 2019-07-30 쇼벨
JP2020534673A JP7396987B2 (ja) 2018-07-31 2019-07-30 ショベル
CN201980037140.7A CN112218988B (zh) 2018-07-31 2019-07-30 挖土机
EP19844538.9A EP3832034B1 (en) 2018-07-31 2019-07-30 Excavator
US17/158,268 US11987959B2 (en) 2018-07-31 2021-01-26 Shovel

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-144608 2018-07-31
JP2018144608 2018-07-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/158,268 Continuation US11987959B2 (en) 2018-07-31 2021-01-26 Shovel

Publications (1)

Publication Number Publication Date
WO2020027139A1 true WO2020027139A1 (ja) 2020-02-06

Family

ID=69231819

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/029849 WO2020027139A1 (ja) 2018-07-31 2019-07-30 ショベル

Country Status (6)

Country Link
US (1) US11987959B2 (ja)
EP (1) EP3832034B1 (ja)
JP (1) JP7396987B2 (ja)
KR (1) KR20210037607A (ja)
CN (1) CN112218988B (ja)
WO (1) WO2020027139A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210148088A1 (en) * 2018-07-31 2021-05-20 Sumitomo Construction Machinery Co., Ltd. Shovel

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009113561A (ja) * 2007-11-02 2009-05-28 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd 建設機械用モニター装置
JP2011179279A (ja) * 2010-03-03 2011-09-15 Hitachi Constr Mach Co Ltd 作業機械の監視装置
JP2012172350A (ja) * 2011-02-20 2012-09-10 Kajima Corp 魚眼レンズ利用の作業機械周囲監視方法及びシステム
JP2014183497A (ja) 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2015184903A (ja) * 2014-03-24 2015-10-22 日立建機株式会社 自走式産業機械の画像処理装置
JP2016013887A (ja) * 2014-07-01 2016-01-28 株式会社タダノ クレーン車の障害物報知システム
JP2017147759A (ja) * 2017-05-08 2017-08-24 住友建機株式会社 ショベル
JP2018036937A (ja) * 2016-09-01 2018-03-08 住友電気工業株式会社 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
JP2018144608A (ja) 2017-03-03 2018-09-20 三菱重工業株式会社 舶用ディーゼルエンジン

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549139B2 (en) * 1997-02-27 2003-04-15 Jack B. Shaw, Jr. Crane safety device and methods
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP4104631B2 (ja) 2006-03-27 2008-06-18 三洋電機株式会社 運転支援装置
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
JP4776491B2 (ja) 2006-10-06 2011-09-21 日立建機株式会社 作業機械の周囲監視装置
JP2008312004A (ja) * 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
CN101354441A (zh) * 2008-09-11 2009-01-28 上海交通大学 全天候运行的移动机器人定位系统
JP5090496B2 (ja) * 2010-04-12 2012-12-05 住友重機械工業株式会社 画像生成装置及び操作支援システム
EP2631374B1 (en) * 2010-10-22 2020-09-30 Hitachi Construction Machinery Co., Ltd. Work machine peripheral monitoring device
US9970180B2 (en) * 2011-03-14 2018-05-15 Caterpillar Trimble Control Technologies Llc System for machine control
JP5750344B2 (ja) * 2011-09-16 2015-07-22 日立建機株式会社 作業機の周囲監視装置
JP6029306B2 (ja) * 2012-03-29 2016-11-24 住友建機株式会社 作業機械用周辺監視装置
WO2014073571A1 (ja) 2012-11-08 2014-05-15 日立建機株式会社 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法
WO2014106935A1 (ja) * 2013-01-04 2014-07-10 富士フイルム株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
JP6545430B2 (ja) * 2013-03-19 2019-07-17 住友重機械工業株式会社 ショベル
JP6071786B2 (ja) * 2013-07-17 2017-02-01 日立建機株式会社 作業機械の周囲監視装置
WO2015029110A1 (ja) * 2013-08-26 2015-03-05 日立建機株式会社 作業機械の周囲監視装置
WO2016157463A1 (ja) 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
JP6682336B2 (ja) * 2016-04-20 2020-04-15 オリンパス株式会社 カメラシステム、及びカメラ本体
JP6794193B2 (ja) * 2016-09-02 2020-12-02 株式会社小松製作所 作業機械の画像表示システム
WO2018119240A1 (en) * 2016-12-21 2018-06-28 Massachusetts Institute Of Technology Determining soil state and controlling equipment based on captured images
WO2019181865A1 (ja) * 2018-03-20 2019-09-26 住友建機株式会社 ショベル
CN111601935A (zh) * 2018-03-30 2020-08-28 住友建机株式会社 挖土机
JP7396987B2 (ja) * 2018-07-31 2023-12-12 住友建機株式会社 ショベル
EP3859090A4 (en) * 2018-09-25 2022-05-18 Hitachi Construction Machinery Co., Ltd. OUTER PROFILE MEASUREMENT SYSTEM FOR EARTHWORKING MACHINE, OUTER PROFILE DISPLAY SYSTEM FOR EARTHWORKING MACHINE, CONTROL SYSTEM FOR EARTHWORKING MACHINE, AND EARTHWORKING MACHINE
US11370360B2 (en) * 2019-12-25 2022-06-28 Panasonic Intellectual Property Management Co., Ltd. Display system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009113561A (ja) * 2007-11-02 2009-05-28 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd 建設機械用モニター装置
JP2011179279A (ja) * 2010-03-03 2011-09-15 Hitachi Constr Mach Co Ltd 作業機械の監視装置
JP2012172350A (ja) * 2011-02-20 2012-09-10 Kajima Corp 魚眼レンズ利用の作業機械周囲監視方法及びシステム
JP2014183497A (ja) 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2015184903A (ja) * 2014-03-24 2015-10-22 日立建機株式会社 自走式産業機械の画像処理装置
JP2016013887A (ja) * 2014-07-01 2016-01-28 株式会社タダノ クレーン車の障害物報知システム
JP2018036937A (ja) * 2016-09-01 2018-03-08 住友電気工業株式会社 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
JP2018144608A (ja) 2017-03-03 2018-09-20 三菱重工業株式会社 舶用ディーゼルエンジン
JP2017147759A (ja) * 2017-05-08 2017-08-24 住友建機株式会社 ショベル

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210148088A1 (en) * 2018-07-31 2021-05-20 Sumitomo Construction Machinery Co., Ltd. Shovel
US11987959B2 (en) * 2018-07-31 2024-05-21 Sumitomo Construction Machinery Co., Ltd. Shovel

Also Published As

Publication number Publication date
CN112218988A (zh) 2021-01-12
EP3832034A4 (en) 2022-03-23
KR20210037607A (ko) 2021-04-06
EP3832034B1 (en) 2023-08-23
US20210148088A1 (en) 2021-05-20
JP7396987B2 (ja) 2023-12-12
JPWO2020027139A1 (ja) 2021-08-26
CN112218988B (zh) 2023-06-09
EP3832034A1 (en) 2021-06-09
US11987959B2 (en) 2024-05-21

Similar Documents

Publication Publication Date Title
US10927528B2 (en) Shovel
CN107406035B (zh) 工程作业机械
KR101843382B1 (ko) 크롤러식 작업 기계의 주변 감시 장치
EP3779066B1 (en) Shovel
KR20200096480A (ko) 쇼벨 및 쇼벨의 관리시스템
WO2018062363A1 (ja) ショベル
JP2017110472A (ja) ショベル
KR102333458B1 (ko) 쇼벨 및 쇼벨의 표시장치
EP3666979B1 (en) Display device for a shovel, corresponding shovel and display method
US11492782B2 (en) Display device for shovel displaying left and right mirror images and shovel including same
EP3604695B1 (en) Shovel with display device and image display method in shovel
JPWO2018159742A1 (ja) ショベル
CN113544343A (zh) 挖土机
WO2020027139A1 (ja) ショベル
JP2017210729A (ja) ショベル
JP2022154720A (ja) ショベル、建設機械の管理装置
KR20200136415A (ko) 쇼벨

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19844538

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020534673

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019844538

Country of ref document: EP

Effective date: 20210301