WO2021187082A1 - 作業機械および作業機械の制御方法 - Google Patents

作業機械および作業機械の制御方法 Download PDF

Info

Publication number
WO2021187082A1
WO2021187082A1 PCT/JP2021/007848 JP2021007848W WO2021187082A1 WO 2021187082 A1 WO2021187082 A1 WO 2021187082A1 JP 2021007848 W JP2021007848 W JP 2021007848W WO 2021187082 A1 WO2021187082 A1 WO 2021187082A1
Authority
WO
WIPO (PCT)
Prior art keywords
work machine
unit
display
boom
vehicle body
Prior art date
Application number
PCT/JP2021/007848
Other languages
English (en)
French (fr)
Inventor
一道 岡島
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to US17/782,399 priority Critical patent/US20230011758A1/en
Priority to JP2022508186A priority patent/JPWO2021187082A1/ja
Priority to DE112021000258.9T priority patent/DE112021000258B4/de
Priority to KR1020227019121A priority patent/KR20220097482A/ko
Priority to CN202180008655.1A priority patent/CN114945723A/zh
Publication of WO2021187082A1 publication Critical patent/WO2021187082A1/ja

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/40Special vehicles
    • B60Y2200/41Construction vehicles, e.g. graders, excavators
    • B60Y2200/412Excavators
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes

Definitions

  • the present invention relates to a work machine and a method for controlling the work machine.
  • Patent Document 1 discloses that a camera for taking a blind spot image is provided and the blind spot image is displayed on a non-transmissive LCD screen attached to a window of a cab blocked by a working machine.
  • the work machine includes a vehicle body, a work machine, a display unit, a detection unit, and a display control unit.
  • the vehicle body has a driver's seat.
  • the work machine is attached to the vehicle body and operates with respect to the vehicle body.
  • the display unit is provided on the working machine.
  • the detection unit detects an object in the area around the vehicle body on the opposite side of the driver's seat with respect to the working machine.
  • the display control unit displays the information detected by the detection unit on the display unit.
  • the work machine includes a vehicle body, a work machine, a display unit, a detection unit, and a display control unit.
  • the vehicle body has a driver's seat.
  • the work machine is attached to the vehicle body and operates with respect to the vehicle body.
  • the display unit is provided on the working machine.
  • the detection unit detects an object in the area around the vehicle body on the opposite side of the driver's seat with respect to the working machine.
  • the display control unit displays information according to the detection result of the detection unit on the display unit.
  • the work machine control method includes an imaging step, a boom angle detection step, a shielding area determination step, a shielding area extraction step, and a display step.
  • the imaging step captures an image of the area around the vehicle body that is opposite to the driver's seat with respect to the work equipment.
  • the boom angle detection step detects the elevation angle of the boom.
  • the shielded area determination step determines the shielded area in which the operator's field of view is blocked by the boom based on the detected elevation / elevation angle of the boom.
  • the shielded region extraction step extracts the image data of the shielded region portion from the image data captured by the imaging unit.
  • the display step displays an image based on the extracted image data on the side surface of the boom that is raised. (The invention's effect) According to the present disclosure, it is possible to provide a work machine and a control method of the work machine that allow an operator to confirm an object existing in a blind spot without impairing visibility from the driver's seat.
  • the plan view which shows the hydraulic excavator of FIG. The side view which shows the cab of the hydraulic excavator of FIG.
  • the plan view which shows the detection area by the detection part of the hydraulic excavator of FIG. The figure which shows the field of view from the driver's seat of the hydraulic excavator of FIG.
  • the block diagram which shows the control structure of the hydraulic excavator of FIG. The figure which shows the example of the image data acquired from the detection part of the hydraulic excavator of FIG.
  • the flow chart which shows the control operation of the hydraulic excavator of FIG. The plan view of the hydraulic excavator of Embodiment 2 which concerns on this disclosure.
  • the block diagram which shows the control structure of the hydraulic excavator of FIG. The figure which shows the field of view from the driver's seat of the hydraulic excavator of FIG.
  • the flow chart which shows the control operation of the hydraulic excavator of FIG. The figure which shows the predetermined range in the detection area of the hydraulic excavator of the modification of Embodiment 2 which concerns on this disclosure.
  • FIG. 1 is a schematic view showing the configuration of the hydraulic excavator 1 of the present embodiment.
  • FIG. 2 is a top view of the hydraulic excavator 1.
  • the hydraulic excavator 1 (an example of a work machine) includes a vehicle body 2, a work machine 3, a detection unit 4 (FIG. 2), a projection unit 5, a display unit 6 (FIG. 3 described later), and a control unit 7 (FIG. 3). 6), which will be described later, is provided.
  • the vehicle body 2 has a traveling body 21 and a turning body 22.
  • the traveling body 21 has a pair of traveling devices 21a and 21b. Each of the traveling devices 21a and 21b has tracks 21c and 21d, and the traveling motor is rotated by a driving force from the engine to drive the tracks 21c and 21d, so that the hydraulic excavator 1 travels.
  • the swivel body 22 is placed on the traveling body 21.
  • the swivel body 22 is provided so as to be swivelable with respect to the traveling body 21 about an axis along the vertical direction by a swivel device (not shown).
  • FIG. 3 is a side view of the cab 23. As shown in FIG. 3, inside the cab 23, a driver's seat 231, a lever 232 for operating the work machine 3, various display devices, and the like are arranged.
  • the swivel body 22 accommodates an engine, a hydraulic pump, etc. (not shown) on the rear side.
  • the front, rear, left and right will be described with reference to the driver's seat in the cab 23.
  • the direction in which the driver's seat faces the front is the front direction
  • the direction in which the driver's seat faces the front is the rear direction.
  • the right side and the left side in the lateral direction when the driver's seat faces the front are the right direction and the left direction, respectively.
  • the work machine 3 has a boom 31, an arm 32, and an excavation bucket 33 (an example of an attachment), and is attached to the front center position of the swivel body 22.
  • the work machine 3 is arranged on the right side of the cab 23.
  • the base end portion of the boom 31 is rotatably connected to the swivel body 22.
  • the tip end portion of the boom 31 is rotatably connected to the base end portion of the arm 32.
  • the tip of the arm 32 is rotatably connected to the excavation bucket 33.
  • the excavation bucket 33 is attached to the arm 32 so that its opening can face the direction (rear) of the vehicle body 2.
  • a hydraulic excavator in which the excavation bucket 33 is attached in such an orientation is called a backhoe.
  • Hydraulic cylinders 34 to 36 are arranged so as to correspond to the boom 31, the arm 32 and the excavation bucket 33, respectively.
  • the work machine 3 is driven by driving these hydraulic cylinders 34 to 36. As a result, work such as excavation is performed.
  • the base end portion of the boom 31 is located sideways with respect to the driver's seat 231, and the boom 31 moves up and down in front of the swivel body 22 by driving the boom cylinder 34. Therefore, when the boom 31 rotates upward, the view from the operator seated in the driver's seat 231 is blocked by the boom 31, and a blind spot is generated.
  • the position of the driver's seat 231 and the coordinates for specifying the predetermined height are set in advance.
  • the operator's line of sight is defined by a known method including inputting set values such as those input in advance on a monitor or the like.
  • the operator's line of sight can be set for each operator, and can be called, for example, by inputting the operator's ID.
  • the distance from the operator to the boom 31 can be specified, so that the area where the view is blocked by the boom 31 can be specified.
  • the detection unit 4 detects an object in a region around the vehicle body 2 where the view from the driver's seat 231 may be obstructed by the boom 31.
  • the detection unit 4 is provided on the swivel body 22.
  • the detection unit 4 is provided on the opposite side of the cab 23 with the working machine 3 interposed therebetween.
  • the detection unit 4 is arranged on the right side of the work machine 3 (an example on the first direction side).
  • the detection unit 4 has an imaging unit 41 and an object detection unit 42, as shown in FIG. 6, which will be described later.
  • a camera or the like can be used as the image pickup unit 41.
  • a CCD image sensor or the like can be used for the image pickup unit 41.
  • the image pickup unit 41 takes an image of the region R1 of the periphery of the vehicle body 2 opposite to the cab 23 of the work machine 3.
  • FIG. 4 is a diagram for showing a region R1 detected by the detection unit 4 in the periphery of the vehicle body 2.
  • the region R1 is the front right of the hydraulic excavator 1.
  • the region R1 may be between the line L1 extending to the right from the base end of the boom 31 of the work machine 3 and the extension line L2 to the front of the right side surface of the boom 31.
  • the area R1 is an area around the vehicle body 2 where the operator's field of view may be obstructed by the boom 31.
  • the image taken by the imaging unit 41 is transmitted to the control unit 7.
  • the object detection unit 42 detects an object.
  • the object detection unit 42 can use a laser, a sound wave, a stereo camera, or the like, but the object detection unit 42 is not limited to this, and the object may be detected by analyzing the image captured by the image pickup unit 41 by post-processing.
  • the object detection unit 42 can measure the distance to the object existing in the area R1.
  • the dump truck 100, the road cone 102, and the rock 101 are shown in the area R1.
  • the image pickup unit 41 captures an image including the dump truck 100, the road cone 102, and the rock 101.
  • the object detection unit 42 can measure the distance from the hydraulic excavator 1 to the dump truck 100 and the rock 101.
  • the rock 101 is arranged at a location close to the vehicle body 2.
  • the image pickup unit 41 and the object detection unit 42 may be provided one by one, but a plurality of image pickup units 41 and an object detection unit 42 may be provided for accurate detection.
  • the projection unit 5 projects an image on the surface of the work machine 3 based on the information detected by the detection unit 4.
  • FIG. 5 is a view showing the field of view from the operator seated in the driver's seat 231.
  • the installation location of the projection unit 5 is not particularly limited, but in the present embodiment, the projection unit 5 is arranged inside the cab 23 as shown in FIG. Further, the projection unit 5 is arranged near the right side surface of the cab 23.
  • the projection unit 5 projects an image onto the display unit 6 on the left side surface 31a of the boom 31 via the window 23a of the cab 23 based on the instruction signal from the control unit 7.
  • the display unit 6 shows a portion projected by the projection unit 5 on the left side surface 31a of the boom 31.
  • a short focus projector can be used, and an image is projected on the left side surface 31a of the boom 31 by using projection mapping.
  • the display unit 6 is shown by a dotted line in FIG. 3, since the area blocked by the operator is variable depending on the angle of the boom 31, the range of the display unit 6 also changes depending on the angle of the boom 31.
  • the dump truck 100 and the rock 101 shown in FIG. 4 can be displayed on the display unit 6 by projection by the projection unit 5, as shown in FIG. Since the road cone 102 is not blocked by the boom 31, the operator can directly see it through the window 23a.
  • FIG. 6 is a block diagram showing a control configuration of the hydraulic excavator 1 of the present embodiment.
  • the control unit 7 includes a processor and a storage device.
  • the processor is, for example, a CPU (Central Processing Unit). Alternatively, the processor may be a processor different from the CPU.
  • the processor executes a process for controlling the hydraulic excavator 1 according to a program.
  • the storage device includes a non-volatile memory such as ROM (Read Only Memory) and a volatile memory such as RAM (Random Access Memory).
  • the storage device may include a hard disk or an auxiliary storage device such as an SSD (Solid State Drive).
  • a storage device is an example of a recording medium that can be read by a non-transitory computer.
  • the storage device stores programs and data for controlling the hydraulic excavator.
  • the control unit 7 has the following functions by executing a program while using the data stored in the storage device.
  • the control unit 7 includes a display determination unit 70, an image data acquisition unit 71, an image conversion unit 72, a shielding area determination unit 73, a shielding area extraction unit 74, an obstacle detection unit 75, and an image addition unit 76. , And a display control unit 77.
  • the image data acquisition unit 71 acquires the image data of the area R1 from the image pickup unit 41, and acquires the object information in the area R1 from the object detection unit 42.
  • FIG. 7A is a diagram showing an example of acquired image data.
  • FIG. 7A shows the image data P1 taken by the imaging unit 41 of the detection unit 4.
  • the image data P1 shows a dump truck 100, a rock 101, and a road cone 102.
  • the image conversion unit 72 converts the angle of view of the extracted image.
  • the image captured by the imaging unit 41 has a different angle of view from the image of the viewpoint from the operator seated in the driver's seat 231. Therefore, the image conversion unit 72 converts the angle of view of the image captured by the image capturing unit 41 so as to match the viewpoint from the operator seated in the driver's seat 231.
  • FIG. 7B is a diagram showing image data P2 in which the angle of view of image data P1 is changed. In FIG. 7B, the positional relationship and size of the dump truck 100, the rock 101, and the road cone 102 are different from those in FIG. 7A.
  • the shielding area determination unit 73 determines the area shielded by the boom 31 based on the boom angle detection unit 31b. Depending on the angle of the boom 31, the area where the operator's field of view seated in the driver's seat 231 is blocked changes. Therefore, a shielding area is obtained and stored in advance for each angle of the boom 31, and by detecting the angle of the boom 31, the area where the operator's field of view is shielded by the boom 31 can be determined. In FIG. 7C, the region S1 shielded from the image data P1 by the boom 31 is indicated by a dotted line.
  • the shielded area extraction unit 74 extracts the image of the shielded area S1 determined by the shielded area determination unit 73 from the image data P2 whose angle of view has been changed.
  • FIG. 7D is a diagram showing image data P3 of the extracted shielding region S1. In this way, the region S1 shielded from the image data P2 is extracted as the image data P3 in the shielded region. In the extracted image data P3, the load cone 102 is excluded, but the load cone 102 can be directly visually recognized by the operator as shown in FIG.
  • the obstacle detection unit 75 detects obstacles based on the data from the detection unit 4.
  • the obstacle detection unit 75 detects an obstacle in the image data P3 of the extracted shielded area.
  • the obstacle detection unit 75 detects the distance of the object to the vehicle body 2 in the image data P3 based on the data of the object detection unit 42, and if the distance is within a predetermined range, detects the object as an obstacle. ..
  • the obstacle detection unit 75 may receive the object information in the area R1 from the object detection unit 42 via the image data acquisition unit 71, or may receive the object information directly from the object detection unit 42.
  • the image data P3 includes the dump truck 100 and the rock 101 as objects, but the rock 101 is detected as an obstacle because the distance from the vehicle body 2 is within a predetermined range. .. It should be noted that not only the object within a predetermined range from the vehicle body 2 is detected as an obstacle, for example, even if the object exists at a position farther than the predetermined range, the obstacle is approaching the vehicle body 2. It may be determined that. In addition, a means for setting the characteristics of the obstacle may be provided.
  • the display determination unit 70 determines whether or not to display an image and / or a warning based on the detection of the operation.
  • the display determination unit 70 determines that, for example, in the case of forward movement or working state, a warning display of an obstacle on the right front side is performed.
  • the advance can be determined from the drive of the traveling devices 21a and 21b.
  • the working state can be determined from the movement of the working machine 3 (for example, the operation of the boom 14), the operation of the working machine 3 (lever operation), and the like. Further, the display determination unit 70 determines that the display is not performed when, for example, the vehicle body 2 is stopped and the work machine 3 is not operating.
  • the image addition unit 76 adds the information of the detected obstacle to the extracted image data P3.
  • the obstacle information for example, warning information can be mentioned.
  • a circle 103 red circle surrounding the rock 101 is added to the image data P3 as shown in FIG. 7E.
  • Image data P4 is created.
  • Such a circle 103 is an example of a warning.
  • the circle 103 that surrounds the rock 101 is not limited to the circle 103, and the rock 101 itself may be red. In short, it may be a warning display that can notify the operator of the existence of the rock 101.
  • the display control unit 77 controls the projection unit 5 so as to project the image created by the image addition unit 76 onto the left side surface 31a of the boom 31.
  • the state in which the image data P4 shown in FIG. 7E is projected onto the left side surface 31a of the boom 31 is shown in FIG.
  • FIG. 8 is a flow chart showing the operation of the hydraulic excavator 1 of the present embodiment.
  • step S10 the image pickup unit 41 of the detection unit 4 images the image data P1 in the region R1.
  • Step S10 corresponds to an example of an imaging step.
  • step S20 the image data acquisition unit 71 acquires the image data P1 (see FIG. 7A) from the image pickup unit 41 of the detection unit 4 that detects the object in the area R1, and the object information from the object detection unit 42. To get.
  • step S30 the image conversion unit 72 converts the angle of view of the acquired image data P1 so as to be the viewpoint from the operator seated in the driver's seat 231 and creates the image data P2 (see FIG. 7B).
  • step S40 the boom angle detection unit 31b detects the elevation angle (boom angle) of the boom 31.
  • Step S40 corresponds to an example of the boom angle detection step.
  • step S50 the shielding area determination unit 73 determines the area S1 (see FIG. 7C) shielded by the boom 31 based on the boom angle detected by the boom angle detection unit 31b.
  • Step S50 corresponds to an example of the shielded area determination step.
  • step S60 the shielding area extraction unit 74 extracts the image data P3 (see FIG. 7D) of the shielding area S1 determined in step S50 from the image data P2 whose angle of view is changed in step S30.
  • step S70 the obstacle detection unit 75 detects an obstacle in the image data P3 of the extracted shielded area.
  • the rock 101 in the image data P3 is detected as an obstacle as if it exists within a predetermined range from the vehicle body 2.
  • step S80 the display determination unit 70 determines whether or not to display an image and / or a warning based on the detection of the operation.
  • the display determination unit 70 determines that, for example, in the case of forward movement or working state, a warning display of an obstacle on the right front side is performed.
  • step S80 for example, when the vehicle body 2 is stopped and the work machine 3 is not operating, the display determination unit 70 determines that the image and / or the warning is not displayed, and the control ends.
  • step S80 If it is determined in step S80 that the display determination unit 70 displays an image and / or a warning, the control proceeds to step S90.
  • step S90 the image adding unit 76 adds information on the detected obstacle to the image data P3 extracted in step S60 to create image data P4 (see FIG. 7E).
  • the information of the detected obstacle is a circle 103 surrounding the rock 101 which is an obstacle in FIG. 7E.
  • step S100 as shown in FIG. 4, the display control unit 77 controls and controls the projection unit 5 so as to project the image data P4 created in step S70 onto the left side surface 31a of the boom 31. Is finished.
  • Step S100 corresponds to an example of a display step.
  • the hydraulic excavator 1 (an example of a working machine) of the present embodiment includes a vehicle main body 2, a working machine 3, a display unit 6, a detection unit 4, and a display control unit 77.
  • the vehicle body 2 has a driver's seat 231.
  • the work machine 3 is attached to the vehicle body 2 and operates with respect to the vehicle body 2.
  • the display unit 6 is provided on the working machine 3 as shown in FIGS. 3 and 5.
  • the detection unit 4 detects an object in the region R1 on the side opposite to the driver's seat 231 with reference to the work machine 3 in the periphery of the vehicle body 2.
  • the display control unit 77 displays the information detected by the detection unit 4 on the display unit 6.
  • the window 23a is not used as the display unit, so that the visibility from the operator's window is not impaired. Further, by displaying the information about the object existing in the area of the blind spot blocked by the work machine 3 on the display unit 6 of the work machine 3, the operator sees the display unit 6 provided on the work machine and sees the blind spot. You can see the objects that exist in.
  • the object existing in the blind spot corresponds to a part of the dump truck 100 and the rock 101.
  • the detection unit 4 has an image pickup unit 41 for capturing an image.
  • the display control unit 77 displays the image data P4 based on the captured image data P1 on the display unit 6.
  • the hydraulic excavator 1 of the present embodiment further includes a projection unit 5 arranged on the vehicle body 2.
  • the display unit 6 is a part of the left side surface 31a of the working machine 3.
  • the display control unit 77 projects data onto the display unit 6 by the projection unit 5.
  • the hydraulic excavator 1 of the present embodiment further includes an obstacle detection unit 75 that detects an obstacle based on the detection of the detection unit 4.
  • the display control unit 77 causes the display unit 6 to display a warning based on the detection result of the obstacle.
  • the work machine 3 has a boom 31 installed on the right side of the driver's seat 231 in the width direction of the vehicle body 2.
  • the boom 31 can operate in front of the vehicle body 2.
  • the detection unit 4 detects an object in the region on the right side in front of the vehicle body 2.
  • the detection unit 4 has an image pickup unit 41 for capturing an image.
  • the hydraulic excavator 1 includes a boom angle detecting unit 31b, a shielding area determining unit 73, and a shielding area extracting unit 74.
  • the boom angle detection unit 31b detects the angle of the boom 31.
  • the shielding area determination unit 73 determines the shielding area S1 in which the operator's field of view is shielded by the boom 31 based on the detected angle of the boom 31.
  • the shielding region extraction unit 74 extracts the image data P3 of the portion of the shielding region S1 from the image data P1 captured by the imaging unit 41.
  • the display control unit 77 displays an image based on the extracted image data P3 on the display unit 6 provided on the boom 31.
  • the vehicle body 2 has a turning body 22 and a traveling body 21.
  • the cab 23 (an example of the driver's seat) and the working machine 3 are installed on the swivel body 22.
  • the control method of the hydraulic excavator 1 of the present embodiment is step S10 (an example of an imaging step), step S40 (an example of a boom angle detection step), step S50 (an example of a shielding area determination step), and step S60 (an example of a shielding area determination step).
  • An example of a shielded area extraction step) and a step S100 (an example of a display step) are provided.
  • step S10 the image data P1 in the region R1 on the side opposite to the cab 23 (an example of the driver's seat) is imaged with reference to the work machine 3 in the periphery of the vehicle body 2.
  • Step S40 detects the elevation angle of the boom 31.
  • Step S60 determines a shielding region S1 in which the operator's field of view is blocked by the boom 31 based on the detected depression / elevation angle of the boom 31.
  • the shielding region extraction step extracts the image data P3 of the portion of the shielding region S1 from the image data P2 captured by the imaging unit 41.
  • the image data P4 based on the extracted image data P3 is displayed on the side surface of the boom 31 that is raised.
  • the window 23a is not used as the display unit, so that the visibility from the operator's window is not impaired. Further, by displaying the information about the object existing in the area of the blind spot blocked by the work machine 3 on the display unit 6 of the work machine 3, the operator sees the display unit 6 provided on the work machine and sees the blind spot. You can see the objects that exist in.
  • the hydraulic excavator 201 of the second embodiment is different from the first embodiment in that the projection unit 5 is not provided, the display unit has a self-luminous device, and the self-luminous device is lit in the area R1. Notify the operator of the existence of the object.
  • the second embodiment a configuration different from that of the first embodiment will be mainly described, and the same reference numerals will be given to the same configurations as those of the first embodiment, and the description thereof will be omitted.
  • FIG. 9 is a plan view of the hydraulic excavator 201 of the second embodiment.
  • FIG. 10 is a block diagram showing a control configuration of the hydraulic excavator 201 of the second embodiment.
  • FIG. 11 is a diagram showing a field of view from an operator seated in the driver's seat 231 in the hydraulic excavator 201 of the second embodiment.
  • the hydraulic excavator 201 of the second embodiment includes a vehicle body 2, a working machine 3, a detection unit 4, a display unit 206, and a control unit 207.
  • the display unit 206 notifies the operator of the existence of an object in the area R1.
  • the display unit 206 is arranged on the left side surface 31a of the boom 31 as shown in FIG.
  • the display unit 206 has one or more LED lamps 206a (see FIG. 10) and a panel 206b (see FIG. 11) on which a pattern or characters are drawn.
  • a plurality of LED lamps 206a having different colors may be provided, or one or a plurality of monochromatic LED lamps 206a may be provided. Further, it is not limited to the LED lamp, and other self-luminous devices (for example, an incandescent lamp) may be provided.
  • the panel 206b is attached to the surface of the LED lamp 206a. As shown in FIG. 11, the panel 206b represents the approach of a person to the hydraulic excavator in the present embodiment, but the panel 206b is not limited to this. Further, the panel 206b is not provided, and only the LED lamp 206a may be provided. Further, the panel may be a resin plate or a seal-shaped decal.
  • the panel 206b does not have to be arranged on the surface of the LED lamp 206a, the panel 206b is arranged directly on the left side surface 31a of the boom 31, and the LED lamp 206a booms so as to illuminate the panel 206b. It may be arranged in 31.
  • the LED lamp 206a can be supplied with electricity by arranging a harness on the surface of the boom 31.
  • the control unit 207 shown in FIG. 10 includes a processor and a storage device.
  • the processor is, for example, a CPU (Central Processing Unit). Alternatively, the processor may be a processor different from the CPU.
  • the processor executes a process for controlling the hydraulic excavator 201 according to a program.
  • the storage device includes a non-volatile memory such as ROM (Read Only Memory) and a volatile memory such as RAM (Random Access Memory).
  • the storage device may include a hard disk or an auxiliary storage device such as an SSD (Solid State Drive).
  • a storage device is an example of a recording medium that can be read by a non-transitory computer.
  • the storage device stores programs and data for controlling the hydraulic excavator 201.
  • the control unit 207 has the following functions by executing the program while using the data stored in the storage device.
  • the control unit 207 has a data acquisition unit 271, an obstacle detection unit 275, and a display control unit 277.
  • the data acquisition unit 271 acquires the image data P1 (see FIG. 7A) of the area R1 from the imaging unit 41, and acquires the data related to the object information (for example, the distance from the vehicle body 2) in the area R1 from the object detection unit 42.
  • the obstacle detection unit 275 detects obstacles based on the data from the detection unit 4.
  • the obstacle detection unit 275 detects an obstacle from the image data P1 of the area R1.
  • the obstacle detection unit 275 stores, for example, the shape and / or color of an object that may become an obstacle such as a track, a road cone, and a stone.
  • the obstacle detection unit 275 extracts the contour of the object from the image data, collates the extracted contour and / or the color inside the contour with the object stored in advance as a database, and the object stored in the database. When it matches, the contour-extracted object (dump track 100, load cone 102 and rock 101 in FIG. 11) is detected as an obstacle.
  • the obstacle detection unit 275 detects whether or not the object detected as an obstacle exists within a predetermined range B1 (dashed-dotted line) from the vehicle body 2.
  • a predetermined range B1 (dashed-dotted line) from the vehicle body 2.
  • the predetermined range B1 is set in a rectangular shape in which the length of the range is changed between the front side and the side surface side of the hydraulic excavator 201, but the present invention is not limited to this, and the predetermined range B1 is within a certain range from the outer shape of the hydraulic excavator 201. It may be fan-shaped and is not particularly limited.
  • the display control unit 277 controls the display by the display unit 206 based on the distance of the obstacle from the vehicle body 2.
  • the display control unit 277 detects an obstacle in the predetermined range B1
  • the display unit 206 lights up in red, for example, and when the display control unit 277 detects an obstacle outside the predetermined range B1, the display unit 206 is turned on, for example. Turn on yellow.
  • the display control unit 277 lights the display unit 206 in red.
  • the lighting color of the display unit 206 is not changed with reference to the predetermined range B1. For example, when an obstacle is detected outside the predetermined range B1, the display unit 206 is constantly lit and inside the predetermined range B1. When an obstacle is detected in, the lighting state may be changed so as to blink the display unit 206.
  • FIG. 12 is a flow chart showing the operation of the hydraulic excavator 201 of the present embodiment.
  • step S210 the data acquisition unit 271 acquires the image data P1 (see FIG. 7A) from the imaging unit 41 of the detection unit 4 that detects the object in the region R1, and the data related to the object information from the object detection unit 42. To get.
  • step S220 the obstacle detection unit 275 detects the obstacle based on the image data P1 and the object information. If an obstacle is detected by the obstacle detection unit 275 in step S220, the control proceeds to step S230. Further, the obstacle detection unit 275 calculates the distance of the detected obstacle from the hydraulic excavator 201 based on the data related to the object information.
  • step S220 if no obstacle is detected by the obstacle detection unit 275, the control ends.
  • step S230 the obstacle detection unit 275 determines whether or not the detected obstacle exists within the predetermined range B1 based on the calculated distance from the hydraulic excavator 201. do.
  • step S230 If it is determined in step S230 that the obstacle does not exist within the predetermined range B1, the display control unit 277 lights the display unit 206 in yellow and the control ends.
  • step S230 when it is determined that the obstacle exists within the predetermined range B1, the display control unit 277 lights the display unit 206 in red and the control ends.
  • the above steps S210 to S250 are repeated at predetermined intervals, and when an obstacle is detected and the display unit 206 lights up in yellow, and then the obstacle is detected within the predetermined range B1 from the data acquired by the detection unit 4. , The display unit 206 may be lit in red. Further, if no obstacle is detected from the data acquired by the detection unit 4 after the obstacle is detected and the display unit 206 is turned on, the display unit 206 may be turned off.
  • the hydraulic excavator 201 (an example of a work machine) of the present embodiment includes a vehicle body 2, a work machine 3, a display unit 206, a detection unit 4, and a display control unit 277.
  • the vehicle body 2 has a driver's seat 231.
  • the work machine 3 is attached to the vehicle body 2 and operates with respect to the vehicle body 2.
  • the display unit 206 is provided on the working machine 3 as shown in FIG.
  • the detection unit 4 detects an obstacle (an example of an object) in the region R1 of the work equipment 3 opposite to the driver's seat 231 around the vehicle body 2.
  • the display control unit 277 displays the information corresponding to the detection of the detection unit 4 on the display unit 206.
  • the window 23a is not used as the display unit, so that the visibility from the operator's window is not impaired. Further, by displaying the information about the obstacle existing in the area of the blind spot blocked by the work machine 3 on the display unit 206 of the work machine 3, the operator looks at the display unit 206 provided on the work machine and sees the display unit 206. You can recognize obstacles in the blind spot.
  • the work machine 3 has a boom 31, an arm 32, and an excavation bucket 33.
  • the display unit 206 is installed on the boom 31.
  • information can be displayed on the boom 31 in response to the detection of obstacles existing in the blind spot area where the view from the driver's seat 231 is obstructed.
  • the work machine 3 has a boom 31 installed on the right side of the driver's seat 231 in the width direction of the vehicle body 2.
  • the boom 31 can operate in front of the vehicle body 2.
  • the detection unit 4 detects an obstacle in the area in front of the vehicle body 2 on the right side.
  • the display unit 206 has an LED lamp 206a (an example of a self-luminous device).
  • the display control unit 277 lights the LED lamp 206a.
  • the display control unit 277 displays the display unit 206 according to the distance to the obstacle. Change.
  • the display unit 206 has an LED lamp 206a.
  • the display control unit 277 changes the lighting of the LED lamp 206a when the obstacle is detected outside the predetermined range B1 from the hydraulic excavator 201 and when the obstacle is detected inside the predetermined range B1.
  • the display control unit 277 changes the lighting color or interval of the LED lamp 6a on the outside and the inside of the predetermined range B1.
  • the vehicle body 2 has a turning body 22 and a traveling body 21.
  • the cab 23 (an example of the driver's seat) and the working machine 3 are installed on the swivel body 22.
  • the control method of the hydraulic excavator 201 of the present embodiment includes steps S210 (an example of an acquisition step) and steps S240 and S250 (an example of a display step).
  • Step S210 acquires information about an object in the area around the vehicle body 2 opposite to the driver's seat 231 of the work machine 3.
  • Steps S240 and S250 display the acquired information on the display unit 206 provided on the work machine 3.
  • the window 23a is not used as the display unit, so that the visibility from the operator's window is not impaired. Further, by displaying the information about the object existing in the area of the blind spot blocked by the work machine 3 on the display unit 206 of the work machine 3, the operator sees the display unit 206 provided on the work machine and sees the blind spot. Can recognize objects that exist in.
  • the image is displayed only on the boom 31, but as shown in FIG. 5, the operator seated in the driver's seat 231 is also obstructed by the arm 32 and the excavation bucket 33. Therefore, the image may be projected not only on the boom 31, but also on the arm 32 and the excavation bucket 33.
  • the angle of the arm 32 and the angle of the excavation bucket 33 are also input to the shielding area determination unit 73, the shielding area including the boom 31, arm 32 and the excavation bucket 33 is determined, and the boom 31, arm 32 and the excavation bucket 33 are determined. An image of the shielded area is projected.
  • the projection unit 5 may project all the image data P2 whose angle of view has been changed from the image data P1 captured by the imaging unit 41. In this case, the image is projected on the portion other than the boom 31, but it is not projected because there is no object to be projected.
  • the image conversion unit 72 changes the angle of view of the image data projected on the boom 31, but the angle of view does not change if only the rough position of the object is confirmed. May be good. Further, when the difference in the field of view between the position of the detection unit 4 and the position of the operator seated in the driver's seat 231 is small, it is not necessary to change the angle of view.
  • the image pickup unit 41 is provided and the image captured by the image pickup section 41 is displayed on the display section 6, but the image pickup section 41 may not be provided.
  • the display unit 6 may not display the image and may display only the position of the obstacle.
  • the object detection unit 42 is provided to detect the distance to the object, but the object detection unit 42 may not be provided. In this case, the distance to the object may be calculated based on the image captured by the imaging unit 41 to detect an obstacle and display a warning.
  • the image is displayed by being projected by the projection unit 5 on the left side surface 31a of the boom 31, but the projection unit 5 may not be provided.
  • a self-luminous device such as an LED panel may be attached to the left side surface 31a as an example of the display unit.
  • the display control unit 77 controls to display the image data P4 on the LED panel.
  • the self-luminous device may include a lamp or the like.
  • the image data P3 is provided with a warning display to create the image data P4, and the image data P4 is displayed on the display unit 6, but only the image data P3 is displayed without displaying the warning. You may.
  • the image data P3 is provided with a warning display to create the image data P4, and the image data P4 is displayed on the display unit 6, but the image data P3 is not displayed and a warning regarding an obstacle is displayed. Only the display may be performed. In this case, since it is easy for the operator to check the obstacle, it is preferable to display a warning at the position of the display unit 6 corresponding to the position of the obstacle. Further, when an LED panel or the like is used instead of the projection unit 5, the LED at the position of the display unit corresponding to the position of the obstacle may be turned on.
  • the operation flow of the first embodiment can be appropriately changed as long as it does not affect the invention.
  • the obstacle is detected after the image data P3 of the shielding region S1 is extracted, but the obstacle may be detected for the image data P1 acquired in step S20. In this case, obstacles not included in the image data P3 are excluded in the extraction of the shielded area.
  • the shielding region S1 is extracted after creating the image data P2 in which the angle of view of the acquired image data P1 is changed, but the present invention is not limited to this.
  • the angle of view may be changed after creating the image data obtained by extracting the shielded area from the image data P1.
  • the driver's seat 231 is provided in the cab 23, and the side surface of the driver's seat 231 is provided with a window, but the driver's seat is a canopy type without a window. There may be.
  • the hydraulic excavator has been described as an example of the work machine, but the present invention is not limited to this, and for example, a wheel loader, a bulldozer, or the like may be used.
  • a wheel loader a bulldozer, or the like
  • the operator's view is obstructed by a work machine, it can be applied to a work machine other than a hydraulic excavator as long as an image of the area to be obstructed can be displayed in the obstructed portion.
  • FIG. 13 is a plan view showing a predetermined range B2 from the vehicle body 2.
  • the boundary indicating the predetermined range is shown as B2 (dashed line).
  • the predetermined range B2 is set outside the predetermined range B1 of the above embodiment.
  • the predetermined range B2 is set in a rectangular shape in which the length of the range is changed between the front side and the side surface side of the hydraulic excavator 201 in FIG. 13, but the present invention is not limited to this, and a certain range is defined from the outer shape of the hydraulic excavator 201.
  • the fan shape inside may be used, and the shape is not particularly limited.
  • the display control unit 277 when an obstacle is detected inside the predetermined range B2 and outside the predetermined range B1, the display control unit 277 lights the LED lamp 206a in yellow, for example, and detects the obstacle inside the predetermined range B1. When this is done, the display control unit 277 may turn on the LED lamp 206a, for example, in red.
  • the object in the predetermined range B1 is detected as an obstacle from the hydraulic excavator 201, but for example, even if the object exists at a position farther than the predetermined range B2, it is an obstacle when approaching the hydraulic excavator 201. It may be determined that it is a thing.
  • the display of the display unit 206 is changed depending on whether the obstacle is detected inside or outside the predetermined range B1, but the predetermined range B1 is not provided and the display is displayed. It is not necessary to change the display of unit 206. For example, when an obstacle is detected in the area R1, the display unit 206 may be simply turned on. In this case, it is not necessary to detect the distance from the hydraulic excavator to the obstacle.
  • the obstacle in the region R1 in front of the right side surface is detected, but the obstacle existing in the region behind the right side surface may be detected.
  • the LED lamp 206a of the display unit 206 may be turned on, or the LED lamp for the area behind the right side surface may be turned on in addition to the LED lamp 206a. May be further provided.
  • the display unit 206 is lit based on the detection of the operation. You may determine the presence or absence of. That is, for example, when the vehicle is moving forward or backward or in a working state, the LED lamp 206a is turned on.
  • the imaging unit 41 is provided, but the imaging unit 41 may not be provided.
  • the object detection unit 42 may detect an obstacle.
  • the object detection unit 42 is provided to detect the distance to the object, but the object detection unit 42 may not be provided. In this case, the distance to the object may be calculated based on the image captured by the imaging unit 41 to detect an obstacle and display a warning.
  • the excavation bucket 33 is attached to the tip of the arm 32 as an example of the attachment, but the excavation bucket 33 is not limited to the excavation bucket 33, and other attachments such as a breaker and a grapple may be attached.
  • Hydraulic excavator 2 Vehicle body 3: Working machine 4: Detection unit 5: Projection unit 6: Display unit 7: Control unit 231: Driver's seat

Abstract

油圧ショベル(1)は、車両本体(2)と、作業機(3)と、表示部(6)と、検出部(4)と、表示制御部(77)と、を備える。車両本体(2)は、運転席(231)を有する。作業機(3)は、車両本体(2)に取り付けられ、車両本体(2)に対して動作する。表示部(6)は、作業機(3)に設けられる。検出部(4)は、車両本体(2)の周囲のうち作業機(3)を基準にして運転席(231)とは反対側の領域(R1)における物体を検出する。表示制御部(77)は、検出部(4)の検出した情報を表示部(6)に表示する。

Description

作業機械および作業機械の制御方法
 本発明は、作業機械および作業機械の制御方法に関する。
 油圧ショベルでは、一般的にキャブの隣に作業機が設けられている。このため、オペレータの視界には、作業機のブームによって遮られる死角が存在する。
 このような死角を解消するために、死角となる車外風景を表示することが提案されている(例えば、特許文献1参照。)。
 特許文献1に示す油圧ショベルでは、死角画像を撮影するカメラを設け、作業機によって遮られるキャブの窓に取り付けられた非透過型LCDスクリーンに死角画像を表示することが開示されている。
特開平10-299032号公報
 しかしながら、特許文献1の油圧ショベルでは、窓に非透過型LCDスクリーンを取り付けるため視認性が悪くなり、オペレータが窓を通して車外を確認するときに見え難くなる。
 本開示は、運転席からの視認性を損なうことなく、オペレータが死角に存在する物体を確認することが可能な作業機械および作業機械の制御方法を提供することを目的とする。
(課題を解決するための手段)
 第1の態様に係る作業機械は、車両本体と、作業機と、表示部と、検出部と、表示制御部と、を備える。車両本体は運転席を有する。作業機は、車両本体に取り付けられ、車両本体に対して動作する。表示部は、作業機に設けられる。検出部は、車両本体の周囲のうち作業機を基準として運転席とは反対側の領域における物体を検出する。表示制御部は、検出部の検出した情報を表示部に表示する。
 第2の態様に係る作業機械は、車両本体と、作業機と、表示部と、検出部と、表示制御部と、を備える。車両本体は、運転席を有する。作業機は、車両本体に取り付けられ、車両本体に対して動作する。表示部は、作業機に設けられる。検出部は、車両本体の周囲のうち作業機を基準にして運転席とは反対側の領域における物体を検出する。表示制御部は、検出部の検出結果に応じた情報を表示部に表示する。
 第3の態様に係る作業機械の制御方法は、撮像ステップと、ブーム角度検出ステップと、遮蔽領域決定ステップと、遮蔽領域抽出ステップと、表示ステップと、を備える。撮像ステップは、車両本体の周囲のうち作業機を基準にして運転席とは反対側の領域における画像を撮像する。ブーム角度検出ステップは、ブームの俯仰角度を検出する。遮蔽領域決定ステップは、検出された前記ブームの俯仰角度に基づいて、ブームでオペレータの視界が遮蔽される遮蔽領域を決定する。遮蔽領域抽出ステップは、撮像部で撮像した画像データから遮蔽領域の部分の画像データを抽出する。表示ステップは、抽出された画像データに基づいた画像を、俯仰したブームの側面に表示する。
(発明の効果)
 本開示によれば、運転席からの視認性を損なうことなく、オペレータが死角に存在する物体を確認することが可能な作業機械および作業機械の制御方法を提供することができる。
本開示にかかる実施の形態1の油圧ショベルを示す斜視図。 図1の油圧ショベルを示す平面図。 図1の油圧ショベルのキャブを示す側面図。 図1の油圧ショベルの検出部による検出領域を示す平面図。 図1の油圧ショベルの運転席からの視野を示す図。 図1の油圧ショベルの制御構成を示すブロック図。 図1の油圧ショベルの検出部から取得した画像データの例を示す図。 図7Aの画像データから画角を変換した画像データの例を示す図。 図7Bの画像データにおける遮蔽領域を示す図。 図7Cの画像データから遮蔽領域を抽出した画像データを示す図。 図7Dの画像データに警告表示を付与した画像データを示す図。 図1の油圧ショベルの制御動作を示すフロー図。 本開示にかかる実施の形態2の油圧ショベルの平面図。 図9の油圧ショベルの制御構成を示すブロック図。 図9の油圧ショベルの運転席からの視野を示す図。 図9の油圧ショベルの制御動作を示すフロー図。 本開示にかかる実施の形態2の変形例の油圧ショベルの検出領域における所定範囲を示す図。
 本開示にかかる作業機械の一例としての油圧ショベルについて図面を参照しながら以下に説明する。
 (実施の形態1)
 以下に、本開示にかかる実施の形態1の油圧ショベルについて説明する。
 <構成>
 (油圧ショベルの概要)
 図1は、本実施の形態の油圧ショベル1の構成を示す模式図である。図2は、油圧ショベル1の上面図である。
 油圧ショベル1(作業機械の一例)は、車両本体2と、作業機3と、検出部4(図2)と、投影部5と、表示部6(後述する図3)と、制御部7(後述する図6)と、を備える。車両本体2は、図1に示すように走行体21と旋回体22とを有している。走行体21は、一対の走行装置21a、21bを有する。各走行装置21a、21bは、履帯21c、21dを有しており、エンジンからの駆動力によって走行モータが回転して履帯21c、21dが駆動されることによって油圧ショベル1が走行する。
 旋回体22は、走行体21上に載置されている。旋回体22は、図示しない旋回装置によって上下方向に沿った軸を中心として走行体21に対して旋回可能に設けられている。
 旋回体22の前部左側位置には、オペレータが運転時に着座する運転席としてのキャブ23が設けられている。図3は、キャブ23の側面図である。図3に示すように、キャブ23の内部には、運転席231、作業機3を操作するためのレバー232、各種の表示装置等が配置されている。
 旋回体22は、後部側に図示しないエンジンや油圧ポンプなどを収容する。尚、本実施の形態において断りなき場合、前後左右はキャブ23内の運転席を基準として説明する。運転席が正面に正対する方向を前方向とし、前方向に対向する方向を後方向とする。運転席が正面に正対したときの側方方向の右側、左側をそれぞれ右方向、左方向とする。
 作業機3は、図1に示すように、ブーム31、アーム32、掘削バケット33(アタッチメントの一例)を有し、旋回体22の前部中央位置に取り付けられている。作業機3は、キャブ23の右側に配置されている。ブーム31の基端部は、旋回体22に回動可能に連結されている。また、ブーム31の先端部はアーム32の基端部に回動可能に連結されている。アーム32の先端部は、掘削バケット33に回動可能に連結されている。掘削バケット33は、その開口が車両本体2の方向(後方)を向くことができるようにアーム32に取り付けられている。掘削バケット33が、このような向きに取り付けられた油圧ショベルは、バックホウと呼ばれている。
 ブーム31、アーム32および掘削バケット33のそれぞれに対応するように油圧シリンダ34~36(ブームシリンダ34、アームシリンダ35およびバケットシリンダ36)が配置されている。これらの油圧シリンダ34~36が駆動されることによって作業機3が駆動される。これにより、掘削等の作業が行われる。
 図3に示すように、運転席231に対しブーム31の基端部が側方に位置し、ブームシリンダ34の駆動によりブーム31は旋回体22の前方で上下動する。このため、ブーム31が上方に回動すると、運転席231に着座したオペレータからの視界がブーム31によって遮られて死角が生じる。
 視界が遮断される領域を特定するための情報として、運転席231の位置と、所定高さ(オペレータの目線位置)を特定する座標が予め設定されている。オペレータの目線は、モニタ等で予め入力するような設定値入力を含む既知の方法によって規定される。オペレータの目線は、オペレータごとに設定することができ、例えばオペレータのIDを入力することによって呼び出すことができる。
 運転席231の位置とオペレータの目線位置を特定することによって、オペレータからブーム31までの距離を特定できるため、ブーム31で視界が遮断される領域を特定することができる。
 (検出部4)
 検出部4は、車両本体2の周囲のうち運転席231からの視界がブーム31によって遮られる可能性がある領域の物体を検出する。
 検出部4は、図2に示すように、旋回体22に設けられている。検出部4は、作業機3を挟んでキャブ23の反対側に設けられている。検出部4は、作業機3の右側(第1方向側の一例)に配置されている。
 検出部4は、後述する図6に示すように、撮像部41および物体検知部42を有している。撮像部41としては、カメラなどを用いることができる。また、撮像部41には、例えばCCDイメージセンサ等を用いることができる。撮像部41は、車両本体2の周囲のうち作業機3のキャブ23と反対側の領域R1を撮像する。
 図4は、車両本体2の周囲のうち検出部4によって検出する領域R1を示すための図である。図4に示すように、領域R1は、油圧ショベル1の右前方である。例えば、領域R1は、作業機3のブーム31の基端から右に伸ばした線L1と、ブーム31の右側面の前方への延長線L2の間としてもよい。領域R1は、車両本体2の周囲のうちブーム31によってオペレータの視界が遮られる可能性がある領域である。
 撮像部41によって撮影された画像は、制御部7へと送信される。
 物体検知部42は、物体の検知を行う。物体検知部42は、レーザ、音波、ステレオカメラ等を用いることができるが、これに限らず、撮像部41で撮像した画像を後処理で解析することによって物体を検知してもよい。物体検知部42によって領域R1に存在する物体までの距離を計測することができる。
 図4の平面図では、領域R1に、ダンプトラック100と、ロードコーン102と、岩101が示されている。撮像部41によってダンプトラック100、ロードコーン102および岩101を含む画像が撮影される。
 また、物体検知部42によって、油圧ショベル1からダンプトラック100および岩101までの距離を計測することができる。図4の平面図では、岩101が車両本体2に近い場所に配置されていることがわかる。
 また、撮像部41および物体検知部42の検知角度を任意に調整可能な手段が設けられている。
 なお、撮像部41および物体検知部42は1つずつでもよいが、精度良く検出するためには複数設けられていてもよい。
 (投影部5、表示部6)
 投影部5は、検出部4で検出された情報に基づいて作業機3の表面に画像を投影する。
 図5は、運転席231に着座したオペレータからの視界を示す図である。
 投影部5の設置場所は特に限定されるものではないが、本実施の形態では、図5に示すように、投影部5は、キャブ23の内側に配置されている。また、投影部5は、キャブ23の右側面の近傍に配置されている。
 投影部5は、制御部7からの指示信号に基づいて、キャブ23の窓23aを介してブーム31の左側面31aの表示部6に画像を投影する。表示部6は、ブーム31の左側面31aの投影部5によって投影される部分を示す。投影部5としては、例えば短焦点プロジェクタを用いることができ、プロジェクションマッピングを用いてブーム31の左側面31aに画像を投影する。図3には、表示部6が点線で示されているが、ブーム31の角度によってオペレータの遮られる領域が可変であるため、表示部6の範囲もブーム31の角度によって変化する。
 例えば、投影部5による投影によって、図5に示すように、図4で示したダンプトラック100、および岩101を表示部6に表示させることができる。なお、ロードコーン102については、ブーム31によって遮られていないため、オペレータは窓23aを通して直接視認することができる。
 (制御部7)
 図6は、本実施の形態の油圧ショベル1の制御構成を示すブロック図である。
 制御部7は、プロセッサと、記憶装置を含む。プロセッサは、例えばCPU(Central Processing Unit)である。或いは、プロセッサは、CPUと異なるプロセッサであってもよい。プロセッサは、プログラムに従って油圧ショベル1の制御のための処理を実行する。記憶装置は、ROM(Read Only Memory)のような不揮発性メモリおよびRAM(Random Access Memory)のような揮発性メモリを含む。記憶装置は、ハードディスク、あるいはSSD(Solid State Drive)などの補助記憶装置を含んでいてもよい。記憶装置は、非一時的な(non-transitory)コンピュータで読み取り可能な記録媒体の一例である。記憶装置は、油圧ショベルを制御するためのプログラムおよびデータを記憶している。
 制御部7は、記憶装置に記憶されているデータを利用しながらプログラムを実行することにより、以下の各部の機能を有する。
 制御部7は、表示判定部70と、画像データ取得部71と、画像変換部72と、遮蔽領域決定部73と、遮蔽領域抽出部74と、障害物検出部75と、画像付与部76と、表示制御部77と、を有する。
 画像データ取得部71は、撮像部41から領域R1の画像データを取得し、物体検知部42から領域R1における物体情報を取得する。図7Aは、取得された画像データの一例を示す図である。図7Aには、検出部4の撮像部41によって撮影された画像データP1が示されている。画像データP1には、ダンプトラック100、岩101およびロードコーン102が映っている。
 画像変換部72は、抽出された画像の画角を変換する。撮像部41によって撮像された画像は、運転席231に着座したオペレータからの視点の画像とは画角が異なる。そのため、画像変換部72は、運転席231に着座したオペレータからの視点に合うように、撮像部41によって撮像された画像の画角を変換する。図7Bは、画像データP1の画角が変更された画像データP2を示す図である。図7Bでは、ダンプトラック100、岩101およびロードコーン102の位置関係および大きさが図7Aと比べて変化している。
 遮蔽領域決定部73は、ブーム角度検出部31bに基づいて、ブーム31によって遮蔽されている領域を決定する。ブーム31の角度によって、運転席231に着座したオペレータの視野が遮られる領域が変化する。そのため、ブーム31の角度ごとに予め遮蔽領域が求められて記憶されており、ブーム31の角度を検出することによって、ブーム31でオペレータの視野が遮蔽される領域を決定することができる。図7Cでは、画像データP1からブーム31によって遮蔽される領域S1が点線で示されている。
 遮蔽領域抽出部74は、画角が変更された画像データP2から、遮蔽領域決定部73で決定された遮蔽領域S1の画像を抽出する。図7Dは、抽出された遮蔽領域S1の画像データP3を示す図である。このように、画像データP2から遮蔽される領域S1が、遮蔽領域の画像データP3として抽出される。なお、抽出された画像データP3では、ロードコーン102が除かれるが、ロードコーン102については図4に示すようにオペレータが直接視認できる。
 障害物検出部75は、検出部4からのデータに基づいて障害物の検出を行う。障害物検出部75は、抽出された遮蔽領域の画像データP3における障害物を検出する。障害物検出部75は、物体検知部42のデータに基づいて、画像データP3における物体の車両本体2までの距離を検出し、距離が所定範囲内である場合、その物体を障害物として検出する。なお、障害物検出部75は、領域R1における物体情報を物体検知部42から画像データ取得部71を介して受け取ってもよいし、物体検知部42から直接受け取ってもよい。
 図7Dに示す例では、画像データP3には、物体としてダンプトラック100と岩101が含まれているが、車両本体2からの距離が所定範囲内であるため岩101が障害物として検出される。なお、車両本体2から所定範囲内の物体を障害物と検出するだけに限らず、例えば、物体が所定範囲よりも遠い位置に存在したとしても車両本体2に近づいてきている場合には障害物であると判定してもよい。また、障害物の特性を設定する手段を持たせてもよい。
 表示判定部70は、動作の検出に基づいて、画像および/または警告の表示を行うか否かを判断する。表示判定部70は、例えば、前進または作業状態の場合、右前方の障害物の警告表示を行うと判断する。前進は、走行装置21a、21bの駆動から判断することができる。また、作業状態は、作業機3の動き(例えば、ブーム14の動作)、作業機3の操作(レバー操作)等から判断することができる。また、表示判定部70は、例えば車両本体2が停止し、且つ作業機3が動作していない場合には、表示を行わないと判断する。
 画像付与部76は、表示を行うと判定された場合、抽出された画像データP3に検出された障害物の情報を付与する。障害物の情報としては、例えば警告情報を挙げることができる。例えば、岩101が車両本体2の距離に基づいて障害物として検出された場合、図7Eに示すように、岩101の周囲を囲むような丸103(赤色の丸)が画像データP3に付与され、画像データP4が作成される。このような丸103が警告の一例である。なお、岩101を囲むような丸103に限らなくてもよく、岩101自体を赤くしてもよい。要するに、岩101の存在をオペレータに報知できるような警告表示であればよい。
 表示制御部77は、画像付与部76によって作成された画像をブーム31の左側面31aに投影するように投影部5の制御を行う。図7Eに示す画像データP4をブーム31の左側面31aに投影した状態が、図4に示されている。
 <動作>
 次に、発明にかかる実施の形態の油圧ショベル1の動作について説明するとともに、作業機械の制御方法の一例についても同時に述べる。
 図8は、本実施の形態の油圧ショベル1の動作を示すフロー図である。
 はじめに、ステップS10において、検出部4の撮像部41が領域R1における画像データP1を撮像する。ステップS10が、撮像ステップの一例に対応する。
 次に、ステップS20において、画像データ取得部71が、領域R1において物体を検出している検出部4の撮像部41から画像データP1(図7A参照)を取得し、物体検知部42から物体情報を取得する。
 次に、ステップS30において、画像変換部72が、取得した画像データP1を運転席231に着座したオペレータからの視点になるように画角を変換し画像データP2(図7B参照)を作成する。
 次に、ステップS40において、ブーム角度検出部31bが、ブーム31の俯仰角度(ブーム角度)を検出する。ステップS40が、ブーム角度検出ステップの一例に対応する。
 次に、ステップS50において、遮蔽領域決定部73が、ブーム角度検出部31bで検出されたブーム角度に基づいて、ブーム31によって遮蔽されている領域S1(図7C参照)を決定する。ステップS50が、遮蔽領域決定ステップの一例に対応する。
 次に、ステップS60において、遮蔽領域抽出部74が、ステップS30で画角が変更された画像データP2から、ステップS50で決定された遮蔽領域S1の画像データP3(図7D参照)を抽出する。
 次に、ステップS70において、障害物検出部75が、抽出された遮蔽領域の画像データP3における障害物を検出する。図7Dに示す例では、物体検知部42の物体情報に基づいて、画像データP3中の岩101が車両本体2から所定範囲内に存在するとして障害物と検出される。
 次に、ステップS80において、表示判定部70が、動作の検出に基づいて、画像および/または警告の表示を行うか否かを判断する。表示判定部70は、例えば、前進または作業状態の場合、右前方の障害物の警告表示を行うと判断する。
 ステップS80において、例えば車両本体2が停止して作業機3が動作していない場合には、表示判定部70は、画像および/または警告の表示を行わないと判断し、制御が終了する。
 また、ステップS80において、表示判定部70が画像および/または警告の表示を行うと判断した場合、制御はステップS90に進む。
 ステップS90において、画像付与部76が、ステップS60で抽出された画像データP3に、検出された障害物の情報を付与し画像データP4(図7E参照)を作成する。検出された障害物の情報は、図7Eでは、障害物である岩101の周囲を囲む丸103である。
 次に、ステップS100において、表示制御部77が、図4に示すように、ステップS70で作成された画像データP4をブーム31の左側面31aに投影するように投影部5の制御を行い、制御が終了する。ステップS100が、表示ステップの一例に対応する。
 <特徴>
 (1)
 本実施の形態の油圧ショベル1(作業機の一例)は、車両本体2と、作業機3と、表示部6と、検出部4と、表示制御部77と、を備える。車両本体2は、運転席231を有する。作業機3は、車両本体2に取り付けられ、車両本体2に対して動作する。表示部6は、図3及び図5に示すように作業機3に設けられる。検出部4は、図4に示すように、車両本体2の周囲のうち作業機3を基準にして運転席231とは反対側の領域R1における物体を検出する。表示制御部77は、検出部4の検出した情報を表示部6に表示する。
 このように、作業機3に表示部6を設けることによって、窓23aを表示部として用いないため、オペレータの窓からの視認性を損なわない。また、作業機3の表示部6に作業機3によって遮られた死角となる領域に存在する物体に関する情報を表示することによって、オペレータは、作業機に設けられた表示部6を見て、死角に存在する物体を確認することができる。
 なお、上述した実施の形態では、死角に存在する物体は、ダンプトラック100の一部と、岩101に対応する。
 また、作業機3の運転席231と反対側の領域R1における物体を検出することによって、オペレータの死角に存在する物体に関する情報を表示部6に表示することができ、オペレータが死角に存在する物体を確認することができる。
 (2)
 本実施の形態の油圧ショベル1では、検出部4は、画像を撮像する撮像部41を有する。表示制御部77は、撮像した画像データP1に基づいた画像データP4を表示部6に表示する。
 これにより、作業機3によって運転席231からの視界が遮られる場合に、遮られた領域に存在する物体に関する情報を表示部に表示することができる。
 (3)
 本実施の形態の油圧ショベル1は、車両本体2に配置された投影部5を更に備える。表示部6は、作業機3の左側面31aの一部である。表示制御部77は、投影部5によって表示部6にデータを投影する。
 これにより、作業機にオペレータの死角に存在する物体に関する情報を投影して表示することができる。
 (4)
 本実施の形態の油圧ショベル1は、検出部4の検出に基づいて障害物を検出する障害物検出部75を更に備える。表示制御部77は、運転席231からの障害物への視界が作業機3によって遮られる場合、障害物の検出結果に基づいて警告を表示部6に表示させる。
 これにより、検出部4の検出結果に基づいて障害物が存在するか否かを判断でき、障害物が存在する場合には、その旨をオペレータに知らせることができる。
 (5)
 本実施の形態の油圧ショベル1では、作業機3は、車両本体2の幅方向において運転席231の右方向側に設置されたブーム31を有する。ブーム31は、車両本体2の前方に動作可能である。検出部4は、車両本体2の前方であって右方向側の領域の物体を検出する。
 これにより、油圧ショベル1において、ブーム31によって運転席231からの視界が遮られる死角となる領域に存在する物体に関する情報を表示することができる。
 (6)
 本実施の形態の油圧ショベル1では、検出部4は、画像を撮像する撮像部41を有する。油圧ショベル1は、ブーム角度検出部31bと、遮蔽領域決定部73と、遮蔽領域抽出部74と、を備える。ブーム角度検出部31bは、ブーム31の角度を検出する。遮蔽領域決定部73は、検出されたブーム31の角度に基づいて、ブーム31でオペレータの視界が遮蔽される遮蔽領域S1を決定する。遮蔽領域抽出部74は、撮像部41で撮像した画像データP1から遮蔽領域S1の部分の画像データP3を抽出する。表示制御部77は、抽出された画像データP3に基づいた画像を、ブーム31に設けられた表示部6に表示する。
 これにより、ブーム31によって視界が遮られた領域の画像だけをブーム31の左側面31aに表示することができる。例えば、投影部5を用いて左側面31aに投影する場合、ブーム31にのみ投影することが出来るため、ブーム31以外の部分に光が放射されないため、反射等を出来るだけ防ぐことができる。
 (7)
 本実施の形態の油圧ショベル1では、車両本体2は、旋回体22と走行体21と、を有する。キャブ23(運転席の一例)および作業機3は、旋回体22に設置されている。
 このように、旋回体22にキャブ23および作業機3が設けられている油圧ショベル1において、キャブ23からの視認性を損なうことなく、オペレータが死角に存在する物体を確認することができる。
 (8)
 本実施の形態の油圧ショベル1の制御方法は、ステップS10(撮像ステップの一例)と、ステップS40(ブーム角度検出ステップの一例)と、ステップS50(遮蔽領域決定ステップの一例)と、ステップS60(遮蔽領域抽出ステップの一例)と、ステップS100(表示ステップの一例)と、を備える。ステップS10は、車両本体2の周囲のうち作業機3を基準にしてキャブ23(運転席の一例)とは反対側の領域R1における画像データP1を撮像する。ステップS40は、ブーム31の俯仰角度を検出する。ステップS60は、検出されたブーム31の俯仰角度に基づいて、ブーム31でオペレータの視界が遮蔽される遮蔽領域S1を決定する。ステップS60遮蔽領域抽出ステップは、撮像部41で撮像した画像データP2から遮蔽領域S1の部分の画像データP3を抽出する。ステップS100は、抽出された画像データP3に基づいた画像データP4を、俯仰したブーム31の側面に表示する。
 このように、作業機3に表示部6を設けることによって、窓23aを表示部として用いないため、オペレータの窓からの視認性を損なわない。また、作業機3の表示部6に作業機3によって遮られた死角となる領域に存在する物体に関する情報を表示することによって、オペレータは、作業機に設けられた表示部6を見て、死角に存在する物体を確認することができる。
 (実施の形態2)
 以下に、発明にかかる実施の形態2の油圧ショベル201(作業機械の一例)について説明する。
 本実施の形態2の油圧ショベル201は、実施の形態1と異なり、投影部5が設けられておらず、表示部が自発光機器を有しており、自発光機器の点灯によって領域R1内における物体の存在をオペレータに報知する。本実施の形態2では、主に実施の形態1と異なる構成について説明し、実施の形態1と同様の構成については同じ符号を付して説明を省略する。
 図9は、本実施の形態2の油圧ショベル201の平面図である。図10は、本実施の形態2の油圧ショベル201の制御構成を示すブロック図である。図11は、本実施の形態2の油圧ショベル201において、運転席231に着座したオペレータからの視界を示す図である。
 本実施の形態2の油圧ショベル201は、車両本体2と、作業機3と、検出部4と、表示部206と、制御部207と、を備える。
 表示部206は、領域R1における物体の存在をオペレータに報知する。表示部206は、図11に示すようにブーム31の左側面31aに配置されている。
 表示部206は、1つまたは複数のLEDランプ206a(図10参照)と、絵柄または文字が描かれたパネル206b(図11参照)と、を有している。色の異なる複数のLEDランプ206aが設けられていてもよいし、1つまたは複数の単色のLEDランプ206aが設けられていてもよい。また、LEDランプに限らなくてもよく、他の自発光機器(例えば白熱灯等)が設けられていてもよい。パネル206bは、LEDランプ206aの表面に貼り付けられている。パネル206bは、図11に示すように、本実施の形態では油圧ショベルへの人の接近を表しているが、これに限らなくてもよい。また、パネル206bは設けられておらず、LEDランプ206aだけが設けられていてもよい。さらに、パネルは、樹脂板であってもよいし、シール状のデカールであってもよい。
 また、LEDランプ206aの表面にパネル206bが配置されていなくてもよく、パネル206bがブーム31の左側面31aに直接配置されており、パネル206bを照らすことが可能なようにLEDランプ206aがブーム31に配置されていてもよい。
 なお、LEDランプ206aには、ブーム31の表面にハーネスを配置して電気を供給することができる。
 図10に示す制御部207は、プロセッサと、記憶装置を含む。プロセッサは、例えばCPU(Central Processing Unit)である。或いは、プロセッサは、CPUと異なるプロセッサであってもよい。プロセッサは、プログラムに従って油圧ショベル201の制御のための処理を実行する。記憶装置は、ROM(Read Only Memory)のような不揮発性メモリおよびRAM(Random Access Memory)のような揮発性メモリを含む。記憶装置は、ハードディスク、あるいはSSD(Solid State Drive)などの補助記憶装置を含んでいてもよい。記憶装置は、非一時的な(non-transitory)コンピュータで読み取り可能な記録媒体の一例である。記憶装置は、油圧ショベル201を制御するためのプログラムおよびデータを記憶している。
 制御部207は、記憶装置に記憶されているデータを利用しながらプログラムを実行することにより、以下の各部の機能を有する。
 制御部207は、データ取得部271と、障害物検出部275と、表示制御部277と、を有する。
 データ取得部271は、撮像部41から領域R1の画像データP1(図7A参照)を取得し、物体検知部42から領域R1における物体情報(例えば車両本体2からの距離)に関するデータを取得する。
 障害物検出部275は、検出部4からのデータに基づいて障害物の検出を行う。障害物検出部275は、領域R1の画像データP1から障害物を検出する。障害物検出部275は、例えば、トラック、ロードコーン、および石等の障害物となる可能性のある物体の形状および/または色等を記憶している。障害物検出部275は、画像データから物体の輪郭を抽出し、抽出した輪郭および/または輪郭の内側の色等を、予めデータベースとして記憶している物体と照合し、データベースに記憶されている物体と一致する場合に、輪郭を抽出した物体(図11では、ダンプトラック100、ロードコーン102および岩101)を障害物であると検出する。
 障害物検出部275は、障害物として検出された物体が、車両本体2から所定範囲B1(二点鎖線)内に存在しているか否かを検出する。所定範囲B1は、図9では油圧ショベル201の正面側と側面側で範囲の長さを変えた矩形状に設定されているが、これに限らず、油圧ショベル201の外形から一定の範囲内の扇形状でもよいし、特に限定されるものではない。
 表示制御部277は、障害物検出部275によって障害物が検出された場合、車両本体2からの障害物の距離に基づいて、表示部206による表示を制御する。表示制御部277は、所定範囲B1内に障害物を検出した場合には、表示部206を例えば赤色に点灯させ、所定範囲B1の外側に障害物を検出した場合には、表示部206を例えば黄色に点灯させる。図9に示す例では、所定範囲B1よりも内側に岩101が存在しているため、表示制御部277は表示部206を赤色に点灯させる。
 これにより、障害物が油圧ショベル201に近い位置に存在することをオペレータに報知することができ、より注意を喚起することができる。
 なお、所定範囲B1を基準にして表示部206の点灯の色を変えず、例えば、所定範囲B1の外側で障害物が検出された場合には表示部206を常時点灯し、所定範囲B1の内側で障害物が検出された場合には表示部206を点滅させるように点灯状態を変化させてもよい。
 <動作>
 次に、開示にかかる実施の形態の油圧ショベル201の動作について説明するとともに、作業機械の制御方法の一例についても同時に述べる。
 図12は、本実施の形態の油圧ショベル201の動作を示すフロー図である。
 はじめに、ステップS210において、データ取得部271が、領域R1において物体を検出している検出部4の撮像部41から画像データP1(図7A参照)を取得し、物体検知部42から物体情報に関するデータを取得する。
 次に、ステップS220において、障害物検出部275が、画像データP1および物体情報に基づいて障害物の検出を行う。ステップS220において、障害物検出部275によって障害物が検出された場合、制御はステップS230に進む。また、障害物検出部275は、物体情報に関するデータに基づいて、検出された障害物の油圧ショベル201からの距離を算出する。
 一方、ステップS220において、障害物検出部275によって障害物が検出されない場合、制御は終了する。
 障害物が検出された場合、ステップS230において、障害物検出部275が、算出された油圧ショベル201からの距離に基づいて、検出された障害物が所定範囲B1内に存在するか否かを判定する。
 ステップS230において、障害物が所定範囲B1内に存在していないと判定された場合、表示制御部277が表示部206を黄色に点灯させて制御が終了する。
 一方、ステップS230において、障害物が所定範囲B1内に存在していると判定された場合、表示制御部277が表示部206を赤色に点灯させて制御が終了する。
 上記ステップS210~S250は、所定間隔で繰り返されており、障害物が検出されて表示部206が黄色に点灯した後に、検出部4が取得したデータから所定範囲B1内に障害物を検出した場合、表示部206を赤色に点灯させてもよい。また、障害物が検出されて表示部206が点灯した後に、検出部4が取得したデータから障害物が検出されなかった場合、表示部206を消灯してもよい。
 <特徴>
 (1)
 本実施の形態の油圧ショベル201(作業機械の一例)は、車両本体2と、作業機3と、表示部206と、検出部4と、表示制御部277と、を備える。車両本体2は、運転席231を有する。作業機3は、車両本体2に取り付けられ、車両本体2に対して動作する。表示部206は、図11に示すように作業機3に設けられる。検出部4は、図9に示すように、車両本体2の周囲のうち作業機3の運転席231と反対側の領域R1における障害物(物体の一例)を検出する。表示制御部277は、検出部4の検出に応じた情報を表示部206に表示する。
 このように、作業機3に表示部206を設けることによって、窓23aを表示部として用いないため、オペレータの窓からの視認性を損なわない。また、作業機3の表示部206に作業機3によって遮られた死角となる領域に存在する障害物に関する情報を表示することによって、オペレータは、作業機に設けられた表示部206を見て、死角に存在する障害物を認識することができる。
 また、作業機3の運転席231と反対側の領域R1における障害物を検出することによって、オペレータの死角に存在する障害物に関する情報を表示部206に表示することができ、オペレータが死角に存在する障害物を認識することができる。
 (2)
 本実施の形態の油圧ショベル201では、作業機3は、ブーム31、アーム32、および掘削バケット33を有する。表示部206は、ブーム31に設置されている。
 これにより、運転席231からの視界が遮られる死角となる領域に存在する障害物の検出に応じて情報をブーム31に表示することができる。
 (3)
 本実施の形態の油圧ショベル201では、作業機3は、車両本体2の幅方向において運転席231の右方向側に設置されたブーム31を有する。ブーム31は、車両本体2の前方に動作可能である。検出部4は、車両本体2の前方であって右方向側の領域の障害物を検出する。
 これにより、油圧ショベル201において、ブーム31によって運転席231からの視界が遮られる死角となる領域に存在する障害物に関する情報を表示することができる。
 (4)
 本実施の形態の油圧ショベル201では、表示部206は、LEDランプ206a(自発光機器の一例)を有する。
 これにより、LEDランプ206aを制御することによって、オペレータに障害物が存在することを報知することができる。
 (5)
 本実施の形態の油圧ショベル201では、検出部4によって領域R1において障害物(物体の一例)が検出された場合、表示制御部277は、LEDランプ206aを点灯させる。
 これにより、LEDランプ206aの点灯によって、オペレータに障害物が死角に存在することを報知することができる。
 (6)
 本実施の形態の油圧ショベル201では、検出部4によって領域R1において障害物(物体の一例)が検出された場合、表示制御部277は、障害物までの距離に応じて表示部206の表示を変化させる。
 これにより、オペレータに障害物までの距離を報知することができる。
 (7)
 本実施の形態の油圧ショベル201では、表示部206は、LEDランプ206aを有する。表示制御部277は、油圧ショベル201から所定範囲B1よりも外側で障害物を検出したときと、所定範囲B1よりも内側で障害物を検出したときで、LEDランプ206aの点灯を変化させる。
 これにより、障害物が油圧ショベル201の近傍に位置するか否かをオペレータに報知することができる。
 (8)
 本実施の形態の油圧ショベル201では、表示制御部277は、所定範囲B1の外側と内側でLEDランプ6aの点灯の色または間隔を変化させる。
 これにより、障害物が油圧ショベル201の近傍に位置するか否かをオペレータに報知することができる。
 (9)
 本実施の形態の油圧ショベル1では、車両本体2は、旋回体22と走行体21と、を有する。キャブ23(運転席の一例)および作業機3は、旋回体22に設置されている。
 このように、旋回体22にキャブ23および作業機3が設けられている油圧ショベル1において、キャブ23からの視認性を損なうことなく、オペレータが死角に存在する物体を確認することができる。
 (10)
 本実施の形態の油圧ショベル201の制御方法は、ステップS210(取得ステップの一例)と、ステップS240、S250(表示ステップの一例)と、を備える。ステップS210は、車両本体2の周囲のうち作業機3の運転席231と反対側の領域における物体に関する情報を取得する。ステップS240、S250は、取得した情報を作業機3に設けられた表示部206に表示する。
 このように、作業機3に表示部206を設けることによって、窓23aを表示部として用いないため、オペレータの窓からの視認性を損なわない。また、作業機3の表示部206に作業機3によって遮られた死角となる領域に存在する物体に関する情報を表示することによって、オペレータは、作業機に設けられた表示部206を見て、死角に存在する物体を認識することができる。
 <他の実施形態>
 以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
 (A)
 上記実施の形態1では、ブーム31にのみ画像を表示させているが、図5に示すように、運転席231に着座したオペレータはアーム32および掘削バケット33によっても視界が遮られる。そのため、ブーム31だけではなく、アーム32および掘削バケット33にも画像を投影してもよい。この場合、アーム32の角度および掘削バケット33の角度も遮蔽領域決定部73に入力され、ブーム31、アーム32および掘削バケット33を含む遮蔽領域が決定され、ブーム31、アーム32および掘削バケット33に遮蔽領域の画像が投影される。
 (B)
 上記実施の形態1では、遮蔽領域抽出部74によってブーム31で視界が遮蔽されている領域の画像のみが抽出されているため、抽出された画像データP3のみが投影されているが、これに限らなくてもよい。例えば、撮像部41で撮像した画像データP1から画角が変換されただけの画像データP2を全て投影部5によって投影してもよい。この場合、ブーム31以外の部分にも画像が投影されているが、投影される対象物が存在しないため映らない。
 (C)
 上記実施の形態1では、画像変換部72が、ブーム31に投影する画像データの画角を変更しているが、物体の大まかな位置を確認するだけであれば画角の変更を行わなくてもよい。また、検出部4の位置と運転席231に着座したオペレータの位置による視野の差が少ない場合には、画角の変更を行わなくてもよい。
 (D)
 上記実施の形態1では、撮像部41が設けられており、撮像部41で撮像した画像を表示部6に表示させているが、撮像部41が設けられていなくてもよい。この場合、表示部6には、画像を表示させず、障害物の位置のみを表示してもよい。
 (E)
 上記実施の形態1では、物体検知部42が設けられており、物体との距離を検出しているが、物体検知部42が設けられていなくてもよい。この場合、撮像部41によって撮影された画像に基づいて、物体との距離を演算して障害物を検出し、警告表示を行ってもよい。
 (F)
 上記実施の形態1では、ブーム31の左側面31aに投影部5によって投影して画像を表示させているが、投影部5が設けられていなくてもよい。たとえば、左側面31aに表示部の一例としてLEDパネル等の自発光機器が取り付けられていてもよい。表示制御部77は、画像データP4をLEDパネルに表示させる制御を行う。自発光機器には、ランプ等が含まれていてもよい。
 (G)
 上記実施の形態1では、画像データP3に警告表示を付与して画像データP4を作成し、画像データP4を表示部6に表示させているが、警告表示を行わずに画像データP3だけを表示してもよい。
 (H)
 上記実施の形態1では、画像データP3に警告表示を付与して画像データP4を作成し、画像データP4を表示部6に表示させているが、画像データP3を表示させずに障害物に関する警告表示だけを行ってもよい。この場合、オペレータが障害物を確認しやすいため、障害物の位置と対応する表示部6の位置に、警告表示を行うことが好ましい。また、投影部5に代わりLEDパネル等を用いる場合には、障害物の位置に対応する表示部の位置のLEDを点灯させてもよい。
 (I)
 上記実施の形態1の動作フローは、発明に影響を与えない範囲で適宜変更可能である。例えば上記実施の形態では、遮蔽領域S1の画像データP3を抽出した後に障害物の検出を行っているが、ステップS20で取得した画像データP1に対して障害物の検出が行われてもよい。この場合、遮蔽領域の抽出において、画像データP3に含まれない障害物が除外される。
 また、例えば、上記実施の形態では、取得した画像データP1の画角を変更した画像データP2を作成してから遮蔽領域S1の抽出を行っているが、これに限らなくてもよい。
 ブーム31の角度によって画像データP1の遮蔽領域は予め対応づけることができるため、画像データP1から遮蔽領域を抽出した画像データを作成した後に画角の変更を行ってもよい。
 (J)
 上記実施の形態1、2では、キャブ23の中に運転席231が設けられており、運転席231の側面には窓が設けられているが、窓が設けられていないキャノピー式の運転席であってもよい。
 (K)
 上記実施の形態1、2では、作業機械の一例として油圧ショベルを用いて説明したが、これに限らなくてもよく、例えばホイールローダ、ブルドーザなどでもよい。要するに、オペレータの視界が作業機によって遮られる場合に、その遮られる部分に遮られる領域の画像を表示させることができさえすれば、油圧ショベル以外の作業機械に適用可能である。
 (L)
 上記実施の形態2では、画像データP1から検出される物体を全て障害物として検出しているが、物体検知部42のデータに基づいて、画像データP1における物体の車両本体2までの距離を検出し、距離が所定範囲B2内である場合に、その物体を障害物として検出してもよい。図13は、車両本体2からの所定範囲B2を示す平面図である。図13では、所定範囲を示す境界がB2(一点鎖線)として示されている。所定範囲B2は、上記実施の形態の所定範囲B1よりも外側に設定される。また、所定範囲B2は、図13では油圧ショベル201の正面側と側面側で範囲の長さを変えた矩形状に設定されているが、これに限らず、油圧ショベル201の外形から一定の範囲内の扇形状でもよいし、特に限定されるものではない。
 この場合、所定範囲B2の内側であって所定範囲B1の外側に障害物が検出されたとき、表示制御部277はLEDランプ206aを例えば黄色に点灯させ、所定範囲B1の内側に障害物が検出されたとき、表示制御部277はLEDランプ206aを例えば赤色に点灯させればよい。
 また、油圧ショベル201から所定範囲B1の物体を障害物として検出するだけに限らず、例えば、物体が所定範囲B2よりも遠い位置に存在したとしても油圧ショベル201に近づいてきている場合には障害物であると判定してもよい。
 (M)
 図13に示すように、所定範囲B1と所定範囲B2が設けられている場合、所定範囲B1より内側に障害物が検出されたときは、LEDランプ206aを赤色に点灯し、所定範囲B2の内側であって所定範囲B1の外側に障害物が検出されたときは、LEDランプ206aを黄色に点灯し、所定範囲B2よりも外側に障害物が検出されたときは、LEDランプ206aを緑色に点灯してもよい。これによって、オペレータが障害物までの距離を認識することができ、視覚的に安全性を認識することができる。
 (N)
 上記実施の形態2では、障害物を所定範囲B1の内側で検出した場合と外側で検出した場合で、表示部206の表示を変化させているが、所定範囲B1が設けられておらず、表示部206の表示を変化させなくてもよい。例えば、領域R1において障害物が検出された場合に、表示部206を点灯させるだけでもよい。この場合、油圧ショベルから障害物までの距離を検出しなくてもよい。
 (O)
 上記実施の形態2では、右側面前方の領域R1の障害物を検出しているが、右側面後方の領域に存在する障害物の検出を行ってもよい。その場合、領域R1または右側面後方の領域に障害物が存在した場合に、表示部206のLEDランプ206aを点灯させてもよいし、LEDランプ206aに加えて右側面後方の領域用のLEDランプが更に設けられてもよい。
 (P)
 上記実施の形態2の油圧ショベル201においても、制御部207に、実施の形態1で説明した表示判定部70を設けて、障害物を検出した場合、動作の検出に基づいて表示部206の点灯の有無を判定してもよい。すなわち、例えば、前進若しく後進または作業状態の場合、LEDランプ206aが点灯される。
 (Q)
 上記実施の形態2では、撮像部41が設けられているが、撮像部41が設けられていなくてもよい。この場合、物体検知部42によって障害物を検出してもよい。
 (R)
 上記実施の形態2では、物体検知部42が設けられており、物体との距離を検出しているが、物体検知部42が設けられていなくてもよい。この場合、撮像部41によって撮影された画像に基づいて、物体との距離を演算して障害物を検出し、警告表示を行ってもよい。
 (S)
 上記実施の形態では、アタッチメントの一例としてアーム32の先端に掘削バケット33が取り付けられているが、掘削バケット33に限らず、ブレーカー、グラップル等の他のアタッチメントが取り付けられていてもよい。
 本発明の作業機械および作業機械の制御方法によれば、運転席からの視認性を損なうことなく、オペレータが死角に存在する物体を確認することが可能な効果を有し、油圧ショベル、ホイールローダ等として有用である。
1    :油圧ショベル
2    :車両本体
3    :作業機
4    :検出部
5    :投影部
6    :表示部
7    :制御部
231  :運転席

Claims (18)

  1.  運転席を有する車両本体と、
     前記車両本体に取り付けられ、前記車両本体に対して動作する作業機と、
     前記作業機に設けられる表示部と、
     前記車両本体の周囲のうち前記作業機を基準にして前記運転席とは反対側の領域における物体を検出する検出部と、
     前記検出部の検出した情報を前記表示部に表示する表示制御部と、を備えた、
    作業機械。
  2.  前記検出部は、画像を撮像する撮像部を有し、
     前記表示制御部は、撮像した画像に基づいた画像を前記表示部に表示する、
    請求項1に記載の作業機械。
  3.  前記車両本体に配置された投影部を更に備え、
     前記表示部は、前記作業機の表面の一部であり、
     前記表示制御部は、前記投影部によって前記表示部に前記情報を投影する、
    請求項1に記載の作業機械。
  4.  前記検出部の検出に基づいて障害物を検出する障害物検出部を更に備え、
     前記表示制御部は、前記運転席からの視界が前記作業機によって遮られる場合、障害物の検出結果に基づいて警告を前記表示部に表示させる、
    請求項1に記載の作業機械。
  5.  前記作業機は、前記車両本体の幅方向において前記運転席の第1方向側に設置されたブームを有し、
     前記ブームは、前記車両本体の前方に動作可能であり、
     前記検出部は、前記車両本体の前方であって前記第1方向側の領域の物体を検出し、
     前記作業機械は、油圧ショベルである、
    請求項1に記載の作業機械。
  6.  前記検出部は、画像を撮像する撮像部を有し、
     前記ブームの角度を検出するブーム角度検出部と、
     検出された前記ブームの角度に基づいて、前記ブームでオペレータの視界が遮蔽される遮蔽領域を決定する遮蔽領域決定部と、
     前記撮像部で撮像した画像データから前記遮蔽領域の部分の画像データを抽出する遮蔽領域抽出部と、を備え、
     前記表示制御部は、抽出された前記画像データに基づいた画像を、前記ブームに設けられた前記表示部に表示する、
    請求項5に記載の作業機械。
  7.  運転席を有する車両本体と、
     前記車両本体に取り付けられ、前記車両本体に対して動作する作業機と、
     前記作業機に設けられる表示部と、
     前記車両本体の周囲のうち前記作業機を基準にして前記運転席とは反対側の領域における物体を検出する検出部と、
     前記検出部の検出結果に応じた情報を前記表示部に表示する表示制御部と、を備えた、
    作業機械。
  8.  前記作業機は、ブーム、アーム、およびアタッチメントを有し、
     前記表示部は、前記ブームに設置されている、
    請求項7に記載の作業機械。
  9.  前記検出部によって前記領域において物体が検出された場合、前記表示制御部は、前記表示部に警告表示を行わせる、
    請求項7または8に記載の作業機械。
  10.  前記表示部は、自発光機器を有する、
    請求項7~9のいずれか1項に記載の作業機械。
  11.  前記表示部は、LEDパネルを有する、
    請求項9または10に記載の作業機械。
  12.  前記検出部によって前記領域において物体が検出された場合、前記表示制御部は、前記自発光機器を点灯させる、
    請求項10に記載の作業機械。
  13.  前記自発光機器は、ランプである、
    請求項10に記載の作業機械。
  14.  前記検出部によって前記領域において物体が検出された場合、前記表示制御部は、前記物体までの距離に応じて前記表示部の表示を変化させる、
    請求項1または7に記載の作業機械。
  15.  前記表示部は、自発光機器を有し、
     前記表示制御部は、前記作業機械から所定範囲よりも外側で前記物体を検出したときと、前記所定範囲よりも内側で前記物体を検出したときで、前記自発光機器の点灯を変化させる、
    請求項14に記載の作業機械。
  16.  前記表示制御部は、前記所定範囲の外側と内側で前記自発光機器の点灯の色または間隔を変化させる、
    請求項15に記載の作業機械。
  17.  前記車両本体は、旋回体と走行体と、を有し、
     前記運転席および前記作業機は、前記旋回体に設置されており、
     前記作業機械は、油圧ショベルである、
    請求項1または7に記載の作業機械。
  18.  作業機械の車両本体の周囲のうち作業機を基準にして運転席とは反対側の領域における画像を撮像する撮像ステップと、
     前記作業機に含まれるブームの俯仰角度を検出するブーム角度検出ステップと、
     検出された前記ブームの俯仰角度に基づいて、前記ブームでオペレータの視界が遮蔽される遮蔽領域を決定する遮蔽領域決定ステップと、
     撮像した画像データから前記遮蔽領域の部分の画像データを抽出する遮蔽領域抽出ステップと、
     抽出された前記画像データに基づいた画像を、俯仰した前記ブームの側面に表示する表示ステップと、を備えた、
    作業機械の制御方法。
PCT/JP2021/007848 2020-03-16 2021-03-02 作業機械および作業機械の制御方法 WO2021187082A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/782,399 US20230011758A1 (en) 2020-03-16 2021-03-02 Work machine and control method for work machine
JP2022508186A JPWO2021187082A1 (ja) 2020-03-16 2021-03-02
DE112021000258.9T DE112021000258B4 (de) 2020-03-16 2021-03-02 Hydraulikbagger, Arbeitsmaschine und Steuerverfahren einer Arbeitsmaschine
KR1020227019121A KR20220097482A (ko) 2020-03-16 2021-03-02 작업 기계 및 작업 기계의 제어 방법
CN202180008655.1A CN114945723A (zh) 2020-03-16 2021-03-02 作业机械以及作业机械的控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-045321 2020-03-16
JP2020045321 2020-03-16

Publications (1)

Publication Number Publication Date
WO2021187082A1 true WO2021187082A1 (ja) 2021-09-23

Family

ID=77768132

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007848 WO2021187082A1 (ja) 2020-03-16 2021-03-02 作業機械および作業機械の制御方法

Country Status (6)

Country Link
US (1) US20230011758A1 (ja)
JP (1) JPWO2021187082A1 (ja)
KR (1) KR20220097482A (ja)
CN (1) CN114945723A (ja)
DE (1) DE112021000258B4 (ja)
WO (1) WO2021187082A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230339402A1 (en) * 2022-04-21 2023-10-26 Deere & Company Selectively utilizing multiple imaging devices to maintain a view of an area of interest proximate a work vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07102596A (ja) * 1993-10-01 1995-04-18 Kensetsusho Kanto Chiho Kensetsu Kyokucho 建設機械の監視装置
JP2002323869A (ja) * 2001-04-24 2002-11-08 Komatsu Ltd 作業機械の表示装置およびこの表示装置を利用した広告方法
JP2002327468A (ja) * 2001-05-01 2002-11-15 Komatsu Ltd 作業機械の保安装置
JP2016183033A (ja) * 2015-03-26 2016-10-20 株式会社タダノ クレーン車の死角映像表示システム
JP2016211149A (ja) * 2015-04-29 2016-12-15 日立建機株式会社 建設機械

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4884939A (en) 1987-12-28 1989-12-05 Laser Alignment, Inc. Self-contained laser-activated depth sensor for excavator
JP3351984B2 (ja) 1997-04-22 2002-12-03 国土交通省関東地方整備局長 作業用走行車の視界改善装置および方法
JP2013002101A (ja) * 2011-06-15 2013-01-07 Hitachi Constr Mach Co Ltd 作業機械の視野補助装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07102596A (ja) * 1993-10-01 1995-04-18 Kensetsusho Kanto Chiho Kensetsu Kyokucho 建設機械の監視装置
JP2002323869A (ja) * 2001-04-24 2002-11-08 Komatsu Ltd 作業機械の表示装置およびこの表示装置を利用した広告方法
JP2002327468A (ja) * 2001-05-01 2002-11-15 Komatsu Ltd 作業機械の保安装置
JP2016183033A (ja) * 2015-03-26 2016-10-20 株式会社タダノ クレーン車の死角映像表示システム
JP2016211149A (ja) * 2015-04-29 2016-12-15 日立建機株式会社 建設機械

Also Published As

Publication number Publication date
DE112021000258B4 (de) 2023-05-04
DE112021000258T5 (de) 2022-09-22
KR20220097482A (ko) 2022-07-07
JPWO2021187082A1 (ja) 2021-09-23
US20230011758A1 (en) 2023-01-12
CN114945723A (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
JP5908500B2 (ja) ショベルの画像表示装置
JP6251453B1 (ja) 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法
JP4332028B2 (ja) 表示器制御システム
KR101843382B1 (ko) 크롤러식 작업 기계의 주변 감시 장치
JP6095592B2 (ja) 油圧ショベルの監視画像表示装置
US10145087B2 (en) Surroundings display device for swing working machine
JP6734260B2 (ja) 作業機械
CN109314769B (zh) 施工机械用周边监视系统
US20140375814A1 (en) Periphery Monitoring Device for Self-Propelled Industrial Machine
US20220042286A1 (en) Shovel
US20220074171A1 (en) Display device, shovel, and information processing apparatus
US20220042282A1 (en) Shovel, and safety equipment confirmation system at worksite
JP2005188155A (ja) 表示器制御システム
US20210140147A1 (en) A working machine provided with an image projection arrangement
JP2020051156A (ja) 作業機械
WO2021187082A1 (ja) 作業機械および作業機械の制御方法
US20220042283A1 (en) Shovel
JP4196826B2 (ja) 旋回式作業車両の後方視野表示装置
US20210363732A1 (en) System and method for selectively displaying image data in a working machine
JP7349880B2 (ja) 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
US20240117604A1 (en) Automatic mode for object detection range setting
US20230407600A1 (en) Work Vehicle
JP7329928B2 (ja) 作業機械
JP2022156497A (ja) 転圧機械
JP2021133904A (ja) 作業機械

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21770435

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022508186

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20227019121

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21770435

Country of ref document: EP

Kind code of ref document: A1