WO2020129832A1 - 作業機械用周辺監視装置 - Google Patents

作業機械用周辺監視装置 Download PDF

Info

Publication number
WO2020129832A1
WO2020129832A1 PCT/JP2019/048892 JP2019048892W WO2020129832A1 WO 2020129832 A1 WO2020129832 A1 WO 2020129832A1 JP 2019048892 W JP2019048892 W JP 2019048892W WO 2020129832 A1 WO2020129832 A1 WO 2020129832A1
Authority
WO
WIPO (PCT)
Prior art keywords
work machine
output
target space
operator
control device
Prior art date
Application number
PCT/JP2019/048892
Other languages
English (en)
French (fr)
Inventor
佐々木　均
山▲崎▼　洋一郎
誠司 佐伯
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to EP19897745.6A priority Critical patent/EP3858676B1/en
Priority to US17/292,849 priority patent/US20210395981A1/en
Priority to CN201980072633.4A priority patent/CN113039094B/zh
Publication of WO2020129832A1 publication Critical patent/WO2020129832A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload

Definitions

  • the present invention relates to a device for monitoring the periphery of a work machine.
  • Patent Document 1 the technique described in Patent Document 1 is known as a technique for monitoring the periphery of a work machine.
  • This technique enables an operator of the work machine to intuitively grasp the position of a person who exists around the work machine, and therefore when a person exists in the first monitoring space (for example, the right side of the work machine).
  • the first alarm output unit for example, the right alarm output unit in the cab
  • the second alarm output unit for example, the rear alarm output unit in the cab
  • the second alarm output unit for example, the rear alarm output unit in the cab
  • the second monitoring space outputs an alarm. Including what to do.
  • An object of the present invention is to provide a device that enables an operator of a work machine to recognize a situation around the work machine at an appropriate timing.
  • a device for monitoring the periphery of a work machine and an operation detection element for detecting an operation state which is a state of an operation given to an operation device by an operator for operating the work machine.
  • An object detection element that detects the presence or absence of an object in a target space around the work machine, an output device that outputs notification information to the operator, and an initial operation for starting the work machine is the operation device.
  • An output control for controlling the output device so as to output a voice indicating a detection result of the object detection element to the output device in response to the operation detection element detecting the initial operation state given to the output device as the operation state. And an element.
  • FIG. 1 is a diagram showing a work machine 10 according to the present embodiment and a remote control room 2 in which remote control is performed.
  • a remote control device 40 is provided in the remote control room 2, and an operator can remotely control the work machine 10 using the remote control device 40.
  • the work machine 10 is, for example, a hydraulic excavator, and includes an attachment 11, an arm 12, a boom 13, a revolving structure 14, a traveling structure 15, and a plurality of actuators.
  • the plurality of actuators include a traveling hydraulic motor (not shown), a turning hydraulic motor (not shown), and hydraulic cylinders 11a, 12a, 13a.
  • the traveling body 15 shown in FIG. 1 is of a crawler type and is driven by the traveling hydraulic motor.
  • the traveling body 15 may be a wheel type.
  • the revolving unit 14 is arranged above the traveling unit 15 and is revolvingly driven around the yaw axis with respect to the traveling unit 15 by the revolving hydraulic motor.
  • a machine room 14b is provided at the rear of the revolving structure 14, and the machine room 14b includes a hydraulic device (a hydraulic pump, a directional control valve, a hydraulic oil tank, etc.) (not shown), and an engine (not shown) that is a power source such as a hydraulic pump. , To accommodate.
  • the work machine 10 allows a driver to board and operate the work machine 10.
  • a driver's cab 14a is provided in the front part of the revolving structure 14, and an operator 17 (shown in FIG. 2) for receiving an operation for operating the work machine 10 is arranged in the driver's cab 14a.
  • the operation device 17 includes an operation lever, an operation pedal, an operation switch and the like which are not shown.
  • the boom 13 is attached to the front part of the revolving structure 14 so as to be vertically rotatable, and is rotated by the expansion and contraction of the hydraulic cylinder 13a.
  • the arm 12 is rotatably attached to the tip of the boom 13 and is rotated by the expansion and contraction of the hydraulic cylinder 12a.
  • the attachment 11 is rotatably attached to the tip of the arm 12 and is rotated by the expansion and contraction of the hydraulic cylinder 11a.
  • the attachment 11 shown in FIG. 1 is a bucket. However, the attachment 11 may be something other than a bucket, such as a crusher, a breaker, or a magnet.
  • the plurality of actuators are included in the traveling hydraulic motor, the turning hydraulic motor, and hydraulic actuators other than the hydraulic cylinders 11a, 12a, 13a, for example, hydraulic actuators for driving the dozer, attachments such as a crusher. It may further include a hydraulic actuator. Further, some of the plurality of actuators may be actuators other than hydraulic actuators, for example, electric actuators. For example, the turning hydraulic motor may be replaced with an electric actuator.
  • a remote control system 1 as shown in FIG. 2 for enabling remote control of the work machine 10 is constructed, and the remote control system 1 is a periphery for monitoring the periphery of the work machine 10. Includes monitoring equipment.
  • the remote operation system 1 includes the remote operation device 40, an operation drive device 21, an operation state detector 22, at least one camera 23, an object sensor 24, and a work machine side control device 25. , And the wireless communication device 26.
  • the operation drive device 21 is an electric drive device mounted on the work machine 10 to drive the operation device 17.
  • the operation driving device 21 has a plurality of electric motors (not shown) and is installed in the operator's cab 14a.
  • the operation drive device 21 is connected to the operation device 17 such that each of the operation levers or operation pedals included in the operation device 17 can be driven by each of the plurality of electric motors.
  • the operation drive device 21 may be configured to be detachable from the work machine 10 when the work machine 10 is not remotely operated.
  • the operation state detector 22 is mounted on the work machine 10 to detect the operation state of the work machine 10. Although not shown in detail in the drawings, the operating state detector 22 detects, for example, rotation angles (or stroke lengths of the hydraulic cylinders 11a, 12a, 13a) of the attachment 11, the arm 12, and the boom 13, respectively. It includes a detector, a detector that detects the turning angle of the revolving unit 14, and a detector that detects the drive speed of the traveling unit 15.
  • the operating state detector 22 may further include, for example, a detector that detects an inclination angle of the swinging body 14 or the traveling body 15, an inertial sensor that detects an angular velocity or acceleration of the swinging body 14, and the like.
  • the camera 23 is mounted on an appropriate portion of the work machine 10 so as to photograph a predetermined area around the work machine 10.
  • the camera 23 is mounted on, for example, a ceiling portion of the driver's cab 14a so that the front area of the revolving structure 14 can be photographed.
  • the at least one camera 23 may include a plurality of cameras 23 so as to capture a plurality of areas around the work machine 10.
  • the at least one object sensor 24 is a sensor for detecting an object existing around the work machine 10, and is a component of the perimeter monitoring device.
  • the at least one object sensor 24 is composed of, for example, a camera, a distance measuring sensor, a radar, or the like.
  • the at least one object sensor 24 preferably includes a plurality of object sensors 24 installed at a plurality of locations such as a peripheral portion of the revolving structure 14 so as to detect an object existing around the revolving structure 14. ..
  • the camera 23 may be used as the object sensor 24.
  • the work machine-side control device 25 is composed of, for example, one or more electronic circuit units including a microcomputer, a memory, an interface circuit, etc., and is a video signal captured by the camera 23, the object sensor 24, and the operating state detector 22. Each detection signal can be acquired as appropriate, and various processes for controlling the work machine 10 can be executed based on the detection signal. Further, the work machine side control device 25 can appropriately communicate with the remote control device 40 via the wireless communication device 26.
  • the work machine side control device 25 has an operation control unit 25a and a peripheral object detection unit 25b as functions realized by both or one of the installed hardware configuration and program (software configuration).
  • the operation control unit 25a controls the operation of the work machine 10 according to an operation given to the operation device 17 or according to an operation command given from the remote operation device 40 via the wireless communication device 26. ..
  • the operation control unit 25a can control the operation of the operation drive device 21 (and thus control the operation given to the operation device 17), and can also perform the operation control of the engine.
  • the peripheral object detection unit 25b detects an object existing in a predetermined target space AR (FIG. 3) around the work machine 10 based on a detection signal of the object sensor 24, for example, a person or an installed object.
  • the target space AR is, for example, an area set (defined) around the revolving structure 14 as shown in FIG.
  • the target space AR is set in an area in which the work machine 10 may come into contact with the work machine 10 when the work machine 10 operates while the object exists in the target space AR.
  • the peripheral object detection unit 25b detects the existence of the object P and the position of the object P relative to the work machine 10. To do.
  • the size or shape of the target space AR can be variably set according to the operating state of the work machine 10.
  • the remote operation device 40 is provided in the remote operation room 2 as shown in FIG. 4, and includes a seat 41, an operation device 42, at least one speaker 43, and a display 44.
  • the seat 41 allows an operator (not shown) to sit on it.
  • the operation device 42 is operated by the operator for remote operation of the work machine 10.
  • the at least one speaker 43 is an output device of acoustic information (audible information).
  • the display 44 is an output device of display information (visual information).
  • the remote operation device 40 further includes a wireless communication device 45, an operation state detector 46, and a master side control device 47 as shown in FIG.
  • the wireless communication device 45 is a device for performing wireless communication with the wireless communication device 26 provided in the work machine 10.
  • the operation state detector 46 detects the state of the operation given to the operation device 42.
  • the wireless communication device 45 and the master-side control device 47 may be arranged inside or outside the remote control room 2.
  • the operation device 42 may have, for example, a configuration similar to or similar to the operation device 17 mounted on the work machine 10.
  • the operating device 42 illustrated in FIG. 4 includes an operating lever 42a and a pair of operating levers 42b.
  • the operation lever 42a is installed on the front side of the seat 41 so that an operator seated on the seat 41 can operate the operation lever 42a.
  • An operation pedal 42ap is attached to the operation lever 42a.
  • the pair of operation levers 42b are respectively mounted on consoles 41b arranged on the left and right of the seat 41.
  • the operating device 42 may have a configuration different from the configuration of the operating device 17.
  • the operation device 42 may be, for example, a portable type including a joystick, operation buttons, and the like.
  • the operation state detector 46 corresponds to the operation detection element in the present invention.
  • the operation state detector 46 includes, for example, a potentiometer and a contact switch incorporated in the operation device 42, and is provided to a plurality of operation units (operation levers 42a and 42b, operation pedal 42ap, etc.) of the operation device 42, respectively. It is configured to output a detection signal indicating the state of the operation being performed.
  • the at least one loudspeaker 43 preferably comprises a plurality of loudspeakers 43, which are arranged, for example, at a plurality of locations around the remote control room 2, for example at the front, rear and left and right sides of the remote control room 2, respectively.
  • the display 44 is composed of, for example, a liquid crystal display, a head-up display, or the like, and is arranged on the front side of the seat 41 so that an operator sitting on the seat 41 can visually recognize it.
  • the at least one speaker 43 and the display 44 correspond to the output device in the present invention.
  • the master-side control device 47 is composed of, for example, one or more electronic circuit units including a microcomputer, a memory, an interface circuit, etc., and can appropriately detect the detection signal of the operation state detector 46.
  • the master side control device 47 can appropriately communicate with the work machine side control device 25 via the wireless communication device 45 and the wireless communication device 26 of the work machine 10.
  • the master-side control device 47 is capable of, for example, transmitting an operation command for the work machine 10 to the work machine-side control device 25 and receiving various types of information from the work machine 10.
  • the operation command is defined by the operation state of the operation device 42 detected by the operation state detector 46.
  • the various information includes, for example, a video image captured by the camera 23, detection information of objects around the work machine 10, and detection information of the operating state of the work machine 10.
  • the master control device 47 has a function as an output information control unit 47a.
  • the function is realized by a hardware configuration and/or a program (software configuration) installed in the master-side control device 47, and controls the speaker 43 and the display 44.
  • the output information control unit 47a corresponds to the output control element in the present invention.
  • the operator seated on the seat 41 in the remote control room 2 performs a predetermined start operation (for example, an operation of turning on a start switch (not shown) included in the operation device 42 to start work by the work machine 10, or , Voice input operation).
  • a predetermined start operation for example, an operation of turning on a start switch (not shown) included in the operation device 42 to start work by the work machine 10, or , Voice input operation.
  • the master side control device 47 transmits a start command to the work machine side control device 25 via the wireless communication devices 45 and 26.
  • the operation control unit 25a of the work machine side control device 25 executes control processing for starting the engine of the work machine 10 in response to the reception of the start command.
  • the work machine side control device 25 transmits engine start completion information indicating the completion to the master side control device 47 via the wireless communication devices 26 and 45.
  • the peripheral object detection unit 25b of the work machine side control device 25 detects whether or not an object such as a person exists in the target space AR around the work machine 10 based on the detection signal of the object sensor 24. Start processing.
  • the master side control device 47 When the master side control device 47 receives the engine start completion information, the master side control device 47 causes the at least one speaker 43 to output audio information indicating completion of the engine start of the work machine 10, or display information indicating the completion. Is displayed on the display 44. This allows the operator to recognize that the engine of the work machine 10 has started.
  • the master-side control device 47 sequentially obtains (receives) a video image captured by the camera 23 of the work machine 10 (including a video image captured on the front side of the revolving structure 14) through communication with the work machine control device 25. ) Do.
  • the master-side control device 47 executes the initial monitoring process in cooperation with the work-machine-side control device 25 while displaying the acquired captured image on the display 44.
  • FIG. 5 is a flowchart showing the initial monitoring process.
  • the master-side control device 47 sequentially determines, based on the output (detection signal) of the operation state detector 46, whether or not an initial operation for starting work by the work machine 10 has been performed. to decide.
  • the master-side control device 47 detects, for example, that the initial operation has been performed, which is an operation for operating one of the actuators of the work machine 10 in the operation device 42, and the operation levers 42a, 42b.
  • the operation state detector 46 outputs the detection that the operation pedal 42ap is displaced to an operation amount exceeding a predetermined dead zone, or that the operation amount is operated up to immediately before the dead zone is exceeded. Based on.
  • the master-side control device 47 detects, for example, that the operator has given the operation device 42 an operation for lowering an entry/exit blocking lever (not shown) mounted on the work machine 10. It may be detected via the device 46.
  • the operation device 42 of the remote operation device 40 includes an operation boarding/alighting blocking lever that can be moved up and down similarly to the boarding/alighting blocking lever of the work machine 10, and the operator lowers the operation boarding/alighting blocking lever.
  • the drive device for operating the working machine 10 so that the lever operation lock in the working machine 10 is released in response to the operation of the operating device 42. 21 and the like are configured.
  • the operation of lowering the operation boarding/disconnecting lever of the remote control device 40 in order to release the lever operation lock is performed, so that the operation can be regarded as an initial operation.
  • the master-side control device 47 is operated by the operation state detector 46 when the operation state detector 46 detects that the operation device 42 is operated to unlock the swing operation of the swing body 14. It is also possible to detect that the initial operation has been performed based on the output of.
  • STEP 1 or an operation given to the operation device 42 for starting the engine may be detected as an initial operation.
  • the master control device 47 After detecting the initial operation (YES in STEP1), the master control device 47 determines whether or not an object such as a person exists in the target space AR around the work machine 10 (STEP2). Specifically, the master-side control device 47 communicates object detection information (current detection information) provided by the peripheral object detection unit 25b of the work-machine-side control device 25 with the work-machine-side control device 25 by communication. It is acquired and the presence or absence of an object such as a person in the target space AR is determined based on the detection information.
  • object detection information current detection information
  • the master side control device 47 causes the detection information (the object for the work machine 10 (Including information indicating the existing relative position or relative orientation) is received from the work machine side control device 25, and it is determined that the presence of the object is detected (YES in STEP 2).
  • the master-side control device 47 sends the detection information indicating this to the work machine-side control. It is received from the device 25, and thereby it is determined that the presence of the object is not detected (NO in STEP 2).
  • the master-side control device 47 executes the process of STEP 4 and ends the process of the flowchart of FIG. 5 (initial monitoring process).
  • the master controller 47 causes at least one speaker 43 to output audio information indicating that there is no object in the target space AR around the work machine 10.
  • at least one of the plurality of loudspeakers 43 arranged in the remote control room 2 outputs voice information having the content "no obstacle exists in the surroundings.”
  • the output enables the operator to easily recognize that the work by the work machine 10 can be started without any trouble. In this way, the operator can recognize the absence of the obstacle as auditory information by voice without the need for the movement of the line of sight, so that the operator can start the work while watching the captured image displayed on the display 44. It is possible to promptly carry out.
  • the master-side control device 47 causes the speaker 43 to output audio information indicating the presence of an object in the target space AR around the work machine 10 (STEP 3 ).
  • the audio information preferably includes information indicating a relative position or orientation of an object existing in the target space AR with respect to the work machine 10.
  • at least one of the plurality of speakers 43 arranged in the remote control room 2 says, "There is an object in the diagonally right rear (or within 1 m in the diagonally right rear). Please be careful.”
  • Output audio information with various contents is output to the target space AR around the work machine 10 even when an object is not included in the captured image displayed on the display 44 or the operator overlooks the presence of the object included in the captured image. It enables the operator to easily recognize the position or direction where the object exists and the work machine 10 exists.
  • the audio information can include information indicating the type of the object.
  • a speaker 43 for outputting the audio information is selected from a plurality of speakers 43 arranged in the remote control room 2, or the volume of the speaker 43 for outputting the audio information is set to the target space AR. It is also possible to change it depending on the existence position or the existence direction of the object in.
  • the operator does not ask the work machine 10 based on the volume of the voice information. It makes it possible to recognize the degree of proximity of an object.
  • the master-side control device 47 may be configured so that the audio information is output from the device or the volume of the matching speaker 43 is made higher than the volume of the other speaker 43. For example, when the presence of an object is detected in the target space AR at a position diagonally rearward and rightward of the revolving structure 14 of the work machine 10, the right and rear sides of the front, rear, left and right speakers 43 in the remote control room 2 are detected.
  • the master is set so that the audio information is output only from the speaker 43, or the volume of the audio information output from the right and rear speakers 43 is made higher than the volume of the audio information output from the left and front speakers 43.
  • the side control device 47 may be configured. This allows the operator to recognize in which direction the object is relative to the work machine 10 based on the direction from which the audio information is heard or the direction in which it is easily heard.
  • the master-side control device 47 further displays a bird's-eye view image showing the surrounding condition of the work machine 10 in a partial area of the display 44.
  • a bird's-eye view image of the work machine 10 and an image showing the target space AR around the work machine 10 are displayed on the display 44, and are equivalent to the position of the object in the image of the target space AR.
  • a marker image showing the object P (or a photographed image of the object) is displayed at the place to be marked. This display enables the operator to clearly recognize the position where the object exists in the target space AR from the visual information displayed on the display 44.
  • the bird's-eye view image may be created in accordance with the actual operation state of the work machine 10 detected by the operation state detector 22 of the work machine 10 when the processing of STEP 3 is executed.
  • the bird's-eye view image is generated so that the distance from the revolving structure 14 to the attachment 11 in the bird's-eye view image of the work machine 10 is approximately proportional to the actual distance in the front-rear direction estimated based on the detection signal of the operation state detector 22.
  • the master-side control device 47 may include a bird's-eye view image of the work machine 10, an image of a target space AR corresponding thereto, and the target space AR.
  • the image of the object detected in step 4 may be displayed on the display 44.
  • an object P such as a person existing in the target space AR is detected by the peripheral object detection unit 25b of the work machine-side control device 25, the work machine 10, the target space AR, and the object in the mode shown in FIG.
  • the image of P may be displayed on the display 44.
  • the master control device 47 causes the operator to pay attention to the operation of the operation device 42 after the audio information indicating the presence of the object in the target space AR is output from the speaker 43 or continuously with the audio information.
  • the voice information indicating the precautions to be taken is further output from the at least one speaker 43.
  • the master-side control device 47 causes the at least one speaker 43 to output audio information indicating the corresponding process to be executed by the operator in response to the detection of the object, as the information indicating the caution. In response to this, the operator can perform an appropriate handling process.
  • voice information with the content of "Please evacuate (or remove) the object from the surrounding target space before starting the work.” is output as information indicating the above-mentioned handling process.
  • the operator can give the operation device 42 a predetermined operation for generating an alarm output around the work machine 10 in accordance with the output.
  • the master-side control device 47 in response to the operation by the operator, transmits the alarm output generation command to the work machine-side control device 25. Then, the work machine-side control device 25 that has received the generation command causes a speaker (not shown) provided in the work machine 10 to generate an alarm sound or an alarm sound for urging the object to retract (or be removed) from the target space AR. Is output.
  • the warning output is not limited to an audible warning output such as a warning sound or a warning sound, but may be a visual (optical) warning output by light projection to the surroundings of the work machine 10.
  • the master-side control device 47 causes the “work machine to move in the XX direction by about XXm”.
  • the voice information having the content such as "Please.” may be output from the speaker 43.
  • the operator can give the operation device 42 an operation for moving the work machine 10 in accordance with the voice information.
  • the master-side control device 47 transmits a movement command according to the operation to the work machine-side control device 25.
  • the operation control unit 25a of the work machine control device 25 controls the operation drive device 21 so as to give an operation to the operation device 17, thereby moving the work machine 10 in accordance with the movement command.
  • the master-side control device 47 replaces the voice information indicating the corresponding process to be performed by the operator, or in addition to the voice information, with the voice information indicating the process not to be executed by the operator. May be output from the speaker 43.
  • voice information such as “Do not rotate the revolving structure to the left (counterclockwise)” is output from the speaker 43, or the work is performed.
  • the speaker 43 may output audio information having the content “Please do not move the running body backward”.
  • the master-side control device 47 After executing the processing of STEP3 as described above, the master-side control device 47 then sequentially determines in STEP5 whether or not an object has left the target space AR. Specifically, the master-side control device 47 acquires the object detection information by the peripheral object detection unit 25b of the work machine-side control device 25 through communication with the work machine-side control device 25, and based on the detection information, the target information is acquired. The presence/absence of an object such as a person in the space AR is sequentially determined.
  • the master side control device When the peripheral object detection unit 25b of the work machine side control device 25 detects the presence of an object in the target space AR, the master side control device receives detection information indicating that from the work machine side control device 25. Then, as a result, in STEP 5, it is determined that the object does not exist. In this case, the master control device 47 repeats the determination process of STEP5. At this time, the master-side control device 47 may intermittently repeat outputting the same voice information as the voice information output in STEP 3 from the speaker 43. Further, similarly to STEP 3, the overhead image of the work machine 10 and the like may be continuously displayed on the display 44. In this image, the image of the object displayed on the display 44 may be moved according to the movement of the object in the target space AR.
  • the master-side control device 47 stops detecting the presence of an object in the target space AR by the peripheral object detection unit 25b of the work-machine-side control device 25, and outputs detection information indicating that from the work-machine-side control device 25. Upon reception, it is determined that the object has left the target space AR (YES in STEP 5). At this point, the master-side control device 47 executes the process of STEP6, and ends the process of the flowchart of FIG. 5 (initial monitoring process).
  • the master control device 47 causes the speaker 43 to output audio information indicating that an object has left the target space AR.
  • the audio information having the content “The object has come out of the target space.” is output from the speaker 43.
  • the operator outputs the presence or absence of the object in the target space AR around the work machine 10 from the speaker 43 when the work machine 10 starts the work. It can be easily recognized by the voice information. Therefore, the operator does not need to carefully observe the captured image around the work machine 10 displayed on the display 44 in a situation where it is highly necessary to pay attention to the situation around the work machine 10.
  • the situation around the work machine 10 presence or absence of an object in the target space AR
  • the bird's-eye view image (or bird's-eye view image) of the work machine 10 and its surroundings is displayed on the display 44 together with the image of the object, so that the operator tells the work machine 10 about the work machine 10.
  • the position or direction in which the object exists can be easily recognized.
  • voice information indicating an appropriate response process is output to the operator, so that the operator can smoothly perform the appropriate response process. Furthermore, when the object does not exist in the target space AR, voice information indicating that the object is output is output to the operator, so that the operator can smoothly start the work with the work machine 10.
  • the present invention is not limited to the embodiment described above, and other embodiments can be adopted. Some other embodiments will be exemplified below.
  • the output control element when the operator gives an initial operation to the operating device 42, voice information indicating the detection result is output regardless of whether or not the presence of an object in the target space AR around the work machine 10 is detected.
  • the output control element may be configured to cause the output device to output the audio information only when the presence of an object in the target space AR is detected. In other words, the output control element may suspend the output of audio information when the presence of an object is not detected. That is, the process of STEP4 of FIG. 5 may be omitted.
  • the bird's-eye view image showing the surroundings of the work machine 10 is displayed on the display 44, or the audio information indicating the corresponding processing is displayed.
  • the output may be omitted.
  • the processes of STEP5 and STEP6 (the process of outputting voice information indicating that when an object leaves the target space AR) may be omitted.
  • the initial operation exemplified in the above embodiment is an operation given to the operation lever of the operation device 42 at the start of work of the work machine 10, an operation for starting the engine, and an operation for releasing the lever operation lock.
  • the initial operation may be detected based on the combination of these operations. For example, since the engine start operation and the lever operation lock release operation are performed at the start of the work, the detection of both of these operations may be a condition for detecting the initial operation. Further, after the work is started, the initial operation may be detected based on the detection of the initial stage of the operation given to the operation lever for operating the actuator of the work machine 10.
  • the operation of the operation device 42 of the remote operation device 40 when the operation of the operation device 42 of the remote operation device 40 temporarily becomes a neutral state (no operation state) during the work by the work machine 10, or when the work machine 10 travels or the revolving structure 14 is operated.
  • the initial operation is detected and the presence or absence of an object is detected each time.
  • the master-side control device 47 may be configured so as not to judge the operation as the initial operation.
  • the working machine 10 according to the embodiment is a hydraulic excavator
  • the working machine according to the present invention may be a working machine other than the hydraulic shovel, for example, a crane or a forestry machine.
  • the work machine may be dedicated to remote control.
  • the work machine according to the present invention may be one in which an operator rides on the work machine to directly control the work machine.
  • the initial operation applied to the operating device of the work machine can be detected based on, for example, the detected value of the pilot pressure generated according to the operation applied to the operating device.
  • An object of the present invention is to provide a device that enables an operator of a work machine to recognize a situation around the work machine at an appropriate timing.
  • a device for monitoring the periphery of a work machine and an operation detection element for detecting an operation state which is a state of an operation given to an operation device by an operator for operating the work machine.
  • An object detection element that detects the presence or absence of an object in a target space around the work machine, an output device that outputs notification information to the operator, and an initial operation for starting the work machine is the operation device.
  • Output control for controlling the output device so that the output device outputs a voice indicating a detection result by the object detection element in response to the operation detection element detecting the initial operation state given to the output operation state as the operation state. And an element.
  • the presence of the object in the target space is indicated.
  • a mode in which the output control element is configured to output the sound from the output device is included.
  • the operator needs to pay particular attention to the situation around the work machine. At the start of the operation of the work machine, the operator recognizes that an object exists in the target space around the work machine through his or her hearing. Allows you to recognize.
  • the object in the target space is detected. It also includes a mode in which the output control element is configured to output the voice indicating the presence from the output device. With this, the operator needs to pay particular attention to the situation around the work machine. At the start of the operation of the work machine, the operator recognizes, through his hearing, that there is no object in the target space around the work machine. Enable that.
  • the operation of the work machine includes not only the operation of the entire work machine but also the operation of a part of the work machine. Further, causing the output device to output a sound indicating the detection result by the object detection element means that when the object detection element detects the presence of an object in the target space and when the object detection element detects the absence of the object in the target space. It may be executed only at either one of the detection times.
  • the output control element is an image of the work machine and its surroundings (preferably at least one of a bird's-eye view image and a bird's-eye view image) showing a detection result by the object detection element in response to the operation detection element detecting the initial operation state. Is preferably configured to be further output to the output device.
  • the image is output by the output device when an object exists in a target space around the work machine at the start of operation of the work machine, in which the operator needs to pay particular attention to the situation around the work machine. This enables the operator to visually recognize the presence of an object in the target space around the work machine.
  • the output control element after the operation detection element detects the initial operation state and the object detection element detects the presence of the object in the target space, subsequent operation of the work machine May be configured to be further output to the output device.
  • the output control element after the object detection element detects the presence of the object in the target space, in response to the object detection element detects the absence of the object in the target space, from the target space
  • the output device may be further configured to output a sound indicating that the object has come off.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

作業機械の操作者に適当なタイミングで当該作業機械の周辺における状況を認識させることができる周辺監視装置が提供される。当該装置は、操作者により作業機械（１０）を動作させるために操作装置に与えられる操作の状態である操作状態を検知する操作状態検出器（４６）と、作業機械（１０）の周囲の対象空間（ＡＲ）における物体の有無を検知する周辺物体検知部（２５ｂ）と、操作者に対して報知情報を出力するスピーカ（４３）と、作業機械（１０）を始動させるための初期操作が操作装置に与えられる初期操作状態を操作状態検出器（４６）が検知したことに応じて周辺物体検知部（２５ｂ）による検知結果を示す音声をスピーカ（４３）に出力させる出力情報制御部（４７ａ）と、を備える。

Description

作業機械用周辺監視装置
　本発明は、作業機械の周辺を監視するための装置に関する。
　従来、作業機械の周辺を監視するための技術として、例えば特許文献１に記載されるものが知られている。この技術は、作業機械の周囲に存在する人の位置を作業機械の操作者が直感的に把握することを可能にするため、第１の監視空間（例えば作業機械の右側）に人が存在すると判定された場合に当該第１の監視空間に対応する第１の警報出力部（例えばキャブ内の右側警報出力部）が警報を出力することと、前記第１の監視空間とは別の第２の監視空間（例えば作業機械の後方）に人が存在すると判定された場合に当該第２の監視空間に対応する第２の警報出力部（例えばキャブ内の後側警報出力部）が警報を出力することと、を含む。
　しかし、前記警報の出力のタイミングが不適当であると作業機械の操作者に煩わしさを感じさせる。さらに、操作に対する操作者の集中を削ぐおそれもある。
特開２０１８－０９３５０１号公報
　本発明は、作業機械の操作者が適当なタイミングで当該作業機械の周辺における状況を認識することを可能にする装置を提供することを目的とする。
　提供されるのは、作業機械の周辺を監視するための装置であって、前記作業機械を動作させるために操作者により操作装置に与えられる操作の状態である操作状態を検知する操作検知要素と、前記作業機械の周囲の対象空間における物体の有無を検知する物体検知要素と、前記操作者に対して報知情報を出力する出力装置と、前記作業機械を始動させるための初期操作が前記操作装置に与えられる初期操作状態を前記操作状態として前記操作検知要素が検知したことに応じて、前記物体検知要素による検知結果を示す音声を前記出力装置に出力させるように当該出力装置を制御する出力制御要素と、を備える。
本発明の実施形態に係る作業機械及びその遠隔操作が行われる遠隔操作室を示す図である。 前記作業機械の遠隔操作を行うための遠隔操作システムを示すブロック図である。 前記作業機械の周囲に設定される対象空間を例示する図である。 前記遠隔操作装置の構成を示す図である。 前記遠隔操作システムにおいて行われる制御動作を示すフローチャートである。
　本発明の一実施形態を図１～図５を参照して以下に説明する。
　図１は、本実施形態に係る作業機械１０及びその遠隔操作が行われる遠隔操作室２を示す図である。前記遠隔操作室２内には遠隔操作装置４０が設けられ、当該遠隔操作装置４０を用いて操作者が前記作業機械１０を遠隔操作することが可能である。
　前記作業機械１０は、例えば油圧ショベルであり、アタッチメント１１、アーム１２、ブーム１３、旋回体１４、走行体１５及び複数のアクチュエータを備えている。前記複数のアクチュエータは、図示しない走行用油圧モータ、図示しない旋回用油圧モータ、及び油圧シリンダ１１ａ，１２ａ，１３ａを含む。
　図１に示される前記走行体１５はクローラ式であり、前記走行用油圧モータにより駆動される。前記走行体１５はホイール式であってもよい。
　前記旋回体１４は、前記走行体１５の上側に配置され、前記旋回用油圧モータにより前記走行体１５に対してヨー軸周りに旋回駆動される。この旋回体１４の後部には機械室１４ｂが設けられ、当該機械室１４ｂは図示しない油圧機器（油圧ポンプ、方向切換弁、作動油タンク等）と、油圧ポンプ等の動力源たる図示しないエンジンと、を収容する。
　この実施形態に係る作業機械１０は、運転者が搭乗して当該作業機械１０を操縦することを許容する。具体的に、前記旋回体１４の前部には運転室１４ａが設けられ、当該運転室１４ａには、作業機械１０を操縦するための操作を受ける操作装置１７（図２に示す）が配置されている。該操作装置１７は、図示しない操作レバー、操作ペダル、操作スイッチ等を含む。
　前記ブーム１３は、前記旋回体１４の前部に上下方向に回動可能に取付けられ、前記油圧シリンダ１３ａの伸縮によって回動させられる。前記アーム１２は、前記ブーム１３の先端部に回動可能に取付けられ、前記油圧シリンダ１２ａの伸縮によって回動させられる。前記アタッチメント１１は、前記アーム１２の先端部に回動可能に取付けられ、前記油圧シリンダ１１ａの伸縮によって回動させられる。図１に示されるアタッチメント１１はバケットである。しかし、アタッチメント１１は、バケット以外のもの、例えば破砕機、ブレーカ、マグネット、であってもよい。
　前記複数のアクチュエータは、前記走行用油圧モータ、前記旋回用油圧モータ、及び前記油圧シリンダ１１ａ，１２ａ，１３ａ以外の油圧アクチュエータ、例えば、ドーザの駆動用の油圧アクチュエータ、破砕機等のアタッチメントに含まれる油圧アクチュエータをさらに含み得る。また、前記複数のアクチュエータの一部は油圧アクチュエータ以外のアクチュエータ、例えば電動アクチュエータ、であってもよい。例えば、前記旋回用油圧モータは、電動アクチュエータに置換されてもよい。
　前記作業機械１０では、エンジンが作動した状態で前記操作装置１７の操作レバー又は操作ペダルに操作者による操作が与えられることにより、走行用油圧モータ、旋回用油圧モータ、油圧シリンダ１１ａ，１２ａ，１３ａ等の各アクチュエータが各々作動し、これにより、操作者は作業機械１０を操縦することができる。前記操作装置１７に与えられる前記操作と前記複数のアクチュエータのそれぞれの動作との関係は、公知の作業機械と同様である。
　本実施形態では、前記作業機械１０の遠隔操作を可能にするための図２に示すような遠隔操作システム１が構築され、当該遠隔操作システム１は、作業機械１０の周辺を監視するための周辺監視装置を含んでいる。具体的に、前記遠隔操作システム１は、前記遠隔操作装置４０と、操作駆動装置２１と、動作状態検出器２２と、少なくとも一つのカメラ２３と、物体センサ２４と、作業機械側制御装置２５と、無線通信装置２６と、を含む。
　前記操作駆動装置２１は、前記操作装置１７を駆動するために前記作業機械１０に搭載された電動式の駆動装置である。前記操作駆動装置２１は、図示されない複数の電動モータを有し、運転室１４ａに設置されている。前記操作駆動装置２１は、前記操作装置１７に含まれる各操作レバー又は操作ペダルのそれぞれを前記複数の電動モータがそれぞれ駆動し得るように前記操作装置１７に接続されている。前記操作駆動装置２１は、作業機械１０の遠隔操作を行わない場合に作業機械１０から取り外されることが可能となるように、構成されていてもよい。
　前記動作状態検出器２２は、前記作業機械１０の動作状態を検出するために当該作業機械１０に搭載される。前記動作状態検出器２２は、詳細な図示は省略するが、例えば、アタッチメント１１、アーム１２、及びブーム１３のそれぞれの回動角（又は、油圧シリンダ１１ａ，１２ａ，１３ａのストローク長）を検出する検出器、旋回体１４の旋回角度を検出する検出器、及び、走行体１５の駆動速度を検出する検出器を含む。前記動作状態検出器２２は、例えば、旋回体１４又は走行体１５の傾斜角を検出する検出器、旋回体１４の角速度又は加速度を検出する慣性センサ等をさらに含み得る。
　前記カメラ２３は、前記作業機械１０の周囲の所定の領域を撮影するように前記作業機械１０の適当な部位に搭載されている。前記カメラ２３は、例えば、前記旋回体１４の前方領域を撮影し得るように、運転室１４ａの天井部等に搭載される。前記少なくとも一つのカメラ２３は、前記作業機械１０の周囲の複数の領域を撮影し得るように複数のカメラ２３を含んでもよい。
　前記少なくとも一つの物体センサ２４は、作業機械１０の周囲に存在する物体を検知するためのセンサであって、前記周辺監視装置の構成要素である。前記少なくとも一つの物体センサ２４は、例えばカメラ、測距センサ、レーダ等により構成される。前記少なくとも一つの物体センサ２４は、好ましくは、旋回体１４の周囲に存在する物体を検出し得るように旋回体１４の周縁部等の複数の箇所にそれぞれ設置された複数の物体センサ２４を含む。前記物体センサ２４として前記カメラ２３が利用されることも可能である。
　前記作業機械側制御装置２５は、例えば、マイクロコンピュータ、メモリ、インターフェース回路等を含む１つ以上の電子回路ユニットにより構成され、カメラ２３の撮影映像信号や、物体センサ２４及び動作状態検出器２２のそれぞれの検出信号を適宜、取得し得るとともに、当該検出信号に基づいて作業機械１０の制御のための種々の処理を実行することが可能である。また、前記作業機械側制御装置２５は、無線通信装置２６を介して遠隔操作装置４０と適宜、通信を行うことが可能である。
　前記作業機械側制御装置２５は、実装されたハードウェア構成及びプログラム（ソフトウェア構成）の両方又は一方により実現される機能として、運転制御部２５ａと、周辺物体検知部２５ｂと、を有する。
　前記運転制御部２５ａは、前記操作装置１７に与えられる操作に応じて、あるいは、前記遠隔操作装置４０から無線通信装置２６を介して与えられる運転指令に応じて、作業機械１０の運転制御を行う。前記運転制御部２５ａは、前記操作駆動装置２１の作動の制御（ひいては、前記操作装置１７に与えられる操作の制御）を行い得ると共に、エンジンの運転制御を行い得る。
　前記周辺物体検知部２５ｂは、物体センサ２４の検出信号に基づいて、作業機械１０の周囲の所定の対象空間ＡＲ（図３）に存在する物体、例えば人、設置物、を検知するものであり、本発明における物体検知要素に相当する。前記対象空間ＡＲは、例えば、図３に示すように前記旋回体１４の周囲に設定（定義）された領域である。前記対象空間ＡＲは、当該対象空間ＡＲに物体が存在する状態で作業機械１０が動作したときに該物体と作業機械１０との接触が生じる虞があるような領域に、設定される。前記周辺物体検知部２５ｂは、前記対象空間ＡＲに図３の例示する如く人等の物体Ｐが存在する場合に、該物体Ｐの存在及びその存在位置であって作業機械１０に対する相対位置を検知する。前記対象空間ＡＲのサイズもしくは形状は、作業機械１０の動作状態に応じて可変的に設定され得る。
　前記遠隔操作装置４０は、図４に示すように前記遠隔操作室２内に設けられ、シート４１、操作装置４２、少なくとも一つのスピーカ４３及びディスプレイ４４を含む。前記シート４１は、その上に図示されないオペレータが着座することを許容する。前記操作装置４２は、作業機械１０の遠隔操作のための前記オペレータによる操作を受ける。前記少なくとも一つのスピーカ４３は、音響情報（聴覚的情報）の出力装置である。前記ディスプレイ４４は、表示情報（視覚的情報）の出力装置である。
　前記遠隔操作装置４０は、図２に示すような無線通信装置４５、操作状態検出器４６及びマスタ側制御装置４７をさらに含む。前記無線通信装置４５は、前記作業機械１０に設けられた前記無線通信装置２６との間で無線通信を行うための装置である。前記操作状態検出器４６は、前記操作装置４２に与えられている操作の状態を検出する。前記無線通信装置４５及び前記マスタ側制御装置４７は、遠隔操作室２の内部及び外部のいずれに配置されていてもよい。
　前記操作装置４２には、例えば、前記作業機械１０に搭載される前記操作装置１７と同様もしくは類似の構成のものを採用し得る。図４に例示する操作装置４２は、操作レバー４２ａ及び一対の操作レバー４２ｂを含む。前記操作レバー４２ａは、前記シート４１に着座したオペレータが当該操作レバー４２ａに操作を与えることが可能となるように、当該シート４１の前側に設置される。当該操作レバー４２ａには操作ペダル４２ａｐが付されている。前記一対の操作レバー４２ｂは、前記シート４１の左右に配置されたコンソール４１ｂに各々搭載されている。前記操作装置４２は、前記操作装置１７の構成と異なる構成を有してもよい。前記操作装置４２は、例えば、ジョイスティック、操作ボタン等を含む携帯型であってもよい。
　前記操作状態検出器４６は、本発明における操作検知要素に相当するものである。この操作状態検出器４６は、例えば、操作装置４２に組み込まれたポテンショメータ、接点スイッチ等を含み、操作装置４２の複数の操作部（操作レバー４２ａ，４２ｂ、操作ペダル４２ａｐ等）にそれぞれ与えられている操作の状態を示す検出信号を出力するように構成されている。
　前記少なくとも一つのスピーカ４３は、好ましくは複数のスピーカ４３を含み、これらは、例えば、遠隔操作室２の周囲の複数個所、例えば、遠隔操作室２の前部、後部及び左右の両側にそれぞれ配置される。前記ディスプレイ４４は、例えば液晶ディスプレイ、ヘッドアップディスプレイ等により構成され、シート４１に着座したオペレータが視認し得るように、シート４１の前方側に配置されている。本実施形態では、前記少なくとも一つのスピーカ４３及び前記ディスプレイ４４が本発明における出力装置に相当する。
　前記マスタ側制御装置４７は、例えば、マイクロコンピュータ、メモリ、インターフェース回路等を含む１つ以上の電子回路ユニットにより構成され、前記操作状態検出器４６の検出信号を適宜、取得し得る。前記マスタ側制御装置４７は、無線通信装置４５及び作業機械１０の無線通信装置２６を介して作業機械側制御装置２５と適宜、通信を行うことが可能である。前記マスタ側制御装置４７は、例えば、前記作業機械側制御装置２５への作業機械１０についての運転指令の送信、及び、前記作業機械１０からの種々の情報の受信を行うことが可能である。前記運転指令は、前記操作状態検出器４６で検出された前記操作装置４２における操作の状態により規定される。前記種々の情報は、例えば、前記カメラ２３による撮影映像、作業機械１０の周囲の物体の検知情報、作業機械１０の動作状態の検出情報を含む。
　前記マスタ側制御装置４７は、出力情報制御部４７ａとしての機能を有する。当該機能は、前記マスタ側制御装置４７に実装されたハードウェア構成及びプログラム（ソフトウェア構成）の両方又は一方により実現され、スピーカ４３及びディスプレイ４４を制御する。該出力情報制御部４７ａは、本発明における出力制御要素に相当する。
　次に、本実施形態の遠隔操作システム１の作動を具体的に説明する。
　遠隔操作室２内のシート４１に着座した操作者は、作業機械１０による作業を開始するために、所定の始動操作（例えば、操作装置４２に含まれる図示しない始動スイッチをオンにする操作、あるいは、音声入力操作）を行う。これに応じてマスタ側制御装置４７は、作業機械側制御装置２５に対して無線通信装置４５，２６を介して始動指令送信する。
　前記作業機械側制御装置２５の運転制御部２５ａは、前記始動指令の受信に応じて作業機械１０のエンジンを始動する制御処理を実行する。前記作業機械側制御装置２５は、エンジンの始動が完了すると、その完了を示すエンジン始動完了情報を無線通信装置２６，４５を介してマスタ側制御装置４７に送信する。前記作業機械側制御装置２５の周辺物体検知部２５ｂは、前記作業機械１０の周囲の対象空間ＡＲに人等の物体が存在するか否かの検知を前記物体センサ２４の検出信号に基づいて行う処理を開始する。
　前記マスタ側制御装置４７は、前記エンジン始動完了情報を受信すると、前記作業機械１０のエンジンの始動の完了を示す音声情報を前記少なくとも一つのスピーカ４３に出力させ、あるいは、当該完了を示す表示情報をディスプレイ４４に表示させる。これにより、前記操作者は、前記作業機械１０のエンジンが始動したことを認識することができる。
　さらに、前記マスタ側制御装置４７は、前記作業機械１０の前記カメラ２３による撮影映像（旋回体１４の前方側の撮影映像を含む）を、作業機械側制御装置２５との通信により逐次取得（受信）する。前記マスタ側制御装置４７は、取得した撮影映像をディスプレイ４４に表示させつつ、初期監視処理を作業機械側制御装置２５との協働で実行する。
　図５は、前記初期監視処理を示すフローチャートである。図５のＳＴＥＰ１で、前記マスタ側制御装置４７は、前記操作状態検出器４６の出力（検出信号）に基づいて、前記作業機械１０による作業を開始するための初期操作がなされたか否かを逐次判断する。このＳＴＥＰ１では、マスタ側制御装置４７は、前記初期操作がなされたことの検知として、例えば、操作装置４２において作業機械１０のいずれかのアクチュエータを作動させるための操作であって操作レバー４２ａ，４２ｂ又は操作ペダル４２ａｐを所定の不感帯域を超える操作量まで変位させる操作が与えられたこと、あるいは、該不感帯を超える直前の操作量まで操作されたことの検知を、操作状態検出器４６の出力に基づいて行う。
　あるいは、ＳＴＥＰ１では、前記マスタ側制御装置４７は、例えば、作業機械１０に搭載された乗降遮断レバー（図示せず）を下げるための操作を操作者が操作装置４２に与えたことを操作状態検出器４６を介して検知してもよい。
　例えば、前記遠隔操作装置４０の前記操作装置４２が、作業機械１０の乗降遮断レバーと同様に上下動操作可能な操作用乗降遮断レバーを含み、前記操作者が前記操作用乗降遮断レバーを下げる操作を前記操作装置４２に与えることに応じて前記作業機械１０でのレバー操作ロック（作業機械１０の各アクチュエータへの作動油の供給の遮断）が解除されるように、作業機械１０の操作駆動装置２１等が構成される。操作者が作業機械１０による作業を開始するときに前記レバー操作ロックを解除するため遠隔操作装置４０の操作用乗降遮断レバーを下げる操作を行うので、その操作を初期操作とみなすことができる。
　あるいは、前記マスタ側制御装置４７は、旋回体１４の旋回動作のロックを解除する操作が前記操作装置４２に与えられたことを前記操作状態検出器４６が検出したときの当該操作状態検出器４６の出力に基づいて初期操作がなされたことを検知することも可能である。
　ＳＴＥＰ１では、あるいは、エンジンの始動のために前記操作装置４２に与えられる操作が初期操作として検知されてもよい。
　前記マスタ側制御装置４７は、前記初期操作を検知した後（ＳＴＥＰ１でＹＥＳ）、作業機械１０の周囲の対象空間ＡＲに人等の物体が存在するか否かの判断を行う（ＳＴＥＰ２）。具体的に、前記マスタ側制御装置４７は、前記作業機械側制御装置２５の周辺物体検知部２５ｂにより提供される物体の検知情報（現在の検知情報）を作業機械側制御装置２５との通信により取得し、該検知情報に基づいて、対象空間ＡＲにおける人等の物体の有無を判断する。
　前記作業機械側制御装置２５の周辺物体検知部２５ｂが前記対象空間ＡＲにおける物体の存在を検知したとき、前記マスタ側制御装置４７は、そのことを示す検知情報（作業機械１０に対して物体が存在する相対的な位置又は相対的な方位を示す情報を含む）を作業機械側制御装置２５から受信し、これにより、前記物体の存在が検知されたと判断する（ＳＴＥＰ２でＹＥＳ）。
　一方、前記作業機械側制御装置２５の周辺物体検知部２５ｂが対象空間ＡＲでの物体の存在を検知していないとき、前記マスタ側制御装置４７は、そのことを示す検知情報を作業機械側制御装置２５から受信し、これにより、前記物体の存在が検知されていないと判断する（ＳＴＥＰ２でＮＯ）。
　前記物体の存在が検知されていないと判断したとき（ＳＴＥＰ２でＮＯ）、前記マスタ側制御装置４７は、ＳＴＥＰ４の処理を実行し、図５のフローチャートの処理（初期監視処理）を終了する。ＳＴＥＰ４では、前記マスタ側制御装置４７は、作業機械１０の周囲の対象空間ＡＲに物体が存在しないことを示す音声情報を少なくとも一つのスピーカ４３から出力させる。例えば、遠隔操作室２に配置される複数のスピーカ４３の少なくとも一つが「周囲に障害物は存在しません。」という内容の音声情報を出力する。
　前記出力は、作業機械１０による作業を支障なく開始できることを操作者が容易に認識することを可能にする。このように、操作者は、視線の動きを必要とせずに、前記障害物の不存在を音声による聴覚的な情報として認識できるので、ディスプレイ４４に表示されている撮影映像を見ながら作業を開始することを速やかに実行することができる。
　物体が存在すると判断した場合（ＳＴＥＰ２でＹＥＳ）、前記マスタ側制御装置４７は、作業機械１０の周囲の対象空間ＡＲにおける物体の存在を示す音声情報をスピーカ４３から出力させる（ＳＴＥＰ３）。前記音声情報は、好ましくは、対象空間ＡＲに存在する物体の、作業機械１０に対する相対的な位置又は方位を示す情報を含む。例えば、前記遠隔操作室２に配置された複数のスピーカ４３の少なくとも１つが「右側斜め後方に（又は右側斜め後方の１ｍ以内の位置に）物体が存在します。注意してください。」というような内容の音声情報を出力する。この出力は、ディスプレイ４４に表示されている撮影映像に物体が写っていないときや撮影映像に写っている物体の存在を操作者が見落としている場合でも、作業機械１０の周囲の対象空間ＡＲに物体が存在し、また、作業機械１０に対して前記物体が存在する位置あるいは方向を操作者が容易に認識することを可能にする。
　前記対象空間ＡＲに存在する物体の種類（人、設置物等）を特定できる場合、上記音声情報は当該物体の種類を示す情報を含むことが可能である。
　前記音声情報の出力について、前記遠隔操作室２に配置された複数のスピーカ４３の中から音声情報を出力させるスピーカ４３を選択すること、あるいは、音声情報を出力するスピーカ４３の音量を対象空間ＡＲにおける物体の存在位置又は存在方向に応じて変化させること、も可能である。
　例えば、対象空間ＡＲでの存在が検知された物体が作業機械１０に近いほどスピーカ３から出力させる音声情報の音量を大きくすることは、操作者が該音声情報の音量に基づいて作業機械１０に対する物体の近さの程度を認識することを可能にする。
　また、操作者の周囲の複数のスピーカ４３のうち、操作者との位置関係が前記対象空間ＡＲに存在する物体の位置である存在位置又は当該物体の方向である存在方向に整合するスピーカ４３のみから音声情報を出力させ、あるいは、当該整合するスピーカ４３の音量を他のスピーカ４３の音量よりも大きくするように、前記マスタ側制御装置４７が構成されてもよい。例えば、対象空間ＡＲにおいて作業機械１０の旋回体１４の右側斜め後方の位置に物体の存在が検知された場合には、遠隔操作室２内の前後左右のスピーカ４３のうち、右側及び後側のスピーカ４３だけから音声情報を出力させ、あるいは、右側及び後側のスピーカ４３から出力させる音声情報の音量を、左側及び前側のスピーカ４３から出力させる音声情報の音量よりも大きくするように、前記マスタ側制御装置４７が構成されてもよい。このことは、音声情報が聞こえる方向、もしくは聞こえやすい方向に基づいて、物体が作業機械１０に対してどの方向に存在しているのかを操作者が認識することを可能にする。
　ＳＴＥＰ３において、前記マスタ側制御装置４７は、さらに、ディスプレイ４４の一部の領域に、作業機械１０の周囲状況を示す俯瞰画像を表示させる。例えば、図３に例示する如く、作業機械１０の俯瞰画像と、その周囲の対象空間ＡＲを示す画像とがディスプレイ４４に表示されると共に、対象空間ＡＲの画像のうちの物体の存在位置に相当する箇所に、該物体Ｐを示すマーカ画像（又は該物体の撮影画像）が表示される。この表示は、対象空間ＡＲにおいて物体が存在する位置をディスプレイ４４に表示される視覚的な情報により操作者が明確に認識することを可能にする。
　前記俯瞰画像は、ＳＴＥＰ３の処理の実行時に作業機械１０の動作状態検出器２２により検出された該作業機械１０の実際の動作状態に合わせて作成されてもよい。例えば、作業機械１０の俯瞰画像における旋回体１４からアタッチメント１１までの距離を動作状態検出器２２の検出信号に基づいて推定される実際の前後方向距離にほぼ比例させるように俯瞰画像が生成されてもよい。また、前記俯瞰画像の代わりに、又は該俯瞰画像に加えて、例えば、前記マスタ側制御装置４７は、作業機械１０の鳥瞰画像と、これに対応する対象空間ＡＲの画像と、該対象空間ＡＲで検知された物体の画像とをディスプレイ４４に表示させてもよい。例えば、対象空間ＡＲに存在する人等の物体Ｐが作業機械側制御装置２５の周辺物体検知部２５ｂにより検出された場合に、図３に示される態様で、作業機械１０、対象空間ＡＲ及び物体Ｐの画像がディスプレイ４４に表示されてもよい。
　ＳＴＥＰ３において、前記マスタ側制御装置４７は、対象空間ＡＲにおける物体の存在を示す音声情報をスピーカ４３から出力させた後に、あるいは、該音声情報に連続させて、オペレータが操作装置４２の操作に関して注意すべき注意事項を示す音声情報をさらに前記少なくとも一つのスピーカ４３から出力させる。具体的には、マスタ側制御装置４７は、物体の検知に応じてオペレータが実行すべき対応処理を示す音声情報を、上記注意事項を示す情報として前記少なくとも一つのスピーカ４３から出力させる。これに応じてオペレータは適切な対応処理を行うことができる。
　例えば、「周囲の対象空間から物体を退避（又は除去）した上で、作業を開始してください。」という内容の音声情報が、上記対応処理を示す情報として出力される。操作者は、この出力に応じて、作業機械１０の周囲に警報出力を発生させるための所定の操作を操作装置４２に与えることが可能である。
　前記マスタ側制御装置４７は、前記操作者による操作を受けて、当該警報出力の発生指令を作業機械側制御装置２５に送信する。そして、該発生指令を受信した作業機械側制御装置２５は、作業機械１０に備えられた図示しないスピーカから、物体を対象空間ＡＲから退避（又は除去）させることを促すための警報音又は警報音声を出力させる。前記警報出力は、警報音又は警報音声等の聴覚的な警報出力に限らず、作業機械１０の周囲への投光等による視覚的（光学的）な警報出力であってもよい。
　例えば、対象空間ＡＲに存在する物体が、固定物等、動かすことが困難な物体である場合、前記マスタ側制御装置４７は、「作業機械を○○の方向に、○○ｍ程度移動させてください。」というような内容の音声情報をスピーカ４３から出力させてもよい。操作者はこの音声情報に従って作業機械１０を移動させるような操作を操作装置４２に与えることが可能である。マスタ側制御装置４７は、当該操作に応じた移動指令を作業機械側制御装置２５に送信する。該移動指令を受信した作業機械側制御装置２５の運転制御部２５ａは操作装置１７に操作を与えるように操作駆動装置２１を制御し、これにより、作業機械１０を上記移動指令に従って移動させる。
　前記マスタ側制御装置４７は、ＳＴＥＰ３において、オペレータが実施すべき対応処理を示す音声情報の代わりに、あるいは、該音声情報に加えて、オペレータが実行すべきでない処理を示す音声情報を、注意事項を示す情報としてスピーカ４３から出力させてもよい。例えば、作業機械１０の旋回体１４の右側後方物体が存在する場合に、「旋回体を左側に（反時計周り側に）旋回させないでください。」という音声情報をスピーカ４３から出力させたり、作業機械１０の真後ろに物体が存在する場合に、「走行体を後退させないでください。」という内容の音声情報をスピーカ４３から出力させるようにしてもよい。
　上記の如き、ＳＴＥＰ３の処理を実行した後、マスタ側制御装置４７は、次に、ＳＴＥＰ５において、対象空間ＡＲから物体が離脱したか否かを逐次判断する。具体的には、マスタ側制御装置４７は、作業機械側制御装置２５の周辺物体検知部２５ｂによる物体の検知情報を作業機械側制御装置２５と通信により取得し、該検知情報に基づいて、対象空間ＡＲにおける人等の物体の存在の有無を逐次判断する。
　前記作業機械側制御装置２５の周辺物体検知部２５ｂが対象空間ＡＲにおける物体の存在を検知している場合、前記マスタ側制御装置は、そのことを示す検知情報を作業機械側制御装置２５から受信し、これにより、ＳＴＥＰ５において前記物体が存在していないと判断する。この場合、マスタ側制御装置４７は、ＳＴＥＰ５の判断処理を繰り返す。このとき、前記マスタ側制御装置４７は、ＳＴＥＰ３において出力した音声情報と同様の音声情報をスピーカ４３から出力させることを間欠的に繰り返してもよい。また、ＳＴＥＰ３と同様にディスプレイ４４に作業機械１０の俯瞰画像等を表示することを継続してもよい。この画像において、対象空間ＡＲ内の物体の移動に応じてディスプレイ４４に表示させる該物体の画像を移動させてもよい。
　前記マスタ側制御装置４７は、その後、前記作業機械側制御装置２５の周辺物体検知部２５ｂが対象空間ＡＲにおける物体の存在を検知しなくなってそのことを示す検知情報を作業機械側制御装置２５から受信することにより、対象空間ＡＲから物体が離脱したと判断する（ＳＴＥＰ５でＹＥＳ）。この時点でマスタ側制御装置４７はＳＴＥＰ６の処理を実行し、図５のフローチャートの処理（初期監視処理）を終了する。
　ＳＴＥＰ６では、マスタ側制御装置４７は、対象空間ＡＲから物体が離脱したことを示す音声情報をスピーカ４３から出力させる。例えば、「物体が対象空間の外に出ました。」という内容の音声情報がスピーカ４３から出力される。これにより、操作者は、作業を支障なく開始できる状態になったことを、視線の動きを必要とせずに、音声による聴覚的な情報として認識することができる。このことは、当該操作者がディスプレイ４４に表示される撮影映像を見ながら速やかに作業を開始することを可能にする。
　以上の如く、本実施形態によれば、操作者は、作業機械１０による作業を開始しようとするときに、作業機械１０の周囲の対象空間ＡＲにおける物体の存在の有無を、スピーカ４３から出力される音声情報により容易に認識することができる。従って、操作者は、作業機械１０の周囲の状況に対する配慮を行うことの必要性が高い状況で、ディスプレイ４４に表示される作業機械１０の周囲の撮影映像を注意深く観察することを必要とせずに、作業機械１０の周囲の状況（対象空間ＡＲにおける物体の存在の有無）を容易に認識することができる。
　さらに、対象空間ＡＲに物体が存在する場合には、作業機械１０とその周囲の俯瞰画像（又は鳥瞰画像）が物体の画像と共にディスプレイ４４に表示されるので、操作者は、作業機械１０に対して前記物体が存在する位置又は方向を容易に認識することができる。
　また、対象空間ＡＲに物体が存在する場合に、適切な対応処理を示す音声情報がオペレータに対して出力されるので、オペレータは、適切な対応処理をスムーズに実施できる。さらに、対象空間ＡＲに物体が存在しなくなったときにそのことを示す音声情報が操作者に対して出力されるので、操作者は、スムーズに作業機械１０による作業を開始することができる。
　本発明は以上説明した実施形態に限定されるものではなく、他の実施形態を採用することもできる。以下に他の実施形態をいくつか例示する。
　前記実施形態では、操作者が操作装置４２に初期操作を与えると、作業機械１０の周囲の対象空間ＡＲにおける物体の存在が検知された否かにかかわらず当該検知結果を示す音声情報が出力されるが、本発明に係る出力制御要素は、対象空間ＡＲでの物体の存在が検知されたときにのみ出力装置に音声情報を出力させるように構成されてもよい。換言すれば、当該出力制御要素は物体の存在が検知されないときに音声情報の出力を保留してもよい。すなわち、図５のＳＴＥＰ４の処理が省略されてもよい。
　物体が対象空間ＡＲに存在することが検知された場合のＳＴＥＰ３の処理において、作業機械１０の周囲状況を示す俯瞰画像（又は鳥瞰画像）のディスプレイ４４での表示あるいは、対応処理を示す音声情報の出力、が省略されてもよい。また、ＳＴＥＰ５及びＳＴＥＰ６の処理（物体が対象空間ＡＲから離脱した場合に、その旨を示す音声情報を出力する処理）が省略されてもよい。
　前記実施形態において例示される初期操作は、作業機械１０の作業開始時に操作装置４２の操作レバーに与えられる操作、エンジンの始動のための操作、及びレバー操作ロックの解除のための操作であるが、これらの操作の組み合わせに基づいて初期操作が検知されてもよい。例えば、作業の開始時にはエンジンの始動操作及びレバー操作ロックの解除操作が行われるので、これらの両方の操作が検出されることを初期操作の検知の条件としてもよい。また、作業開始後には、作業機械１０のアクチュエータを作動させるために操作レバーに与えられる操作の初期段階の検出に基づいて初期操作の検知が行われてもよい。
　前記実施形態では、作業機械１０による作業の途中で遠隔操作装置４０の操作装置４２の操作が一時的に中立状態（無操作状態）になった場合、あるいは、作業機械１０の走行や旋回体１４の旋回の操作後に間をおいてアタッチメント１１の操作に移行する場合等において、その都度、初期操作が検知されて、物体の有無が検知される。ただし、操作装置４２での操作入力が無い時間が所定時間以下の短時間である場合には、操作装置４２の操作が継続しているものとみなし、所定の短時間内に再び操作入力があっても当該操作を初期操作と判断しないようにマスタ側制御装置４７が構成されてもよい。
　前記実施形態に係る前記作業機械１０は油圧ショベルであるが、本発明に係る作業機械は、油圧ショベル以外の作業機械、例えばクレーン、林業機械、であってもよい。また、当該作業機械は遠隔操作専用であってもよい。逆に、本発明に係る作業機械は、これに操作者が搭乗して当該作業機械内で直接操縦を行うものでもよい。この態様において、作業機械の操作装置に与えられる初期操作は、例えば、該操作装置に与えられる操作に応じて発生するパイロット圧の検出値に基づいて検知されることが可能である。
　本発明は、作業機械の操作者が適当なタイミングで当該作業機械の周辺における状況を認識することを可能にする装置を提供することを目的とする。
　提供されるのは、作業機械の周辺を監視するための装置であって、前記作業機械を動作させるために操作者により操作装置に与えられる操作の状態である操作状態を検知する操作検知要素と、前記作業機械の周囲の対象空間における物体の有無を検知する物体検知要素と、前記操作者に対して報知情報を出力する出力装置と、前記作業機械を始動させるための初期操作が前記操作装置に与えられる初期操作状態を前記操作検知要素が前記操作状態として検知したことに応じて、前記物体検知要素による検知結果を示す音声を前記出力装置に出力させるように当該出力装置を制御する出力制御要素と、を備える。
　この装置によれば、作業機械の動作を開始させるために操作装置に初期操作が与えられる初期操作状態が操作状態として検知されたことに応じて、物体検知要素による検知結果を示す音声が出力装置から出力される。
　例えば、前記操作検知要素が前記初期操作状態を検知し、かつ、前記物体検知要素が前記作業機械の周辺の対象空間における物体の存在を検知したことに応じて当該物体の対象空間における存在を示す音声を出力装置から出力させるように出力制御要素が構成される態様が含まれる。この態様では、操作者が作業機械の周囲の状況に特に配慮する必要がある当該作業機械の動作開始時に、当該作業機械の周囲の対象空間に物体が存在することを当該操作者がその聴覚を通じて認識することを可能にする。
　逆に、前記操作検知要素が前記初期操作状態を検知しているが前記物体検知要素が前記作業機械の周辺の対象空間における物体の不存在を検知したことに応じて当該物体の対象空間における不存在を示す音声を出力装置から出力させるように出力制御要素が構成される態様も含まれる。これにより、操作者が作業機械の周囲の状況に特に配慮する必要がある当該作業機械の動作開始時に、当該作業機械の周囲の対象空間に物体が存在しないことを操作者がその聴覚を通じて認識することを可能にする。
　「作業機械の動作」とは、作業機械全体の動作だけでなく、当該作業機械の一部分の動作をも包含する。また、前記物体検知要素による検知結果を示す音声を出力装置に出力させることは、前記物体検知要素が対象空間における物体の存在を検知したとき及び前記物体検知要素が対象空間における物体の不存在を検知したときのいずれか一方においてのみ実行されてもよい。
　前記出力制御要素は、前記操作検知要素が前記初期操作状態を検知したことに応じて前記物体検知要素による検知結果を表す前記作業機械及びその周辺の画像（好ましくは鳥瞰画像及び俯瞰画像の少なくとも一方の画像）を前記出力装置にさらに出力させるように構成されていることが、好ましい。
　前記画像は、オペレータが作業機械の周囲の状況に特に配慮する必要がある当該作業機械の動作開始時に、前記作業機械の周囲の対象空間に物体が存在する場合に前記出力装置により出力されることにより、作業機械の周囲の対象空間における物体の存在を操作者がその視覚を通じて認識することを可能にする。
　前記出力制御要素は、前記操作検知要素が前記初期操作状態を検知し、且つ、前記物体検知要素が前記対象空間での前記物体の存在を検知したことに応じて、その後の前記作業機械の操作の注意事項に関する音声を前記出力装置にさらに出力させるように構成されてもよい。
　このことは、操作者が作業機械の周囲の状況に特に配慮する必要がある当該作業機械の動作開始時に、作業機械の周囲の対象空間に物体が存在する場合に、該物体の存在に加えて、その状況に応じたその後の作業機械の操作の注意事項を操作者がその聴覚を通じて認識することを可能にする。
　前記出力制御要素は、前記物体検知要素が前記対象空間における前記物体の存在を検知した後、前記物体検知要素が前記対象空間における前記物体の不存在を検知したことに応じて、前記対象空間から前記物体が外れたことを示す音声を前記出力装置にさらに出力させるように構成されてもよい。
　このことは、当該作業機械の動作開始時に、作業機械の周囲の対象空間における物体の存在を操作者にその聴覚を通じて認識させた後、当該操作者が操作装置に与える作業機械の操作等に応じた状況変化によって前記対象空間に前記物体が存在しなくなったことを当該操作者にその聴覚を通じて認識させることを、可能にする。

Claims (4)

  1. 　作業機械の周辺を監視するための装置であって、
    　前記作業機械を動作させるために操作者により操作装置に与えられる操作の状態である操作状態を検知する操作検知要素と、
    　前記作業機械の周囲の対象空間における物体の有無を検知する物体検知要素と、
    　前記操作者に対して報知情報を出力する出力装置と、
    　前記作業機械を始動させるための初期操作が前記操作装置に与えられる初期操作状態を前記操作検知要素が前記操作状態として検知したことに応じて前記物体検知要素による検知結果を示す音声を前記出力装置に出力させるように前記出力装置を制御する出力制御要素と、を備える、作業機械用周辺監視装置。
  2. 　請求項１記載の作業機械用周辺監視装置であって、前記出力制御要素は、前記操作検知要素が前記初期操作状態を検知したことに応じて、前記物体検知要素による検知結果を表す前記作業機械及びその周辺の画像を前記出力装置にさらに出力させるように構成されている、作業機械用周辺監視装置。
  3. 　請求項１又は２記載の作業機械用周辺監視装置であって、前記出力制御要素は、前記操作検知要素が前記初期操作状態を検知し、且つ、前記物体検知要素が前記対象空間における前記物体の存在を検知したことに応じて、その後の前記作業機械の操作の注意事項に関する音声を前記出力装置にさらに出力させるように構成されている、作業機械用周辺監視装置。
  4. 　請求項１～３のいずれか１項に記載の作業機械用周辺監視装置であって、前記出力制御要素は、前記物体検知要素が前記対象空間における前記物体の存在を検知した後、前記物体検知要素が前記対象空間における前記物体の不存在を検知したことに応じて、前記対象空間から前記物体が外れたことを示す音声を前記出力装置にさらに出力させるように構成されている、作業機械用周辺監視装置。
PCT/JP2019/048892 2018-12-19 2019-12-13 作業機械用周辺監視装置 WO2020129832A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19897745.6A EP3858676B1 (en) 2018-12-19 2019-12-13 Surrounding monitoring apparatus for work machine
US17/292,849 US20210395981A1 (en) 2018-12-19 2019-12-13 Surrounding monitoring apparatus for work machine
CN201980072633.4A CN113039094B (zh) 2018-12-19 2019-12-13 工程机械用周边监视装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-237009 2018-12-19
JP2018237009A JP7283070B2 (ja) 2018-12-19 2018-12-19 作業機械用周辺監視装置

Publications (1)

Publication Number Publication Date
WO2020129832A1 true WO2020129832A1 (ja) 2020-06-25

Family

ID=71101288

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/048892 WO2020129832A1 (ja) 2018-12-19 2019-12-13 作業機械用周辺監視装置

Country Status (5)

Country Link
US (1) US20210395981A1 (ja)
EP (1) EP3858676B1 (ja)
JP (1) JP7283070B2 (ja)
CN (1) CN113039094B (ja)
WO (1) WO2020129832A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022121138A (ja) * 2021-02-08 2022-08-19 コベルコ建機株式会社 遠隔操作支援システム、遠隔操作支援方法および遠隔操作支援複合システム
JPWO2023190323A1 (ja) * 2022-03-29 2023-10-05

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5755576B2 (ja) * 1973-12-15 1982-11-25
JPH0640066U (ja) * 1992-10-27 1994-05-27 住友建機株式会社 建設機械の作業安全装置
WO2018008504A1 (ja) * 2016-07-04 2018-01-11 住友建機株式会社 ショベル
JP2018093501A (ja) 2018-01-04 2018-06-14 住友重機械工業株式会社 作業機械
JP2018111981A (ja) * 2017-01-11 2018-07-19 住友建機株式会社 作業機械用周辺監視システム
JP2019060108A (ja) * 2017-09-26 2019-04-18 日立建機株式会社 作業員接近通知システム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US5767793A (en) * 1995-04-21 1998-06-16 Trw Inc. Compact vehicle based rear and side obstacle detection system including multiple antennae
US20040217851A1 (en) * 2003-04-29 2004-11-04 Reinhart James W. Obstacle detection and alerting system
JP2010112100A (ja) * 2008-11-07 2010-05-20 Hitachi Constr Mach Co Ltd 作業機械の監視装置
JP5755576B2 (ja) * 2012-01-25 2015-07-29 住友重機械工業株式会社 運転補助装置
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US9110454B2 (en) * 2013-02-14 2015-08-18 Caterpillar Inc. Machine detection system
KR102118464B1 (ko) * 2014-03-26 2020-06-03 얀마 가부시키가이샤 자율 주행 작업 차량
KR20160138542A (ko) * 2014-03-28 2016-12-05 얀마 가부시키가이샤 자율 주행 작업 차량
CN108026714A (zh) * 2015-11-30 2018-05-11 住友重机械工业株式会社 施工机械用周边监视系统
JP6515021B2 (ja) * 2015-11-30 2019-05-15 住友重機械工業株式会社 作業機械用周辺監視システム
EP3293717B1 (en) * 2016-09-08 2021-11-10 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH An electronically controlled braking system
CN109313840A (zh) * 2016-11-01 2019-02-05 住友建机株式会社 施工机械用安全管理系统、管理装置、安全管理方法
US10255670B1 (en) * 2017-01-08 2019-04-09 Dolly Y. Wu PLLC Image sensor and module for agricultural crop improvement
CN110114244B (zh) * 2017-02-17 2023-07-04 住友重机械工业株式会社 工作机械用周边监视系统
JP6290497B2 (ja) * 2017-06-16 2018-03-07 住友重機械工業株式会社 ショベル
KR102627093B1 (ko) * 2017-12-04 2024-01-18 스미도모쥬기가이고교 가부시키가이샤 주변감시장치
WO2019117268A1 (ja) * 2017-12-14 2019-06-20 日立建機株式会社 作業機械
JP6900897B2 (ja) * 2017-12-25 2021-07-07 コベルコ建機株式会社 建設機械の障害物検出装置
JP6852026B2 (ja) * 2018-08-23 2021-03-31 住友重機械工業株式会社 ショベル
CN112368450B (zh) * 2018-09-27 2022-11-22 住友重机械工业株式会社 挖土机、信息处理装置
JP2020063566A (ja) * 2018-10-15 2020-04-23 日立建機株式会社 油圧ショベル
WO2020091002A1 (ja) * 2018-10-31 2020-05-07 住友建機株式会社 ショベル、ショベル支援システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5755576B2 (ja) * 1973-12-15 1982-11-25
JPH0640066U (ja) * 1992-10-27 1994-05-27 住友建機株式会社 建設機械の作業安全装置
WO2018008504A1 (ja) * 2016-07-04 2018-01-11 住友建機株式会社 ショベル
JP2018111981A (ja) * 2017-01-11 2018-07-19 住友建機株式会社 作業機械用周辺監視システム
JP2019060108A (ja) * 2017-09-26 2019-04-18 日立建機株式会社 作業員接近通知システム
JP2018093501A (ja) 2018-01-04 2018-06-14 住友重機械工業株式会社 作業機械

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3858676A4

Also Published As

Publication number Publication date
EP3858676A4 (en) 2021-12-22
EP3858676A1 (en) 2021-08-04
EP3858676B1 (en) 2024-03-06
JP7283070B2 (ja) 2023-05-30
CN113039094B (zh) 2024-05-14
US20210395981A1 (en) 2021-12-23
CN113039094A (zh) 2021-06-25
JP2020097866A (ja) 2020-06-25

Similar Documents

Publication Publication Date Title
JP4776491B2 (ja) 作業機械の周囲監視装置
JP2010112100A (ja) 作業機械の監視装置
JP7070047B2 (ja) 旋回式作業機械の旋回制御装置
JP7407178B2 (ja) ショベル
WO2002012966A1 (fr) Dispositif a commande vocale d'un engin (80) de terrassement
JP2008163719A (ja) 作業機械の周囲監視装置
WO2020189578A1 (ja) 作業機械
CN114364847A (zh) 作业机械以及周围监视系统
WO2020218454A1 (ja) 表示装置、ショベル、情報処理装置
JP7358070B2 (ja) ショベル
WO2020129832A1 (ja) 作業機械用周辺監視装置
WO2019187565A1 (ja) 遠隔操作システム及び主操作装置
JP6917167B2 (ja) 建設機械用俯瞰画像表示装置
JP7009063B2 (ja) 作業機械用周辺監視システム
JP2006195877A (ja) 作業機械
EP3904608A1 (en) Work machine
US20220170237A1 (en) Operating mechanism for work machine and work machine equipped with same
EP3960936A1 (en) Excavator
US11821171B2 (en) Work machine
WO2021131136A1 (ja) 建設機械の遠隔操縦システム
JP2022157923A (ja) ショベル
JP2022179081A (ja) 遠隔操作支援システム、遠隔操作支援装置
JP2023074758A (ja) 建設機械

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19897745

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019897745

Country of ref document: EP

Effective date: 20210429

NENP Non-entry into the national phase

Ref country code: DE