WO2025192551A1 - 作業機械及び作業機械の操作システム - Google Patents
作業機械及び作業機械の操作システムInfo
- Publication number
- WO2025192551A1 WO2025192551A1 PCT/JP2025/008894 JP2025008894W WO2025192551A1 WO 2025192551 A1 WO2025192551 A1 WO 2025192551A1 JP 2025008894 W JP2025008894 W JP 2025008894W WO 2025192551 A1 WO2025192551 A1 WO 2025192551A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- work machine
- operator
- state
- machine
- speaking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/24—Safety devices, e.g. for preventing overload
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- This disclosure relates to a work machine and a work machine operation system.
- the above-mentioned work machine is not configured to support conversations between people around the work machine and the work machine operator. As a result, the above-mentioned work machine is not configured to improve work safety when the work machine operator is speaking or when the work machine operator is listening to the speech of people around the work machine.
- a work machine comprises a lower running body, an upper rotating body rotatably mounted on the lower running body, and an operation restriction device that restricts the movement of the work machine while a voice transmission function is being executed, the operation restriction device restricting the transition of the work machine state from a first machine state to a second machine state, by restricting the movement of the work machine.
- the operation restriction device includes at least one of an internal sound reproduction function that collects the voice of the work machine operator using an internal sound collection device and outputs the sound from an external sound output device to a person other than the work machine operator, and an external sound reproduction function that collects the voice of a person other than the work machine operator using an external sound collection device and outputs the sound from the internal sound output device to the work machine operator.
- the above-mentioned work machine can improve work safety when the operator of the work machine is speaking or when the operator of the work machine is listening to the speech of people around the work machine.
- FIG. 1 is a side view of a work machine according to an embodiment of the present disclosure
- FIG. FIG. 2 is a top view of the work machine shown in FIG. 1
- 2 is a diagram showing an example of the configuration of an external sound collecting device and an information transmitting device attached to the work machine shown in FIG. 1
- FIG. FIG. 2 is a diagram illustrating an example of the configuration of the work machine illustrated in FIG. 1
- FIG. 2 is a top view of the operator's cab of the work machine shown in FIG. 1
- FIG. 1 is a perspective view of a work machine on which an operator is riding and workers around the work machine.
- FIG. 2 is a diagram illustrating an example of a display screen displayed on a display device.
- FIG. 10 is a flowchart illustrating an example of the flow of an operation restriction process.
- 10 is a table showing the correspondence between a first machine state and a second machine state.
- FIG. 10 is a top view of a work machine showing another example configuration of the work machine according to an embodiment of the present disclosure.
- 1 is a schematic diagram illustrating a configuration example of an operation system according to an embodiment of the present disclosure.
- 10 is a flowchart illustrating an example of the flow of an alert highlighting process.
- FIG. 10 is a diagram showing another example of a display screen displayed on the display device.
- FIG. 10 is a diagram showing yet another example of a display screen displayed on the display device.
- the work machine 100 is a shovel.
- the work machine 100 may also be a machine other than a shovel, such as a crane, asphalt finisher, or forklift.
- the shovel as the work machine 100 is an excavator equipped with a bucket 6 as an end attachment, but it may also be an applied machine such as a forestry machine equipped with an end attachment other than the bucket 6.
- Figure 1 is a side view of the work machine 100
- Figure 2 is a top view of the work machine 100.
- +X represents one direction of the X axis that constitutes a three-dimensional Cartesian coordinate system
- -X represents the other direction of the X axis.
- +Y represents one direction of the Y axis that constitutes a three-dimensional Cartesian coordinate system
- -Y represents the other direction of the Y axis.
- +Z represents one direction of the Z axis that constitutes a three-dimensional Cartesian coordinate system
- -Z represents the other direction of the Z axis.
- the +X side of the work machine 100 corresponds to the front side of the work machine 100
- the -X side of the work machine 100 corresponds to the rear side of the work machine 100.
- the +Y side of the work machine 100 corresponds to the left side of the work machine 100, and the -Y side of the work machine 100 corresponds to the right side of the work machine 100. Furthermore, the +Z side of the work machine 100 corresponds to the top side of the work machine 100, and the -Z side of the work machine 100 corresponds to the bottom side of the work machine 100. The same applies to the other figures.
- the work machine 100 is equipped with an information transmission device G1, an external sound collection device M1, an image capture device S6, and an external sound output device SP1.
- the information transmission device G1, the external sound collection device M1, the image capture device S6, and the external sound output device SP1 are devices that include processing circuits.
- the front camera S6F is a camera that captures images in front of the work machine 100, and is attached outside the cab 10, such as on the roof of the cab 10 or the side of the boom 4.
- the front camera S6F may also be attached inside the cab 10, for example, on the ceiling of the cab 10.
- the left camera S6L is a camera that captures images to the left of the work machine 100
- the right camera S6R is a camera that captures images to the right of the work machine 100
- the rear camera S6B is a camera that captures images to the rear of the work machine 100.
- the front camera S6F, left camera S6L, right camera S6R, and rear camera S6B are all monocular wide-angle cameras equipped with imaging elements such as CCD or CMOS, and output the captured images to the display device D1. Information about the images captured by the imaging device S6 is also input into the controller 30.
- the front camera S6F is attached to the roof of the driver's cab 10
- the left camera S6L is attached to the left end of the top surface of the upper rotating body 3
- the right camera S6R is attached to the right end of the top surface of the upper rotating body 3
- the rear camera S6B is attached to the rear end of the top surface of the upper rotating body 3.
- the imaging device S6 may constitute an object detection device that detects objects around the work machine 100.
- Objects may be, for example, people, animals, vehicles, construction machinery, buildings, or holes.
- the object detection device may be configured to distinguish between people and non-human objects when detecting them.
- the object detection device (object detection system) may be configured to function as a person detection device (person detection system).
- the object detection device may be constituted by a device other than a camera.
- the object detection device may be a LiDAR.
- LiDAR is a device that can measure the distance between the LiDAR (laser source) and a point cloud of, for example, one million or more points within the monitoring range.
- the object detection device may also be another device that can measure the distance to an object, such as a stereo camera, a range imaging camera, or a millimeter-wave radar.
- the object detection device may emit a number of signals (laser light, etc.) toward the object and receive the reflected signals to derive the distance and direction of the object.
- the object detection device may be a combination of two or more types of devices.
- the object detection device may be a combination of an imaging device and LiDAR, a combination of an imaging device and millimeter-wave radar, or a combination of an imaging device and a stereo camera.
- the external sound collection device M1 is a device that collects external sounds and is also called a microphone or a microphone.
- the external sound collection device M1 is installed on the upper rotating body 3 or the cab 10, converts sounds (air vibrations) generated around the work machine 100 into mechanical vibrations, and then converts the mechanical vibrations into electrical signals.
- the external sound collection device M1 is configured to pick up voices emitted by workers around the work machine 100, and includes a front microphone M1F, a left microphone M1L, a right microphone M1R, and a rear microphone M1B.
- the external sound collection device M1 may be installed on structures such as poles (steel towers), fences, walls, or buildings at the work site, on flying vehicles such as multicopter or balloon, or on autonomous mobile robots that move around the work site. It may also be a sound collection device (microphone) installed on a mobile information terminal such as a smartphone carried by a worker around the work machine 100.
- the front microphone M1F is a microphone that collects sounds generated in front of the work machine 100, and is attached to the outside of the cab 10, such as on the roof of the cab 10 or on the side of the boom 4.
- the front microphone M1F may also be attached inside the cab 10, for example on the ceiling of the cab 10.
- the left microphone M1L is a microphone that collects sounds generated to the left of the work machine 100
- the right microphone M1R is a microphone that collects sounds generated to the right of the work machine 100
- the rear microphone M1B is a microphone that collects sounds generated behind the work machine 100.
- the electrical signals generated by the front microphone M1F, left microphone M1L, right microphone M1R, and rear microphone M1B are taken into the controller 30.
- the front microphone M1F is attached to the roof of the cab 10, the left microphone M1L is attached to the left end of the top surface of the upper rotating body 3, the right microphone M1R is attached to the right end of the top surface of the upper rotating body 3, and the rear microphone M1B is attached to the rear end of the top surface of the upper rotating body 3.
- the four external sound collection devices M1 front microphone M1F, left microphone M1L, right microphone M1R, and rear microphone M1B
- the controller 30 can detect the direction of the sound source based on differences in the sounds collected by each of the four external sound collection devices M1 (for example, differences in volume).
- an array microphone is used as the external sound collection device M1
- the direction of the sound source can be detected based on, for example, a phase shift or differences in volume.
- the four external sound collection devices M1 and the four image capture devices S6 are arranged to correspond to each other.
- the front microphone M1F is arranged adjacent to the front camera S6F
- the left microphone M1L is arranged adjacent to the left camera S6L
- the right microphone M1R is arranged adjacent to the right camera S6R
- the rear microphone M1B is arranged adjacent to the rear camera S6B.
- the external sound output device SP1 is a device that outputs sound toward the surroundings of the work machine 100.
- the external sound output device SP1 is an omnidirectional speaker attached to the cab 10, and is configured to output sound uniformly in all directions.
- the external sound output device SP1 may also be a directional speaker that outputs sound toward a specific direction, such as forward.
- the external sound output device SP1 may also be provided on structures at the work site, such as poles (steel towers), fences, walls, or buildings, on flying objects such as multicopters or balloons, or on autonomous mobile robots that move around within the work site, or it may be a sound output device (speaker) mounted on a mobile information terminal, such as a smartphone, carried by a worker or the like near the work machine 100.
- structures at the work site such as poles (steel towers), fences, walls, or buildings, on flying objects such as multicopters or balloons, or on autonomous mobile robots that move around within the work site, or it may be a sound output device (speaker) mounted on a mobile information terminal, such as a smartphone, carried by a worker or the like near the work machine 100.
- the information transmission device G1 is a device for communicating the status of the work machine 100 to those outside the work machine 100.
- the information transmission device G1 is provided on the upper rotating body 3 or the cab 10, and is configured to be able to communicate the status of the work machine 100 to workers around the work machine 100.
- the information transmission device G1 is a light-emitting device, and includes a front light bar G1F, a left light bar G1L, a right light bar G1R, and a rear light bar G1B.
- the front light bar G1F is a light-emitting device that can visually convey information to workers and others located in front of the work machine 100, and is attached to the outside of the cab 10, such as on the roof of the cab 10 or the side of the boom 4.
- the front light bar G1F may also be attached inside the cab 10, for example, on the ceiling of the cab 10.
- the left light bar G1L is a light-emitting device that can visually convey information to workers and others located to the left of the work machine 100
- the right light bar G1R is a light-emitting device that can visually convey information to workers and others located to the right of the work machine 100
- the rear light bar G1B is a light-emitting device that can visually convey information to workers and others located behind the work machine 100.
- Each of the front light bar G1F, left light bar G1L, right light bar G1R, and rear light bar G1B emits light in response to an electrical signal from the controller 30.
- the light-emitting devices are LED lights, but they may also be other light-emitting devices, such as halogen lamps. Additionally, the light-emitting device is a multi-color light-emitting type, but it may also be a monochromatic light-emitting type.
- the front light bar G1F is attached to the roof of the cab 10
- the left light bar G1L is attached to the left end of the top surface of the upper rotating body 3
- the right light bar G1R is attached to the right end of the top surface of the upper rotating body 3
- the rear light bar G1B is attached to the rear end of the top surface of the upper rotating body 3.
- the four information transmission devices G1 front light bar G1F, left light bar G1L, right light bar G1R, and rear light bar G1B
- the controller 30 can communicate the status of the work machine 100 to workers and others located at the front, left, right, and rear of the work machine 100.
- the four information transmission devices G1 and the four external sound collection devices M1 are arranged to correspond to each other.
- the front light bar G1F is arranged adjacent to the front microphone M1F
- the left light bar G1L is arranged adjacent to the left microphone M1L
- the right light bar G1R is arranged adjacent to the right microphone M1R
- the rear light bar G1B is arranged adjacent to the rear microphone M1B.
- Figure 3 is a diagram showing an example configuration of an external sound collection device M1 and information transmission device G1 attached to a work machine 100.
- Figure 3 is a perspective view of a left microphone M1L and left light bar G1L attached to a housing having a substantially rectangular parallelepiped shape. Note that the following explanation referring to Figure 3 relates to the combination of the left microphone M1L and left light bar G1L, but also applies to the combination of the front microphone M1F and front light bar G1F, the combination of the right microphone M1R and right light bar G1R, and the combination of the rear microphone M1B and rear light bar G1B.
- the left microphone M1L and left light bar G1L are arranged on the left side of the approximately rectangular parallelepiped housing so as to face to the left of the work machine 100.
- This arrangement allows the left microphone M1L to efficiently collect sounds generated to the left of the work machine 100, and the left light bar G1L to efficiently communicate the status of the work machine 100 to an operator on the left of the work machine 100.
- the left microphone M1L can pick up the voice of an operator on the left of the work machine 100, and the left light bar G1L can emit light in a predetermined color to notify the operator that the left microphone M1L has picked up the operator's voice.
- an operator on the left of the work machine 100 who speaks into the left microphone M1L can confirm that their voice has reached the left microphone M1L (i.e., the operator of the work machine 100) by looking at the left light bar G1L emitting light in a predetermined color.
- the information transmission device G1 may be provided at the top of each of the four side surfaces of the cab 10 (see Figure 6).
- the information transmission device G1 may be configured so that the front light bar G1F is attached to the top of the front of the cab 10, the left light bar G1L is attached to the top of the left side of the cab 10, the right light bar G1R is attached to the top of the right side of the cab 10, and the rear light bar G1B is attached to the top of the rear side of the cab 10.
- the information transmission device G1 may also be a single rotating light such as a Nico Torch attached to the top surface of the cab 10, or a display device such as an LCD display or an organic EL display.
- the controller 30 is an example of a control device that includes a processing circuit, and is configured, for example, by a computer that includes a CPU, volatile storage device, non-volatile storage device, and various input/output interfaces. The controller 30 then realizes various functions, for example, by reading programs from the non-volatile storage device, loading them into the volatile storage device, and having the CPU execute them. In the illustrated example, the controller 30 is configured to realize various functions and control the work machine 100.
- the various functions include, for example, a machine guidance function that guides the operator in manually operating the work machine 100.
- the various functions may also include a contact avoidance function that automatically or autonomously operates or stops the work machine 100 to avoid contact between the work machine 100 and objects that exist within the monitoring range around the work machine 100.
- the boom angle sensor S1 detects the boom angle, which is the rotation angle of the boom 4 relative to the upper rotating body 3.
- the arm angle sensor S2 detects the arm angle, which is the rotation angle of the arm 5 relative to the boom 4.
- the bucket angle sensor S3 detects the bucket angle, which is the rotation angle of the bucket 6 relative to the arm 5.
- Each of the boom angle sensor S1, arm angle sensor S2, and bucket angle sensor S3 may be, for example, a rotary encoder, an acceleration sensor, a six-axis sensor, an IMU (Inertial Measurement Unit), a potentiometer using a variable resistor, or a cylinder stroke sensor that detects the stroke amount of a hydraulic cylinder.
- a rotary encoder for example, a rotary encoder, an acceleration sensor, a six-axis sensor, an IMU (Inertial Measurement Unit), a potentiometer using a variable resistor, or a cylinder stroke sensor that detects the stroke amount of a hydraulic cylinder.
- the detection signal corresponding to the boom angle from the boom angle sensor S1, the detection signal corresponding to the arm angle from the arm angle sensor S2, and the detection signal corresponding to the bucket angle from the bucket angle sensor S3 are input into the controller 30.
- the machine body tilt sensor S4 detects the tilt state of the machine body (undercarriage 1 or upper rotating body 3) relative to the horizontal plane.
- the machine body tilt sensor S4 is attached, for example, to the upper rotating body 3, and detects the tilt angle of the work machine 100 (i.e., the upper rotating body 3) around two axes in the forward/backward and left/right directions.
- the machine body tilt sensor S4 may be, for example, an acceleration sensor, a six-axis sensor, or an IMU.
- the detection signal corresponding to the tilt angle detected by the machine body tilt sensor S4 is input into the controller 30.
- the rotation sensor S5 outputs information related to the rotation of the upper rotating body 3.
- the rotation sensor S5 detects, for example, the rotation angular velocity of the upper rotating body 3 relative to the lower running body 1.
- the rotation sensor S5 may also detect the rotation angle.
- the rotation sensor S5 may be, for example, a gyro sensor, resolver, or rotary encoder.
- the detection signal corresponding to the rotation angle or rotation angular velocity of the upper rotating body 3 detected by the rotation sensor S5 is input to the controller 30.
- the positioning device PS is a device that includes a processing circuit and measures the position of the upper rotating body 3.
- the positioning device PS is, for example, a GNSS (Global Navigation Satellite System) compass, and detects the position and orientation of the upper rotating body 3. Detection signals corresponding to the position and orientation of the upper rotating body 3 are input into the controller 30. The function of detecting the orientation of the upper rotating body 3 may be achieved by a direction sensor attached to the upper rotating body 3.
- GNSS Global Navigation Satellite System
- the cab 10 is a compartment space in which the operator rides, and is located on the front left side of the upper rotating body 3. However, if the work machine 100 is remotely controlled or operates fully automatically, the cab 10 may be omitted.
- Communication device T1 is a device that includes a processing circuit and communicates with external devices via a communication network, such as a mobile communication network, a satellite communication network, or the Internet.
- Communication device T1 is, for example, a mobile communication module that supports mobile communication standards such as LTE (Long Term Evolution), 4G (4th Generation), or 5G (5th Generation), a communication module that supports short-range wireless communication standards such as Wi-Fi (registered trademark) or Bluetooth (registered trademark), or a satellite communication module for connecting to a satellite communication network.
- the work machine 100 operates actuators in response to operations by an operator in the cab 10, driving driven parts such as the lower traveling body 1, upper rotating body 3, boom 4, arm 5, and bucket 6.
- the work machine 100 may operate the actuators automatically, regardless of the operation performed by the operator. This allows the work machine 100 to realize a function that automatically operates at least some of the driven parts, such as the lower traveling body 1, upper rotating body 3, boom 4, arm 5, and bucket 6, i.e., a so-called "machine control function.”
- Figure 4 is a diagram showing an example of the configuration of a work machine 100.
- the mechanical power transmission system, hydraulic oil lines, pilot lines, and electrical control system are indicated by double lines, thick solid lines, thick dashed lines, and dotted lines, respectively.
- the drive system of the work machine 100 includes an engine 11, a regulator 13, a main pump 14, and a control valve unit 17.
- the hydraulic drive system of the work machine 100 also includes hydraulic actuators such as a swing hydraulic motor 2A, a left traveling hydraulic motor 2ML, a right traveling hydraulic motor 2MR, a boom cylinder 7, an arm cylinder 8, and a bucket cylinder 9.
- the engine 11 is an example of a power source for the work machine 100, and is mounted, for example, at the rear of the upper rotating body 3.
- the power source for the work machine 100 may be a combination of a power source such as a battery or fuel cell and an electric motor.
- the engine 11 rotates at a constant speed at a preset target speed under direct or indirect control by the controller 30, and drives the main pump 14 and pilot pump 15.
- the engine 11 is, for example, a diesel engine that uses diesel as fuel.
- the engine 11 may also be a gasoline engine, a hydrogen engine, or the like.
- the regulator 13 controls the discharge rate of the main pump 14.
- the regulator 13 controls the discharge rate of the main pump 14 by adjusting the angle (tilting angle) of the swash plate of the main pump 14 in response to a control command from the controller 30.
- the main pump 14 is mounted, for example, at the rear of the upper rotating body 3, similar to the engine 11, and supplies hydraulic oil to the control valve unit 17 through a hydraulic oil line.
- the main pump 14 is a variable displacement hydraulic pump.
- the control valve unit 17 is one of the hydraulic control devices that controls the hydraulic system in the work machine 100.
- the control valve unit 17 includes control valves 171-176.
- the control valve unit 17 is configured to selectively supply hydraulic oil discharged by the main pump 14 to one or more hydraulic actuators via the control valves 171-176.
- the control valves 171-176 control the flow rate of hydraulic oil flowing from the main pump 14 to the hydraulic actuators, and the flow rate of hydraulic oil flowing from the hydraulic actuators to the hydraulic oil tank.
- the hydraulic actuators include a boom cylinder 7, an arm cylinder 8, a bucket cylinder 9, a left traveling hydraulic motor 2ML, a right traveling hydraulic motor 2MR, and a swing hydraulic motor 2A.
- the discharge pressure sensor 28 is configured to detect the discharge pressure of the main pump 14. In the illustrated example, the discharge pressure sensor 28 outputs the detected value to the controller 30.
- the operating device 26 is a device used by an operator to operate the actuator.
- the operating device 26 includes, for example, an operating lever and an operating pedal.
- the actuator may be a hydraulic actuator or an electric actuator.
- the operation sensor 29 is configured to detect the operation content of the operator using the operating device 26.
- the operation sensor 29 detects the operation direction and operation amount of the operating device 26 corresponding to each actuator and outputs the detected value to the controller 30.
- the controller 30 can control the opening area of the valve 31 according to the output of the operation sensor 29.
- the controller 30 then supplies the hydraulic oil discharged from the pilot pump 15 to the pilot port of the corresponding control valve in the control valve unit 17.
- the pressure of the hydraulic oil supplied to each pilot port is, in principle, a pressure that corresponds to the operation direction and operation amount of the operating device 26 corresponding to each hydraulic actuator.
- the operating device 26 is configured to supply the hydraulic oil discharged from the pilot pump 15 to the pilot port of the corresponding control valve in the control valve unit 17.
- the valve 31, which functions as a machine control control valve, is an example of an operation limiting device OL that limits the movement of the work machine 100. It is placed in a pipe connecting the pilot pump 15 and the pilot port of the control valve in the control valve unit 17, and is configured so that the flow path area of that pipe can be changed.
- the valve 31 is a solenoid valve that operates in response to a control command output by the controller 30. Therefore, the controller 30 can use the valve 31 to adjust the pilot pressure acting on the pilot port of the control valve, regardless of the operation of the operating device 26 by the operator.
- the controller 30 can operate the hydraulic actuator corresponding to a specific operating device 26 even when no operation is being performed on that specific operating device 26.
- the control system of the work machine 100 includes a controller 30, an indoor camera C1, a display device D1, an input device D2, a horn button HS, a talk button KS, an external sound collection device M1, an internal sound collection device M2, an external sound output device SP1, an internal sound output device SP2, an external volume dial DL1, an internal volume dial DL2, a switch SW, and a communication device T1.
- the internal sound collection device M2 and the internal sound output device SP2 are devices that include processing circuits.
- the controller 30 is configured to output control commands to the regulator 13 as necessary, thereby changing the discharge rate of the main pump 14.
- the controller 30 may also be configured to control, for example, a machine guidance function that guides the operator in manually operating the work machine 100 via the operating device 26.
- the controller 30 may also be configured to control, for example, a machine control function that automatically assists the operator in manually operating the work machine 100 via the operating device 26.
- Some of the functions of the controller 30 may be implemented by another controller (a control device including a processing circuit). That is, the functions of the controller 30 may be implemented in a distributed manner by multiple controllers.
- the machine guidance function and the machine control function may be implemented by dedicated controllers (control devices including a processing circuit).
- Figure 5 is a top view of the interior of the cab 10.
- the work machine 100 is equipped with a driver's seat 50, an operating device 26, a display device D1, and other devices that are arranged inside the cab 10.
- a door for getting on and off is provided on the left side of the driver's seat 50. The operator can open the door to enter the cab 10.
- the driver's seat 50 is located in the center of the driver's cab 10 when viewed from above.
- the driver's seat 50 includes a seat portion 51 on which the operator sits and a backrest 52.
- the driver's seat 50 is a reclining seat, and the tilt angle of the backrest 52 is adjustable.
- a left armrest 53L is located on the left side of the driver's seat 50, and a right armrest 53R is located on the right side.
- the left armrest 53L and right armrest 53R are rotatably supported by the backrest 52.
- a left console 54L is located on the left side of the driver's seat 50, and a right console 54R is located on the right side.
- the left console 54L and the right console 54R extend in the front-to-rear direction.
- the driver's seat 50 is slidable in the front-to-rear direction.
- the driver's seat 50 may also be configured to be slidable in the front-to-rear direction together with the left console 54L and the right console 54R.
- the left armrest 53L is positioned on top of the left console 54L.
- the right armrest 53R is positioned on top of the right console 54R.
- the left armrest 53L is positioned so as to cover part of the left console 54L in a top view.
- the right armrest 53R is positioned so as to cover part of the right console 54R in a top view.
- the operating device 26 includes a left operating lever 26L, a right operating lever 26R, a left traveling pedal 26PL, a right traveling pedal 26PR, a left traveling lever 26DL, and a right traveling lever 26DR.
- the left operating lever 26L is provided in front of the left console 54L.
- the right operating lever 26R is provided in front of the right console 54R.
- An operator seated in the driver's seat 50 can operate the left operating lever 26L while holding it with his left hand, and can operate the right operating lever 26R while holding it with his right hand.
- An operator seated in the driver's seat 50 can operate the left operating lever 26L with his left hand to drive the arm cylinder 8 and the swing hydraulic motor 2A.
- An operator seated in the driver's seat 50 can also operate the right operating lever 26R with his right hand to drive the boom cylinder 7 and the bucket cylinder 9.
- the bases of the left operating lever 26L and right operating lever 26R are covered with lever boots 27.
- the left travel pedal 26PL and right travel pedal 26PR are located on the floor in front of the driver's seat 50.
- An operator seated in the driver's seat 50 can operate the left travel pedal 26PL with their left foot to drive the left travel hydraulic motor 2ML.
- an operator seated in the driver's seat 50 can operate the right travel pedal 26PR with their right foot to drive the right travel hydraulic motor 2MR.
- the left travel lever 26DL and right travel lever 26DR are located between the left travel pedal 26PL and right travel pedal 26PR in a top view.
- the left travel lever 26DL and right travel lever 26DR extend upward from the floor in front of the driver's seat 50.
- An operator seated in the driver's seat 50 can drive the left travel hydraulic motor 2ML by gripping and operating the left travel lever 26DL with their left hand, in the same way as operating the left travel pedal 26PL.
- an operator seated in the driver's seat 50 can drive the right travel hydraulic motor 2MR by gripping and operating the right travel lever 26DR with their right hand, in the same way as operating the right travel pedal 26PR.
- the left travel lever 26DL and right travel lever 26DR are positioned so that the operator can operate the left travel lever 26DL and right travel lever 26DR simultaneously with one hand.
- the interior camera C1 is installed inside the cab 10 and captures images of the operator seated in the driver's seat 50.
- the interior camera C1 is attached to the front end of the ceiling of the cab 10 so that it can capture an image of the operator's face from the front.
- the display device D1 is provided in a location that is easily visible to the operator seated in the cab 10, and displays various information images under the control of the controller 30.
- the display device D1 is located on the front right side of the driver's seat 50, and is connected to the controller 30 via a dedicated line.
- the display device D1 displays various types of image information.
- the display device D1 includes a display screen that displays information such as the working conditions or operating state of the work machine 100.
- the operator seated in the driver's seat 50 can perform work using the work machine 100 while checking the various types of information displayed on the display device D1.
- the display device D1 may also be provided with an input device D2.
- Input device D2 is a device including a processing circuit, and is located within reach of the operator seated in driver's seat 50. It accepts various operational inputs from the operator and outputs signals corresponding to the operational inputs to controller 30.
- Input device D2 includes a touch panel mounted on the display of display device D1 that displays various information images, a knob switch provided at the tip of one or more of the multiple operating levers included in operating device 26, or a button switch, lever, toggle switch, or rotary dial installed around display device D1. A signal corresponding to the content of the operation performed on input device D2 is input into controller 30.
- a gate bar 55 is attached to the front of the front end of the left console 54L.
- the gate bar 55 operates in conjunction with the operation of a gate lock lever GL provided on the left console 54L.
- the gate bar 55 is attached to a frame inside the left console 54L so that it can be raised and lowered around an axis extending left and right at the top end.
- the gate lock lever GL is a mechanical input operation unit for switching between a state in which the work machine 100 can be operated by the operating device 26 (operable state) and a state in which the work machine 100 cannot be operated by the operating device 26 (inoperable state).
- the gate lock lever GL is configured so that the operator can switch between a first operating position that realizes the inoperable state and a second operating position that realizes the operable state.
- the controller 30 switches between the operable state and the inoperable state depending on the operating state of the gate lock lever GL.
- the controller 30 switches between the operable state and the inoperable state of the work machine 100 by electrically switching between a connected state and a disconnected state of the pilot line using a gate lock valve as a solenoid valve depending on the operating state of the gate lock lever GL.
- the gate lock valve is an example of an operation restriction device OL that restricts the movement of the work machine 100.
- the gate bar 55 is raised forward (passage prohibited state) to prevent the operator from passing through the boarding/alighting door, as shown in Figure 5.
- the gate bar 55 is housed inside the left console 54L (passage permitted state) so as not to prevent the operator from passing through the boarding/alighting door.
- this configuration can prevent the work machine 100 from moving unintentionally, even if the operator inadvertently touches the operating device 26 when getting on or off the machine. Therefore, this configuration can improve the safety of the work machine 100.
- the work machine 100 may be configured so that it can accept a predetermined operation to start the engine 11 only when the gate lock lever GL is in the second operating position and the gate bar 55 is in a passage prohibiting state. In other words, the work machine 100 may be configured so that it cannot start the engine 11 when the gate lock lever GL is in the first operating position and the gate bar 55 is in a passage permitting state.
- a switch SW is installed on the right console 54R.
- a window console 56 is installed to the right of the right console 54R.
- the window console 56 extends the entire length of the driver's cab 10 in the fore-and-aft direction and is arranged parallel to the right console 54R.
- a display device D1 is installed in front of the window console 56.
- An external volume dial DL1, an internal volume dial DL2, an internal sound collector M2, a radio tuner, etc. are installed on the window console 56.
- the radio tuner, etc. may be installed on the left console 54L or the right console 54R.
- the internal sound collection device M2 is a device that collects sounds generated within the driver's cab 10.
- the internal sound collection device M2 is an indoor microphone that is configured to pick up the voice of the operator inside the driver's cab 10.
- the horn button HS is a button that the operator of the work machine 100 operates to sound the horn.
- the horn button HS is a knob switch provided at the tip of the left operating lever 26L.
- the speech button KS is a button that the operator of the work machine 100 operates when speaking to workers around the work machine 100.
- the speech button KS is a knob switch provided at the tip of the right operating lever 26R.
- the internal sound output device SP2 is a device that outputs sound to the operator in the cab 10 and is installed inside the cab 10.
- the internal sound output device SP2 converts electrical signals input from the controller 30 into physical sound (air vibrations) and outputs the sound.
- the internal sound output device SP2 may be installed in any location, such as near the display device D1, near the input device D2, or near the boarding door of the cab 10.
- the internal sound output device SP2 includes a left interior speaker SP2L attached to the upper left corner of the rear wall of the cab 10 and a right interior speaker SP2R attached to the upper right corner of the rear wall of the cab 10.
- the internal sound output device SP2 may be headphones or earphones worn by the operator, or may be an internal speaker built into the display device D1.
- the headphones, earphones, or internal speaker are connected to the controller 30 so as to be able to communicate with it via Bluetooth (registered trademark), for example.
- the external volume dial DL1 is configured to adjust the volume of the sound output by the external sound output device SP1. Additionally, the volume of the sound output by each external sound output device SP1 may be configured to be adjustable using a device other than the external volume dial DL1, such as a touch panel attached to the display device D1.
- the external volume dial DL1 may be configured to be infinitely rotatable in both the clockwise and counterclockwise directions. This is to accommodate cases where volume adjustment using the external volume dial DL1 is used in conjunction with volume adjustment using a device other than the external volume dial DL1.
- the external volume dial DL1 may have a push button switch function. In this case, pressing the external volume dial DL1 may switch whether or not sound is output from the external sound output device SP1.
- the push button switch function of the external volume dial DL1 may be configured to function as a talk button similar to the talk button KS shown in FIG. 5.
- the internal volume dial DL2 is configured to adjust the volume of the sound output by the internal sound output device SP2. Additionally, the volume of the sound output by each internal sound output device SP2 may be configured to be adjustable using a device other than the internal volume dial DL2, such as a touch panel attached to the display device D1.
- the internal volume dial DL2 may be configured to be infinitely rotatable in both the clockwise and counterclockwise directions. This is to accommodate cases where volume adjustment using the internal volume dial DL2 is used in conjunction with volume adjustment using a device other than the internal volume dial DL2.
- the internal volume dial DL2 may have a push button switch function. In this case, pressing the internal volume dial DL2 may switch whether or not sound is output from the internal sound output device SP2. In other words, the internal volume dial DL2 may be configured to function as a mute switch.
- the switch SW is an example of an operating device for switching the operating state of a conversation function, which is an example of a voice transmission function.
- the switch SW is a switch for switching whether or not to operate a sound output function that outputs sound collected by the external sound collection device M1 from the internal sound output device SP2.
- the switch SW is provided on the top surface of the right console 54R.
- the switch SW may also be one of the input devices D2, may be realized by a touch panel provided on the display device D1, or may be a knob switch.
- the switch SW when the switch SW is on, the sound collected by the external sound collection device M1 is output from the internal sound output device SP2, and when the switch SW is off, the output of the sound collected by the external sound collection device M1 from the internal sound output device SP2 is stopped (muted).
- the voice transmission function is a function for realizing one-way or two-way voice transmission between the operator OP of the work machine 100 and a person (worker WK) around the work machine 100, as shown in FIG. 6.
- the voice transmission function includes an internal sound reproduction function, which collects the operator OP's voice using the internal sound collection device M2 and outputs it from the external sound output device SP1, and an external sound reproduction function, which collects the worker WK's voice using the external sound collection device M1 and outputs it from the internal sound output device SP2.
- the conversation function is realized by combining the internal sound reproduction function and the external sound reproduction function.
- the function for realizing one-way voice transmission is also called a one-way dialogue function, which means that, for example, the function for transmitting voice from the operator OP to the worker WK (internal sound reproduction function) and the function for transmitting voice from the worker WK to the operator OP (external sound reproduction function) are executed at different times (alternately), like a conventional walkie-talkie.
- the function for realizing two-way voice transmission is also called a two-way dialogue function, and means, for example, that a function for transmitting voice from the operator OP to the worker WK (internal sound playback function) and a function for transmitting voice from the worker WK to the operator OP (external sound playback function) are executed simultaneously.
- the conversation function may be configured to be available in at least one of the following states: key OFF (power source is stopped), accessory ON (power source is stopped but on-board electronic devices are operating), engine ON (power source is operating), gate lock ON (gate lock lever GL is disabled), and gate lock OFF (gate lock lever GL is enabled).
- the conversation function is a function for enabling a conversation between the operator OP of the work machine 100 and a worker WK located around the work machine 100, as shown in FIG. 6.
- the work machine 100 is configured so that a conversation between the operator OP and the worker WK is possible even when the doors and windows of the work machine 100 are closed.
- FIG. 6 is a perspective view of the work machine 100 with the operator OP on board and the worker WK located on the front left of the work machine 100.
- FIG. 6 shows how the voice of the operator OP is collected by the internal sound collection device M2 and output from the external sound output device SP1, and how the voice of the worker WK is collected by the external sound collection device M1 and output from the internal sound output device SP2.
- an information transmission device G1 is provided at the top of each of the four side surfaces of the cab 10.
- the front light bar G1F located at the top of the front of the cab 10 emits green light
- the left light bar G1L located at the top of the left side of the cab 10 emits white light.
- the front light bar G1F emitting green light has a dot pattern attached.
- an operator WK sees the front light bar G1F emitting green light, he or she can recognize that his or her voice is being detected by the front microphone M1F.
- other devices such as the imaging device S6 are not shown in Figure 6.
- the operating states of the conversation function include an ON state (the state shown in Figure 6) in which conversation between the operator OP and worker WK is possible, and an OFF state in which conversation between the operator OP and worker WK is not possible.
- the operating states of the conversation function may additionally include at least one of an audible state (with respect to the operator OP) in which the operator OP can hear the voice of the worker WK but the worker WK cannot hear the voice of the operator OP, and a speechable state (with respect to the operator OP) in which the worker WK can hear the voice of the operator OP but the operator OP cannot hear the voice of the worker WK.
- switch SW when switch SW is operated to switch the operation state of the conversation function to the on state, external sound collection device M1, external sound output device SP1, internal sound collection device M2, and internal sound output device SP2 become available for use. Conversely, when switch SW is operated to switch the operation state of the conversation function to the off state, external sound collection device M1, external sound output device SP1, internal sound collection device M2, and internal sound output device SP2 become unavailable. Furthermore, when switch SW is operated to switch the operation state of the conversation function to the audible state, external sound collection device M1 and internal sound output device SP2 become available for use. Furthermore, when switch SW is operated to switch the operation state of the conversation function to the speech-enabled state, external sound output device SP1 and internal sound collection device M2 become available for use. In the illustrated example, when the internal sound collection device M2 is available, the operator OP can speak to the worker WK using the external sound output device SP1 by pressing the talk button KS and speaking.
- FIG. 7 is a diagram showing an example of the display screen 85.
- the display screen 85 is displayed on the image display unit D1a while the work machine 100 is operating.
- the controller 30 generates the display screen 85 based on various information acquired from various devices and image information input from the imaging device S6.
- the various information includes the rotation angle, information indicating the image area in which a person is captured, position information of people present in the vicinity of the work machine 100 (information indicating the direction and distance of the detected person), and detection results from various sensors.
- the image display unit D1a displays a display screen 85 including a date and time display area 42a, a driving mode display area 42b, an attachment display area 42c, a fuel economy display area 42d, an engine control status display area 42e, a warning image display area 42f, a coolant temperature display area 42g, a remaining fuel amount display area 42h, an RPM level display area 42i, a remaining urea water amount display area 42j, a hydraulic oil temperature display area 42k, a work machine status display area 421, a first image display area 422, a second image display area 423, and an information display area 424.
- the display screen 85 may also include other display areas, such as an engine operating time display area that displays the cumulative operating time of the engine 11.
- the travel mode display area 42b, attachment display area 42c, engine control status display area 42e, and rotation speed level display area 42i are areas that display setting status information, which is information related to the setting status of the work machine 100.
- the fuel efficiency display area 42d, attention image display area 42f, coolant temperature display area 42g, remaining fuel amount display area 42h, remaining urea water amount display area 42j, and hydraulic oil temperature display area 42k are areas that display operating status information, which is information that represents the operating status of the work machine 100 based on the detection results of various sensors.
- the date and time display area 42a is an area that displays the current date and time.
- the driving mode display area 42b is an area that displays the current driving mode.
- the attachment display area 42c is an area that displays an image representing the currently installed attachment.
- the fuel efficiency display area 42d is an area that displays fuel efficiency information calculated by the controller 30.
- the fuel efficiency display area 42d includes an average fuel efficiency display area 42d1 that displays the lifetime average fuel efficiency or average section fuel efficiency, and an instantaneous fuel efficiency display area 42d2 that displays instantaneous fuel efficiency.
- the engine control status display area 42e is an area that displays the control status of the engine 11.
- the coolant temperature display area 42g is an area that displays the current temperature of the engine coolant.
- the remaining fuel amount display area 42h is an area that displays the remaining amount of fuel stored in the fuel tank.
- the attention-calling image display area 42f is an area that displays an image to attract the attention of the operator OP.
- an icon is displayed to inform the operator OP that the movement of the work machine 100 is restricted. By looking at this icon, the operator OP can learn that the movement of the work machine 100 is restricted due to, for example, a conversation taking place between the operator OP and a person (such as a worker WK) near the work machine 100.
- the movement of the work machine 100 is restricted, for example, by electrically controlling the valves 31, which serve as solenoid valves.
- the controller 30 can prohibit the operation (e.g., swing operation) performed by a specific hydraulic actuator or actuators by closing the valves 31 corresponding to the specific hydraulic actuator or actuators (e.g., the swing hydraulic motor 2A).
- the controller 30 can also limit the maximum speed (e.g., maximum swing speed) of the operation performed by the specific hydraulic actuator or actuators (e.g., the swing hydraulic motor 2A) by reducing the opening area of the valves 31 corresponding to the specific hydraulic actuator or actuators (e.g., the swing hydraulic motor 2A).
- the controller 30 can prohibit the movement of all hydraulic actuators by closing the valves 31 corresponding to all hydraulic actuators.
- the controller 30 can also limit the maximum speed of the movement of all hydraulic actuators by reducing the opening area of the valves 31 corresponding to all hydraulic actuators.
- the rotation speed level display area 42i is an area that displays, as an image, the current level set by the rotation speed adjustment dial (not shown). A number indicating the selected level is displayed in the rotation speed level display area 42i. The number “1" displayed in the rotation speed level display area 42i indicates that the selected rotation speed level is the "first level.” The number “n” displayed in the rotation speed level display area 42i indicates that the selected rotation speed level is the “nth level.” “n” is a natural number. When the operator OP rotates the rotation speed adjustment dial, the number displayed in the rotation speed level display area 42i changes.
- the urea water remaining amount display area 42j is an area that displays an image of the remaining amount of urea water stored in the urea water tank.
- the hydraulic oil temperature display area 42k is an area that displays the temperature of the hydraulic oil in the hydraulic oil tank.
- the work machine status display area 421 is an area that displays information showing the positional relationship between the work machine 100 and people detected in the vicinity of the work machine 100.
- the work machine status display area 421 is an area that displays an overhead image that shows the real space centered on the work machine 100 at a specified scale.
- a work machine icon 421b that indicates the presence of the work machine 100 is placed in the center of the work machine status display area 421.
- the overhead image may be a viewpoint conversion image generated based on an image captured by the imaging device S6, or may be a CG image.
- the overhead image is a CG image that roughly shows the state of the real space centered on the work machine 100 when viewed from directly above.
- the work machine status display area 421 In addition to the work machine icon 421b, the work machine status display area 421 simultaneously displays an icon indicating the direction in which the work machine 100 can proceed (direction display icon 421a in the example of FIG. 7) and icons indicating the positions of people detected around the work machine 100 (person detection icon 421e, person detection icon 421f, person detection icon 421g in the example of FIG. 7).
- the area other than the direction display icon 421a, work machine icon 421b, person detection icon 421e, person detection icon 421f, and person detection icon 421g may be an area displayed in a single color (e.g., black), for example.
- the work machine icon 421b is an icon that combines an image showing the upper rotating body 3 and an image showing the lower running body 1, in accordance with the positional relationship between the upper rotating body 3 and the lower running body 1 based on the rotation angle.
- the image showing the lower running body 1 is tilted 45 degrees counterclockwise relative to the image showing the upper rotating body 3, which is facing upward on the screen.
- the direction display icon 421a is triangular and indicates the direction in which the work machine 100 will travel when the travel lever is tilted forward.
- the direction display icon 421a may be any shape as long as it represents the direction in which the work machine 100 can travel.
- Human detection icon 421e, human detection icon 421f, and human detection icon 421g are icons that represent the position of a person detected based on an image captured by imaging device S6.
- the positional relationship between work machine icon 421b and each of human detection icons 421e, 421f, and 421g corresponds to the positional relationship between the work machine 100 in real space and the people present around the work machine 100.
- a CG image is displayed as a bird's-eye view image in the work machine status display area 421, but a viewpoint-converted image generated by combining images captured by the imaging device S6 provided on the work machine 100 may also be displayed as the bird's-eye view image.
- the bird's-eye view image also displays objects other than people that are present around the work machine 100, and further displays the condition of the ground, such as unevenness of the ground. For this reason, when the operator OP views the viewpoint-converted image as a bird's-eye view image, he or she recognizes information about various objects, which may make it difficult for him or her to identify people that are present around the work machine 100.
- the work machine status display area 421 displays, on a monochrome background image, an icon indicating the work machine 100, an icon indicating the direction in which the work machine 100 can proceed (for example, direction display icon 421a), and icons indicating people detected around the work machine 100 (for example, person detection icon 421e, person detection icon 421f, and person detection icon 421g).
- an icon indicating the work machine 100 for example, an icon indicating the direction in which the work machine 100 can proceed
- icons indicating people detected around the work machine 100 for example, person detection icon 421e, person detection icon 421f, and person detection icon 421g.
- the operator OP can recognize the current status of the work machine 100, the direction in which it can proceed, and the positional relationship between the people around the work machine 100 and the work machine 100 itself.
- the operator OP can infer how the positional relationship between people present around the work machine 100 and the work machine 100 will change when the work machine 100 is moved. Furthermore, because the display of objects other than people is suppressed in the work machine status display area 421, the operator OP's attention is less likely to be drawn to objects other than people. Therefore, the work machine 100 can prevent the operator OP, who is looking at the work machine status display area 421, from overlooking the presence of people. Therefore, the work machine 100 can achieve improved safety.
- the work machine status display area 421 may also display one or more distance display images 421c indicating the distance from the work machine 100.
- the distance display image 421c is a graphic image that allows the operator OP to recognize the relative distance from the work machine 100, and may be, for example, a circular image centered on the center point of the work machine icon 421b (for example, the position of the swing axis).
- the circular image may include at least one of a first circular image whose radius is the distance between the tip position of the attachment AT and the swing axis, calculated based on the current attitude of the attachment AT of the work machine 100, and a second circular image whose radius is the distance between the tip position of the attachment AT when the attachment AT is fully extended horizontally.
- the distance between the current tip position of the attachment AT and the swing axis is calculated based on the detection results of, for example, the boom angle sensor S1, the arm angle sensor S2, and the bucket angle sensor S3.
- the distance display image 421c is a second circular image.
- the controller 30 may change the display mode of at least one of the circular image serving as the distance display image 421c and the human detection icon depending on whether the human detection icon is included within the range of the circular image serving as the distance display image 421c. For example, a human detection icon that exists within a first circular range may be displayed in a first color (e.g., red), a human detection icon that exists outside the first circular range but within a second circular range may be displayed in a second color (e.g., yellow), and a human detection icon that exists outside the second circular range may be displayed in a third color (e.g., blue). The same applies to the color of the circular image. Note that changing the display mode may be achieved by varying the blinking cycle, contrast, brightness, or the like.
- a first color e.g., red
- a human detection icon that exists outside the first circular range but within a second circular range may be displayed in a second color (e.g., yellow)
- a human detection icon that exists outside the second circular range may be
- the display device D1 can alert the operator OP according to the distance between the work machine 100 and a person by displaying a human detection icon whose color changes depending on the distance from the center point of the work machine icon 421b. Therefore, the work machine 100 can achieve improved safety.
- the operator OP can recognize the positional relationship between the distance display image 421c and the person detection icon 421e, person detection icon 421f, and person detection icon 421g, and can easily operate the attachment AT so that the person does not come into contact with the attachment AT. Therefore, the work machine 100 can achieve improved safety.
- the image display unit D1a displays the work machine status display area 421 as well as images captured by the imaging device S6. Therefore, the operator OP can recognize the specific situation around the work machine 100 by looking at the work machine status display area 421 and also at the images captured by the imaging device S6. This allows the work machine 100 to achieve improved safety.
- the first image display area 422 and the second image display area 423 are areas that display images captured by the imaging device S6.
- a right-hand image is displayed in the first image display area 422, and a rearward image is displayed in the second image display area 423.
- the right-hand image is an image that shows the space to the right of the work machine 100, and includes an end image 422c that is an image of the right edge of the top surface of the upper rotating body 3.
- the right-hand image is a real-view image (through image) generated by the controller 30, and is generated based on an image acquired by the right camera S6R.
- the rearward image is an image that shows the space behind the work machine 100, and includes a counterweight image 423c that is an image of a counterweight provided at the rear of the upper rotating body 3.
- the rearward image is a real-view image (through image) generated by the controller 30, and is generated based on an image acquired by the rear camera S6B.
- the first image display area 422 is displayed to the right of the work machine status display area 421.
- the second image display area 423 is displayed below the work machine status display area 421.
- the top of the image display section D1a corresponds to the front of the image showing the upper rotating body 3 of the work machine icon 421b in the work machine status display area 421. Therefore, the first image display area 422 is displayed in a position corresponding to the right of the image showing the upper rotating body 3 in the work machine status display area 421, and the second image display area 423 is displayed in a position corresponding to the bottom of the image showing the upper rotating body 3 in the work machine status display area 421.
- the operator OP can intuitively recognize that the image captured by the right camera S6R is displayed to the right of the work machine status display area 421, and the image captured by the rear camera S6B is displayed behind the work machine status display area 421. As a result, the work machine 100 can achieve improved safety.
- the example shown in FIG. 7 shows one example of the arrangement of image information
- the arrangement of image information is not limited to the arrangement shown in FIG. 7.
- the first image display area 422 and the second image display area 423 may be arranged regardless of the imaging direction of the imaging device S6.
- the controller 30 when the controller 30 detects an image of a person (human image) based on at least one of the right image and the rear image, it may superimpose a frame surrounding the person image.
- a frame 422b surrounding the human image 422a is displayed in the right image of the first image display area 422, and a frame 423b surrounding the human image 423a is displayed in the rear image of the second image display area 423.
- the controller 30 may match the color of the frame 422b with the color of the human detection icon 421e, and may also match the color of the frame 423b with the color of the human detection icon 421f.
- the controller 30 is configured to match the color of the frame with the color of the human detection icon.
- the controller 30 may also be configured to match the blinking cycle of the frame with the blinking cycle of the human detection icon, allowing the operator OP to recognize the correspondence between the person represented by the framed human image and the person represented by the human detection icon.
- the information display area 424 is an area where various types of information are displayed.
- the information display area 424 displays text information related to the icon displayed in the attention image display area 42f.
- the icon displayed in the attention image display area 42f is an icon for informing the operator OP that the movement of the work machine 100 is restricted.
- the information display area 424 displays text information such as "Some movements are restricted because a conversation is taking place" to inform the operator OP of the cause of the restriction on the movement of the work machine 100. By looking at this text information, the operator OP can recognize that the cause of the restriction on the movement of the work machine 100 is a conversation taking place between the operator OP and someone nearby the work machine 100.
- the information display area 424 may display text information indicating a method for releasing the restriction on the operation of the work machine 100. For example, when the controller 30 determines that a conversation between the operator OP and a person around the work machine 100 has ended, the information display area 424 may display text information such as "Press the horn button to release the restriction on operation,” “Operate the gate lock lever to release the restriction on operation,” or “Return the operating lever to the neutral position to release the restriction on operation.” By viewing such text information, the operator OP can recognize that the restriction on the operation of the work machine 100 can be released by, for example, pressing the horn button.
- the controller 30 may be configured to automatically release the restriction on the operation of the work machine 100 when it is determined that the cause of the restriction on the operation of the work machine 100 has been resolved.
- text information such as "The restriction on operation has been automatically released as the conversation has ended” may be displayed in the information display area 424.
- FIG. 8 is a flowchart showing an example of the flow of the movement restriction process.
- the controller 30 repeatedly executes this movement restriction process at a predetermined control cycle.
- the controller 30 determines whether speech is occurring (step ST1). In the illustrated example, the controller 30 determines whether at least one of the external sound collection device M1 and the internal sound collection device M2 has detected a human voice. Specifically, the controller 30 analyzes the frequency of the electrical signal corresponding to the sound collected by the external sound collection device M1 and determines whether the sound collected by the external sound collection device M1 includes the voice of a person (worker WK), i.e., whether the external sound collection device M1 has picked up a human voice. In other words, the controller 30 can distinguish between warning sounds, beeps, etc. and human voices. The controller 30 may also determine whether a human voice is included based on the waveform pattern of the electrical signal corresponding to the sound collected by the external sound collection device M1.
- the controller 30 analyzes the frequency of the electrical signal corresponding to the sound collected by the internal sound collection device M2 and determines whether the sound collected by the internal sound collection device M2 includes the voice of a person (operator OP), i.e., whether the internal sound collection device M2 has picked up a human voice.
- the controller 30 may determine whether a human voice is included based on the waveform pattern of the electrical signal corresponding to the sound collected by the internal sound collection device M2.
- these sound-related functions may be implemented by a device separate from the controller 30 (for example, an independent audio controller).
- the controller 30 may determine that speech is occurring when it determines that the volume of the sound collected by the internal sound collection device M2 is equal to or greater than a predetermined volume. This is because it is possible to determine whether or not the operator OP is speaking using simple processing with a low computational load.
- the controller 30 may determine that speech is being made when the speech button KS is pressed. This is because the controller 30 can determine that the operator OP is about to speak.
- the controller 30 may determine whether the operator OP is speaking based on an image captured by the indoor camera C1, or may determine whether a person in the vicinity of the work machine 100 is speaking based on an image captured by the imaging device S6. Specifically, the controller 30 may determine whether the operator OP or a person in the vicinity of the work machine 100 is speaking by performing various image recognition processes on the image captured by the camera to determine whether the mouth of the operator OP or a person in the vicinity of the work machine 100 is moving.
- the controller 30 may, for example, determine the direction of the face of a person in the vicinity of the work machine 100, and determine whether the person in the vicinity of the work machine 100 is speaking towards the work machine 100 or towards another object (for example, another person in the vicinity of the work machine 100 or another work machine). Then, if the controller 30 determines that a person around the work machine 100 is speaking not to the work machine 100 but to another person around the work machine 100, it may determine that no speech is being made. In this case, the controller 30 can determine that the person around the work machine 100 is not speaking to the operator OP of the work machine 100.
- the controller 30 may be configured to recognize the distance between the person speaking (a person around the work machine 100) and the work machine 100 based on an image captured by the imaging device S6. The controller 30 may then determine that no speech is occurring if the distance between the person speaking and the work machine 100 exceeds a predetermined distance. This is because the controller 30 can determine that there is a sufficient distance between the person speaking and the work machine 100 and therefore no need to restrict the movement of the work machine 100. The same applies when the operator OP is speaking and the distance between the person he is talking to (a person around the work machine 100) and the work machine 100 exceeds a predetermined distance.
- step ST1 the controller 30 prohibits the work machine 100 from transitioning from the first machine state to the second machine state (step ST2).
- the controller 30 prohibits the work machine 100 from transitioning from the first machine state to the second machine state by controlling the valve 31, which serves as a solenoid valve, to restrict the movement of the work machine 100.
- the first machine state and the second machine state are both one of the states of the work machine 100 and are pre-registered states.
- the controller 30 determines which of multiple pre-registered first machine states the current state of the work machine 100 corresponds to based on the outputs of various devices, such as the discharge pressure sensor 28, operation sensor 29, engine control device, input device D2, gate lock lever GL, boom angle sensor S1, arm angle sensor S2, bucket angle sensor S3, machine body inclination sensor S4, rotation sensor S5, and imaging device S6.
- the first machine state is the state of the work machine 100 when a determination is made as to whether speech is being uttered in the operation restriction process
- the second machine state is the state of the work machine 100 pre-associated with the first machine state.
- the controller 30 may also determine that the current state of the work machine 100 corresponds to a plurality of first machine states.
- the correspondence between the first machine state and the second machine state may also be configured to be changeable depending on the model of the work machine 100 (whether or not it is equipped with a safety device such as a collision prevention device), the operator (whether or not the operator is an expert), the work site (whether or not it is in an urban area), etc.
- FIG. 9 is a table showing the correspondence between the first machine state and the second machine state.
- the first machine states “engine stopped state,” “inoperable state,” “excavation mode (swing non-operation state),” “crane mode (swing non-operation state),” “payload mode (swing non-operation state),” “MG mode (swing non-operation state),” and “MC mode (swing non-operation state)” correspond to the second machine states "engine running state,” “operable state,” “excavation mode (swing operation state),” “crane mode (swing operation state),” “payload mode (swing operation state),” “MG mode (swing operation state),” and “MC mode (swing operation state),” respectively.
- the swing non-operation state and the swing operation state may be replaced with the travel non-operation state and the travel operation state, respectively.
- Excavation mode "Crane mode,” “Payload mode,” “MG mode,” and “MC mode” are operation modes of the work machine 100.
- the operator OP can select the operation mode of the work machine 100 by operating the input device D2.
- crane mode is an operating mode in which the work machine 100 is operated with the hook housed in the hook housing provided at the base of the bucket 6 (between a pair of bucket links) that constitutes the attachment AT extended, and is used when performing lifting work using a wire hooked on the hook.
- Excavation mode is an operating mode in which the work machine 100 is operated with the hook housed in the hook housing, and is used when digging the ground with the bucket 6.
- Payment mode is an operating mode used when measuring (calculating) the weight of an object lifted by the attachment AT.
- the controller 30 is configured to be able to calculate the weight of an object lifted by the attachment AT based on the output of various sensors, such as the boom angle sensor S1, arm angle sensor S2, bucket angle sensor S3, boom cylinder pressure sensor, arm cylinder pressure sensor, and bucket cylinder pressure sensor.
- MG mode refers to machine guidance mode, and is used when providing visual or audible assistance to the operator OP in operating the control levers.
- the controller 30 in "MG mode,” the controller 30 is configured to output an electronic intermittent sound from the internal sound output device SP2 to communicate to the operator OP the distance between the tip of the attachment AT and the target surface (design surface). Specifically, the controller 30 reduces the interval at which the intermittent sound is output as the distance between the tip of the attachment AT and the target surface (design surface) decreases.
- MC mode refers to a machine control mode, and is used to assist the operator OP in operating the control lever by automatically operating the actuator.
- the controller 30 can automatically operate the hydraulic actuator so that the tip of the attachment AT moves along a predetermined trajectory, regardless of whether the control lever is operated or not.
- the controller 30 determines that speech is being made while the engine 11 is stopped, it prevents the engine 11 from starting even if an operation to start the engine 11 is performed.
- the operation limiting device OL is, for example, an engine control device (not shown) that controls a starter motor that starts the engine 11, and the controller 30 outputs a control command to the engine control device to prevent the engine 11 from starting even if the engine start button is pressed.
- the controller 30 determines that speech is being made while the engine is in an inoperable state, it prevents the gate lock lever GL from becoming in an operable state even if it is switched to the second operating position.
- the controller 30 outputs a control command to the gate lock valve serving as the operation limiting device OL, so that the pilot line remains disconnected and the inoperable state is maintained even if the gate lock lever GL is switched to the second operating position.
- the controller 30 determines that speech is being spoken when no swing operation is being performed in excavation mode, crane mode, payload mode, MG mode, or MC mode, it prevents the swing hydraulic motor 2A from operating even if a swing operation is being performed.
- the controller 30 outputs a control command to the valve 31, which serves as the operation limiting device OL, and blocks the pilot line corresponding to the swing hydraulic motor 2A, thereby preventing the swing hydraulic motor 2A from operating.
- prohibiting a transition from the first machine state to the second machine state may also mean allowing a transition from the first machine state to the third machine state.
- the third machine state may be the "digging mode (swing limited operation state).”
- the swing limited operation state is, for example, a state in which movement of the swing hydraulic motor 2A is allowed, but the maximum operating speed of the swing hydraulic motor 2A is limited.
- step ST3 determines whether transition from the first machine state to the second machine state is prohibited.
- step ST3 If it is determined that transition from the first machine state to the second machine state is not prohibited (NO in step ST3), the controller 30 terminates the current operation restriction process. This is because transition from the first machine state to the second machine state is not prohibited, and there is no need to lift the prohibition on transition from the first machine state to the second machine state.
- step ST4 the controller 30 determines whether a release condition is met (step ST4).
- release conditions include the time elapsed since the conversation between the operator OP and the worker WK ended exceeding a predetermined time (e.g., 30 seconds), the release button being pressed, the operating lever being returned to the neutral position, or the gate lock lever GL being returned to the first operating position.
- the release button may be a software button displayed on the display device D1, one of the input devices D2, or one of the knob switches.
- step ST4 the controller 30 releases the prohibition on the work machine 100 transitioning from the first machine state to the second machine state (step ST5).
- step ST5 the controller 30 transitions the state of the work machine 100 from the first machine state to the second machine state.
- the controller 30 ends the current operation restriction process without releasing the prohibition on transitioning from the first machine state to the second machine state. In other words, the controller 30 restricts the movement of the work machine 100 so that the state of the work machine 100 remains in the first machine state.
- the controller 30 can restrict the movement of the work machine 100 when speech is being spoken, compared to when speech is not being spoken. Therefore, the controller 30 can prevent the operator OP from performing careless operations when there is a risk that the operator OP's attention will be distracted due to speech being spoken.
- the controller 30 may be configured to impose different restrictions on the operation of the work machine 100 when the operator OP is speaking and when someone around the work machine 100 is speaking (when the operator OP is listening to that person).
- the controller 30 is typically configured so that the restrictions imposed when the operator OP is speaking are stricter than the restrictions imposed when someone around the work machine 100 is speaking. This is because it is thought that the operator OP's attention is more likely to decrease when the operator OP is speaking than when the operator OP is listening to someone else speaking.
- Figure 10 is a top view of another example configuration of the work machine 100.
- the work machine 100 shown in Figure 10 differs from the work machine 100 shown in Figure 1 in that the external sound output device SP1 is made up of four speakers (front speaker SP1F, left speaker SP1L, right speaker SP1R, and rear speaker SP1B).
- the external sound output device SP1 is made up of a single omnidirectional speaker provided above the cab 10.
- the work machine 100 shown in FIG. 10 can output sound toward the worker WK in front of the work machine 100 without outputting sound toward workers WK to the left, right, or rear of the work machine 100, for example, by turning on the front speaker SP1F (a state in which sound can be output) and turning off the left speaker SP1L, right speaker SP1R, and rear speaker SP1B (a state in which sound cannot be output).
- the front speaker SP1F a state in which sound can be output
- the left speaker SP1L, right speaker SP1R, and rear speaker SP1B a state in which sound cannot be output
- a front camera S6F and a front microphone M1F are provided adjacent to the front speaker SP1F, and a front light bar G1F is provided on the housing of the front microphone M1F.
- a left camera S6L and a left microphone M1L are provided adjacent to the left speaker SP1L, and a left light bar G1L is provided on the housing of the left microphone M1L.
- a right camera S6R and a right microphone M1R are provided adjacent to the right speaker SP1R, and a right light bar G1R is provided on the housing of the right microphone M1R.
- a rear camera S6B and a rear microphone M1B are provided adjacent to the rear speaker SP1B, and a rear light bar G1B is provided on the housing of the rear microphone M1B.
- the work machine 100 can turn on the light bar corresponding to the speaker that is turned on (in a state where it can emit light), and turn off the light bar corresponding to the speaker that is turned off (in a state where it cannot emit light).
- the external sound output device SP1 may also be composed of one or more parametric speakers.
- a parametric speaker is a speaker that uses ultrasonic waves and can selectively transmit sound to people within a specific narrow range.
- a parametric speaker can transmit sound toward any position.
- the controller 30 may detect a worker WK around the work machine 100 based on images captured by the imaging device S6 and identify the position of the worker WK. Furthermore, if there are multiple workers WK around the work machine 100, the controller 30 may distinguish between a conversation target (a worker WK who is speaking) and a non-conversation target (a worker WK who is not speaking) based on the output of the four external sound collection devices M1. Furthermore, the controller 30 may distinguish between a conversation target (a worker WK facing the work machine 100) and a non-conversation target (a worker WK who is not facing the work machine 100) based on images captured by the imaging device S6. The controller 30 may then turn on the speaker and light bar facing the worker WK.
- the controller 30 may turn on the rear speaker SP1B while keeping the front speaker SP1F, left speaker SP1L, and right speaker SP1R off. In this case, the controller 30 may turn on the rear light bar G1B while keeping the front light bar G1F, left light bar G1L, and right light bar G1R off. Note that this type of function may be implemented in the work machine 100 shown in Figures 1 to 5.
- the controller 30 can output sound in the direction where the worker WK is located, without outputting sound in the direction where the worker WK is not present. This allows the worker WK to easily recognize whether he or she is considered a conversation target or non-target.
- the controller 30 may be configured to be able to identify the direction (as seen from the work machine 100) of the person speaking (a person around the work machine 100) based on the output of each of the four external sound collection devices M1.
- the controller 30 may also be configured to vary the restrictions on the movement of the work machine 100 depending on the direction of the person speaking.
- the controller 30 may be configured to be able to identify the direction (as seen from the work machine 100) of the person speaking (a person around the work machine 100) based on the output of the external sound collection device M1 as an array microphone.
- the number of external sound collection devices M1 may be one or more.
- the controller 30 determines that a person at the rear of the work machine 100 is speaking when the crane mode is selected, it is configured to prohibit a transition from the swing non-operation state as the first machine state to the swing operation state as the second machine state.
- the controller 30 may also be configured to allow (not prohibit) a transition from the swing non-operation state to the swing operation state when the controller 30 determines that a person at the front of the work machine 100 (e.g., a rigger) is speaking when the crane mode is selected. This is because when load lifting work is being performed, the worker at the front of the work machine 100 and the operator OP will usually converse as they work.
- the controller 30 is configured to prohibit a transition from the swing non-operation state as the first machine state to the swing operation state as the second machine state when it determines that a person in a direction other than the traveling direction of the work machine 100 is speaking in a situation where the work machine 100 is being guided to travel by the voices of people around the work machine 100.
- the controller 30 may also be configured to allow (not prohibit) a transition from the swing non-operation state to the swing operation state when it determines that a person in the traveling direction of the work machine 100 is speaking in a situation where the work machine 100 is being guided to travel by the voices of people around the work machine 100. This is because vocal guidance of travel is usually achieved by a person in the traveling direction of the work machine 100 speaking.
- FIG. 11 is a schematic diagram showing an example configuration of the operation system SYS.
- the operation system SYS includes a work machine 100, a remote control room RC, and a management center MC. Note that the detailed configuration of the work machine 100 is omitted from FIG. 11. This is because the work machine 100 shown in FIG. 11 has the same configuration as the work machine 100 shown in FIG. 1 or FIG. 10.
- the work machine 100, remote control room RC, and management center MC are connected to one another so that they can send and receive data via the communication network NW.
- the work machine 100, remote control room RC, and management center MC may also be connected to one another so that they can send and receive data directly without going through the communication network NW.
- the work machine 100 sends information about the work site to the remote control room RC. This allows the remote operator RO in the remote control room RC to understand the situation at the work site based on the information from the work machine 100.
- the work machine 100 is equipped with a sensor that can recognize the position and shape of objects present at the work site in three dimensions.
- the work machine 100 is equipped with a spatial recognition device.
- the work machine 100 can transmit the results of three-dimensional measurements of the work site to the remote control room RC.
- the spatial recognition device is a device for recognizing the space around the work machine 100.
- the spatial recognition device is a LiDAR.
- the LiDAR measures the distance between the LiDAR and each of over one million points within the monitoring range.
- the spatial recognition device may be any device that is capable of measuring the distance to an object.
- the spatial recognition device may be a stereo camera, or a combination of the imaging device S6 and a ranging device such as millimeter-wave radar.
- the communication device T2 is configured to be able to communicate with the communication device T1 attached to the work machine 100.
- the remote controller 40 is an example of a control device that includes a processing circuit, and is a calculation device that performs various calculations.
- the remote controller 40 is configured as a microcomputer that includes a CPU and memory. The various functions of the remote controller 40 are realized when the CPU executes programs stored in the memory.
- the display device D1E is a device capable of displaying various types of information.
- the display device D1E displays images based on information transmitted from the work machine 100 so that the remote operator RO in the remote control room RC can visually confirm the area around the work machine 100.
- the display device D1E is a liquid crystal display that displays images captured by the imaging device S6 mounted on the work machine 100.
- the display device D1E may also be a display or projector that provides naked-eye stereoscopic vision, or may be VR goggles, etc.
- the display device D1E also displays a display screen 85 as shown in FIG. 7, and when predetermined display conditions are met, it can display a predetermined icon in the attention image display area 42f and display predetermined text information in the information display area 424. Therefore, by looking at the image displayed on the display screen 85, the remote operator RO can recognize, for example, that the movement of the work machine 100 is restricted and the reason for this.
- predetermined display conditions include, for example, the remote operator RO speaking, a person around the work machine 100 speaking, or an administrator at the management center MC speaking.
- the remote controller 40 may also determine that the remote operator RO is speaking when a speech button provided at the tip of the operating device 42 is pressed.
- the internal sound output device SP2E may be a stationary device such as a speaker, or a wearable device such as earphones or headphones.
- the speaker may be a monaural speaker, a stereo speaker, or a surround speaker.
- the speaker may also be an omnidirectional speaker or a directional speaker.
- the wearable device may be equipped with a noise canceling function, a spatial audio function (stereophonic sound function), or a bone conduction function.
- the operating device 42 is equipped with an operation sensor 43 for detecting the operation content of the operating device 42.
- the operation sensor 43 is, for example, an inclination sensor that detects the tilt angle of the operating lever, or an angle sensor that detects the swing angle of the operating lever around the swing axis.
- the operation sensor 43 may also be composed of other sensors such as a pressure sensor, current sensor, voltage sensor, or distance sensor.
- the operation sensor 43 outputs information related to the detected operation content of the operating device 42 to the remote controller 40.
- the remote controller 40 generates an operation signal based on the received information and transmits the generated operation signal to the work machine 100.
- the operation sensor 43 may be configured to generate the operation signal. In this case, the operation sensor 43 may output the operation signal to the communication device T2 without passing through the remote controller 40. With this configuration, the remote operator RO can remotely operate the work machine 100 from the remote control room RC.
- the management center MC is a facility equipped with various devices for managing the work machine 100 at the work site or the remote operation of the work machine 100 by the remote operator RO in the remote control room RC.
- the management center MC is installed in a location away from both the work site of the work machine 100 and the remote control room RC.
- the management center MC is also equipped with a management device 200, an internal sound collection device M2C, and an internal sound output device SP2C.
- the management device 200 is an example of a control device that includes a processing circuit, and is, for example, a server computer (a so-called cloud server) or an edge server.
- the management device 200 is typically a fixed terminal device, but may also be a portable terminal device (for example, a laptop computer, tablet, or smartphone).
- a manager at the management center MC can, for example, use a sound collection device (external sound collection device M1 or internal sound collection device M2) attached to the work machine 100 and an internal sound output device SP2C to listen to sounds emitted at the work site. Furthermore, a manager at the management center MC can, for example, use an internal sound collection device M2E and internal sound output device SP2C provided in a remote control room RC to listen to sounds emitted in the remote control room RC. Furthermore, a manager at the management center MC can, for example, use the internal sound collection device M2C and an external sound output device SP1 attached to the work machine 100 to communicate the voices he or she makes to workers WK around the work machine 100.
- a manager at the management center MC can, for example, use the internal sound collection device M2C and an internal sound output device SP2 attached to the work machine 100 to communicate the voices he or she makes to the operator OP of the work machine 100.
- an administrator at the management center MC can, for example, use the internal sound collection device M2C and the internal sound output device SP2E provided in the remote control room RC to transmit the voices they make to the remote operator RO in the remote control room RC.
- the display device connected to the management device 200 can display a display screen 85 as shown in FIG. 7, and when predetermined display conditions are met, can display a predetermined icon in the attention image display area 42f and display predetermined text information in the information display area 424. Therefore, by looking at the image displayed on the display screen 85, the manager can recognize, for example, that the movement of the work machine 100 is restricted and the reason for this.
- the predetermined display conditions include, for example, the manager speaking, the operator OP speaking, the remote operator RO speaking, or a person in the vicinity of the work machine 100 speaking.
- the management device 200 may also determine that the manager is speaking when a speech button provided in the management center MC is pressed.
- the management device 200 may also be configured to restrict the state of the work machine 100 from transitioning from the first machine state to the second machine state when it is determined that someone other than the manager at the management center MC is speaking (when the manager is spoken to by someone at the management center MC).
- the controller 30 is configured to restrict the state of the work machine 100 from transitioning from the first machine state to the second machine state when the operator OP is speaking. This is to improve the safety of work while the operator OP is speaking.
- the remote controller 40 remote operator RO
- the management device 200 manager at the management center MC.
- the various systems are systems other than the voice transmission system that performs the voice transmission function (other systems that work in conjunction with the voice transmission system), and include, for example, a human detection system, a payload system (a system that measures (calculates) the weight of an object lifted by the attachment AT), a machine guidance system (a system that performs the machine guidance function), a machine control system (a system that performs the machine control function), or a crane system (a system that performs the crane function).
- a human detection system a system that measures (calculates) the weight of an object lifted by the attachment AT
- a machine guidance system a system that performs the machine guidance function
- a machine control system a system that performs the machine control function
- a crane system a system that performs the crane function
- the controller 30 may be configured to highlight and present an alert when a predetermined condition is met, such as when the operator OP is speaking.
- the controller 30 may be configured to highlight and present an alert when the operator OP is speaking, in addition to, or instead of, restricting the state of the work machine 100 from transitioning from the first machine state to the second machine state.
- Presenting an alert with emphasis includes, for example, presenting (displaying) a visual alert with emphasis, presenting (outputting) an auditory alert with emphasis, or presenting (outputting) a tactile alert with emphasis.
- Presenting (displaying) a visual alert with emphasis includes, for example, changing the user interface (screen configuration), changing the display color, blinking, or changing the thickness or font of the displayed characters.
- Presenting (outputting) a tactile alert with emphasis includes, for example, increasing the volume of the sound or changing the sound output pattern.
- Presenting (outputting) a tactile alert with emphasis includes, for example, increasing the volume of the vibration or changing the vibration output pattern.
- the controller 30 determines whether a situation has occurred in another system other than the voice transmission system that executes the voice transmission function that issues an alert (step ST11).
- An "alert-issuing situation” includes, for example, a situation in which some kind of notification is sent to the operator OP.
- situations in which an alert is issued in another system include, for example, the detection of a person around the work machine 100, the approach of a worker WK to the work machine 100 and the movement of the work machine 100 being restricted (slowed down or stopped), the output of a travel alarm (output when the work machine 100 is moved backward), the weight of an object lifted by the end attachment exceeding a predetermined weight, or the risk of unstable movement of the undercarriage 1 (jacking up or dragging). Therefore, "some kind of notification” includes a safety notification, a notification regarding dangerous operation, a notification regarding unstable movement, etc. In other words, "some kind of notification” includes a notification when the state of the work machine 100 changes.
- the circumstances under which an alert is issued may include the completion of a series of autonomous operations in the machine control system (for example, a series of autonomous operations for leveling a specified area).
- the circumstances under which an alert is issued may include the occurrence of a specified point on the end attachment (the toe of the bucket 6) crossing (falling below) a target surface in the machine guidance system.
- the machine guidance function is typically configured to inform the operator OP of the distance between the specified point on the end attachment (the toe of the bucket 6) and the target surface by changing the bar display or the output interval of the intermittent sound.
- the controller 30 can compensate for the operator OP's decreased attention by presenting the alert with emphasis.
- the controller 30 determines whether a predetermined condition is met (step ST12). In the illustrated example, the controller 30 determines whether the operator OP is speaking, and if it is determined that the operator OP is speaking, determines that the predetermined condition is met.
- the predetermined condition may be that the conversation function is on, that the worker WK is speaking, or that a predetermined time has not elapsed since the conversation began.
- the predetermined condition may be a condition related to the conversation function, a condition for determining whether the operator OP is speaking or is able to speak, or a condition related to communication between the operator OP and the worker WK.
- the condition related to the conversation function may be, for example, that a predetermined time has elapsed since the conversation function was turned on, or that a predetermined time has elapsed since the talk button KS was pressed.
- the condition for determining whether the operator OP is speaking or is able to speak may be a condition for determining whether the operator OP is speaking or is able to speak, or a condition for determining whether the worker WK is speaking or is able to speak.
- the condition for determining whether the operator OP is speaking or is able to speak may be, for example, whether the volume of the sound collected by the internal sound collection device M2 is at or above a predetermined level.
- the condition for determining whether the worker WK is speaking or is able to speak may be, for example, whether the volume of the sound collected by the external sound collection device M1 is at or above a predetermined level.
- the condition related to communication between the operator OP and the worker WK may be, for example, the number of conversations (the number of times the speech by the operator OP and the speech by the worker WK are switched).
- the controller 30 terminates the current alert highlighting presentation process.
- step ST12 If it is determined that the predetermined condition is met (YES in step ST12), the controller 30 presents the alert in an emphasized manner (step ST13). On the other hand, if it is determined that the predetermined condition is not met (NO in step ST12), the controller 30 presents the alert without emphasizing it (step ST14). In the illustrated example, the controller 30 presents the alert in an emphasized manner when it is determined that the operator OP is speaking, and presents the alert without emphasizing it when it is determined that the operator OP is not speaking.
- the controller 30 is configured to repeatedly and independently execute the alert emphasis presentation process at a predetermined control period.
- the controller 30 may also be configured to execute the alert emphasis presentation process while the operation restriction process shown in FIG. 8 is being executed.
- the controller 30 may be configured to execute the alert emphasis presentation process after executing step ST2 shown in FIG. 8.
- Figure 13 is a diagram showing an example of a display screen 85 that is displayed when a worker WK is detected behind the work machine 100, and corresponds to Figure 7.
- the left diagram of Figure 13 shows the state when the alert is presented without emphasis
- the right diagram of Figure 13 shows the state when the alert is presented with emphasis.
- the left diagram of Figure 13 shows the state when a worker WK is detected when the operator OP is not speaking
- the right diagram of Figure 13 shows the state when a worker WK is detected when the operator OP is speaking.
- the display screen 85 shown in the right diagram of FIG. 13 differs from the display screen 85 shown in the left diagram of FIG. 13 in that a frame 423b surrounding a human image 423a corresponding to worker WK is flashing. Furthermore, the display screen 85 shown in the right diagram of FIG. 13 differs from the display screen 85 shown in the left diagram of FIG. 13 in that an icon IC2 is displayed in addition to icon IC1 in the attention-calling image display area 42f. Note that icon IC1 is an icon for notifying the operator OP that the movement of the work machine 100 is restricted, and icon IC2 is an icon for notifying the operator OP that a person has been detected while the operator OP was speaking.
- the controller 30 may emphasize the alert by changing the manner of the alarm sound output from the internal sound output device SP2 when a worker WK is detected behind the work machine 100. Specifically, the controller 30 may make the volume of the alarm sound output when the display screen 85 shown in the right diagram of FIG. 13 is displayed larger than the volume of the alarm sound output when the display screen 85 shown in the left diagram of FIG. 13 is displayed. Alternatively, the controller 30 may make the pattern of the alarm sound output when the display screen 85 shown in the right diagram of FIG. 13 is displayed different from the pattern of the alarm sound output when the display screen 85 shown in the left diagram of FIG. 13 is displayed.
- the controller 30 blinks the frame 423b displayed around the person image 423a, additionally displays the icon IC2, and increases the volume of the alarm sound. Therefore, the controller 30 can reliably make the operator OP aware that a worker WK has been detected behind the work machine 100, compared to when the operator OP is not speaking. As a result, the controller 30 can improve the safety of the worker WK and others around the work machine 100. Note that instead of blinking the frame 423b, the controller 30 may make the frame 423b thicker.
- Figure 14 is a diagram showing an example of a display screen 85 that is displayed when the weight of soil lifted by the bucket 6 is too heavy, and corresponds to Figure 7.
- the left diagram of Figure 14 shows the state when the alert is presented without emphasis
- the right diagram of Figure 14 shows the state when the alert is presented with emphasis.
- the left diagram of Figure 14 shows the state when excess soil is lifted by the bucket 6 while the operator OP is not speaking
- the right diagram of Figure 14 shows the state when excess soil is lifted by the bucket 6 while the operator OP is speaking.
- a payload information display area 425 is located at the bottom of the display screen 85.
- the payload information display area 425 is an area where information related to the payload mode is displayed, and displays a dump truck image 425a, a first numerical information image 425b, a second numerical information image 425c, a bucket image 425d, a soil image 425e, a third numerical information image 425f, and a first text information image 425g.
- the dump truck image 425a is an image that simulates the side view of a dump truck.
- the bed portion of the side view of the dump truck in the dump truck image 425a displays an image of a bar graph that indicates the load capacity of the dump truck's bed.
- the bar graph shows the ratio of the load of earth and sand loaded in the dump truck's bed to the dump truck's maximum load capacity. This allows the operator OP to intuitively grasp the load status of earth and sand in the dump truck.
- the first numerical information image 425b is a numerical value that represents the remaining load capacity in the dump truck bed
- the second numerical information image 425c is a numerical value that represents the load capacity of the earth and sand loaded in the dump truck bed.
- the numerical value displayed as the first numerical information image 425b corresponds to the value obtained by subtracting the load capacity corresponding to the second numerical information image 425c from the maximum load capacity of the dump truck bed. This allows the operator OP to grasp the load status of the earth and sand in the dump truck in concrete numerical values.
- Bucket image 425d is an image that simulates the state in which soil and sand have been scooped up into the bucket 6. Sediment image 425e is drawn adjacent to and above the opening of the bucket 6. Sediment image 425e is displayed when the bucket 6 contains soil and is not displayed when the bucket 6 does not contain soil and sand.
- the third numerical information image 425f is a numerical value that represents the weight of the load (e.g., soil and sand) inside the bucket 6. This allows the operator OP to grasp the weight of the soil and sand inside the bucket 6 before unloading.
- the load e.g., soil and sand
- the first text information image 425g is text information related to payload mode. By viewing this text information, the operator OP can easily understand the status of work related to payload mode.
- the display screen 85 shown in the right diagram of FIG. 14 differs from the display screen 85 shown in the left diagram of FIG. 14 in that the third numerical information image 425f is flashing. Furthermore, the display screen 85 shown in the right diagram of FIG. 14 differs from the display screen 85 shown in the left diagram of FIG. 14 in that icon IC4 is displayed in addition to icon IC3 in the attention image display area 42f. Note that icon IC3 is an icon that notifies the operator OP that if the soil inside the bucket 6 is loaded onto the bed, the load amount of soil loaded on the bed of the dump truck will exceed the maximum load amount (overload), and icon IC4 is an icon that notifies the operator OP that a problem with the payload mode has occurred while the operator OP is speaking.
- the display screen 85 shown in the right diagram of FIG. 14 differs from the display screen 85 shown in the left diagram of FIG. 14 in the size and number of characters (description) in the first text information image 425g.
- the controller 30 presents the alert in an emphasized manner, i.e., by increasing the size of the characters and reducing the number of characters (simplifying the description), so as to ensure that the operator OP is aware of the current status regarding the payload mode.
- the controller 30 may emphasize the alert by changing the manner of the alarm sound output from the internal sound output device SP2 when there is a risk of overloading. Specifically, the controller 30 may make the volume of the alarm sound output when the display screen 85 shown in the right diagram of FIG. 14 is displayed larger than the volume of the alarm sound output when the display screen 85 shown in the left diagram of FIG. 14 is displayed. Alternatively, the controller 30 may make the pattern of the alarm sound output when the display screen 85 shown in the right diagram of FIG. 14 is displayed different from the pattern of the alarm sound output when the display screen 85 shown in the left diagram of FIG. 14 is displayed.
- the controller 30 determines that there is a risk of overloading, it flashes the numerical display of the weight of soil and sand in the bucket and also displays icon IC4.
- the controller 30 also enlarges the text image notifying that there is a risk of overloading and increases the volume of the alarm sound. Therefore, the controller 30 can reliably make the operator OP aware of the risk of overloading compared to when the operator OP is not speaking.
- the work machine 100 is equipped with an operation restriction device OL that restricts the movement of the work machine 100 and restricts the state of the work machine 100 from transitioning from a first machine state to a second machine state while a voice transmission function is being executed, including at least one of an internal sound reproduction function that collects the voice of the operator OP of the work machine 100 using an internal sound collection device M2 and outputs the voice from an external sound output device SP1 to a person other than the operator OP of the work machine 100 (for example, a worker WK), and an external sound reproduction function that collects the voice of a person other than the operator OP of the work machine 100 (for example, a worker WK) using an external sound collection device M1 and outputs the voice from the internal sound output device SP2 to the operator OP of the work machine 100, as shown in FIG. 6.
- the operator OP may be a remote operator RO, or may be a manager at a management center MC. The same applies to the following description.
- This configuration has the effect of improving work safety when the work machine operator OP is speaking or listening to the speech of people around the work machine. This is because the movement of the work machine 100 can be suppressed when the operator OP is likely to lose attention, such as when the work machine operator OP is speaking or listening to the speech of people around the work machine.
- the movement restriction device OL may be configured to restrict the movement of the work machine 100 and restrict the state of the work machine 100 from transitioning from the first machine state to the second machine state when the external sound output device SP1 outputs the voice of the operator OP collected by the internal sound collection device M2, or when the internal sound output device SP2 outputs the voice of a person (e.g., worker WK) other than the operator OP of the work machine 100 collected by the external sound collection device M1.
- a person e.g., worker WK
- This configuration has the effect of further improving work safety.
- the work machine 100 can more accurately recognize “when the work machine operator OP is speaking, or when the work machine operator OP is listening to speech from people around the work machine.”
- the operation restriction device OL may be configured to restrict at least one of the transition from an engine-stopped state to an engine-operated state, the transition from an inoperable state to an operable state, and the transition from a swing-non-operation state to a swing-operation state.
- This configuration has the effect of further improving work safety. This is because, while speech is being spoken, the engine can be prevented from starting, movement of the work machine 100 due to careless lever operation can be prevented, and rotation of the upper rotating body 3 due to careless rotation operation can be prevented.
- the work machine 100 may be configured to notify that the transition from the first machine state to the second machine state has been restricted by the operation restriction device OL.
- This configuration has the effect of further improving work safety. This is because it can inform the operator OP of the reason why the work machine 100 has been restricted, preventing the operator OP from becoming confused because they do not understand why the work machine 100 has been restricted.
- the work machine 100 may be configured to notify the operator of a method for releasing the restriction imposed by the operation restriction device OL, as shown in FIG. 7.
- This configuration has the effect of further improving work safety. This is because it prevents the operator OP from becoming confused because they are unable to remove restrictions on the operation of the work machine 100.
- the work machine 100 may also be equipped with a control device (e.g., controller 30 or voice controller) that determines whether the operator OP of the work machine 100 is speaking, or whether someone other than the operator OP of the work machine 100 (e.g., worker WK) is speaking.
- the operation restriction device OL may be configured to restrict the movement of the work machine 100 and restrict the state of the work machine 100 from transitioning from the first machine state to the second machine state when the control device (e.g., controller 30) determines that the operator OP of the work machine 100 is speaking, or that someone other than the operator OP of the work machine 100 (e.g., worker WK) is speaking.
- This configuration has the effect of further improving work safety. This is because it can determine whether speech is being generated using a simple and reliable method using a control device, and it can also restrict the transition of the work machine 100 from the first machine state to the second machine state using a simple and reliable method using the operation restriction device OL.
- control device e.g., controller 30
- the control device may be configured to determine whether the operator OP of the work machine 100 is speaking based on an image captured by the imaging device (indoor camera C1), or to determine whether a person other than the operator OP of the work machine 100 (e.g., worker WK) is speaking based on an image captured by the imaging device S6.
- control device e.g., controller 30
- This configuration has the effect of further improving work safety. This is because it can more accurately determine whether or not speech is occurring compared to determining whether or not speech is occurring based on audio data acquired by a sound collection device.
- control device e.g., controller 30
- the control device may be configured so that, when it is determined that a person (worker WK) other than the operator OP of the work machine 100 is speaking, it determines whether that person is speaking towards the work machine 100.
- the operation restriction device OL may be configured so that, when the control device (e.g., controller 30) determines that that person is speaking towards the work machine 100, it restricts the movement of the work machine 100 and restricts the state of the work machine 100 from transitioning from the first machine state to the second machine state.
- This configuration has the effect of preventing excessive restriction of the movement of the work machine 100 while improving work safety. This is because this configuration prevents the movement of the work machine 100 from being unnecessarily restricted when people other than the operator OP of the work machine 100 are having a conversation.
- the work machine 100 may also be equipped with a control device (e.g., controller 30) that determines whether someone other than the operator OP of the work machine 100 (e.g., worker WK) is speaking.
- a control device e.g., controller 30
- the external sound collection device M1 may be composed of multiple microphones.
- the operation restriction device OL may be configured to restrict the state of the work machine 100 from transitioning from the first machine state to the second machine state when it determines, based on the output of one of the multiple microphones (e.g., front microphone M1F), that someone other than the operator OP of the work machine 100 (e.g., worker WK at the front of the work machine 100) is speaking, and to not restrict the state of the work machine 100 from transitioning from the first machine state to the second machine state when it determines, based on the output of another of the multiple microphones (e.g., rear microphone M1B), that someone other than the operator OP of the work machine 100 (e.g., worker WK at the rear of the work machine 100) is speaking.
- one of the multiple microphones e.g., front microphone M1F
- someone other than the operator OP of the work machine 100 e.g., worker WK at the front of the work machine 100
- rear microphone M1B another of the multiple microphones
- This configuration has the effect of preventing excessive restriction of the movement of the work machine 100 while improving work safety. This is because, for example, in crane mode, this configuration can prevent the movement of the work machine 100 from being unnecessarily restricted because a person in front of the work machine 100 (for example, a rigger) is speaking. Alternatively, this configuration can prevent the movement of the work machine 100 from being unnecessarily restricted because a person (guide) around the work machine 100 is speaking in a situation where the work machine 100 is being guided to travel by the voice of that person.
- the work machine 100 may also be equipped with an internal sound collection device M2 and an external sound output device SP1.
- This configuration has the effect of further improving work safety. This is because it is possible to output the operator OP's voice to the area around the work machine 100 in a simple and reliable manner using the internal sound collection device M2 and external sound output device SP1.
- the work machine 100 may also be equipped with a speech button KS that the operator OP of the work machine 100 operates when speaking to a person (e.g., a worker WK) around the work machine 100.
- a speech button KS that the operator OP of the work machine 100 operates when speaking to a person (e.g., a worker WK) around the work machine 100.
- This configuration has the effect of further improving work safety. This is because the voice of the operator OP can be output to the area around the work machine 100 at the timing desired by the operator OP using a simple and reliable method using the speech button KS.
- the operation system SYS for the work machine 100 is equipped with an operation limiting device OL that limits the movement of the work machine 100 while a voice transmission function is being executed, including at least one of an internal sound reproduction function that collects the voice of the operator of the work machine 100 (e.g., the operator OP, remote operator RO, or the manager at the management center MC) using an internal sound collection device M2 and outputs the voice from the external sound output device SP1 to a person other than the operator of the work machine 100 (e.g., the worker WK or the manager at the management center MC), and an external sound reproduction function that collects the voice of a person other than the operator of the work machine 100 using an external sound collection device M1 and outputs the voice from the internal sound output device SP2 to the operator of the work machine 100.
- an internal sound reproduction function that collects the voice of the operator of the work machine 100 (e.g., the operator OP, remote operator RO, or the manager at the management center MC) using an internal sound collection device M2 and outputs the voice from
- the operation system SYS also has a function of transmitting sounds generated in the areas outside the work machine 100 and in the area where the operator of the work machine 100 (operator OP, remote operator RO, or manager) is located to the other area, using sound collection and production equipment (including sound collection devices and sound output devices).
- This configuration has the effect of improving work safety when the operator (operator OP, remote operator RO, or manager at the management center MC) is speaking or when the operator is listening to the speech of another person (for example, someone around the work machine). This is because the movement of the work machine 100 can be suppressed when the operator's attention is likely to be reduced, such as when the operator is speaking or listening to the speech of another person.
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Component Parts Of Construction Machinery (AREA)
- Operation Control Of Excavators (AREA)
Abstract
作業機械(100)は、操作者(OP)の声を内部集音装置(M2)によって集音して外部音出力装置(SP1)から作業者(WK)に向けて出力する機能である内部音再生機能、及び、作業者(WK)の声を外部集音装置(M1)によって集音して内部音出力装置(SP2)から操作者(OP)に向けて出力する機能である外部音再生機能の少なくとも一方を含む音声伝達機能の実行中に作業機械(100)の動きを制限して作業機械(100)の状態が第1機械状態から第2機械状態に移行するのを制限する動作制限装置(OL)を備える。
Description
本開示は、作業機械及び作業機械の操作システムに関する。
従来、作業機械の周囲に向けて音を出力する装置を備えた作業機械が知られている(特許文献1参照)。
しかしながら、上述の作業機械は、作業機械の周囲にいる人と作業機械の操作者との間の会話を支援するようには構成されていない。そのため、上述の作業機械は、作業機械の操作者が発話しているとき、或いは、作業機械の操作者が作業機械の周囲にいる人の発話を聞いているときの作業の安全性を向上させるようにも構成されていない。
そこで、作業機械の操作者が発話しているとき、或いは、作業機械の操作者が作業機械の周囲にいる人の発話を聞いているときの作業の安全性を向上させることができる作業機械を提供することが望ましい。
本開示の実施形態に係る作業機械は、下部走行体と、前記下部走行体に旋回可能に搭載される上部旋回体と、作業機械の操作者の声を内部集音装置によって集音して外部音出力装置から作業機械の操作者以外の人に向けて出力する機能である内部音再生機能、及び、作業機械の操作者以外の人の声を外部集音装置によって集音して内部音出力装置から作業機械の操作者に向けて出力する機能である外部音再生機能の少なくとも一方を含む音声伝達機能の実行中に作業機械の動きを制限して作業機械の状態が第1機械状態から第2機械状態に移行するのを制限する動作制限装置と、を備える。
上述の作業機械は、作業機械の操作者が発話しているとき、或いは、作業機械の操作者が作業機械の周囲にいる人の発話を聞いているときの作業の安全性を向上させることができる。
以下、本開示の実施形態について図面を参照して説明する。以下で説明する実施形態は、例示であり、発明を限定するものではない。本開示の実施形態における全ての特徴及びその組み合わせは、必ずしも発明の本質的なものであるとは限らない。なお、各図面において同一の又は対応する構成には同一の又は対応する符号を付し、重複する説明を省略する場合がある。
本開示の実施形態に係る作業機械100は、ショベルである。作業機械100は、クレーン、アスファルトフィニッシャ、又はフォークリフト等のショベル以外の機械であってもよい。また、図示例では、作業機械100としてのショベルは、エンドアタッチメントとしてバケット6を備えた掘削機であるが、バケット6以外のエンドアタッチメントを備えた林業機械等の応用機であってもよい。
まず、図1及び図2を参照し、作業機械100の概要について説明をする。図1は作業機械100の側面図であり、図2は、作業機械100の上面図である。
図1における+Xは三次元直交座標系を構成するX軸の一方向を表し、-XはX軸の他方向を表す。図2における+Yは三次元直交座標系を構成するY軸の一方向を表し、-YはY軸の他方向を表す。図1における+Zは三次元直交座標系を構成するZ軸の一方向を表し、-ZはZ軸の他方向を表す。図1では、作業機械100の+X側は、作業機械100の前側に相当し、作業機械100の-X側は、作業機械100の後側に相当する。また、作業機械100の+Y側は、作業機械100の左側に相当し、作業機械100の-Y側は、作業機械100の右側に相当する。また、作業機械100の+Z側は、作業機械100の上側に相当し、作業機械100の-Z側は、作業機械100の下側に相当する。他の図においても同様である。
作業機械100は、下部走行体1と、旋回機構2を介して旋回自在に下部走行体1に搭載される上部旋回体3と、各種作業を行うためのアタッチメントATと、運転室10とを備える。運転室10は、キャビン又はキャブとも呼ばれる。作業機械100(上部旋回体3)の前側は、作業機械100を上部旋回体3の旋回軸に沿って真上から見たときに、上部旋回体3に対してアタッチメントATが取り付けられる側に対応する。また、作業機械100(上部旋回体3)の左側、右側、後側は、それぞれ、運転室10内の運転席に着座する操作者から見た左側、右側、後側に対応する。
下部走行体1は、例えば、左右一対のクローラ1Cを含む。具体的には、クローラ1Cは、左クローラ1CL及び右クローラ1CRを含む。左クローラ1CLは左走行油圧モータ2MLによって駆動され、右クローラ1CRは右走行油圧モータ2MRによって駆動される。左走行油圧モータ2MLは、被駆動部としての左クローラ1CLを駆動する走行駆動部であり、左クローラ1CLを回転させることができる。右走行油圧モータ2MRは、被駆動部としての右クローラ1CRを駆動する走行駆動部であり、右クローラ1CRを回転させることができる。なお、走行駆動部は電動モータであってもよい。
上部旋回体3は、旋回機構2が旋回油圧モータ2Aで駆動されることにより、下部走行体1に対して旋回する。旋回油圧モータ2Aは、被駆動部としての上部旋回体3を駆動する旋回駆動部であり、上部旋回体3の向きを変化させることができる。なお、旋回駆動部は電動モータであってもよい。
上部旋回体3の前部中央には、ブーム4が回動可能に取り付けられ、ブーム4の先端には、アーム5が回動可能に取り付けられ、アーム5の先端には、バケット6が回動可能に取り付けられている。図示例では、ブーム4、アーム5、及びバケット6は、アタッチメントATの一例である掘削アタッチメントを構成している。ブーム4、アーム5、バケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、バケットシリンダ9により駆動される。
バケット6は、作業具(エンドアタッチメント)の一例である。バケット6は、例えば、掘削作業等に用いられる。アーム5の先端には、作業内容等に応じて、バケット6の代わりに、他の作業具が取り付けられてもよい。他の作業具は、例えば、大型バケット、法面用バケット、浚渫用バケット等の他の種類のバケットであってよい。また、他の作業具は、攪拌機、ブレーカ、グラップル、又はリフティングマグネット等のバケット以外の種類の作業具であってもよい。
旋回油圧モータ2A、左走行油圧モータ2ML、右走行油圧モータ2MR、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9は、油圧ポンプから吐出される作動油によって駆動される油圧アクチュエータである。
なお、作業機械100は、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動部の全部又は一部が電気駆動されてもよい。すなわち、作業機械100は、被駆動部の全部又は一部が電動アクチュエータで駆動される、ハイブリッド作業機械又は電動作業機械等であってもよい。
また、作業機械100には、情報伝達装置G1、外部集音装置M1、撮像装置S6、及び外部音出力装置SP1が取り付けられている。図示例では、情報伝達装置G1、外部集音装置M1、撮像装置S6、及び外部音出力装置SP1は、処理回路を含む装置である。
撮像装置S6は、上部旋回体3又は運転室10に設けられ、作業機械100の周辺を撮像し、作業機械100の周辺を表した画像情報を取得する。図示例では、撮像装置S6は、前カメラS6F、左カメラS6L、右カメラS6R、及び、後カメラS6Bを含む。
前カメラS6Fは、作業機械100の前方を撮像するカメラであり、運転室10の屋根、ブーム4の側面等、運転室10の外部に取り付けられる。なお、前カメラS6Fは、例えば、運転室10の天井等、運転室10の内部に取り付けられてもよい。左カメラS6Lは、作業機械100の左方を撮像するカメラであり、右カメラS6Rは、作業機械100の右方を撮像するカメラであり、後カメラS6Bは、作業機械100の後方を撮像するカメラである。具体的には、前カメラS6F、左カメラS6L、右カメラS6R、及び後カメラS6Bは何れも、CCD又はCMOS等の撮像素子を備えた単眼の広角カメラであり、撮像した画像を表示装置D1に出力する。また、撮像装置S6により撮像された画像の情報は、コントローラ30に取り込まれる。
図示例では、前カメラS6Fは運転室10の屋根に取り付けられ、左カメラS6Lは上部旋回体3の上面左端に取り付けられ、右カメラS6Rは上部旋回体3の上面右端に取り付けられ、後カメラS6Bは上部旋回体3の上面後端に取り付けられている。
撮像装置S6は、作業機械100の周囲にある物体を検出する物体検出装置を構成してもよい。物体は、例えば、人、動物、車両、建設機械、建造物、又は穴等である。物体検出装置は、人と人以外の物体とを区別して検出できるように構成されていてもよい。すなわち、物体検出装置(物体検出システム)は、人検出装置(人検出システム)として機能するように構成されていてもよい。物体検出装置は、カメラ以外の装置で構成されていてもよい。例えば、物体検出装置はLiDARであってもよい。LiDARは、例えば、監視範囲内にある100万点以上の点群とLiDAR(レーザ源)との間の距離を計測可能な装置である。また、物体検出装置は、ステレオカメラ、距離画像カメラ、又はミリ波レーダ等、物体との間の距離を計測可能な他の装置であってもよい。物体検出装置としてミリ波レーダ等が利用される場合には、物体検出装置は、多数の信号(レーザ光等)を物体に向けて発信し、その反射信号を受信することにより、物体の距離及び方向を導き出してもよい。或いは、物体検出装置は、2種類以上の装置の組み合わせであってもよい。例えば、物体検出装置は、撮像装置とLiDARとの組み合わせであってもよいし、撮像装置とミリ波レーダとの組み合わせであってもよいし、撮像装置とステレオカメラとの組み合わせであってもよい。
外部集音装置M1は、外部の音を集める装置であり、マイクロフォン又はマイクとも呼ばれる。図示例では、外部集音装置M1は、上部旋回体3又は運転室10に設けられ、作業機械100の周辺で発生した音(空気振動)を機械的振動に変換し、その機械的振動を電気信号に変換する。具体的には、外部集音装置M1は、作業機械100の周囲にいる作業者が発する声を拾うことができるように構成され、前マイクM1F、左マイクM1L、右マイクM1R、及び、後マイクM1Bを含む。なお、外部集音装置M1は、作業現場におけるポール(鉄塔)、塀、壁、若しくは建屋等の構造物、マルチコプター若しくはバルーン等の飛行体、又は、作業現場内で動き回る自律移動ロボット等に設けられていてもよく、作業機械100の周囲にいる作業者等が携帯しているスマートフォン等の携帯情報端末に搭載されている集音装置(マイク)であってもよい。
前マイクM1Fは、作業機械100の前方で生じた音を集めるマイクであり、運転室10の屋根、ブーム4の側面等、運転室10の外部に取り付けられる。なお、前マイクM1Fは、例えば、運転室10の天井等、運転室10の内部に取り付けられてもよい。左マイクM1Lは、作業機械100の左方で生じた音を集めるマイクであり、右マイクM1Rは、作業機械100の右方で生じた音を集めるマイクであり、後マイクM1Bは、作業機械100の後方で生じた音を集めるマイクである。そして、前マイクM1F、左マイクM1L、右マイクM1R、及び後マイクM1Bのそれぞれが生成する電気信号は、コントローラ30に取り込まれる。
図示例では、前マイクM1Fは運転室10の屋根に取り付けられ、左マイクM1Lは上部旋回体3の上面左端に取り付けられ、右マイクM1Rは上部旋回体3の上面右端に取り付けられ、後マイクM1Bは上部旋回体3の上面後端に取り付けられている。このように、4個の外部集音装置M1(前マイクM1F、左マイクM1L、右マイクM1R、及び後マイクM1B)は、上部旋回体3の異なる位置に設けられている。そのため、コントローラ30は、4個の外部集音装置M1のそれぞれが集音した音の違い(例えば、音量の違い)に基づいて音の発生源がある方向を検出できる。また、外部集音装置M1としてアレイマイクを用いた場合は、例えば、位相のずれ又は音量の違いに基づいて、音の発生源がある方向を検出できる。
図示例では、4個の外部集音装置M1のそれぞれと4個の撮像装置S6のそれぞれとは互いに対応するように配置されている。具体的には、前マイクM1Fは、前カメラS6Fに隣接するように配置され、左マイクM1Lは、左カメラS6Lに隣接するように配置され、右マイクM1Rは、右カメラS6Rに隣接するように配置され、後マイクM1Bは、後カメラS6Bに隣接するように配置されている。
外部音出力装置SP1は、作業機械100の周囲に向けて音を出力する装置である。図示例では、外部音出力装置SP1は、運転室10に取り付けられた無指向性スピーカであり、全ての方向に音を均一に出力できるように構成されている。但し、外部音出力装置SP1は、前方等の特定の方向に向けて音を出力する指向性スピーカであってもよい。また、外部音出力装置SP1は、作業現場におけるポール(鉄塔)、塀、壁、若しくは建屋等の構造物、マルチコプター若しくはバルーン等の飛行体、又は、作業現場内で動き回る自律移動ロボット等に設けられていてもよく、作業機械100の周囲にいる作業者等が携帯しているスマートフォン等の携帯情報端末に搭載されている音出力装置(スピーカ)であってもよい。
情報伝達装置G1は、作業機械100の外部に作業機械100の状態を知らせるための装置である。図示例では、情報伝達装置G1は、上部旋回体3又は運転室10に設けられ、作業機械100がどのような状態にあるかを作業機械100の周囲にいる作業者に伝えることができるように構成されている。具体的には、情報伝達装置G1は、発光装置であり、前ライトバーG1F、左ライトバーG1L、右ライトバーG1R、及び、後ライトバーG1Bを含む。
前ライトバーG1Fは、作業機械100の前方にいる作業者等に視覚的に情報を伝えることができる発光装置であり、運転室10の屋根、ブーム4の側面等、運転室10の外部に取り付けられる。なお、前ライトバーG1Fは、例えば、運転室10の天井等、運転室10の内部に取り付けられてもよい。左ライトバーG1Lは、作業機械100の左方にいる作業者等に視覚的に情報を伝えることができる発光装置であり、右ライトバーG1Rは、作業機械100の右方にいる作業者等に視覚的に情報を伝えることができる発光装置であり、後ライトバーG1Bは、作業機械100の後方にいる作業者等に視覚的に情報を伝えることができる発光装置である。そして、前ライトバーG1F、左ライトバーG1L、右ライトバーG1R、及び後ライトバーG1Bのそれぞれは、コントローラ30からの電気信号に応じて発光する。図示例では、発光装置は、LEDライトであるが、ハロゲンランプ等の他の発光装置であってもよい。また、発光装置は、多色発光型であるが、単色発光型であってもよい。
図示例では、前ライトバーG1Fは運転室10の屋根に取り付けられ、左ライトバーG1Lは上部旋回体3の上面左端に取り付けられ、右ライトバーG1Rは上部旋回体3の上面右端に取り付けられ、後ライトバーG1Bは上部旋回体3の上面後端に取り付けられている。このように、4個の情報伝達装置G1(前ライトバーG1F、左ライトバーG1L、右ライトバーG1R、及び後ライトバーG1B)は、上部旋回体3の異なる位置に設けられている。そのため、コントローラ30は、4個の情報伝達装置G1のそれぞれを別々に動作させることにより、作業機械100の前方、左方、右方、及び後方のそれぞれにいる作業者等に作業機械100がどのような状態にあるかを伝えることができる。
図示例では、4個の情報伝達装置G1のそれぞれと4個の外部集音装置M1のそれぞれとは互いに対応するように配置されている。具体的には、前ライトバーG1Fは、前マイクM1Fに隣接するように配置され、左ライトバーG1Lは、左マイクM1Lに隣接するように配置され、右ライトバーG1Rは、右マイクM1Rに隣接するように配置され、後ライトバーG1Bは、後マイクM1Bに隣接するように配置されている。
図3は、作業機械100に取り付けられる外部集音装置M1及び情報伝達装置G1の構成例を示す図である。具体的には、図3は、略直方体形状の筐体に取り付けられた左マイクM1L及び左ライトバーG1Lの斜視図である。なお、図3を参照する以下の説明は、左マイクM1L及び左ライトバーG1Lの組み合わせに関するが、前マイクM1F及び前ライトバーG1Fの組み合わせ、右マイクM1R及び右ライトバーG1Rの組み合わせ、及び、後マイクM1B及び後ライトバーG1Bの組み合わせにも同様に適用される。
図3に示すように、左マイクM1L及び左ライトバーG1Lは、作業機械100の左方を向くように略直方体形状の筐体の左側面に配置されている。この配置により、左マイクM1Lは、作業機械100の左方で生じた音を効率的に集めることができ、左ライトバーG1Lは、作業機械100の左方にいる作業者に作業機械100の状態を効率的に伝えることができる。例えば、左マイクM1Lは、作業機械100の左方にいる作業者が発した声を捉えることができ、左ライトバーG1Lは、所定の色で発光することにより、左マイクM1Lが作業者の声を捉えたことを作業者に伝えることができる。この場合、左マイクM1Lに向かって話しかけた作業機械100の左方にいる作業者は、所定の色に発光した左ライトバーG1Lを見ることにより、自身の声が左マイクM1L(すなわち、作業機械100の操作者)に届いたことを確認できる。
情報伝達装置G1は、運転室10の四つの側面のそれぞれの上部に設けられていてもよい(図6参照)。例えば、情報伝達装置G1は、前ライトバーG1Fが運転室10の前面の上部に取り付けられ、左ライトバーG1Lが運転室10の左面の上部に取り付けられ、右ライトバーG1Rが運転室10の右面の上部に取り付けられ、後ライトバーG1Bが運転室10の後面の上部に取り付けられるように構成されていてもよい。また、情報伝達装置G1は、運転室10の上面に取り付けられたニコトーチのような一つの回転灯であってもよく、液晶ディスプレイ又は有機ELディスプレイ等の表示装置であってもよい。
コントローラ30は、処理回路を含む制御装置の一例であり、例えば、CPU、揮発性記憶装置、不揮発性記憶装置、及び、各種入出力インターフェース等を含むコンピュータで構成される。そして、コントローラ30は、例えば、プログラムを不揮発性記憶装置から読み出して揮発性記憶装置にロードし、CPUに実行させることで各種機能を実現する。図示例では、コントローラ30は、各種機能を実現して作業機械100を制御できるように構成されている。各種機能は、例えば、操作者による作業機械100の手動操作をガイド(案内)するマシンガイダンス機能を含む。各種機能は、作業機械100の周辺の監視範囲内に存在する物体と作業機械100との接触を回避するために作業機械100を自動的或いは自律的に動作させたり或いは停止させたりする接触回避機能を含んでいてもよい。
ブーム角度センサS1は、ブーム4の上部旋回体3に対する回動角度であるブーム角度を検出する。アーム角度センサS2は、アーム5のブーム4に対する回動角度であるアーム角度を検出する。バケット角度センサS3は、バケット6のアーム5に対する回動角度であるバケット角度を検出する。
ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3のそれぞれは、例えば、ロータリエンコーダ、加速度センサ、6軸センサ、IMU(Inertial Measurement Unit:慣性計測装置)等であってもよく、可変抵抗器を利用したポテンショメータ、油圧シリンダのストローク量を検出するシリンダストロークセンサ等であってもよい。
ブーム角度センサS1によるブーム角度に対応する検出信号、アーム角度センサS2によるアーム角度に対応する検出信号、及び、バケット角度センサS3によるバケット角度に対応する検出信号は、コントローラ30に取り込まれる。
機体傾斜センサS4は、水平面に対する機体(下部走行体1又は上部旋回体3)の傾斜状態を検出する。機体傾斜センサS4は、例えば、上部旋回体3に取り付けられ、作業機械100(すなわち、上部旋回体3)の前後方向及び左右方向の2軸回りの傾斜角度を検出する。機体傾斜センサS4は、例えば、加速度センサ、6軸センサ、又はIMU等であってもよい。機体傾斜センサS4による傾斜角度に対応する検出信号は、コントローラ30に取り込まれる。
旋回センサS5は、上部旋回体3の旋回に関する情報を出力する。旋回センサS5は、例えば、下部走行体1に対する上部旋回体3の旋回角速度を検出する。旋回センサS5は、旋回角度を検出してもよい。旋回センサS5は、例えば、ジャイロセンサ、レゾルバ、又はロータリエンコーダ等であってもよい。旋回センサS5による上部旋回体3の旋回角度又は旋回角速度に対応する検出信号は、コントローラ30に取り込まれる。
測位装置PSは、処理回路を含む装置であり、上部旋回体3の位置を測定する。測位装置PSは、例えば、GNSS(Global Navigation Satellite System)コンパスであり、上部旋回体3の位置及び向きを検出する。上部旋回体3の位置及び向きに対応する検出信号は、コントローラ30に取り込まれる。上部旋回体3の向きを検出する機能は、上部旋回体3に取り付けられた方位センサにより実現されてもよい。
運転室10は、操作者が搭乗する区画空間であり、上部旋回体3の前部左側に設けられている。但し、作業機械100が遠隔操作される場合、又は、作業機械100が完全自動運転によって動作する場合、運転室10は省略されてもよい。
通信装置T1は、処理回路を含む装置であり、移動体通信網、衛星通信網、又はインターネット網等を含む通信ネットワークを通じて外部機器と通信を行う。通信装置T1は、例えば、LTE(Long Term Evolution)、4G(4th Generation)、若しくは5G(5th Generation)等の移動体通信規格に対応する移動体通信モジュール、Wi-Fi(登録商標)若しくはBluetooth(登録商標)等の近距離無線通信規格に対応する通信モジュール、又は、衛星通信網に接続するための衛星通信モジュール等である。
作業機械100は、運転室10に搭乗する操作者の操作に応じて、アクチュエータを動作させ、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動部を駆動する。
或いは、作業機械100は、作業機械100の外部から遠隔操作できるように構成されていてもよい。作業機械100が遠隔操作される場合、運転室10の内部は、無人状態であってもよい。
また、作業機械100は、操作者の操作の内容に依らず、自動でアクチュエータを動作させてもよい。これにより、作業機械100は、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動部の少なくとも一部を自動で動作させる機能、すなわち、いわゆる「マシンコントロール機能」を実現する。
図4は、作業機械100の構成の一例を概略的に示す図である。図4において、機械的動力伝達系、作動油ライン、パイロットライン、電気制御系は、それぞれ、二重線、太実線、太破線、点線で示されている。
作業機械100の駆動系は、エンジン11、レギュレータ13、メインポンプ14、及びコントロールバルブユニット17を含む。また、作業機械100の油圧駆動系は、旋回油圧モータ2A、左走行油圧モータ2ML、右走行油圧モータ2MR、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等の油圧アクチュエータを含む。
エンジン11は、作業機械100の動力源の一例であり、例えば、上部旋回体3の後部に搭載される。なお、作業機械100の動力源は、バッテリ又は燃料電池等の電源と電動モータとの組み合わせであってもよい。具体的には、エンジン11は、コントローラ30による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ14及びパイロットポンプ15を駆動する。エンジン11は、例えば、軽油を燃料とするディーゼルエンジンである。なお、エンジン11は、ガソリンエンジン又は水素エンジン等であってもよい。
レギュレータ13は、メインポンプ14の吐出量を制御する。例えば、レギュレータ13は、コントローラ30からの制御指令に応じて、メインポンプ14の斜板の角度(傾転角)を調節することによってメインポンプ14の吐出量を制御する。
メインポンプ14は、例えば、エンジン11と同様、上部旋回体3の後部に搭載され、作動油ラインを通じてコントロールバルブユニット17に作動油を供給する。図示例では、メインポンプ14は、可変容量式油圧ポンプである。
コントロールバルブユニット17は、作業機械100における油圧システムを制御する油圧制御装置の一つである。図示例では、コントロールバルブユニット17は、制御弁171~176を含む。コントロールバルブユニット17は、制御弁171~176を通じ、メインポンプ14が吐出する作動油を1又は複数の油圧アクチュエータに選択的に供給できるように構成されている。制御弁171~176は、メインポンプ14から油圧アクチュエータに流れる作動油の流量、及び、油圧アクチュエータから作動油タンクに流れる作動油の流量を制御する。油圧アクチュエータは、ブームシリンダ7、アームシリンダ8、バケットシリンダ9、左走行油圧モータ2ML、右走行油圧モータ2MR、及び旋回油圧モータ2Aを含む。具体的には、制御弁171は、旋回油圧モータ2Aに対応し、制御弁172は、右走行油圧モータ2MRに対応し、制御弁173は、左走行油圧モータ2MLに対応する。また、制御弁174は、バケットシリンダ9に対応し、制御弁175は、ブームシリンダ7に対応し、制御弁176は、アームシリンダ8に対応する。
パイロットポンプ15は、パイロット圧生成装置の一例であり、パイロットラインを介して油圧制御装置に作動油を供給できるように構成されている。図示例では、パイロットポンプ15は、固定容量型油圧ポンプである。但し、パイロット圧生成装置は、メインポンプ14によって実現されてもよい。すなわち、メインポンプ14は、作動油ラインを介して作動油をコントロールバルブユニット17に供給する機能に加え、パイロットラインを介して各種油圧制御装置に作動油を供給する機能を備えていてもよい。この場合、パイロットポンプ15は、省略されてもよい。
吐出圧センサ28は、メインポンプ14の吐出圧を検出するように構成されている。図示例では、吐出圧センサ28は、検出した値をコントローラ30に対して出力する。
操作装置26は、操作者がアクチュエータの操作のために用いる装置である。操作装置26は、例えば、操作レバー及び操作ペダルを含む。アクチュエータは、油圧アクチュエータであってもよく電動アクチュエータであってもよい。
操作センサ29は、操作装置26を用いた操作者の操作内容を検出するように構成されている。本実施形態では、操作センサ29は、アクチュエータのそれぞれに対応する操作装置26の操作方向及び操作量を検出し、検出した値をコントローラ30に対して出力する。図示例では、コントローラ30は、操作センサ29の出力に応じて弁31の開口面積を制御することができる。そして、コントローラ30は、パイロットポンプ15が吐出する作動油を、コントロールバルブユニット17内の対応する制御弁のパイロットポートに供給する。パイロットポートのそれぞれに供給される作動油の圧力(パイロット圧)は、原則として、油圧アクチュエータのそれぞれに対応する操作装置26の操作方向及び操作量に応じた圧力である。このように、操作装置26は、パイロットポンプ15が吐出する作動油を、コントロールバルブユニット17内の対応する制御弁のパイロットポートに供給できるように構成されている。
マシンコントロール用制御弁として機能する弁31は、作業機械100の動きを制限する動作制限装置OLの一例であり、パイロットポンプ15とコントロールバルブユニット17内の制御弁のパイロットポートとを接続する管路に配置され、その管路の流路面積を変更できるように構成されている。図示例では、弁31は、コントローラ30が出力する制御指令に応じて動作する電磁弁である。そのため、コントローラ30は、操作者による操作装置26の操作とは無関係に、制御弁のパイロットポートに作用するパイロット圧を弁31によって調整することができる。
この構成により、コントローラ30は、特定の操作装置26に対する操作が行われていない場合であっても、その特定の操作装置26に対応する油圧アクチュエータを動作させることができる。
また、図4に示すように、作業機械100の制御系は、コントローラ30、室内カメラC1、表示装置D1、入力装置D2、ホーンボタンHS、発話ボタンKS、外部集音装置M1、内部集音装置M2、外部音出力装置SP1、内部音出力装置SP2、外部音量ダイヤルDL1、内部音量ダイヤルDL2、スイッチSW、及び通信装置T1等を含む。図示例では、内部集音装置M2及び内部音出力装置SP2は、処理回路を含む装置である。
コントローラ30は、必要に応じてレギュレータ13に対して制御指令を出力し、メインポンプ14の吐出量を変化させることができるように構成されている。また、コントローラ30は、例えば、操作者による操作装置26を通じた作業機械100の手動操作をガイド(案内)するマシンガイダンス機能に関する制御を行うように構成されていてもよい。また、コントローラ30は、例えば、操作者による操作装置26を通じた作業機械100の手動操作を自動的に支援するマシンコントロール機能に関する制御を行うように構成されていてもよい。なお、コントローラ30の機能の一部は、他のコントローラ(処理回路を含む制御装置)により実現されてもよい。すなわち、コントローラ30の機能は、複数のコントローラにより分散される態様で実現されてもよい。例えば、マシンガイダンス機能及びマシンコントロール機能は、専用のコントローラ(処理回路を含む制御装置)により実現されてもよい。
ここで、図5を参照し、運転室10の内部について説明する。図5は、運転室10の内部の上面図である。作業機械100は、運転室10の内部に配置される、運転席50、操作装置26、及び表示装置D1等を備える。運転席50の左側には、乗降用ドアが設けられている。操作者は乗降用ドアを開けて運転室10の内部に入ることができる。
運転席50は、上面視において運転室10の中央に配置されている。運転席50は操作者が着座する座部51と背もたれ52とを含む。運転席50はリクライニングシートであり、背もたれ52の傾斜角度は調節可能である。運転席50の左側には左アームレスト53Lが配置され、右側には右アームレスト53Rが配置されている。左アームレスト53L及び右アームレスト53Rは背もたれ52によって回動可能に支持されている。
運転席50の左側には左コンソール54Lが配置され、右側には右コンソール54Rが配置されている。左コンソール54L及び右コンソール54Rは、前後方向に沿って延在する。運転席50は、前後方向にスライド可能である。運転席50は、左コンソール54L及び右コンソール54Rと共に前後方向にスライド可能な構成であってもよい。
左アームレスト53Lは、左コンソール54Lの上に配置されている。右アームレスト53Rは、右コンソール54Rの上に配置されている。左アームレスト53Lは、上面視において、左コンソール54Lの一部を覆うように配置されている。右アームレスト53Rは、上面視において、右コンソール54Rの一部を覆うように配置されている。
操作装置26は、左操作レバー26L、右操作レバー26R、左走行ペダル26PL、右走行ペダル26PR、左走行レバー26DL、及び右走行レバー26DRを含む。左操作レバー26Lは、左コンソール54Lの前部に設けられている。同様に、右操作レバー26Rは、右コンソール54Rの前部に設けられている。運転席50に着座した操作者は、左手で左操作レバー26Lを把持しながら左操作レバー26Lを操作でき、且つ右手で右操作レバー26Rを把持しながら右操作レバー26Rを操作できる。運転席50に着座した操作者は、左手で左操作レバー26Lを操作してアームシリンダ8及び旋回油圧モータ2Aを駆動できる。また、運転席50に着座した操作者は、右手で右操作レバー26Rを操作してブームシリンダ7及びバケットシリンダ9を駆動できる。なお、左操作レバー26L及び右操作レバー26Rのそれぞれの基部はレバーブーツ27で覆われている。
左走行ペダル26PL及び右走行ペダル26PRは、運転席50の前方の床面に配置されている。運転席50に着座した操作者は、左足で左走行ペダル26PLを操作して左走行油圧モータ2MLを駆動できる。また、運転席50に着座した操作者は、右足で右走行ペダル26PRを操作して右走行油圧モータ2MRを駆動できる。
左走行レバー26DL及び右走行レバー26DRは、上面視において、左走行ペダル26PLと右走行ペダル26PRとの間に配置されている。左走行レバー26DL及び右走行レバー26DRは、運転席50の前方の床面から上方に延在している。運転席50に着座した操作者は、左手で左走行レバー26DLを把持しながら操作することで、左走行ペダル26PLを介した操作と同様に、左走行油圧モータ2MLを駆動できる。また、運転席50に着座した操作者は、右手で右走行レバー26DRを把持しながら操作することで、右走行ペダル26PRを介した操作と同様に、右走行油圧モータ2MRを駆動できる。また、左走行レバー26DL及び右走行レバー26DRは、操作者が片手で左走行レバー26DLと右走行レバー26DRとを同時に操作できるように配置されている。
室内カメラC1は、運転室10内に設けられ、運転席50に着座した操作者の画像を取得する。図示例では、室内カメラC1は、操作者の顔を正面から撮像できるように、運転室10の天井の前端部に取り付けられている。
表示装置D1は、運転室10内の着座した操作者から視認し易い場所に設けられ、コントローラ30による制御下で、各種情報画像を表示する。図示例では、表示装置D1は、運転席50の右側前方に配置され、専用線を介してコントローラ30に接続されている。表示装置D1は、各種の画像情報を表示する。表示装置D1は、作業機械100の作業条件又は動作状態等の情報を表示する表示画面を含む。運転席50に着座した操作者は表示装置D1に表示された各種情報を確認しながら作業機械100による作業を行うことができる。表示装置D1には、入力装置D2が設けられていてもよい。
入力装置D2は、処理回路を含む装置であり、運転席50に着座した操作者の手が届く範囲に設けられ、操作者による各種操作入力を受け付け、操作入力に応じた信号をコントローラ30に出力する。入力装置D2は、各種情報画像を表示する表示装置D1のディスプレイに実装されるタッチパネル、操作装置26に含まれる複数の操作レバーの何れか一つ以上のレバー部の先端に設けられるノブスイッチ、又は、表示装置D1の周囲に設置されるボタンスイッチ、レバー、トグルスイッチ、若しくは回転ダイヤル等を含む。入力装置D2に対する操作の内容に対応する信号は、コントローラ30に取り込まれる。
左コンソール54Lの前端部の前面には、ゲートバー55が取り付けられる。ゲートバー55は、左コンソール54Lに設けられるゲートロックレバーGLの操作状態と連動して動作する。ゲートバー55は、上端部にある左右方向に延びる軸を中心として、起伏可能に左コンソール54Lの内部のフレームに取り付けられている。
ゲートロックレバーGLは、操作装置26による作業機械100の操作が可能な状態(操作可能状態)と操作装置26による作業機械100の操作が不可能な状態(操作不可状態)とを切り換えるための機械的な入力操作部である。図示例では、ゲートロックレバーGLは、操作不可状態を実現する第1操作位置と操作可能状態を実現する第2操作位置とを操作者が切り換えることができるように構成されている。コントローラ30は、ゲートロックレバーGLの操作状態に応じて操作可能状態と操作不可状態とを切り換える。図示例では、コントローラ30は、ゲートロックレバーGLの操作状態に応じてパイロットラインの連通状態と非連通状態とを電磁弁としてのゲートロック弁によって電気的に切り換えることで、作業機械100の操作可能状態と操作不可状態とを切り換える。ゲートロック弁は、作業機械100の動きを制限する動作制限装置OLの一例である。
また、ゲートロックレバーGLが第2操作位置にある場合、ゲートバー55は、図5に示すように、操作者による乗降用ドアの通過を妨げるように前方に起きた状態(通過禁止状態)になる。一方、ゲートロックレバーGLが第1操作位置にある場合、ゲートバー55は、操作者による乗降用ドアの通過の妨げとならないように左コンソール54Lの内部に収容された状態(通過許可状態)となる。
この構成により、操作者は、ゲートロックレバーGLを第2操作位置にしてゲートバー55を通過禁止状態にしない限り、作業機械100の操作を行うことができない。そのため、この構成は、操作者が乗り降りするときに不注意にも操作装置26に触れてしまった場合であっても、作業機械100が意図せずに動いてしまうのを抑制できる。そのため、この構成は、作業機械100の安全性を向上させることができる。
また、作業機械100は、ゲートロックレバーGLが第2操作位置にありゲートバー55が通過禁止状態にある場合に限り、エンジン11を起動させるための所定の操作を受け付けることができるように構成されていてもよい。すなわち、作業機械100は、ゲートロックレバーGLが第1操作位置にありゲートバー55が通過許可状態にある場合には、エンジン11を起動させることができないように構成されていてもよい。
右コンソール54Rには、スイッチSWが設置されている。右コンソール54Rの右側には、窓側コンソール56が設置されている。窓側コンソール56は、運転室10の前後方向の全長に亘って延在し、右コンソール54Rと平行になるように設けられている。表示装置D1は窓側コンソール56の前部に設置されている。窓側コンソール56には、外部音量ダイヤルDL1、内部音量ダイヤルDL2、内部集音装置M2、ラジオチューナー等が設置されている。ラジオチューナー等は、左コンソール54L又は右コンソール54Rに設置されていてもよい。
内部集音装置M2は、運転室10内で発生した音を集める装置である。図示例では、内部集音装置M2は、室内マイクであり、運転室10内の操作者が発する声を拾うことができるように構成されている。
ホーンボタンHSは、ホーン音を鳴らす際に作業機械100の操作者が操作するボタンである。図示例では、ホーンボタンHSは、左操作レバー26Lの先端に設けられたノブスイッチである。
発話ボタンKSは、作業機械100の操作者が作業機械100の周囲にいる作業者に話しかける際に作業機械100の操作者が操作するボタンである。図示例では、発話ボタンKSは、右操作レバー26Rの先端に設けられたノブスイッチである。
内部音出力装置SP2は、運転室10内の操作者に向けて音を出力する装置であり、運転室10内に設けられている。また、内部音出力装置SP2は、コントローラ30から入力された電気信号を物理的な音(空気の振動)に変換して出力する。内部音出力装置SP2は、任意の位置に設けられてよく、例えば、表示装置D1近傍、入力装置D2近傍、又は、運転室10の乗降用ドアの近傍に設けられてもよい。図示例では、内部音出力装置SP2は、運転室10の後壁の左上隅に取り付けられた左室内スピーカSP2Lと、運転室10の後壁の右上隅に取り付けられた右室内スピーカSP2Rとを含む。なお、内部音出力装置SP2は、操作者が装着するヘッドホン又はイヤホンであってもよく、表示装置D1に内蔵されている内蔵スピーカであってもよい。この場合、ヘッドホン、イヤホン、又は内蔵スピーカは、例えば、Bluetooth(登録商標)等を介してコントローラ30と通信できるように接続される。
外部音量ダイヤルDL1は、外部音出力装置SP1が出力する音の音量を調整できるように構成されている。また、外部音出力装置SP1のそれぞれが出力する音の音量は、追加的に、表示装置D1に取り付けられたタッチパネル等の、外部音量ダイヤルDL1以外の装置を利用して調整できるように構成されていてもよい。
外部音量ダイヤルDL1は、時計回り及び反時計回りのそれぞれの方向に無限に回転できるように構成されていてもよい。外部音量ダイヤルDL1を利用した音量調整と外部音量ダイヤルDL1以外の装置を利用した音量調整とが併用される場合に対応できるようにするためである。
外部音量ダイヤルDL1は、押しボタンスイッチ機能を有していてもよい。この場合、外部音量ダイヤルDL1の押下に応じて、外部音出力装置SP1から音が出力されるか否かが切り換えられてもよい。換言すれば、外部音量ダイヤルDL1の押しボタンスイッチ機能は、図5に示される発話ボタンKSと同様の発話ボタンとして機能するように構成されていてもよい。
内部音量ダイヤルDL2は、内部音出力装置SP2が出力する音の音量を調整できるように構成されている。また、内部音出力装置SP2のそれぞれが出力する音の音量は、追加的に、表示装置D1に取り付けられたタッチパネル等の、内部音量ダイヤルDL2以外の装置を利用して調整できるように構成されていてもよい。
内部音量ダイヤルDL2は、時計回り及び反時計回りのそれぞれの方向に無限に回転できるように構成されていてもよい。内部音量ダイヤルDL2を利用した音量調整と内部音量ダイヤルDL2以外の装置を利用した音量調整とが併用される場合に対応できるようにするためである。
内部音量ダイヤルDL2は、押しボタンスイッチ機能を有していてもよい。この場合、内部音量ダイヤルDL2の押下に応じて、内部音出力装置SP2から音が出力されるか否かが切り換えられてもよい。換言すれば、内部音量ダイヤルDL2は、ミュートスイッチとして機能するように構成されていてもよい。
スイッチSWは、音声伝達機能の一例である会話機能の動作状態を切り換えるための操作具の一例である。具体的には、スイッチSWは、外部集音装置M1により収集された音を内部音出力装置SP2から出力させる、音の出力機能を動作させるか否かを切り替えるためのスイッチである。図示例では、スイッチSWは、右コンソール54Rの上面に設けられている。但し、スイッチSWは、入力装置D2の一つであってもよく、表示装置D1に設けられたタッチパネルによって実現されてもよく、ノブスイッチであってもよい。
例えば、スイッチSWがオンの場合に、外部集音装置M1により収集された音を、内部音出力装置SP2から出力し、スイッチSWがオフの場合に、外部集音装置M1により収集された音の、内部音出力装置SP2からの出力を停止(ミュート)する。
音声伝達機能は、図6に示すような、作業機械100の操作者OPと作業機械100の周囲にいる人(作業者WK)との間の一方向又は双方向の声の伝達を実現するための機能である。例えば、音声伝達機能は、操作者OPの声を内部集音装置M2によって集音して外部音出力装置SP1から出力する機能である内部音再生機能、及び、作業者WKの声を外部集音装置M1によって集音して内部音出力装置SP2から出力する機能である外部音再生機能を含む。会話機能は、内部音再生機能と外部音再生機能との組み合わせによって実現される。なお、一方向の声の伝達を実現するための機能は、一方向対話機能とも呼ばれ、例えば、操作者OPから作業者WKへ声を伝達する機能(内部音再生機能)と作業者WKから操作者OPへ声を伝達する機能(外部音再生機能)とが、従来のトランシーバーのように、別々のタイミングで(交互に)実行されることを意味する。また、双方向の声の伝達を実現するための機能は、双方向対話機能とも呼ばれ、例えば、操作者OPから作業者WKへ声を伝達する機能(内部音再生機能)と作業者WKから操作者OPへ声を伝達する機能(外部音再生機能)とが同時に実行されることを意味する。また、会話機能は、キーOFF状態(動力源が停止している状態)、アクセサリON状態(動力源が停止しているが車載電子機器が動作している状態)、エンジンON状態(動力源が動作している状態)、ゲートロックON状態(ゲートロックレバーGLによって操作不可状態が実現された状態)、及び、ゲートロックOFF(ゲートロックレバーGLによって操作可能状態が実現された状態)の少なくとも一つにおいて利用できるように構成されていてもよい。
具体的には、会話機能は、図6に示すような作業機械100の操作者OPと作業機械100の周囲にいる作業者WKとの会話を実現するための機能である。図示例では、作業機械100は、操作者OPと作業者WKとの会話が作業機械100のドア及び窓が閉じられた状態であっても実現されるように構成されている。図6は、操作者OPが搭乗している作業機械100と作業機械100の左前方にいる作業者WKの斜視図である。図6は、操作者OPの声が内部集音装置M2によって集音されて外部音出力装置SP1から出力され、作業者WKの声が外部集音装置M1によって集音されて内部音出力装置SP2から出力される様子を示している。また、図6に示す作業機械100では、情報伝達装置G1は、運転室10の四つの側面のそれぞれの上部に設けられている。そして、運転室10の前面の上部に設けられた前ライトバーG1Fが緑色に発光し、運転室10の左面の上部に設けられた左ライトバーG1Lが白色に発光している。図6では、緑色に発光している前ライトバーG1Fにはドットパターンが付されている。緑色に発光している前ライトバーG1Fを見た作業者WKは、自身の声が前マイクM1Fによって検出されていることを認識できる。なお、図6では、明瞭化のため、撮像装置S6等の他の装置の図示が省略されている。
会話機能の動作状態は、操作者OPと作業者WKとの間の会話が可能な状態であるオン状態(図6に示す状態)、及び、操作者OPと作業者WKとの間の会話ができない状態であるオフ状態を含む。但し、会話機能の動作状態は、作業者WKの声を操作者OPが聴取できるが操作者OPの声を作業者WKが聴取できない状態である(操作者OPに関する)聴取可能状態、及び、操作者OPの声を作業者WKが聴取できるが作業者WKの声を操作者OPが聴取できない状態である(操作者OPに関する)発話可能状態の少なくとも一方を追加的に含んでいてもよい。
具体的には、スイッチSWが操作されて会話機能の動作状態がオン状態に切り換えられると、外部集音装置M1、外部音出力装置SP1、内部集音装置M2、及び内部音出力装置SP2は利用可能な状態になる。反対に、スイッチSWが操作されて会話機能の動作状態がオフ状態に切り換えられると、外部集音装置M1、外部音出力装置SP1、内部集音装置M2、及び内部音出力装置SP2は利用不能な状態になる。また、スイッチSWが操作されて会話機能の動作状態が聴取可能状態に切り換えられると、外部集音装置M1及び内部音出力装置SP2は利用可能な状態になる。また、スイッチSWが操作されて会話機能の動作状態が発話可能状態に切り換えられると、外部音出力装置SP1及び内部集音装置M2は利用可能な状態になる。図示例では、操作者OPは、内部集音装置M2が利用可能な状態にあるときに発話ボタンKSを押しながら発話することにより、外部音出力装置SP1を利用して作業者WKに話しかけることができる。
次に、図7を参照し、表示装置D1に表示される表示画面85の一例について説明する。図7は、表示画面85の一例を示す図である。表示画面85は、作業機械100の動作中に画像表示部D1aに表示される。
コントローラ30は、各種装置から取得した各種情報と、撮像装置S6から入力された画像情報とに基づいて表示画面85を生成する。各種情報には、旋回角度、人が映っている画像領域を示す情報、作業機械100の周辺に存在する人の位置情報(検出された人が存在する方向及び距離を示した情報)、及び、各種センサの検知結果が含まれている。
画像表示部D1aには、コントローラ30からの制御に従って、日時表示領域42a、走行モード表示領域42b、アタッチメント表示領域42c、燃費表示領域42d、エンジン制御状態表示領域42e、注意喚起画像表示領域42f、冷却水温表示領域42g、燃料残量表示領域42h、回転数レベル表示領域42i、尿素水残量表示領域42j、作動油温表示領域42k、作業機械状態表示領域421、第1画像表示領域422、第2画像表示領域423、及び情報表示領域424を含む表示画面85が表示される。表示画面85は、エンジン11の累積稼働時間を表示する領域であるエンジン稼働時間表示領域等、他の表示領域を含んでいてもよい。
走行モード表示領域42b、アタッチメント表示領域42c、エンジン制御状態表示領域42e、及び回転数レベル表示領域42iは、作業機械100の設定状態に関する情報である設定状態情報を表示する領域である。燃費表示領域42d、注意喚起画像表示領域42f、冷却水温表示領域42g、燃料残量表示領域42h、尿素水残量表示領域42j、及び作動油温表示領域42kは、各種センサの検知結果に基づいて、作業機械100の稼動状態を表した情報である稼動状態情報を表示する領域である。
日時表示領域42aは、現在の日時を表示する領域である。走行モード表示領域42bは、現在の走行モードを表示する領域である。アタッチメント表示領域42cは、現在装着されているアタッチメントを表す画像を表示する領域である。燃費表示領域42dは、コントローラ30によって算出された燃費情報を表示する領域である。燃費表示領域42dは、生涯平均燃費又は区間平均燃費を表示する平均燃費表示領域42d1、瞬間燃費を表示する瞬間燃費表示領域42d2を含む。
エンジン制御状態表示領域42eは、エンジン11の制御状態を表示する領域である。冷却水温表示領域42gは、現在のエンジン冷却水の温度状態を表示する領域である。燃料残量表示領域42hは、燃料タンクに貯蔵されている燃料の残量状態を表示する領域である。
注意喚起画像表示領域42fは、操作者OPの注意を喚起するための画像を表示する領域である。図示例では、作業機械100の動きが制限されていることを操作者OPに知らせるためのアイコンが表示される。操作者OPは、このアイコンを見ることにより、操作者OPと作業機械100の周辺にいる人(作業者WK等)との間で会話が行われていること等に起因して作業機械100の動きが制限されていることを知ることができる。
作業機械100の動きの制限は、例えば、電磁弁としての弁31を電気的に制御することによって実現される。具体的には、コントローラ30は、特定の一つ又は複数の油圧アクチュエータ(例えば旋回油圧モータ2A)に対応する弁31を閉じることにより、特定の一つ又は複数の油圧アクチュエータによって実現される動作(例えば旋回動作)を禁止することができる。また、コントローラ30は、特定の一つ又は複数の油圧アクチュエータ(例えば旋回油圧モータ2A)に対応する弁31の開口面積を小さくすることにより、特定の一つ又は複数の油圧アクチュエータ(例えば旋回油圧モータ2A)によって実現される動作の最大速度(例えば最大旋回速度)を制限することができる。或いは、コントローラ30は、全ての油圧アクチュエータに対応する弁31を閉じることよって全ての油圧アクチュエータの動きを禁止することができる。また、コントローラ30は、全ての油圧アクチュエータに対応する弁31の開口面積を小さくすることよって全ての油圧アクチュエータの動きの最大速度を制限することができる。
回転数レベル表示領域42iは、不図示の回転数調整ダイヤルによって設定された現在のレベルを画像で表示する領域である。回転数レベル表示領域42iには、選択されているレベルを示す数字が表示される。回転数レベル表示領域42iに表示された「1」は、選択されている回転数レベルが「第1レベル」であることを示す。回転数レベル表示領域42iに表示された数字「n」は、選択されている回転数レベルが「第nレベル」であることを示す。「n」は、自然数である。操作者OPが回転数調整ダイヤルを回転させると、回転数レベル表示領域42iに表示される数字が変化する。
尿素水残量表示領域42jは、尿素水タンクに貯蔵されている尿素水の残量状態を画像で表示する領域である。作動油温表示領域42kは、作動油タンク内の作動油の温度状態を表示する領域である。
作業機械状態表示領域421は、作業機械100と、作業機械100の周辺で検出された人との間の位置関係を表した情報を表示する領域である。具体的には、作業機械状態表示領域421は、作業機械100を中心とした実空間を所定の縮尺率で表した俯瞰画像を表示する領域である。作業機械状態表示領域421の中心には、作業機械100の存在を示す作業機械アイコン421bが配置される。俯瞰画像は、撮像装置S6が撮像した画像に基づいて生成される視点変換画像であってもよく、CG画像であってもよい。図示例では、俯瞰画像は、作業機械100を中心とした実空間を真上から見たときの状態を概略的に表すCG画像である。
作業機械状態表示領域421には、作業機械アイコン421b以外に、作業機械100の進行可能な方向を示すアイコン(図7の例では方向表示アイコン421a)と、作業機械100の周囲で検出された人の位置を表したアイコン(図7の例では人検出アイコン421e、人検出アイコン421f、人検出アイコン421g)とが同時に表示される。作業機械状態表示領域421では、方向表示アイコン421a、作業機械アイコン421b、人検出アイコン421e、人検出アイコン421f、及び、人検出アイコン421g以外の領域(換言すれば背景)は、例えば単色(例えば黒)で表された領域であってもよい。
図示例では、作業機械アイコン421bは、旋回角度に基づいた上部旋回体3と下部走行体1との位置関係に従って、上部旋回体3を示す画像と、下部走行体1を示す画像と、を組み合わせたアイコンである。図示例では、下部走行体1を示す画像は、画面上方を向く上部旋回体3を示す画像に対して45度だけ反時計回りに傾いている。
また、図示例では、方向表示アイコン421aは、走行レバーを前に倒したときに作業機械100が走行する向きを三角形状で示している。但し、方向表示アイコン421aは、作業機械100の進行可能な方向を表した形状であれば、任意の形状でよい。
人検出アイコン421e、人検出アイコン421f、及び人検出アイコン421gは、撮像装置S6が撮像した画像に基づいて検出された人の位置を表すアイコンである。作業機械アイコン421bと人検出アイコン421e、人検出アイコン421f、及び人検出アイコン421gのそれぞれとの間の位置関係は、実空間の作業機械100と作業機械100の周囲に存在する人との間の位置関係に対応している。
図示例では、作業機械状態表示領域421には、俯瞰画像としてCG画像が表示されているが、作業機械100に設けられた撮像装置S6によって撮像された画像を合成して生成される視点変換画像が俯瞰画像として表示されてもよい。但し、俯瞰画像では、作業機械100の周囲に存在する人以外の物体等も表示され、更には、地面の凹凸等の地面の状態も表示される。このため、操作者OPは、俯瞰画像としての視点変換画像を見た際に、様々な物体に関する情報を認識するので、作業機械100の周囲に存在する人を把握するのが難しい場合もある。
そのため、図示例では、作業機械状態表示領域421には、単色の背景画像の上に、作業機械100を示すアイコンと、作業機械100の進行可能な方向を示すアイコン(例えば、方向表示アイコン421a)と、作業機械100の周囲で検出された人を示すアイコン(例えば、人検出アイコン421e、人検出アイコン421f、及び人検出アイコン421g)とが表示されている。換言すれば、作業機械状態表示領域421には、作業機械の周囲に存在する人以外の物体の画像に操作者OPの関心が向かわないよう、作業機械の周囲に存在する人以外の物体の画像の表示が抑制(省略)されている。
つまり、操作者OPは、作業機械状態表示領域421を見ることで、作業機械100の現在の状況、進行可能な方向、及び、作業機械100の周囲に存在する人と作業機械100との間の位置関係を認識できる。
また、操作者OPは、作業機械状態表示領域421を見ることで、作業機械100を移動させた場合に、作業機械100の周囲に存在する人と作業機械100との間の位置関係がどのように変化するのかを推測できる。また、作業機械状態表示領域421には、人以外の物体に関する表示が抑制されているので、操作者OPは、人以外の他の物体に注意が惹きつけられにくい。そのため、作業機械100は、作業機械状態表示領域421を見ている操作者OPが人の存在を見落としてしまうのを抑制できる。したがって、作業機械100は、安全性の向上を実現できる。
また、作業機械状態表示領域421には、作業機械100からの距離を表す一つ又は複数の距離表示画像421cが表示されていてもよい。距離表示画像421cは、作業機械100からの相対的な距離を操作者OPに認識させるための図形画像であり、例えば、作業機械アイコン421bの中心点(例えば旋回軸がある位置)を中心とする円の画像である。円の画像は、例えば、作業機械100のアタッチメントATの現在の姿勢に基づいて算出される、アタッチメントATの先端位置と旋回軸との間の距離を半径とする第1円の画像、及び、アタッチメントATを水平方向に最も伸ばしたときのアタッチメントATの先端位置と旋回軸との間の距離を半径とする第2円の画像の少なくとも一方を含んでいてもよい。現在のアタッチメントATの先端位置と旋回軸との間の距離は、例えば、ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3の検出結果に基づいて算出される。図7に示す例では、距離表示画像421cは、第2円の画像である。
コントローラ30は、距離表示画像421cとしての円の画像の範囲内に人検出アイコンが含まれているか否かに応じ、距離表示画像421cとしての円の画像及び人検出アイコンの少なくとも一方の表示態様を異ならせてもよい。例えば、第1円の範囲内に存在する人検出アイコンは第1色(例えば赤色)で表示され、第1円の範囲外であり第2円の範囲内に存在する人検出アイコンは第2色(例えば黄色)で表示され、第2円の範囲外に存在する人検出アイコンは第3色(例えば青色)で表示されてもよい。円の画像の色についても同様である。なお、表示態様を異ならせることは、点滅周期、コントラスト、又は輝度等を異ならせることによって実現されてもよい。このように、表示装置D1は、作業機械アイコン421bの中心点からの距離に応じて色を変化させた人検出アイコンを表示することで、操作者OPに対して、作業機械100と人との間の距離に応じた注意喚起を行うことができる。したがって、作業機械100は、安全性の向上を実現できる。
操作者OPは、作業機械状態表示領域421を見ることで、距離表示画像421cと人検出アイコン421e、人検出アイコン421f、及び、人検出アイコン421gのそれぞれとの間の位置関係を認識でき、アタッチメントATに人が接触しないようにアタッチメントATを容易に操作することができる。したがって、作業機械100は、安全性の向上を実現できる。
画像表示部D1aには、作業機械状態表示領域421が表示されると共に、撮像装置S6により撮像された画像が表示される。そのため、操作者OPは、作業機械状態表示領域421を見ることに加え、撮像装置S6により撮像された画像を見ることによっても、作業機械100の周囲の具体的な状況を認識できる。したがって、作業機械100は、安全性の向上を実現できる。
具体的には、第1画像表示領域422及び第2画像表示領域423は、撮像装置S6が撮像した画像を表示する領域である。具体的には、第1画像表示領域422には右方画像が表示され、第2画像表示領域423には後方画像が表示される。右方画像は、作業機械100の右方の空間を映し出す画像であり、上部旋回体3の上面右端の画像である端部画像422cを含む。なお、右方画像は、コントローラ30によって生成される実視点画像(スルー画像)であり、右カメラS6Rが取得した画像に基づいて生成される。後方画像は、作業機械100の後方の空間を映し出す画像であり、上部旋回体3の後部に設けられるカウンタウェイトの画像であるカウンタウェイト画像423cを含む。なお、後方画像は、コントローラ30によって生成される実視点画像(スルー画像)であり、後カメラS6Bが取得した画像に基づいて生成される。
第1画像表示領域422は、作業機械状態表示領域421の右方に表示される。また、第2画像表示領域423は、作業機械状態表示領域421の下方に表示される。なお、図示例では、画像表示部D1aの上方は、作業機械状態表示領域421における作業機械アイコン421bのうちの上部旋回体3を示す画像の前方に対応している。そのため、第1画像表示領域422は、作業機械状態表示領域421における上部旋回体3を示す画像の右方に対応する位置に表示され、第2画像表示領域423は、作業機械状態表示領域421における上部旋回体3を示す画像の下方に対応する位置に表示される。
したがって、操作者OPは、右カメラS6Rが撮像した画像が作業機械状態表示領域421の右方に表示され、後カメラS6Bが撮像した画像が作業機械状態表示領域421の後方に表示されていることを直感的に認識できる。したがって、作業機械100は、安全性の向上を実現できる。
また、図7に示す例は、画像情報の配置の一例を示したものであって、画像情報の配置は、図7に示された配置には限定されない。例えば、第1画像表示領域422及び第2画像表示領域423は、撮像装置S6の撮像方向とは無関係に配置されてもよい。
また、コントローラ30は、右方画像及び後方画像のうちの少なくとも一つに基づいて人の画像(人画像)を検出した場合、その人画像を囲む枠を重畳表示してもよい。図示例では、第1画像表示領域422の右方画像に人画像422aを囲む枠422bが表示され、第2画像表示領域423の後方画像に人画像423aを囲む枠423bが表示されている。この場合、コントローラ30は、枠422bの色と人検出アイコン421eの色とを一致させると共に、枠423bの色と人検出アイコン421fの色とを一致させてもよい。つまり、画像表示部D1aには、右方画像及び後方画像に対して、検出された人を示す枠が表示される共に、枠で囲まれた人画像で表される人と人検出アイコンで表される人との対応関係を操作者OPが認識できるように表示される。これにより、操作者OPは、右方画像及び後方画像を見ることで、作業機械状態表示領域421に表示された人がどのような状況であるのかを認識できる。そのため、操作者OPは、作業機械100の周囲に存在する人の状況を考慮して、作業機械100の操作を行うことができる。したがって、作業機械100は、安全性の向上を実現できる。なお、図示例では、枠で囲まれた人画像で表される人と人検出アイコンで表される人との対応関係を操作者OPが認識できるようにする表示の一例として、コントローラ30は、枠の色と人検出アイコンの色とを一致させるように構成されている。しかしながら、コントローラ30は、枠の点滅周期と人検出アイコンの点滅周期とを一致させることによって、枠で囲まれた人画像で表される人と人検出アイコンで表される人との対応関係を操作者OPが認識できるように構成されていてもよい。
情報表示領域424は、各種情報が表示される領域である。図示例では、情報表示領域424には、注意喚起画像表示領域42fに表示されたアイコンに関するテキスト情報が表示されている。注意喚起画像表示領域42fに表示されたアイコンは、作業機械100の動きが制限されていることを操作者OPに知らせるためのアイコンである。この場合、情報表示領域424には、作業機械100の動作の制限をもたらした原因を操作者OPに伝えるため、「会話中であるため、一部の動作が制限されています。」といったテキスト情報が表示される。操作者OPは、このテキスト情報を見ることにより、作業機械100の動作が制限されている原因が、操作者OPと作業機械100の周囲にいる人との間で行われている会話であることを認識できる。
また、情報表示領域424には、作業機械100の動作の制限をもたらした原因が解消された場合、作業機械100の動作の制限を解除するための方法を示すテキスト情報が表示されてもよい。例えば、操作者OPと作業機械100の周囲にいる人との間の会話が終了したとコントローラ30によって判定された場合、情報表示領域424には、「動作の制限を解除する場合にはホーンボタンを押してください。」、「動作の制限を解除する場合にはゲートロックレバーを操作してください。」、又は、「動作の制限を解除する場合には操作レバーを中立位置に戻してください。」といったテキスト情報が表示されてもよい。操作者OPは、このようなテキスト情報を見ることにより、例えばホーンボタンを押すことによって作業機械100の動作の制限が解除されることを認識できる。
なお、コントローラ30は、作業機械100の動作の制限をもたらした原因が解消されたと判定したときに、作業機械100の動作の制限を自動的に解除するように構成されていてもよい。この場合、情報表示領域424には、「会話が終了したため動作の制限は自動的に解除されました。」といったテキスト情報が表示されてもよい。
次に、図8を参照し、コントローラ30が作業機械100の動きを制限する処理(以下、「動作制限処理」とする。)について説明する。図8は、動作制限処理の流れの一例を示すフローチャートである。コントローラ30は、所定の制御周期で繰り返しこの動作制限処理を実行する。
最初に、コントローラ30は、発話が行われているか否かを判定する(ステップST1)。図示例では、コントローラ30は、外部集音装置M1及び内部集音装置M2の少なくとも一方が人の声を検出したか否かを判定する。具体的には、コントローラ30は、外部集音装置M1が集音した音に対応する電気信号の周波数を解析し、外部集音装置M1が集音した音に人(作業者WK)の声が含まれているか否か、すなわち、外部集音装置M1が人の声を拾ったか否かを判定する。すなわち、コントローラ30は、警告音又はビープ音等と人の声とを判別することができる。なお、コントローラ30は、外部集音装置M1が集音した音に対応する電気信号の波形パターンに基づいて人の声が含まれているか否かを判定してもよい。或いは、コントローラ30は、内部集音装置M2が集音した音に対応する電気信号の周波数を解析し、内部集音装置M2が集音した音に人(操作者OP)の声が含まれているか否か、すなわち、内部集音装置M2が人の声を拾ったか否かを判定する。なお、コントローラ30は、内部集音装置M2が集音した音に対応する電気信号の波形パターンに基づいて人の声が含まれているか否かを判定してもよい。また、これらの音に関する機能は、コントローラ30とは別の装置(例えば独立の音声コントローラ)によって実現されてもよい。
或いは、コントローラ30は、内部集音装置M2が集音した音の音量が所定の音量以上であると判定した場合に、発話が行われていると判定してもよい。演算負荷の小さい簡単な処理によって操作者OPによる発話が行われているか否かを判定できるためである。
或いは、コントローラ30は、発話ボタンKSが押されたときに、発話が行われていると判定してもよい。コントローラ30は、操作者OPによる発話が行われようとしていると判定できるためである。
或いは、コントローラ30は、室内カメラC1が撮像した画像に基づいて操作者OPによる発話が行われているか否かを判定してもよく、撮像装置S6が撮像した画像に基づいて作業機械100の周囲にいる人による発話が行われているか否かを判定してもよい。具体的には、コントローラ30は、カメラが撮像した画像に対して種々の画像認識処理を施して操作者OP又は作業機械100の周囲にいる人等の口が動いているか否かを判定することにより、操作者OP又は作業機械100の周囲にいる人等による発話が行われているか否かを判定してもよい。この場合、コントローラ30は、例えば、作業機械100の周囲にいる人の顔の向きを判別し、作業機械100の周囲にいる人が作業機械100に向かって発話しているのか、他の物体(例えば作業機械100の周囲にいる別の人又は別の作業機械)に向かって発話しているのかを判定してもよい。そして、コントローラ30は、作業機械100の周囲にいる人が作業機械100ではなく作業機械100の周囲にいる別の人に向かって発話していると判定した場合には、発話が行われていないと判定してもよい。この場合、コントローラ30は、作業機械100の周囲にいる人が作業機械100の操作者OPに向かって発話しているのではないと判定できるためである。
或いは、コントローラ30は、撮像装置S6が撮像した画像に基づき、発話を行っている人(作業機械100の周囲にいる人)と作業機械100との間の距離を認識するように構成されていてもよい。そして、コントローラ30は、発話を行っている人と作業機械100との間の距離が所定距離を上回る場合には、発話が行われていないと判定してもよい。コントローラ30は、発話を行っている人と作業機械100との間に十分な距離があるため、作業機械100の動きを制限する必要はないと判定できるためである。操作者OPが発話しているときに、その会話の相手となる人(作業機械100の周囲にいる人)と作業機械100との間の距離が所定距離を上回る場合についても同様である。
発話が行われていると判定した場合(ステップST1のYES)、コントローラ30は、作業機械100の状態の第1機械状態から第2機械状態への移行を禁止する(ステップST2)。図示例では、コントローラ30は、電磁弁としての弁31を制御して作業機械100の動きを制限することによって作業機械100の状態の第1機械状態から第2機械状態への移行を禁止する。
第1機械状態及び第2機械状態は何れも、作業機械100の状態のうちの一つであり、予め登録された状態である。コントローラ30は、吐出圧センサ28、操作センサ29、エンジン制御装置、入力装置D2、ゲートロックレバーGL、ブーム角度センサS1、アーム角度センサS2、バケット角度センサS3、機体傾斜センサS4、旋回センサS5、撮像装置S6等の各種装置の出力に基づき、作業機械100の現在の状態が、予め登録されている複数の第1機械状態のうちの何れに当てはまるかを判定する。具体的には、第1機械状態は、動作制限処理において発話が行われているか否かの判定が行われるときの作業機械100の状態であり、第2機械状態は、予め第1機械状態に対応付けられた作業機械100の状態である。なお、第2機械状態は、一つの第1機械状態に対して一つだけ対応付けられていてもよく、一つの第1機械状態に対して複数対応付けられていてもよい。また、複数の第1機械状態は、同じ一つの第2機械状態に対応付けられていてもよい。また、コントローラ30は、作業機械100の現在の状態が複数の第1機械状態に当てはまると判定してもよい。また、第1機械状態と第2機械状態との間の対応関係は、作業機械100の機種(衝突防止装置等の安全装置を備えているか否か)、操作者(熟練者であるか否か)、又は作業現場(市街地であるか否か)等に応じて変更できるように構成されていてもよい。
ここで、図9を参照し、第1機械状態と第2機械状態の対応関係の例について説明する。図9は、第1機械状態と第2機械状態の対応関係を示す表である。具体的には、図9に示すように、第1機械状態としての「エンジン停止状態」、「操作不可状態」、「掘削モード(旋回非操作状態)」、「クレーンモード(旋回非操作状態)」、「ペイロードモード(旋回非操作状態)」、「MGモード(旋回非操作状態)」、「MCモード(旋回非操作状態)」は、それぞれ、第2機械状態としての「エンジン稼動状態」、「操作可能状態」、「掘削モード(旋回操作状態)」、「クレーンモード(旋回操作状態)」、「ペイロードモード(旋回操作状態)」、「MGモード(旋回操作状態)」、「MCモード(旋回操作状態)」に対応している。なお、旋回非操作状態、旋回操作状態は、それぞれ、走行非操作状態、走行操作状態で置き換えられてもよい。
「掘削モード」、「クレーンモード」、「ペイロードモード」、「MGモード」、及び「MCモード」は、作業機械100の動作モードである。図示例では、操作者OPは、入力装置D2を操作することによって作業機械100の動作モードを選択することができる。
具体的には、「クレーンモード」は、アタッチメントATを構成するバケット6の付け根(一対のバケットリンクの間)に設けられたフック収容部に収容されているフックが引き出された状態で作業機械100を動作させるときの動作モードであり、フックに引っ掛けられたワイヤを利用して吊り荷作業を行う際に利用される。「掘削モード」は、フックがフック収容部に収容された状態で作業機械100を動作させるときの動作モードであり、バケット6で地面を掘削する際に利用される。「ペイロードモード」は、アタッチメントATによって持ち上げられた物体の重量を測定(算出)する際に利用される動作モードである。コントローラ30は、例えば、ブーム角度センサS1、アーム角度センサS2、バケット角度センサS3、ブームシリンダ圧センサ、アームシリンダ圧センサ、バケットシリンダ圧センサ等の各種センサの出力に基づいてアタッチメントATによって持ち上げられた物体の重量を算出できるように構成されている。「MGモード」は、マシンガイダンスモードを意味し、操作者OPによる操作レバーの操作を視覚的に或いは聴覚的に支援する際に利用される。図示例では、「MGモード」において、コントローラ30は、内部音出力装置SP2から電子的な断続音を出力して、アタッチメントATの先端と目標面(設計面)との間の距離の大きさを操作者OPに伝えることができるように構成されている。具体的には、コントローラ30は、アタッチメントATの先端と目標面(設計面)との間の距離が小さいほど、断続音の出力間隔を小さくする。「MCモード」は、マシンコントロールモードを意味し、アクチュエータを自動的に動作させることによって操作者OPによる操作レバーの操作を支援する際に利用される。図示例では、「MCモード」において、コントローラ30は、操作レバーによる操作の有無にかかわらず、アタッチメントATの先端が所定の軌道に沿って移動するように油圧アクチュエータを自動的に動作させることができる。
図示例では、コントローラ30は、エンジン11が停止している状態において、発話が行われていると判定した場合には、エンジン11を始動させるための操作が行われたとしても、エンジン11を始動させないようにする。この場合、動作制限装置OLは、例えば、エンジン11の始動を行うセルモータを制御する不図示のエンジン制御装置であり、コントローラ30は、エンジン制御装置に対して制御指令を出力し、エンジンスタートボタンが押されたとしてもエンジン11を始動させないようにする。或いは、コントローラ30は、操作不可状態において、発話が行われていると判定した場合、ゲートロックレバーGLが第2操作位置に切り換えられたとしても、操作可能状態が実現されないようにする。この場合、コントローラ30は、動作制限装置OLとしてのゲートロック弁に対して制御指令を出力し、ゲートロックレバーGLが第2操作位置に切り換えられたとしてもパイロットラインの非連通状態が維持されるようにして操作不可状態が維持されるようにする。或いは、コントローラ30は、掘削モード、クレーンモード、ペイロードモード、MGモード、又はMCモードで旋回操作が行われていない状態において、発話が行われていると判定した場合には、旋回操作が行われたとしても、旋回油圧モータ2Aを動作させないようにする。この場合、コントローラ30は、動作制限装置OLとしての弁31に対して制御指令を出力し、旋回油圧モータ2Aに対応するパイロットラインを遮断することによって旋回油圧モータ2Aを動作させないようにする。
なお、第1機械状態から第2機械状態への移行を禁止することは、第1機械状態から第3機械状態への移行を許容することであってもよい。例えば、第1機械状態が「掘削モード(旋回非操作状態)」であり、第2機械状態が「掘削モード(旋回操作状態)」である場合、第3機械状態は、「掘削モード(旋回制限操作状態)」であってもよい。なお、旋回制限操作状態は、例えば、旋回油圧モータ2Aの動きが許容されるが、旋回油圧モータ2Aの最大動作速度が制限される状態である。
一方、発話が行われていないと判定した場合(ステップST1のNO)、コントローラ30は、第1機械状態から第2機械状態への移行が禁止されているか否かを判定する(ステップST3)。
第1機械状態から第2機械状態への移行が禁止されていないと判定した場合(ステップST3のNO)、コントローラ30は、今回の動作制限処理を終了させる。第1機械状態から第2機械状態への移行が禁止されておらず、第1機械状態から第2機械状態への移行の禁止を解除する必要がないためである。
第1機械状態から第2機械状態への移行が禁止されていると判定した場合には(ステップST3のYES)、コントローラ30は、解除条件が満たされたか否かを判定する(ステップST4)。解除条件は、例えば、操作者OPと作業者WKとの間の会話が終了した時点からの経過時間が所定時間(例えば30秒)を上回ったこと、解除ボタンが押されたこと、操作レバーが中立位置に戻されたこと、又は、ゲートロックレバーGLが第1操作位置に戻されたこと等である。なお、解除ボタンは、表示装置D1に表示されたソフトウェアボタンであってもよく、入力装置D2の一つであってもよく、ノブスイッチの一つであってもよい。
解除条件が満たされたと判定した場合(ステップST4のYES)、コントローラ30は、作業機械100の状態の第1機械状態から第2機械状態への移行の禁止を解除する(ステップST5)。すなわち、コントローラ30は、作業機械100の状態が第1機械状態であるときに、第2機械状態に移行するための操作が行われた場合には、作業機械100の状態を第1機械状態から第2機械状態へ移行させる。
解除条件が満たされていないと判定した場合には(ステップST4のNO)、コントローラ30は、第1機械状態から第2機械状態への移行の禁止を解除することなく、今回の動作制限処理を終了させる。すなわち、コントローラ30は、作業機械100の状態が第1機械状態のままで維持されるように、作業機械100の動きを制限する。
この構成により、コントローラ30は、発話が行われているときには、発話が行われていないときに比べ、作業機械100の動きを制限することができる。そのため、コントローラ30は、発話が行われているために操作者OPの注意力が散漫になっているおそれがある場合に、操作者OPによる不注意な操作が行われてしまうのを抑制することができる。
なお、コントローラ30は、操作者OPが発話しているときと、作業機械100の周囲にいる人が発話しているとき(操作者OPがその人の発話を聞いているとき)とで、作業機械100の動作の制限内容を異ならせるように構成されていてもよい。この場合、典型的には、コントローラ30は、操作者OPが発話しているときに課される制限が、作業機械100の周囲にいる人が発話しているときに課される制限よりも厳しくなるように構成される。操作者OPの注意力は、操作者OPが他の人の発話を聞いているときよりも、自身が発話しているときのほうが低下しやすいと考えられるためである。
次に、図10を参照し、作業機械100の別の構成例について説明する。図10は、作業機械100の別の構成例の上面図である。図10に示す作業機械100は、外部音出力装置SP1が4台のスピーカ(前スピーカSP1F、左スピーカSP1L、右スピーカSP1R、及び後スピーカSP1B)によって構成されている点で、図1に示す作業機械100と異なる。図1に示す作業機械100では、外部音出力装置SP1は、運転室10の上に設けられた1台の無指向性スピーカによって構成されている。
この構成により、図10に示す作業機械100は、例えば、前スピーカSP1Fをオン(音を出力できる状態)にし、左スピーカSP1L、右スピーカSP1R、及び後スピーカSP1Bをオフ(音を出力できない状態)にすることにより、作業機械100の左方、右方、及び後方にいる作業者WKに向けて音を出力することなく、作業機械100の前方にいる作業者WKに向けて音を出力することができる。
また、図10に示す例では、前スピーカSP1Fに隣接するように前カメラS6F及び前マイクM1Fが設けられ、前マイクM1Fの筐体には前ライトバーG1Fが設けられている。また、左スピーカSP1Lに隣接するように左カメラS6L及び左マイクM1Lが設けられ、左マイクM1Lの筐体には左ライトバーG1Lが設けられている。また、右スピーカSP1Rに隣接するように右カメラS6R及び右マイクM1Rが設けられ、右マイクM1Rの筐体には右ライトバーG1Rが設けられている。また、後スピーカSP1Bに隣接するように後カメラS6B及び後マイクM1Bが設けられ、後マイクM1Bの筐体には後ライトバーG1Bが設けられている。
この構成により、作業機械100は、オンにしたスピーカに対応するライトバーをオン(発光可能な状態)にし、オフにしたスピーカに対応するライトバーをオフ(発光不能な状態)にすることができる。
なお、外部音出力装置SP1は、1台又は複数台のパラメトリックスピーカで構成されていてもよい。パラメトリックスピーカは、特定の狭い範囲にいる人に選択的に音を伝えることができる、超音波を利用したスピーカである。パラメトリックスピーカは、任意の位置に向けて音を伝えることができる。
図10に示す作業機械100では、コントローラ30は、撮像装置S6が撮像した画像に基づいて作業機械100の周囲にいる作業者WKを検出し、作業者WKの位置を特定してもよい。また、作業機械100の周囲に複数の作業者WKがいる場合には、コントローラ30は、四つの外部集音装置M1の出力に基づき、会話対象者(声を出している作業者WK)と非対象者(声を出していない作業者WK)とを判別してもよい。なお、コントローラ30は、撮像装置S6が撮像した画像に基づき、会話対象者(作業機械100の方を向いている作業者WK)と非対象者(作業機械100の方を向いていない作業者WK)とを判別してもよい。そして、コントローラ30は、作業者WKの方を向いているスピーカ及びライトバーをオンにしてもよい。例えば、作業機械100の後方に(声を出している)作業者WKがいる場合には、コントローラ30は、前スピーカSP1F、左スピーカSP1L、及び右スピーカSP1Rをオフにしたまま、後スピーカSP1Bをオンにしてもよい。この場合、コントローラ30は、前ライトバーG1F、左ライトバーG1L、及び右ライトバーG1Rをオフにしたまま、後ライトバーG1Bをオンにしてもよい。なお、このような機能は、図1~図5に示す作業機械100において実現されてもよい。
この構成により、コントローラ30は、作業者WKがいない方向に向けて音を出力することなく、作業者WKがいる方向に向けて音を出力することができる。そのため、作業者WKは、自身が会話対象者とされているか非対象者とされているかを容易に認識することができる。
また、この構成では、コントローラ30は、四つの外部集音装置M1のそれぞれの出力に基づき、発話を行っている人(作業機械100の周囲にいる人)がいる向き(作業機械100から見た向き)を特定できるように構成されていてもよい。そして、コントローラ30は、発話を行っている人がいる向きに応じて作業機械100の動きの制限内容を異ならせるように構成されていてもよい。或いは、コントローラ30は、アレイマイクとしての外部集音装置M1の出力に基づき、発話を行っている人(作業機械100の周囲にいる人)がいる向き(作業機械100から見た向き)を特定できるように構成されていてもよい。この場合、外部集音装置M1の数は一つであってもよく、複数であってもよい。
例えば、コントローラ30は、クレーンモードが選択されているときに、作業機械100の後方にいる人が発話を行っていると判定した場合、第1機械状態としての旋回非操作状態から第2機械状態としての旋回操作状態への移行を禁止するように構成されている。しかしながら、コントローラ30は、クレーンモードが選択されているときに、作業機械100の前方にいる人(例えば玉掛け作業者)が発話を行っていると判定した場合には、旋回非操作状態から旋回操作状態への移行を許容する(禁止しない)ように構成されていてもよい。吊り荷作業が行われる状況では、作業機械100の前方にいる作業者と操作者OPとは、通常、会話をしながら作業を進めるためである。
或いは、コントローラ30は、作業機械100の周囲にいる人の声によって作業機械100の走行誘導が行われている状況において、作業機械100の進行方向とは異なる方向にいる人が発話を行っていると判定した場合、第1機械状態としての旋回非操作状態から第2機械状態としての旋回操作状態への移行を禁止するように構成されている。しかしながら、コントローラ30は、作業機械100の周囲にいる人の声によって作業機械100の走行誘導が行われている状況では、作業機械100の進行方向にいる人が発話を行っていると判定した場合には、旋回非操作状態から旋回操作状態への移行を許容する(禁止しない)ように構成されていてもよい。声による走行誘導は、通常、作業機械100の進行方向にいる人が発話を行うことによって実現されるためである。
次に、図11を参照し、本開示の実施形態に係る操作システムSYSの構成例について説明する。図11は、操作システムSYSの構成例を示す概要図である。操作システムSYSは、図11に示すように、作業機械100、遠隔操作室RC、及び管理センタMCを含む。なお、図11では、作業機械100の詳細な構成については図示が省略されている。図11に示す作業機械100は、図1又は図10に示す作業機械100と同じ構成を有するためである。
作業機械100、遠隔操作室RC、及び管理センタMCは、通信ネットワークNWを介してデータの送受信ができるように互いに接続されている。なお、作業機械100、遠隔操作室RC、及び管理センタMCは、通信ネットワークNWを介さずに互いに直接的にデータの送受信ができるように互いに接続されていてもよい。図示例では、作業機械100は、作業現場に関する情報を遠隔操作室RCに送信する。これにより、遠隔操作室RCにいる遠隔操作者ROは、作業機械100からの情報に基づいて作業現場の状況を把握することができる。
作業機械100には、作業現場に存在する物体の位置及び形状を3次元的に認識可能なセンサが設けられている。例えば、作業機械100には空間認識装置が設けられている。そのため、作業機械100は、作業現場を3次元的に測定した結果を遠隔操作室RCに送信できる。
空間認識装置は、作業機械100の周囲にある空間を認識するための装置である。図示例では、空間認識装置はLiDARである。LiDARは、例えば、監視範囲内にある100万点以上の点のそれぞれとLiDARとの間の距離を測定する。なお、空間認識装置は、物体との間の距離を計測可能な装置であればよい。例えば、空間認識装置は、ステレオカメラであってもよいし、撮像装置S6とミリ波レーダ等の測距装置との組み合わせであってもよい。
操作システムSYSに含まれる作業機械100は、一台であってもよいし、複数台であってもよい。複数台の作業機械100を含む場合、特定の一台の作業機械100の遠隔操作者ROは、その特定の一台の作業機械100が入手する作業現場に関する情報に加え、他の一台又は複数台の作業機械100が入手する作業現場に関する情報を取得することができる。
遠隔操作室RCには、通信装置T2、遠隔コントローラ40、操作装置42、操作センサ43、表示装置D1E、内部集音装置M2E、室内カメラC1E、及び内部音出力装置SP2Eが設置されている。また、遠隔操作室RCには、作業機械100を遠隔操作する遠隔操作者ROが座る操作席DSが設置されている。
通信装置T2は、作業機械100に取り付けられた通信装置T1との間で通信できるように構成されている。
遠隔コントローラ40は、処理回路を含む制御装置の一例であり、各種演算を実行する演算装置である。本実施形態では、遠隔コントローラ40は、CPU及びメモリを含むマイクロコンピュータで構成されている。そして、遠隔コントローラ40の各種機能は、CPUがメモリに格納されたプログラムを実行することで実現される。
表示装置D1Eは、各種情報を表示可能な装置である。表示装置D1Eは、遠隔操作室RCにいる遠隔操作者ROが作業機械100の周囲を視認するために、作業機械100から送信されてくる情報に基づいた画像を表示する。図示例では、表示装置D1Eは、作業機械100に搭載されている撮像装置S6が撮像した画像を表示する液晶ディスプレイである。なお、表示装置D1Eは、裸眼立体視を実現するディスプレイ又はプロジェクタであってもよく、VRゴーグル等であってもよい。
また、表示装置D1Eは、図7に示すような表示画面85を表示し、所定の表示条件が満たされたときに、注意喚起画像表示領域42fに所定のアイコンを表示し、情報表示領域424に所定のテキスト情報を表示することができる。そのため、遠隔操作者ROは、表示画面85に表示された画像を見ることによって、例えば、作業機械100の動きが制限されていること及びその理由を認識することができる。なお、所定の表示条件は、例えば、遠隔操作者ROによる発話が行われていること、作業機械100の周囲にいる人による発話が行われていること、又は、管理センタMCにいる管理者による発話が行われていること等である。また、遠隔コントローラ40は、操作装置42の先端に設けられた発話ボタンが押されたときに遠隔操作者ROによる発話が行われていると判定してもよい。また、遠隔コントローラ40は、遠隔操作室RCにいる、遠隔操作者RO以外の人が発話していると判定した場合(遠隔操作者ROが遠隔操作室RCにいる他の人から話しかけられた場合)に、作業機械100の状態が第1機械状態から第2機械状態に移行するのを制限できるように構成されていてもよい。
室内カメラC1Eは、遠隔操作室RC内に設けられ、操作席DSに着座した遠隔操作者ROの画像を取得する。図示例では、室内カメラC1Eは、遠隔操作者ROの顔を正面から撮像できるように、遠隔操作室RCに設置された表示装置D1Eの上に取り付けられている。コントローラ30は、室内カメラC1Eが撮像した画像に基づいて遠隔操作者ROが発話しているか否かを判定できる。
内部音出力装置SP2Eは、各種音情報を出力可能な装置である。内部音出力装置SP2Eは、遠隔操作室RCにいる遠隔操作者ROが作業現場で発せられる音を聞くことができるよう、作業機械100から送信されてくる情報に基づいて音を出力する。内部音出力装置SP2Eは、例えば、運転室10の外部に取り付けられた外部集音装置M1が捉えた音を出力するように構成されていてもよく、運転室10の内部に取り付けられた内部集音装置M2が捉えた音を出力するように構成されていてもよい。この場合、内部集音装置M2は、運転室10内の運転席50に着座する操作者の耳の位置に相当する位置に設けられていてもよい。内部音出力装置SP2Eは、スピーカ等の設置型の装置であってもよく、イヤホン又はヘッドホン等の装着型の装置であってもよい。スピーカは、モノラルスピーカであってもよく、ステレオスピーカであってもよく、サラウンドスピーカであってもよい。また、スピーカは、無指向性スピーカであってもよく、指向性スピーカであってもよい。装着型の装置は、ノイズキャンセリング機能を備えたものであってもよく、空間オーディオ機能(立体音響機能)を備えたものであってもよく、骨伝導機能を備えたものであってもよい。
操作装置42には、操作装置42の操作内容を検出するための操作センサ43が設置されている。操作センサ43は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサ43は、圧力センサ、電流センサ、電圧センサ、又は距離センサ等の他のセンサで構成されていてもよい。操作センサ43は、検出した操作装置42の操作内容に関する情報を遠隔コントローラ40に対して出力する。遠隔コントローラ40は、受信した情報に基づいて操作信号を生成し、生成した操作信号を作業機械100に向けて送信する。操作センサ43が操作信号を生成するように構成されていてもよい。この場合、操作センサ43は、遠隔コントローラ40を経由せずに、操作信号を通信装置T2に出力してもよい。このような構成により、遠隔操作者ROは、遠隔操作室RCから作業機械100を遠隔操作できる。
管理センタMCは、作業現場にある作業機械100、又は、遠隔操作室RCにいる遠隔操作者ROによる作業機械100の遠隔操作等を管理するための各種装置が設けられる施設である。図示例では、管理センタMCは、作業機械100の作業現場及び遠隔操作室RCのそれぞれから離れた位置に設置されている。そして、管理センタMCには、管理装置200、内部集音装置M2C、及び内部音出力装置SP2Cが設置されている。
管理装置200は、処理回路を含む制御装置の一例であり、例えば、サーバコンピュータ(いわゆるクラウドサーバ)又はエッジサーバである。管理装置200は、典型的には固定型の端末装置であるが、可搬型の端末装置(例えば、ラップトップ型のコンピュータ、タブレット、又はスマートフォン等)であってもよい。
この構成により、管理センタMCにいる管理者は、例えば、作業機械100に取り付けられた集音装置(外部集音装置M1又は内部集音装置M2)と内部音出力装置SP2Cとを利用し、作業現場で発せられる音を聞くことができる。また、管理センタMCにいる管理者は、例えば、遠隔操作室RCに設けられた内部集音装置M2Eと内部音出力装置SP2Cとを利用し、遠隔操作室RCで発せられる音を聞くことができる。また、管理センタMCにいる管理者は、例えば、内部集音装置M2Cと作業機械100に取り付けられた外部音出力装置SP1とを利用し、自身が発した声を作業機械100の周囲にいる作業者WKに伝えることができる。また、管理センタMCにいる管理者は、例えば、内部集音装置M2Cと作業機械100に取り付けられた内部音出力装置SP2とを利用し、自身が発した声を作業機械100の操作者OPに伝えることができる。また、管理センタMCにいる管理者は、例えば、内部集音装置M2Cと遠隔操作室RCに設けられた内部音出力装置SP2Eとを利用し、自身が発した声を遠隔操作室RCにいる遠隔操作者ROに伝えることができる。
また、管理装置200に接続された表示装置は、図7に示すような表示画面85を表示し、所定の表示条件が満たされたときに、注意喚起画像表示領域42fに所定のアイコンを表示し、情報表示領域424に所定のテキスト情報を表示することができる。そのため、管理者は、表示画面85に表示された画像を見ることによって、例えば、作業機械100の動きが制限されていること及びその理由を認識することができる。なお、所定の表示条件は、例えば、管理者による発話が行われていること、操作者OPによる発話が行われていること、遠隔操作者ROによる発話が行われていること、又は、作業機械100の周囲にいる人による発話が行われていること等である。また、管理装置200は、管理センタMCに設けられた発話ボタンが押されたときに管理者による発話が行われていると判定してもよい。また、管理装置200は、管理センタMCにいる、管理者以外の人が発話していると判定した場合(管理者が管理センタMCにいる他の人から話しかけられた場合)に、作業機械100の状態が第1機械状態から第2機械状態に移行するのを制限できるように構成されていてもよい。
また、上述の実施形態では、図8に示すように、コントローラ30は、操作者OPが発話している場合、作業機械100の状態が第1機械状態から第2機械状態に移行するのを制限するように構成されている。操作者OPが発話しているときの作業の安全性を向上させるためである。遠隔コントローラ40(遠隔操作者RO)及び管理装置200(管理センタMCにいる管理者)についても同様である。
しかしながら、上述のように安全性が向上した場合であっても、操作者OP(遠隔操作者ROを含む)は、会話に集中するあまり、各種システムが発するアラートに気付かないおそれがある。具体的には、会話に気を取られている操作者OPは、視覚的なアラートを見落としたり、聴覚的なアラートを聞き逃したりするおそれがある。なお、各種システムは、音声伝達機能を実行する音声伝達システム以外のシステム(音声伝達システムと連動する他システム)であり、例えば、人検出システム、ペイロードシステム(アタッチメントATによって持ち上げられた物の重量を測定(算出)するシステム)、マシンガイダンスシステム(マシンガイダンス機能を実行するシステム)、マシンコントロールシステム(マシンコントロール機能を実行するシステム)、又は、クレーンシステム(クレーン機能を実行するシステム)等を含む。
そこで、コントローラ30は、操作者OPによる発話が行われているとき等、所定の条件が満たされているときには、アラートを強調して提示するように構成されていてもよい。上述の実施形態では、コントローラ30は、操作者OPによる発話が行われているときには、作業機械100の状態が第1機械状態から第2機械状態に移行するのを制限することに加え、或いは、その代わりに、アラートを強調して提示するように構成されていてもよい。
アラートを強調して提示することは、例えば、視覚的なアラートを強調して提示(表示)すること、聴覚的なアラートを強調して提示(出力)すること、又は、触覚的なアラートを強調して提示(出力)すること等を含む。視覚的なアラートを強調して提示(表示)することは、例えば、ユーザインタフェース(画面構成)の変更、表示色の変更、点滅、又は、表示される文字の太さ若しくはフォントの変更等を含む。触覚的なアラートを強調して提示(出力)することは、例えば、音を大きくすること、又は、音の出力パターンを変えること等を含む。触覚的なアラートを強調して提示(出力)することは、例えば、振動を大きくすること、又は、振動の出力パターンを変えること等を含む。
具体的には、コントローラ30は、図12に示すように、所定の条件が満たされたときに、各種システムが発するアラートを強調して提示する処理(以下、「アラート強調提示処理」とする)を実行するように構成されていてもよい。図12は、アラート強調提示処理の流れの一例を示すフローチャートである。コントローラ30は、所定の制御周期で繰り返しこのアラート強調提示処理を実行する。
最初に、コントローラ30は、音声伝達機能を実行する音声伝達システム以外の他システムでアラートを発する状況が発生したか否かを判定する(ステップST11)。「アラートを発する状況」は、例えば、操作者OPに対して何らかの通知が行われる状況を含む。図示例では、他システムでアラートを発する状況は、例えば、作業機械100の周囲で人を検出したこと、作業機械100に作業者WKが接近して作業機械100の動きが制限(減速或いは停止)されたこと、(作業機械100を後退させるときに出力される)走行アラームが出力されたこと、エンドアタッチメントによって持ち上げられた物の重量が所定重量を上回ったこと、又は、下部走行体1の不安定な動き(ジャッキアップ若しくは引き摺り)が発生するおそれがあること等である。したがって、「何らかの通知」は、安全に関する通知、危険動作に関する通知、又は、不安定な動きに関する通知等を含む。すなわち、「何らかの通知」は、作業機械100の状態が遷移したときの通知を含む。
また、アラートを発する状況は、マシンコントロールシステムにおいて一連の自律的な動作(例えば、所定範囲を整地するための一連の自律的な動作等)が完了したことを含んでいてもよい。また、アラートを発する状況は、マシンガイダンスシステムにおいてエンドアタッチメントの所定点(バケット6の爪先)が目標面を横切った(下回った)ことを含んでいてもよい。マシンガイダンス機能は、典型的には、エンドアタッチメントの所定点(バケット6の爪先)と目標面との間の距離の大きさをバー表示又は断続音の出力間隔を変えることによって操作者OPに伝えるように構成されている。しかしながら、操作者OPは、発話を行っている場合、バー表示又は断続音の出力間隔の変化に対する注意力が低下するおそれがある。コントローラ30は、アラートを強調して提示することで、操作者OPの注意力の低下を補うことができる。
そのため、他システムでアラートを発する状況が発生したと判定した場合(ステップST11のYES)、コントローラ30は、所定の条件が満たされているか否かを判定する(ステップST12)。図示例では、コントローラ30は、操作者OPが発話しているか否かを判定し、発話していると判定した場合、所定の条件が満たされていると判定する。なお、所定の条件は、会話機能がオン状態であることであってもよく、作業者WKが発話していることであってもよく、会話が開始されてから所定時間が経過していないことであってもよい。なお、所定の条件は、会話機能に関する条件、会話している状態であるか会話可能な状態であるかを判定するための条件、又は、操作者OPと作業者WKとの間のコミュニケーションに関する条件等であってもよい。会話機能に関する条件は、例えば、会話機能がオン状態になってから所定時間が経過していること、又は、発話ボタンKSが押されてから所定時間が経過していること等であってもよい。会話している状態であるか会話可能な状態であるかを判定するための条件は、操作者OPが発話している状態であるか発話可能な状態であるかを判定するための条件であってもよく、作業者WKが発話している状態であるか発話可能な状態であるかを判定するための条件であってもよい。そして、操作者OPが発話している状態であるか発話可能な状態であるかを判定するための条件は、例えば、内部集音装置M2が集音した音の音量が所定レベル以上であることであってもよい。同様に、作業者WKが発話している状態であるか発話可能な状態であるかを判定するための条件は、例えば、外部集音装置M1が集音した音の音量が所定レベル以上であることであってもよい。操作者OPと作業者WKとの間のコミュニケーションに関する条件は、例えば、会話のやり取りの回数(操作者OPによる発話と作業者WKによる発話とが入れ替わった回数)であってもよい。また、他システムでアラートを発する状況が発生していないと判定した場合(ステップST11のNO)、コントローラ30は、今回のアラート強調提示処理を終了させる。
そして、所定の条件が満たされていると判定した場合(ステップST12のYES)、コントローラ30は、アラートを強調して提示する(ステップST13)。一方、所定の条件が満たされていないと判定した場合(ステップST12のNO)、コントローラ30は、アラートを強調せずに提示する(ステップST14)。図示例では、コントローラ30は、操作者OPが発話していると判定した場合にアラートを強調して提示し、操作者OPが発話していないと判定した場合にアラートを強調せずに提示する。
なお、上述の実施形態では、コントローラ30は、所定の制御周期で繰り返し且つ独立してアラート強調提示処理を実行するように構成されている。しかしながら、コントローラ30は、図8に示す動作制限処理の実行中にアラート強調提示処理を実行するように構成されていてもよい。例えば、コントローラ30は、図8に示すステップST2を実行した後で、アラート強調提示処理を実行するように構成されていてもよい。
ここで、図13を参照し、アラートを強調して提示する方法の一例について説明する。図13は、作業機械100の後方で作業者WKが検出されたときに表示される表示画面85の一例を示す図であり、図7に対応している。具体的には、図13の左図は、アラートを強調せずに提示したときの状態を示し、図13の右図は、アラートを強調して提示したときの状態を示す。すなわち、図13の左図は、操作者OPが発話していないときに作業者WKが検出されたときの状態を示し、図13の右図は、操作者OPが発話しているときに作業者WKが検出されたときの状態を示す。
具体的には、図13の右図に示す表示画面85は、作業者WKに対応する人画像423aを囲む枠423bが点滅している点で、図13の左図に示す表示画面85と異なる。また、図13の右図に示す表示画面85は、注意喚起画像表示領域42fにアイコンIC1とは別にアイコンIC2が表示されている点で、図13の左図に示す表示画面85と異なる。なお、アイコンIC1は、作業機械100の動きが制限されていることを操作者OPに知らせるためのアイコンであり、アイコンIC2は、操作者OPが発話しているときに人が検出されたことを操作者OPに知らせるためのアイコンである。
また、コントローラ30は、作業機械100の後方で作業者WKが検出されたときに内部音出力装置SP2から出力される警報音の態様を変化させることにより、アラートを強調して提示してもよい。具体的には、コントローラ30は、図13の右図に示す表示画面85を表示させたときに出力させる警報音の大きさを、図13の左図に示す表示画面85を表示させたときに出力させる警報音の大きさよりも大きくしてもよい。或いは、コントローラ30は、図13の右図に示す表示画面85を表示させたときに出力させる警報音のパターンを、図13の左図に示す表示画面85を表示させたときに出力させる警報音のパターンと異ならせてもよい。
このように、コントローラ30は、操作者OPが発話しているときには、人画像423aの周囲に表示される枠423bを点滅させ、アイコンIC2を追加的に表示させ、且つ、警報音を大きくする。そのため、コントローラ30は、操作者OPが発話していないときに比べ、作業機械100の後方で作業者WKが検出されたことを確実に操作者OPに認識させることができる。その結果、コントローラ30は、作業機械100の周囲にいる作業者WK等の安全性を向上させることができる。なお、コントローラ30は、枠423bを点滅させる代わりに、枠423bを太くしてもよい。
次に、図14を参照し、アラートを強調して提示する方法の別の一例について説明する。図14は、バケット6によって持ち上げた土砂の重量が重すぎたときに表示される表示画面85の一例を示す図であり、図7に対応している。具体的には、図14の左図は、アラートを強調せずに提示したときの状態を示し、図14の右図は、アラートを強調して提示したときの状態を示す。すなわち、図14の左図は、操作者OPが発話していないときに過剰な土砂がバケット6によって持ち上げられたときの状態を示し、図14の右図は、操作者OPが発話しているときに過剰な土砂がバケット6によって持ち上げられたときの状態を示す。
図14に示す例では、表示画面85の下部にはペイロード情報表示領域425が配置されている。ペイロード情報表示領域425は、ペイロードモードに関する情報が表示される領域であり、ダンプ画像425a、第1数値情報画像425b、第2数値情報画像425c、バケット画像425d、土砂画像425e、第3数値情報画像425f、及び、第1テキスト情報画像425gが表示されている。
ダンプ画像425aは、ダンプトラックの側面図を模擬的に表す画像である。また、ダンプ画像425aにおけるダンプトラックの側面図の荷台の部分には、ダンプトラックの荷台の積載量を表す棒グラフの画像が表示される。棒グラフは、ダンプトラックの最大積載量に対する、ダンプトラックの荷台に積載された土砂の積載量の割合を表す。これにより、操作者OPは、ダンプトラックへの土砂の積載状況を直感的に把握することができる。
第1数値情報画像425bは、ダンプトラックの荷台の残積載量を表す数値であり、第2数値情報画像425cは、ダンプトラックの荷台に積載された土砂の積載量を表す数値である。第1数値情報画像425bとして表示される数値は、ダンプトラックの荷台の最大積載量から第2数値情報画像425cに対応する積載量を減算した値に相当する。これにより、操作者OPは、ダンプトラックへの土砂の積載状況を具体的な数値で把握することができる。
バケット画像425dは、バケット6に土砂を掬い上げた状態を模擬的に表す画像である。土砂画像425eは、バケット6の開口部の上に隣接するように描画されている。土砂画像425eは、バケット6に土砂が収容されている場合に表示され、バケット6に土砂が収容されていない場合には表示されない。
第3数値情報画像425fは、バケット6の内部の積載物(例えば、土砂)の重量を表す数値である。これにより、操作者OPは、排土前のバケット6の内部の土砂の重量を把握することができる。
第1テキスト情報画像425gは、ペイロードモードに関するテキスト情報である。このテキスト情報を見ることにより、操作者OPは、ペイロードモードに関する作業の状態を容易に把握することができる。
具体的には、図14の右図に示す表示画面85は、第3数値情報画像425fが点滅している点で、図14の左図に示す表示画面85と異なる。また、図14の右図に示す表示画面85は、注意喚起画像表示領域42fにアイコンIC3とは別にアイコンIC4が表示されている点で、図14の左図に示す表示画面85と異なる。なお、アイコンIC3は、バケット6の内部の土砂を荷台に積載すると、ダンプトラックの荷台に積載された土砂の積載量が最大積載量を超えてしまうこと(過剰積載となること)を操作者OPに知らせるためのアイコンであり、アイコンIC4は、操作者OPが発話しているときにペイロードモードに関する問題が発生していることを操作者OPに知らせるためのアイコンである。
また、図14の右図に示す表示画面85は、第1テキスト情報画像425gにおける文字のサイズ及び文字数(記載内容)が図14の左図に示す表示画面85と異なる。図示例では、コントローラ30は、アラートを強調して提示することにより、すなわち、文字のサイズを大きくし、且つ、文字数を少なく(記載内容を単純化する)ことにより、ペイロードモードに関する現在の状況を操作者OPに確実に認識させるようにしている。
また、コントローラ30は、過剰積載のおそれがあるときに内部音出力装置SP2から出力される警報音の態様を変化させることにより、アラートを強調して提示してもよい。具体的には、コントローラ30は、図14の右図に示す表示画面85を表示させたときに出力させる警報音の大きさを、図14の左図に示す表示画面85を表示させたときに出力させる警報音の大きさよりも大きくしてもよい。或いは、コントローラ30は、図14の右図に示す表示画面85を表示させたときに出力させる警報音のパターンを、図14の左図に示す表示画面85を表示させたときに出力させる警報音のパターンと異ならせてもよい。
このように、コントローラ30は、操作者OPが発話しているときには、過剰積載のおそれがあると判定すると、バケット内の土砂の重量の数値表示を点滅させ、且つ、アイコンIC4を追加的に表示させる。また、コントローラ30は、過剰積載のおそれがある旨を知らせるテキスト画像を大きくし、且つ、警報音を大きくする。そのため、コントローラ30は、操作者OPが発話していないときに比べ、過剰積載のおそれがあることを確実に操作者OPに認識させることができる。
上述のように、本開示の実施形態に係る作業機械100は、図6に示すように、作業機械100の操作者OPの声を内部集音装置M2によって集音して外部音出力装置SP1から作業機械100の操作者OP以外の人(例えば作業者WK)に向けて出力する機能である内部音再生機能、及び、作業機械100の操作者OP以外の人(例えば作業者WK)の声を外部集音装置M1によって集音して内部音出力装置SP2から作業機械100の操作者OPに向けて出力する機能である外部音再生機能の少なくとも一方を含む音声伝達機能の実行中に作業機械100の動きを制限して作業機械100の状態が第1機械状態から第2機械状態に移行するのを制限する動作制限装置OLを備える。なお、操作者OPは、遠隔操作者ROであってもよく、及び、管理センタMCにいる管理者であってもよい。以下の記載においても同様である。
この構成は、作業機械の操作者OPが発話しているとき、或いは、作業機械の操作者OPが作業機械の周囲にいる人の発話を聞いているときの作業の安全性を向上させることができるという効果をもたらす。作業機械の操作者OPが発話しているとき、或いは、作業機械の操作者OPが作業機械の周囲にいる人の発話を聞いているときといった、操作者OPの注意力が低下しやすいときに、作業機械100の動きを抑制できるためである。
また、動作制限装置OLは、内部集音装置M2によって集音された操作者OPの声を外部音出力装置SP1が出力する際、又は、外部集音装置M1によって集音された作業機械100の操作者OP以外の人(例えば作業者WK)の声を内部音出力装置SP2が出力する際に、作業機械100の動きを制限して作業機械100の状態が第1機械状態から第2機械状態に移行するのを制限するように構成されていてもよい。
この構成は、作業の安全性を更に向上させることができるという効果をもたらす。作業機械100は、「音出力装置が人の声を出力しているとき」を「発話が行われているとき」と判定することにより、「作業機械の操作者OPが発話しているとき、或いは、作業機械の操作者OPが作業機械の周囲にいる人の発話を聞いているとき」をより正確に認識できるためである。
また、動作制限装置OLは、図9に示すように、エンジン停止状態からエンジン稼動状態への移行、操作不可状態から操作可能状態への移行、及び、旋回非操作状態から旋回操作状態への移行のうちの少なくとも一つを制限するように構成されていてもよい。
この構成は、作業の安全性を更に向上させることができるという効果をもたらす。発話が行われているときに、エンジンの始動を抑制でき、不注意なレバー操作に基づく作業機械100の動きを抑制でき、或いは、不注意な旋回操作に基づく上部旋回体3の旋回を抑制できるためである。
また、作業機械100は、図7に示すように、動作制限装置OLによって第1機械状態から第2機械状態への移行が制限されたことを通知するように構成されていてもよい。
この構成は、作業の安全性を更に向上させることができるという効果をもたらす。この構成は、作業機械100の制限が行われた理由を操作者OPに知らせることができ、作業機械100の制限が行われた理由が分からずに操作者OPが狼狽してしまうのを抑制できるためである。
また、作業機械100は、図7に示すように、動作制限装置OLによって実行された制限を解除するための方法を通知するように構成されていてもよい。
この構成は、作業の安全性を更に向上させることができるという効果をもたらす。この構成は、作業機械100の動作の制限を解除できずに操作者OPが狼狽してしまうのを抑制できるためである。
また、作業機械100は、作業機械100の操作者OPが発話しているか否か、又は、作業機械100の操作者OP以外の人(例えば作業者WK)が発話しているか否かを判定する制御装置(例えばコントローラ30又は音声コントローラ)を備えていてもよい。そして、動作制限装置OLは、作業機械100の操作者OPが発話している、又は、作業機械100の操作者OP以外の人(例えば作業者WK)が発話していると制御装置(例えばコントローラ30)が判定した場合に、作業機械100の動きを制限して作業機械100の状態が第1機械状態から第2機械状態に移行するのを制限するように構成されていてもよい。
この構成は、作業の安全性を更に向上させることができるという効果をもたらす。この構成は、制御装置を用いた簡易且つ確実な方法により、発話が行われているか否かを判定でき、且つ、動作制限装置OLを用いた簡易且つ確実な方法により、作業機械100の状態が第1機械状態から第2機械状態に移行するのを制限できるためである。
また、制御装置(例えばコントローラ30)は、撮像装置(室内カメラC1)が撮像した画像に基づいて作業機械100の操作者OPが発話しているか否かを判定するように構成されていてもよく、撮像装置S6が撮像した画像に基づいて作業機械100の操作者OP以外の人(例えば作業者WK)が発話しているか否かを判定するように構成されていてもよい。また、制御装置(例えばコントローラ30)は、撮像装置が撮像した画像と集音装置が取得した音声データとに基づいて発話が行われているか否かを判定するように構成されていてもよい。
この構成は、作業の安全性を更に向上させることができるという効果をもたらす。この構成は、集音装置が取得した音声データに基づいて発話が行われているか否かを判定する場合に比べ、発話が行われているか否かをより正確に判定することができるためである。
また、制御装置(例えばコントローラ30)は、作業機械100の操作者OP以外の人(作業者WK)が発話していると判定した場合に、その人が作業機械100に向かって発話しているか否かを判定するように構成されていてもよい。この場合、動作制限装置OLは、その人が作業機械100に向かって発話していると制御装置(例えばコントローラ30)が判定した場合に、作業機械100の動きを制限して作業機械100の状態が第1機械状態から第2機械状態に移行するのを制限するように構成されていてもよい。
この構成は、作業の安全性を向上させながらも、作業機械100の動きが過度に制限されてしまうのを抑制できるという効果をもたらす。この構成は、作業機械100の操作者OP以外の人同士の間で会話が行われているときに作業機械100の動きが不必要に制限されてしまうのを抑制できるためである。
また、作業機械100は、作業機械100の操作者OP以外の人(例えば作業者WK)が発話しているか否かを判定する制御装置(例えばコントローラ30)を備えていてもよい。この場合、外部集音装置M1は、複数のマイクによって構成されていてもよい。そして、動作制限装置OLは、複数のマイクのうちの一つ(例えば前マイクM1F)の出力に基づいて作業機械100の操作者OP以外の人(例えば作業機械100の前方にいる作業者WK)が発話していると判定した場合に、作業機械100の状態が第1機械状態から第2機械状態に移行するのを制限し、複数のマイクのうちの別の一つ(例えば後マイクM1B)の出力に基づいて作業機械100の操作者OP以外の人(例えば作業機械100の後方にいる作業者WK)が発話していると判定した場合に、作業機械100の状態が第1機械状態から第2機械状態に移行するのを制限しないように構成されていてもよい。
この構成は、作業の安全性を向上させながらも、作業機械100の動きが過度に制限されてしまうのを抑制できるという効果をもたらす。この構成は、例えば、クレーンモードにおいて、作業機械100の前方にいる人(例えば玉掛け作業者)が発話していることを理由に作業機械100の動きが不必要に制限されてしまうのを抑制できるためである。或いは、この構成は、作業機械100の周囲にいる人(誘導者)の声によって作業機械100の走行誘導が行われている状況において、その誘導者が発話していることを理由に作業機械100の動きが不必要に制限されてしまうのを抑制できるためである。
また、作業機械100は、内部集音装置M2と、外部音出力装置SP1と、を備えていてもよい。
この構成は、作業の安全性を更に向上させることができるという効果をもたらす。この構成は、内部集音装置M2及び外部音出力装置SP1を用いた簡易且つ確実な方法により、操作者OPの声を作業機械100の周囲に向けて出力することができるためである。
また、作業機械100は、作業機械100の操作者OPが作業機械100の周囲にいる人(例えば作業者WK)に話しかける際に作業機械100の操作者OPが操作する発話ボタンKSを備えていてもよい。
この構成は、作業の安全性を更に向上させることができるという効果をもたらす。この構成は、発話ボタンKSを用いた簡易且つ確実な方法により、操作者OPが望むタイミングで操作者OPの声を作業機械100の周囲に向けて出力することができるためである。
また、本開示の実施形態に係る作業機械100の操作システムSYSは、図11に示すように、作業機械100の操作者(例えば操作者OP、遠隔操作者RO、又は管理センタMCにいる管理者)の声を内部集音装置M2によって集音して外部音出力装置SP1から作業機械100の操作者以外の人(例えば作業者WK又は管理センタMCにいる管理者)に向けて出力する機能である内部音再生機能、及び、作業機械100の操作者以外の人の声を外部集音装置M1によって集音して内部音出力装置SP2から作業機械100の操作者に向けて出力する機能である外部音再生機能の少なくとも一方を含む音声伝達機能の実行中に作業機械100の動きを制限して作業機械100の状態が第1機械状態から第2機械状態に移行するのを制限する動作制限装置OLを備える。また、操作システムSYSは、作業機械100の外部の領域、及び、作業機械100の操作者(操作者OP、遠隔操作者RO、又は管理者)のいる領域のそれぞれに設けられた(集音装置及び音出力装置を含む)集音発音設備によって、それぞれの領域で発生した音を互いの領域に伝達する機能を備えている。
この構成は、操作者等(操作者OP、遠隔操作者RO、又は管理センタMCにいる管理者等)が発話しているとき、或いは、操作者等が他の人(例えば、作業機械の周囲にいる人等)の発話を聞いているときの作業の安全性を向上させることができるという効果をもたらす。操作者等が発話しているとき、或いは、操作者等が他の人の発話を聞いているときといった、操作者等の注意力が低下しやすいときに、作業機械100の動きを抑制できるためである。
以上、本開示の好ましい実施形態が説明された。しかしながら、本開示に係る発明は、上述した実施形態に限定されることはない。上述した実施形態は、本開示に係る発明の範囲を逸脱することなしに、種々の変形、置換等が適用され得る。また、上述した実施形態を参照して説明された特徴のそれぞれは、技術的に矛盾しない限り、適宜に組み合わされてもよい。
本願は、2024年3月11日に出願した日本国特許出願2024-037467号に基づく優先権を主張するものであり、この日本国特許出願の全内容を本願に参照により援用する。
1・・・下部走行体 1C・・・クローラ 1CL・・・左クローラ 1CR・・・右クローラ 2・・・旋回機構 2A・・・旋回油圧モータ 2ML・・・左走行油圧モータ 2MR・・・右走行油圧モータ 3・・・上部旋回体 4・・・ブーム 5・・・アーム 6・・・バケット 7・・・ブームシリンダ 8・・・アームシリンダ 9・・・バケットシリンダ 10・・・運転室 11・・・エンジン 13・・・レギュレータ 14・・・メインポンプ 15・・・パイロットポンプ 17・・・コントロールバルブユニット 26・・・操作装置 26DL・・・左走行レバー 26DR・・・右走行レバー 26L・・・左操作レバー 26PL・・・左走行ペダル 26PR・・・右走行ペダル 26R・・・右操作レバー 27・・・レバーブーツ 28・・・吐出圧センサ 29・・・操作センサ 30・・・コントローラ 31・・・弁 40・・・遠隔コントローラ 42・・・操作装置 43・・・操作センサ 50・・・運転席 51・・・座部 52・・・背もたれ 53L・・・左アームレスト 53R・・・右アームレスト 54L・・・左コンソール 54R・・・右コンソール 55・・・ゲートバー 56・・・窓側コンソール 85・・・表示画面 100・・・作業機械 200・・・管理装置 171~176・・・制御弁 421・・・作業機械状態表示領域 421a・・・方向表示アイコン 421b・・・作業機械アイコン 421c・・・距離表示画像 421e、421f、421g・・・人検出アイコン 422・・・第1画像表示領域 422a・・・人画像 422b・・・枠 422c・・・端部画像 423・・・第2画像表示領域 423a・・・人画像 423b・・・枠 423c・・・カウンタウェイト画像 424・・・情報表示領域 425・・・ペイロード情報表示領域 425a・・・ダンプ画像 425b・・・第1数値情報画像 425c・・・第2数値情報画像 425d・・・バケット画像 425e・・・土砂画像 425f・・・第3数値情報画像 425g・・・第1テキスト情報画像 AT・・・アタッチメント C1、C1E・・・室内カメラ D1・・・表示装置 D1a・・・画像表示部 D1E・・・表示装置 D2・・・入力装置 DL・・・音量ダイヤル DS・・・操作席 G1・・・情報伝達装置 G1B・・・後ライトバー G1F・・・前ライトバー G1L・・・左ライトバー G1R・・・右ライトバー GL・・・ゲートロックレバー HS・・・ホーンボタン IC1~IC4・・・アイコン KS・・・発話ボタン M1・・・外部集音装置 M1B・・・後マイク M1F・・・前マイク M1L・・・左マイク M1R・・・右マイク M2、M2C、M2E・・・内部集音装置 OP・・・操作者 PS・・・測位装置 RC・・・遠隔操作室 RO・・・遠隔操作者 S1・・・ブーム角度センサ S2・・・アーム角度センサ S3・・・バケット角度センサ S4・・・機体傾斜センサ S5・・・旋回センサ S6・・・撮像装置 S6B・・・後カメラ S6F・・・前カメラ S6L・・・左カメラ S6R・・・右カメラ SP1・・・外部音出力装置 SP1B・・・後スピーカ SP1F・・・前スピーカ SP1L・・・左スピーカ SP1R・・・右スピーカ SP2、SP2C、SP2E・・・内部音出力装置 SP2L・・・左室内スピーカ SP2R・・・右室内スピーカ SW・・・スイッチ SYS・・・操作システム T1、T2・・・通信装置 WD・・・ウィンドウ WK・・・作業者
Claims (12)
- 下部走行体と、
前記下部走行体に旋回可能に搭載される上部旋回体と、
作業機械の操作者の声を内部集音装置によって集音して外部音出力装置から作業機械の操作者以外の人に向けて出力する機能である内部音再生機能、及び、作業機械の操作者以外の人の声を外部集音装置によって集音して内部音出力装置から作業機械の操作者に向けて出力する機能である外部音再生機能の少なくとも一方を含む音声伝達機能の実行中に作業機械の動きを制限して作業機械の状態が第1機械状態から第2機械状態に移行するのを制限する動作制限装置と、を備える、
作業機械。 - 前記動作制限装置は、前記内部集音装置によって集音された操作者の声を前記外部音出力装置が出力する際、又は、前記外部集音装置によって集音された作業機械の操作者以外の人の声を前記内部音出力装置が出力する際に、作業機械の動きを制限して作業機械の状態が第1機械状態から第2機械状態に移行するのを制限する、
請求項1に記載の作業機械。 - 前記動作制限装置は、エンジン停止状態からエンジン稼動状態への移行、操作不可状態から操作可能状態への移行、及び、旋回非操作状態から旋回操作状態への移行のうちの少なくとも一つを制限する、
請求項1に記載の作業機械。 - 前記動作制限装置によって前記第1機械状態から前記第2機械状態への移行が制限されたことを通知する、
請求項1に記載の作業機械。 - 前記動作制限装置によって実行された制限を解除するための方法を通知する、
請求項1に記載の作業機械。 - 作業機械の操作者が発話しているか否か、又は、作業機械の操作者以外の人が発話しているか否かを判定する制御装置を備え、
前記動作制限装置は、作業機械の操作者が発話している、又は、作業機械の操作者以外の人が発話していると前記制御装置が判定した場合に、作業機械の動きを制限して作業機械の状態が第1機械状態から第2機械状態に移行するのを制限する、
請求項1に記載の作業機械。 - 前記制御装置は、撮像装置が撮像した画像に基づいて作業機械の操作者が発話しているか否か、又は、作業機械の操作者以外の人が発話しているか否かを判定する、
請求項6に記載の作業機械。 - 前記制御装置は、作業機械の操作者以外の人が発話していると判定した場合に、該人が作業機械に向かって発話しているか否かを判定し、
前記動作制限装置は、該人が作業機械に向かって発話していると前記制御装置が判定した場合に、作業機械の動きを制限して作業機械の状態が第1機械状態から第2機械状態に移行するのを制限する、
請求項6又は請求項7に記載の作業機械。 - 作業機械の操作者以外の人が発話しているか否かを判定する制御装置を備え、
前記外部集音装置は、複数のマイクによって構成され、
前記動作制限装置は、
複数の前記マイクのうちの一つの出力に基づいて作業機械の操作者以外の人が発話していると判定した場合に、作業機械の状態が第1機械状態から第2機械状態に移行するのを制限し、
複数の前記マイクのうちの別の一つの出力に基づいて作業機械の操作者以外の人が発話していると判定した場合に、作業機械の状態が第1機械状態から第2機械状態に移行するのを制限しない、
請求項1に記載の作業機械。 - 前記内部集音装置と、
前記外部音出力装置と、を備える、
請求項1に記載の作業機械。 - 作業機械の操作者が作業機械の周囲にいる人に話しかける際に作業機械の操作者が操作する発話ボタンを備える、
請求項1に記載の作業機械。 - 作業機械の操作者の声を内部集音装置によって集音して外部音出力装置から作業機械の操作者以外の人に向けて出力する機能である内部音再生機能、及び、作業機械の操作者以外の人の声を外部集音装置によって集音して内部音出力装置から作業機械の操作者に向けて出力する機能である外部音再生機能の少なくとも一方を含む音声伝達機能の実行中に作業機械の動きを制限して作業機械の状態が第1機械状態から第2機械状態に移行するのを制限する動作制限装置を備える、
作業機械の操作システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024037467 | 2024-03-11 | ||
| JP2024-037467 | 2024-03-11 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2025192551A1 true WO2025192551A1 (ja) | 2025-09-18 |
Family
ID=97063752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2025/008894 Pending WO2025192551A1 (ja) | 2024-03-11 | 2025-03-10 | 作業機械及び作業機械の操作システム |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2025192551A1 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014182038A (ja) * | 2013-03-19 | 2014-09-29 | Sumitomo Heavy Ind Ltd | 作業機械用周辺監視装置 |
| JP2017203253A (ja) * | 2016-05-09 | 2017-11-16 | 株式会社日立建機ティエラ | 建設機械 |
| JP2019007308A (ja) * | 2017-06-28 | 2019-01-17 | 住友重機械工業株式会社 | ショベル、並びに、ショベルの管理装置及び支援装置 |
| JP7227430B2 (ja) * | 2020-05-29 | 2023-02-21 | 日立建機株式会社 | 作業機械 |
-
2025
- 2025-03-10 WO PCT/JP2025/008894 patent/WO2025192551A1/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014182038A (ja) * | 2013-03-19 | 2014-09-29 | Sumitomo Heavy Ind Ltd | 作業機械用周辺監視装置 |
| JP2017203253A (ja) * | 2016-05-09 | 2017-11-16 | 株式会社日立建機ティエラ | 建設機械 |
| JP2019007308A (ja) * | 2017-06-28 | 2019-01-17 | 住友重機械工業株式会社 | ショベル、並びに、ショベルの管理装置及び支援装置 |
| JP7227430B2 (ja) * | 2020-05-29 | 2023-02-21 | 日立建機株式会社 | 作業機械 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019189203A1 (ja) | ショベル | |
| US20250283305A1 (en) | Work machine and operation system for work machine | |
| JP2022157923A (ja) | ショベル | |
| JP2022154722A (ja) | ショベル | |
| US20250283306A1 (en) | Work machine and control system for work machine | |
| JP7761396B2 (ja) | ショベル、情報処理装置 | |
| US20250075470A1 (en) | Work machine | |
| US20250283307A1 (en) | Work machine and control system for work machine | |
| WO2023190842A1 (ja) | 作業機械 | |
| US20250283300A1 (en) | Work machine and operation support system | |
| WO2025192544A1 (ja) | 作業機械及び作業機械の操作システム | |
| JP2025138417A (ja) | 作業機械及び作業機械の遠隔操作システム | |
| WO2025192546A1 (ja) | 作業機械、操作支援システム | |
| WO2025192549A1 (ja) | 作業機械及び作業機械の操作システム | |
| JP2025138419A (ja) | 作業機械、及び作業機械の制御システム | |
| US20250137230A1 (en) | Shovel, sound output system for shovel, and remote control system for shovel | |
| WO2025192541A1 (ja) | 作業機械及びシステム | |
| JP2025138612A (ja) | 作業機械及び作業機械の操作システム | |
| JP2025138402A (ja) | 作業機械、作業機械の操作システム | |
| WO2025192545A1 (ja) | 作業機械、作業機械システム | |
| WO2025192550A1 (ja) | 作業機械、作業機械システム | |
| WO2025192555A1 (ja) | 作業機械、及び作業機械の操作システム | |
| JP2025138400A (ja) | 作業機械、作業機械の操作システム | |
| JP2025138398A (ja) | 作業機械、作業機械の遠隔操作システム、作業機械の管理システム | |
| WO2025192542A1 (ja) | 作業機械、及び作業機械の制御システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 25769520 Country of ref document: EP Kind code of ref document: A1 |