WO2025192552A1 - 作業機械、作業機械システム - Google Patents

作業機械、作業機械システム

Info

Publication number
WO2025192552A1
WO2025192552A1 PCT/JP2025/008895 JP2025008895W WO2025192552A1 WO 2025192552 A1 WO2025192552 A1 WO 2025192552A1 JP 2025008895 W JP2025008895 W JP 2025008895W WO 2025192552 A1 WO2025192552 A1 WO 2025192552A1
Authority
WO
WIPO (PCT)
Prior art keywords
work machine
sound
collection device
external sound
sound collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/008895
Other languages
English (en)
French (fr)
Inventor
裕一 綾戸
育美 潮▲崎▼
俊介 大槻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Publication of WO2025192552A1 publication Critical patent/WO2025192552A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements

Definitions

  • This disclosure relates to a work machine and a work machine system.
  • Patent Document 1 Sound processing systems suitable for ensuring the safety of people around machinery have been known for some time (see Patent Document 1 below).
  • the sound processing system described in Patent Document 1 has a sound input unit, a risk calculation unit, a sound extraction unit, and a sound output unit.
  • the sound processing system described in Patent Document 1 uses a sound extraction unit to process signals generated from sounds collected by a sound input unit, but it is unable to detect abnormalities in the sound input unit.
  • the present disclosure provides a work machine and work machine system that can detect abnormalities in an external sound collection device that collects sounds around the work machine.
  • One aspect of the present disclosure provides a work machine comprising a lower running body, an upper rotating body rotatably mounted on the lower running body, and a control device that determines whether or not an abnormality exists in an external sound collection device that collects sounds around the upper rotating body based on a signal generated from a predetermined sound collected by the external sound collection device.
  • a work machine system including a work machine having a lower running body and an upper rotating body rotatably mounted on the lower running body, and a control device that determines whether or not there is an abnormality in an external sound collection device that collects sounds around the upper rotating body based on a signal generated from a predetermined sound collected by the external sound collection device.
  • the above aspects of the present disclosure make it possible to provide a work machine and a work machine system that are capable of detecting abnormalities in an external sound collection device that collects sounds around the work machine.
  • FIG. 1 is a side view of a work machine according to an embodiment of the present disclosure
  • FIG. FIG. 2 is a top view of the work machine shown in FIG. 1
  • 2 is a schematic diagram of an external sound collecting device attached to the work machine shown in FIG. 1
  • FIG. 2 is a block diagram showing a schematic configuration of the work machine shown in FIG. 1
  • FIG. 2 is a plan view showing the configuration of a cab of the work machine shown in FIG. 1
  • FIG. 2 is a conceptual diagram of a two-way conversation between an operator and a worker of the work machine shown in FIG. 1
  • FIG. 5 is a functional block diagram of the control device for the work machine shown in FIG. 4 .
  • FIG. 8 is a flow chart illustrating the operation of the control device for the work machine shown in FIG. 7 .
  • FIG. 8 is a flow chart illustrating the operation of the control device for the work machine shown in FIG. 7 .
  • FIG. 8 is a flow chart illustrating the operation of the control device for the work machine shown in FIG. 7 .
  • FIG. 8 is a flow chart illustrating the operation of the control device for the work machine shown in FIG. 7 .
  • 8 is an image diagram showing an image displayed on a display device of the work machine shown in FIG. 7.
  • FIG. 8 is an image diagram showing an image displayed on a display device of the work machine shown in FIG. 7.
  • FIG. 8 is a functional block diagram showing another configuration of the control device for the work machine shown in FIG. 7 .
  • Figure 1 is a side view of the work machine 100
  • Figure 2 is a top view of the work machine 100.
  • the work machine 100 is a shovel.
  • the work machine 100 may also be a machine other than a shovel, such as a crane, asphalt finisher, or forklift.
  • the shovel as the work machine 100 is an excavator equipped with a bucket 6 as an end attachment, but it may also be an applied machine such as a forestry machine equipped with an end attachment other than the bucket 6.
  • +X represents one direction of the X axis that constitutes a three-dimensional Cartesian coordinate system
  • -X represents the other direction of the X axis.
  • +Y represents one direction of the Y axis that constitutes a three-dimensional Cartesian coordinate system
  • -Y represents the other direction of the Y axis.
  • +Z represents one direction of the Z axis that constitutes a three-dimensional Cartesian coordinate system
  • -Z represents the other direction of the Z axis.
  • the +X side of the work machine 100 corresponds to the front side of the work machine 100
  • the -X side of the work machine 100 corresponds to the rear side of the work machine 100.
  • the +Y side of the work machine 100 corresponds to the left side of the work machine 100, and the -Y side of the work machine 100 corresponds to the right side of the work machine 100. Furthermore, the +Z side of the work machine 100 corresponds to the top side of the work machine 100, and the -Z side of the work machine 100 corresponds to the bottom side of the work machine 100. The same applies to the other figures.
  • the work machine 100 comprises a lower running body 1, an upper rotating body 3 mounted on the lower running body 1 so as to be rotatable via a rotating mechanism 2, an attachment AT for performing various tasks, and a driver's cab 10 provided on the upper rotating body 3.
  • the driver's cab 10 is also called a cabin or cab.
  • the front side of the work machine 100 (upper rotating body 3) corresponds to the side of the upper rotating body 3 to which the attachment AT is attached when the work machine 100 is viewed from directly above along the rotation axis of the upper rotating body 3.
  • the left, right, and rear sides of the work machine 100 (upper rotating body 3) correspond to the left, right, and rear, respectively, as seen from the operator seated in the driver's seat in the driver's cab 10.
  • the lower traveling body 1 includes, for example, a pair of left and right crawlers 1C.
  • the crawlers 1C include a left crawler 1CL and a right crawler 1CR.
  • the left crawler 1CL is driven by a left traveling hydraulic motor 2ML
  • the right crawler 1CR is driven by a right traveling hydraulic motor 2MR.
  • the left traveling hydraulic motor 2ML is a traveling drive unit that drives the left crawler 1CL as a driven part, and can rotate the left crawler 1CL.
  • the right traveling hydraulic motor 2MR is a traveling drive unit that drives the right crawler 1CR as a driven part, and can rotate the right crawler 1CR.
  • the traveling drive units may also be electric motors.
  • a boom 4 is rotatably attached to the front center of the upper rotating body 3, an arm 5 is rotatably attached to the tip of the boom 4, and a bucket 6 is rotatably attached to the tip of the arm 5.
  • the boom 4, arm 5, and bucket 6 make up an excavation attachment, which is an example of an attachment AT.
  • the boom 4, arm 5, and bucket 6 are driven by a boom cylinder 7, arm cylinder 8, and bucket cylinder 9, respectively.
  • the bucket 6 is an example of a work tool (end attachment).
  • the bucket 6 is used, for example, for excavation work.
  • another work tool may be attached to the end of the arm 5 depending on the work content, etc.
  • the other work tool may be, for example, a large bucket, a slope bucket, a dredging bucket, or other types of bucket.
  • the other work tool may also be a type of work tool other than a bucket, such as an agitator, breaker, grapple, or lifting magnet.
  • the swing hydraulic motor 2A, left traveling hydraulic motor 2ML, right traveling hydraulic motor 2MR, boom cylinder 7, arm cylinder 8, and bucket cylinder 9 are hydraulic actuators driven by hydraulic oil discharged from a hydraulic pump.
  • the work machine 100 may have all or some of its driven parts, such as the lower traveling body 1, upper rotating body 3, boom 4, arm 5, and bucket 6, electrically driven.
  • the work machine 100 may be a hybrid work machine, an electric work machine, or the like, in which all or some of its driven parts are driven by electric actuators.
  • the work machine 100 is equipped with, for example, an information transmission device G1, an external sound collection device M1, an imaging device S6, an external sound output device SP1, a horn speaker SP3, and an alarm speaker SP4.
  • the imaging device S6 is provided on the upper rotating body 3 or the cab 10, and captures images of the area around the work machine 100 to obtain image information showing the area around the work machine 100.
  • the imaging device S6 includes a front camera S6F, a left camera S6L, a right camera S6R, and a rear camera S6B.
  • the front camera S6F is a camera that captures images in front of the work machine 100, and is attached outside the cab 10, such as on the roof of the cab 10 or on the side of the boom 4.
  • the front camera S6F may also be attached inside the cab 10, for example on the ceiling of the cab 10.
  • the left camera S6L is a camera that captures images to the left of the work machine 100
  • the right camera S6R is a camera that captures images to the right of the work machine 100
  • the rear camera S6B is a camera that captures images to the rear of the work machine 100.
  • the front camera S6F, left camera S6L, right camera S6R, and rear camera S6B are all monocular wide-angle cameras equipped with imaging elements such as CCD or CMOS, and output the captured images to the display device D1 (see Figures 4 and 5). Information about the images captured by the imaging device S6 is also input into the controller 30.
  • the front camera S6F is attached to the roof of the driver's cab 10
  • the left camera S6L is attached to the left end of the top surface of the upper rotating body 3
  • the right camera S6R is attached to the right end of the top surface of the upper rotating body 3
  • the rear camera S6B is attached to the rear end of the top surface of the upper rotating body 3.
  • the imaging device S6 may constitute an object detection device that detects objects around the work machine 100.
  • Objects may be, for example, people, animals, vehicles, construction machinery, buildings, holes, etc.
  • the object detection device may be configured to be able to detect people and non-human objects separately. In other words, the object detection device may be configured to function as a person detection device.
  • the object detection device may be composed of a device other than a camera.
  • the object detection device may be LiDAR.
  • LiDAR is a device that can measure the distance between a point cloud of more than one million points within a monitoring range and the LiDAR (laser source).
  • the object detection device may also be another device that can measure the distance to an object, such as a stereo camera, a range imaging camera, or a millimeter-wave radar.
  • the object detection device may emit multiple signals (such as laser light) toward the object and receive the reflected signals to derive the distance and direction of the object.
  • the object detection device may be a combination of two or more types of devices.
  • the object detection device may be a combination of an imaging device and LiDAR, or a combination of an imaging device and millimeter-wave radar, or a combination of an imaging device and a stereo camera.
  • the external sound collection device M1 is a device located outside the cab 10 that collects external sounds, and is also called a microphone.
  • the external sound collection device M1 is provided on the upper rotating body 3 or the cab 10, and converts sounds (air vibrations) generated around the work machine 100 into mechanical vibrations, which are then converted into electrical signals.
  • the front microphone M1F is attached to the roof of the cab 10, the left microphone M1L is attached to the left end of the top surface of the upper rotating body 3, the right microphone M1R is attached to the right end of the top surface of the upper rotating body 3, and the rear microphone M1B is attached to the rear end of the top surface of the upper rotating body 3.
  • the four external sound collection devices M1 front microphone M1F, left microphone M1L, right microphone M1R, and rear microphone M1B
  • the controller 30 can detect the direction of the sound source based on differences in the sounds collected by each of the four external sound collection devices M1 (for example, differences in volume).
  • an array microphone is used as the external sound collection device M1
  • the direction of the sound source can be detected based on, for example, a phase shift or differences in volume.
  • the four external sound collection devices M1 and the four image capture devices S6 are arranged to correspond to each other.
  • the front microphone M1F is arranged adjacent to the front camera S6F
  • the left microphone M1L is arranged adjacent to the left camera S6L
  • the right microphone M1R is arranged adjacent to the right camera S6R
  • the rear microphone M1B is arranged adjacent to the rear camera S6B.
  • each of the microphones such as the front microphone M1F, left microphone M1L, right microphone M1R, and rear microphone M1B, may be configured integrally with each of the cameras, such as the front camera S6F, left microphone M1L, right microphone M1R, and rear camera S6B.
  • the external sound collection device M1 may include an array microphone configured integrally with the camera.
  • the external sound output device SP1 is a device that is arranged outside the cab 10 and outputs sound toward the periphery of the work machine 100.
  • the external sound output device SP1 is an omnidirectional speaker that is configured to output sound uniformly in all directions.
  • the external sound output device SP1 may also be a directional speaker that outputs sound toward the front.
  • the alarm speaker SP4 is mounted, for example, at the rear of the upper rotating body 3 and located outside the operator's cab 10, near the left traveling hydraulic motor 2ML.
  • the alarm speaker SP4 for example, emits an alarm sound while the work machine 100 is traveling, to alert workers WK and others around the work machine 100.
  • the information transmission device G1 is a device for communicating the status of the work machine 100 to those outside the work machine 100.
  • the information transmission device G1 is provided on the upper rotating body 3 or the cab 10, and is configured to be able to communicate the status of the work machine 100 to workers around the work machine 100.
  • the information transmission device G1 is a light-emitting device, and includes a front light bar G1F, a left light bar G1L, a right light bar G1R, and a rear light bar G1B.
  • the front light bar G1F is attached to the roof of the cab 10
  • the left light bar G1L is attached to the left end of the top surface of the upper rotating body 3
  • the right light bar G1R is attached to the right end of the top surface of the upper rotating body 3
  • the rear light bar G1B is attached to the rear end of the top surface of the upper rotating body 3.
  • the four information transmission devices G1 front light bar G1F, left light bar G1L, right light bar G1R, and rear light bar G1B
  • the controller 30 can communicate the status of the work machine 100 to workers and others located at the front, left, right, and rear of the work machine 100.
  • the four information transmission devices G1 and the four external sound collection devices M1 are arranged to correspond to each other.
  • the front light bar G1F is arranged adjacent to the front microphone M1F
  • the left light bar G1L is arranged adjacent to the left microphone M1L
  • the right light bar G1R is arranged adjacent to the right microphone M1R
  • the rear light bar G1B is arranged adjacent to the rear microphone M1B.
  • Figure 3 is a diagram showing an example configuration of an external sound collection device M1 and information transmission device G1 attached to a work machine 100.
  • Figure 3 is a perspective view of a left microphone M1L and left light bar G1L attached to a housing having a substantially rectangular parallelepiped shape. Note that the following explanation referring to Figure 3 relates to the combination of the left microphone M1L and left light bar G1L, but also applies to the combination of the front microphone M1F and front light bar G1F, the combination of the right microphone M1R and right light bar G1R, and the combination of the rear microphone M1B and rear light bar G1B.
  • the left microphone M1L and left light bar G1L are arranged on the left side of the approximately rectangular parallelepiped housing so as to face to the left of the work machine 100.
  • This arrangement allows the left microphone M1L to efficiently collect sounds generated to the left of the work machine 100, and the left light bar G1L to efficiently communicate the status of the work machine 100 to an operator on the left of the work machine 100.
  • the left microphone M1L can pick up the voice of an operator on the left of the work machine 100, and the left light bar G1L can emit light in a predetermined color to notify the operator that the left microphone M1L has picked up the operator's voice.
  • an operator on the left of the work machine 100 who speaks into the left microphone M1L can confirm that their voice has reached the left microphone M1L (i.e., the operator of the work machine 100) by looking at the left light bar G1L emitting light in a predetermined color.
  • the information transmission device G1 may be provided at the top of each of the four side surfaces of the cab 10 (see Figure 6).
  • the information transmission device G1 may be configured so that the front light bar G1F is attached to the top of the front of the cab 10, the left light bar G1L is attached to the top of the left side of the cab 10, the right light bar G1R is attached to the top of the right side of the cab 10, and the rear light bar G1B is attached to the top of the rear side of the cab 10.
  • the information transmission device G1 may also be a single rotating light such as a Nico Torch attached to the top surface of the cab 10, or a display device such as an LCD display or an organic EL display.
  • the controller 30 is an example of a control device, and is composed of a computer including, for example, a CPU, a volatile memory device, a non-volatile memory device, and various input/output interfaces. The controller 30 then realizes various functions by, for example, reading a program from the non-volatile memory device, loading it into the volatile memory device, and having the CPU execute the program. In the illustrated example, the controller 30 is configured to realize various functions and control the work machine 100.
  • the various functions include, for example, a machine guidance function that guides the operator in manually operating the work machine 100.
  • the various functions may also include a contact avoidance function that automatically or autonomously operates or stops the work machine 100 to avoid contact between the work machine 100 and an object present within the monitoring range around the work machine 100.
  • the boom angle sensor S1 detects the boom angle, which is the rotation angle of the boom 4 relative to the upper rotating body 3.
  • the arm angle sensor S2 detects the arm angle, which is the rotation angle of the arm 5 relative to the boom 4.
  • the bucket angle sensor S3 detects the bucket angle, which is the rotation angle of the bucket 6 relative to the arm 5.
  • Each of the boom angle sensor S1, arm angle sensor S2, and bucket angle sensor S3 may be, for example, a rotary encoder, an acceleration sensor, a six-axis sensor, an IMU (Inertial Measurement Unit), a potentiometer using a variable resistor, a cylinder stroke sensor that detects the stroke amount of a hydraulic cylinder, etc.
  • a rotary encoder for example, a rotary encoder, an acceleration sensor, a six-axis sensor, an IMU (Inertial Measurement Unit), a potentiometer using a variable resistor, a cylinder stroke sensor that detects the stroke amount of a hydraulic cylinder, etc.
  • the machine body tilt sensor S4 detects the tilt state of the machine body (undercarriage 1 or upper rotating body 3) relative to the horizontal plane.
  • the machine body tilt sensor S4 is attached, for example, to the upper rotating body 3, and detects the tilt angle of the work machine 100 (i.e., the upper rotating body 3) around two axes in the forward/backward and left/right directions.
  • the machine body tilt sensor S4 may be, for example, an acceleration sensor, a six-axis sensor, or an IMU.
  • the detection signal corresponding to the tilt angle detected by the machine body tilt sensor S4 is input into the controller 30.
  • the rotation sensor S5 outputs information related to the rotation of the upper rotating body 3.
  • the rotation sensor S5 detects, for example, the rotation angular velocity of the upper rotating body 3 relative to the lower running body 1.
  • the rotation sensor S5 may also detect the rotation angle.
  • the rotation sensor S5 may be, for example, a gyro sensor, resolver, or rotary encoder.
  • the detection signal corresponding to the rotation angle or rotation angular velocity of the upper rotating body 3 detected by the rotation sensor S5 is input to the controller 30.
  • the positioning device PS measures the position of the upper rotating body 3.
  • the positioning device PS is, for example, a GNSS (Global Navigation Satellite System) compass, and detects the position and orientation of the upper rotating body 3. Detection signals corresponding to the position and orientation of the upper rotating body 3 are input into the controller 30. The function of detecting the orientation of the upper rotating body 3 may be achieved by a direction sensor attached to the upper rotating body 3.
  • GNSS Global Navigation Satellite System
  • the cab 10 is a compartment space in which the operator rides, and is located on the front left side of the upper rotating body 3. However, if the work machine 100 is remotely controlled or operates fully automatically, the cab 10 may be omitted.
  • Communication device T1 communicates with external devices via a communication network, such as a mobile communication network, a satellite communication network, or the Internet network.
  • Communication device T1 is, for example, a mobile communication module compatible with mobile communication standards such as LTE (Long Term Evolution), 4G (4th Generation), or 5G (5th Generation), a communication module compatible with short-range wireless communication standards such as Wi-Fi (registered trademark) or Bluetooth (registered trademark), or a satellite communication module for connecting to a satellite communication network.
  • the work machine 100 operates actuators in response to operations by an operator in the cab 10, driving driven parts such as the lower traveling body 1, upper rotating body 3, boom 4, arm 5, and bucket 6.
  • the work machine 100 may be configured so that it can be remotely operated from outside the work machine 100.
  • the inside of the cab 10 may be unmanned.
  • the work machine 100 may operate the actuators automatically, regardless of the operation performed by the operator. This allows the work machine 100 to realize a function that automatically operates at least some of the driven parts, such as the lower traveling body 1, upper rotating body 3, boom 4, arm 5, and bucket 6, i.e., a so-called "machine control function.”
  • Figure 4 is a diagram showing an example of the configuration of a work machine 100.
  • the mechanical power transmission system, hydraulic oil lines, pilot lines, and electrical control system are indicated by double lines, thick solid lines, thick dashed lines, and dotted lines, respectively.
  • the drive system of the work machine 100 includes a power source 11, a regulator 13, a main pump 14, and a control valve unit 17.
  • the hydraulic drive system of the work machine 100 also includes hydraulic actuators such as a swing hydraulic motor 2A, a left traveling hydraulic motor 2ML, a right traveling hydraulic motor 2MR, a boom cylinder 7, an arm cylinder 8, and a bucket cylinder 9.
  • the power source 11 is, for example, an engine, and is mounted at the rear of the upper rotating body 3.
  • the power source of the work machine 100 may be a combination of a power source such as a battery or fuel cell and an electric motor. Specifically, the power source 11 rotates at a predetermined target speed under direct or indirect control by the controller 30, and drives the main pump 14 and pilot pump 15.
  • the power source 11 is, for example, a diesel engine that uses diesel as fuel.
  • the power source 11 may also be a gasoline engine, a hydrogen engine, or the like.
  • the regulator 13 controls the discharge rate of the main pump 14.
  • the regulator 13 controls the discharge rate of the main pump 14 by adjusting the angle (tilting angle) of the swash plate of the main pump 14 in response to a control command from the controller 30.
  • the main pump 14 is mounted, for example, at the rear of the upper rotating body 3, similar to the power source 11, and supplies hydraulic oil to the control valve unit 17 through a hydraulic oil line.
  • the main pump 14 is a variable displacement hydraulic pump.
  • the control valve unit 17 is one of the hydraulic control devices that controls the hydraulic system in the work machine 100.
  • the control valve unit 17 includes control valves 171-176.
  • the control valve unit 17 is configured to selectively supply hydraulic oil discharged by the main pump 14 to one or more hydraulic actuators via the control valves 171-176.
  • the control valves 171-176 control the flow rate of hydraulic oil flowing from the main pump 14 to the hydraulic actuators, and the flow rate of hydraulic oil flowing from the hydraulic actuators to the hydraulic oil tank.
  • the hydraulic actuators include a boom cylinder 7, an arm cylinder 8, a bucket cylinder 9, a left traveling hydraulic motor 2ML, a right traveling hydraulic motor 2MR, and a swing hydraulic motor 2A.
  • control valve 171 corresponds to the swing hydraulic motor 2A
  • control valve 172 corresponds to the right traveling hydraulic motor 2MR
  • control valve 173 corresponds to the left traveling hydraulic motor 2ML
  • control valve 174 corresponds to bucket cylinder 9
  • control valve 175 corresponds to boom cylinder 7
  • control valve 176 corresponds to arm cylinder 8.
  • the pilot pump 15 is an example of a pilot pressure generating device, and is configured to supply hydraulic oil to hydraulic control devices via a pilot line.
  • the pilot pump 15 is a fixed displacement hydraulic pump.
  • the pilot pressure generating device may also be realized by the main pump 14. That is, the main pump 14 may have the function of supplying hydraulic oil to the control valve unit 17 via a hydraulic oil line, as well as the function of supplying hydraulic oil to various hydraulic control devices via a pilot line. In this case, the pilot pump 15 may be omitted.
  • the discharge pressure sensor 28 is configured to detect the discharge pressure of the main pump 14. In the illustrated example, the discharge pressure sensor 28 outputs the detected value to the controller 30.
  • the operation sensor 29 is configured to detect the operation content of the operator using the operating device 26.
  • the operation sensor 29 detects the operation direction and operation amount of the operating device 26 corresponding to each actuator and outputs the detected value to the controller 30.
  • the controller 30 can control the opening area of the valve 31 according to the output of the operation sensor 29.
  • the controller 30 then supplies the hydraulic oil discharged from the pilot pump 15 to the pilot port of the corresponding control valve in the control valve unit 17.
  • the pressure of the hydraulic oil supplied to each pilot port is, in principle, a pressure that corresponds to the operation direction and operation amount of the operating device 26 corresponding to each hydraulic actuator.
  • the operating device 26 is configured to supply the hydraulic oil discharged from the pilot pump 15 to the pilot port of the corresponding control valve in the control valve unit 17.
  • Valve 31 which functions as a machine control control valve, is placed in a pipe connecting the pilot pump 15 and the pilot port of the control valve in the control valve unit 17, and is configured so that the flow path area of that pipe can be changed.
  • valve 31 is a solenoid valve that operates in response to control commands output by controller 30. Therefore, controller 30 can use valve 31 to adjust the pilot pressure acting on the pilot port of the control valve, regardless of the operation of the operating device 26 by the operator.
  • the controller 30 can operate the hydraulic actuator corresponding to a specific operating device 26 even when no operation is being performed on that specific operating device 26.
  • the control system of the work machine 100 includes a controller 30, a display device D1, an input device D2, a horn button HS, a talk button KS, an external sound collection device M1, an internal sound collection device M2, an external sound output device SP1, an internal sound output device SP2, an external volume dial DL1, an internal volume dial DL2, a switch SW, and a communication device T1.
  • the controller 30 is configured to output control commands to the regulator 13 as necessary, thereby changing the discharge rate of the main pump 14.
  • controller 30 may be configured to perform control related to a machine guidance function that guides (directs) the operator in manually operating the work machine 100 via the operating device 26. Further, the controller 30 may be configured to perform control related to a machine control function that automatically assists the operator in manually operating the work machine 100 via the operating device 26.
  • controller 30 may be realized by other controllers (control devices). That is, the functions of controller 30 may be realized in a distributed manner by multiple controllers.
  • the machine guidance function and machine control function may be realized by a dedicated controller (control device).
  • Figure 5 is a top view of the interior of the cab 10.
  • the work machine 100 is equipped with a driver's seat 50, an operating device 26, a display device D1, and other devices that are arranged inside the cab 10.
  • a door for getting on and off is provided on the left side of the driver's seat 50. The operator can open the door to enter the cab 10.
  • the driver's seat 50 is located in the center of the driver's cab 10 when viewed from above.
  • the driver's seat 50 includes a seat portion 51 on which the operator sits and a backrest 52.
  • the driver's seat 50 is a reclining seat, and the tilt angle of the backrest 52 is adjustable.
  • a left armrest 53L is located on the left side of the driver's seat 50, and a right armrest 53R is located on the right side.
  • the left armrest 53L and right armrest 53R are rotatably supported by the backrest 52.
  • a left console 54L is located on the left side of the driver's seat 50, and a right console 54R is located on the right side.
  • the left console 54L and the right console 54R extend in the front-to-rear direction.
  • the driver's seat 50 is slidable in the front-to-rear direction.
  • the driver's seat 50 may also be configured to be slidable in the front-to-rear direction together with the left console 54L and the right console 54R.
  • the left armrest 53L is positioned on top of the left console 54L.
  • the right armrest 53R is positioned on top of the right console 54R.
  • the left armrest 53L is positioned so as to cover part of the left console 54L in a top view.
  • the right armrest 53R is positioned so as to cover part of the right console 54R in a top view.
  • the operating device 26 includes a left operating lever 26L, a right operating lever 26R, a left travel pedal 26PL, a right travel pedal 26PR, a left travel lever 26DL, and a right travel lever 26DR.
  • the left operating lever 26L is provided in front of the left console 54L.
  • the right operating lever 26R is provided in front of the right console 54R.
  • An operator seated in the driver's seat 50 can operate the left operating lever 26L while holding it with his left hand, and can operate the right operating lever 26R while holding it with his right hand.
  • An operator seated in the driver's seat 50 can operate the left operating lever 26L with his left hand to drive the arm cylinder 8 and swing hydraulic motor 2A.
  • An operator seated in the driver's seat 50 can also operate the right operating lever 26R with his right hand to drive the boom cylinder 7 and bucket cylinder 9.
  • the bases of the left operating lever 26L and right operating lever 26R are covered with lever boots 27.
  • the left travel pedal 26PL and right travel pedal 26PR are located on the floor in front of the driver's seat 50.
  • An operator seated in the driver's seat 50 can operate the left travel pedal 26PL with their left foot to drive the left travel hydraulic motor 2ML.
  • an operator seated in the driver's seat 50 can operate the right travel pedal 26PR with their right foot to drive the right travel hydraulic motor 2MR.
  • the left travel lever 26DL and right travel lever 26DR are located between the left travel pedal 26PL and right travel pedal 26PR in a top view.
  • the left travel lever 26DL and right travel lever 26DR extend upward from the floor in front of the driver's seat 50.
  • An operator seated in the driver's seat 50 can drive the left travel hydraulic motor 2ML by gripping and operating the left travel lever 26DL with their left hand, in the same way as operating the left travel pedal 26PL.
  • an operator seated in the driver's seat 50 can drive the right travel hydraulic motor 2MR by gripping and operating the right travel lever 26DR with their right hand, in the same way as operating the right travel pedal 26PR.
  • the left travel lever 26DL and right travel lever 26DR are positioned so that the operator can operate the left travel lever 26DL and right travel lever 26DR simultaneously with one hand.
  • the horn button HS is a button that the operator of the work machine 100 operates to sound the horn.
  • the horn button HS is a knob switch provided at the tip of the left operating lever 26L.
  • the talk button KS is an operating unit connected to the controller 30, which is a control device. Based on the operation state of the talk button KS, the controller 30 switches between a state in which the operator OP of the work machine 100 speaks to a target person, such as a worker WK, around the work machine 100, and a state in which the target person speaks to the operator OP of the work machine 100 (see Figure 6).
  • the state in which the operator OP speaks to the target person is a state in which sound based on a signal generated from sound collected by the internal sound collection device M2 is output from the external sound output device SP1.
  • the state in which the target person speaks to the operator OP is a state in which sound based on a signal generated from sound collected by the external sound collection device M1 is output from the internal sound output device SP2.
  • the switch SW is a button that switches the sound output function on and off when pressed.
  • the specific function of the switch SW has been described above, so a detailed explanation will be omitted.
  • the controller 30 of the work machine 100 receives a signal from the switch SW indicating that it has been pressed, the controller 30 turns the sound output function on.
  • the external volume dial DL1 In addition to adjusting the volume of the sound output from the external sound output device SP1, the external volume dial DL1 also functions as a push button switch. Whether or not the external volume dial DL1 in this embodiment is pressed determines whether or not to speak to workers around the work machine 100. In other words, pressing the external volume dial DL1 functions as a speech button similar to the speech button KS on the knob switch shown in FIG. 5. In other words, when the controller 30 of the work machine 100 receives a signal indicating that the external volume dial DL1 (speech button) has been pressed, it becomes possible to control the output from the external sound output device SP1 of the sound collected by the internal sound collection device M2 (including the voice emitted by the operator OP).
  • the internal volume dial DL2 is configured to adjust the volume of the sound output by the internal sound output device SP2. Furthermore, the volume of the sound output by each internal sound output device SP2 may be configured to be adjustable using a device other than the internal volume dial DL2, such as a touch panel attached to the display device D1.
  • the internal volume dial DL2 may be configured to be infinitely rotatable in both the clockwise and counterclockwise directions. This is to accommodate cases where volume adjustment using the internal volume dial DL2 and volume adjustment using a device other than the internal volume dial DL2 are used in combination.
  • the internal volume dial DL2 In addition to adjusting the volume output from the internal sound output device SP2, the internal volume dial DL2 also functions as a push button switch. Depending on whether the internal volume dial DL2 in this embodiment is pressed, the sound output can be muted or not.
  • Switch SW is a button that switches the sound output function on and off when pressed.
  • the specific function of switch SW is as described above, so a detailed explanation will be omitted.
  • the controller 30 turns the sound output function on.
  • the external volume dial DL1 In addition to adjusting the volume of the sound output from the external sound output device SP1, the external volume dial DL1 also functions as a push button switch. Depending on whether the external volume dial DL1 in this embodiment is pressed, it is possible to switch between speaking to workers around the work machine 100 and not. In other words, the external volume dial DL1 functions as a talk button KS.
  • the controller 30 of the work machine 100 receives a signal indicating that the external volume dial DL1 (speak button KS) has been pressed, it is possible to control the output from the external sound output device SP1 of the sound collected by the internal sound collection device M2 (including the sound emitted by the operator OP).
  • the controller 30 of the work machine 100 receives a signal indicating that the internal volume dial DL2 has been pressed while the sound output function is on, it mutes the sound being output. This causes the controller 30 to stop control over the output from the internal sound output device SP2 of the sound collected by the external sound collection device M1 (including the sound emitted by the worker WK present around the work machine 100).
  • the conditions under which the sound output function becomes available are not particularly limited and can be determined depending on the implementation.
  • the controller 30 of the work machine 100 can switch the sound output function on and off in response to a signal from the switch SW only when the power source 11 of the work machine 100 is operating, and can also switch whether or not to speak to the worker in response to a signal indicating that the external volume dial DL1 has been pressed. Therefore, when the power source 11 of the work machine 100 is operating, the controller 30 can control the output of sound collected by the external sound collection device M1 from the internal sound output device SP2, and can also control the output of sound collected by the internal sound collection device M2 from the external sound output device SP1.
  • the controller 30 When the power source 11 is not operating, the controller 30 inhibits the output of sound collected by the external sound collection device M1 from the internal sound output device SP2, and inhibits the output of sound collected by the internal sound collection device M2 from the external sound output device SP1.
  • two-way conversation is possible when the power source 11 of the work machine 100 is operating. Therefore, while the operator is working with the work machine 100, they can communicate with people around the work machine 100, thereby improving work efficiency.
  • the controller 30 can reduce power consumption by limiting the use of the sound output function to when the power source 11 of the work machine 100 is operating.
  • the controller 30 of the work machine 100 can switch the sound output function on and off in response to a signal from the switch SW only when the work machine 100 is in the key-on state (including when the power source 11 of the work machine 100 is operating), and can switch whether or not to speak to the worker in response to a signal indicating that the external volume dial DL1 has been pressed.
  • peripheral devices e.g., air conditioners, radio tuners, etc.
  • the controller 30 can control the output of sound collected by the external sound collection device M1 from the internal sound output device SP2, and can also control the output of sound collected by the internal sound collection device M2 from the external sound output device SP1.
  • the controller 30 inhibits control of the internal sound output device SP2 to output sound collected by the external sound collection device M1, and inhibits control of the external sound output device SP1 to output sound collected by the internal sound collection device M2.
  • two-way conversation is possible when the work machine 100 is in the key-on state. Therefore, when the work machine 100 is not performing work, the operator can easily communicate with people present in the vicinity of the work machine 100, even during pre-work meetings, for example, thereby improving work efficiency.
  • the controller 30 of the work machine 100 may be able to switch the sound output function on and off in response to a signal from the switch SW only when the gate lock lever GL of the work machine 100 is in the second operating position and the gate bar 55 is in a passage-prohibiting state, and may be able to switch whether or not to speak to the worker in response to a signal indicating that the external volume dial DL1 has been pressed.
  • controller 30 of the work machine 100 may be able to switch the sound output function on and off in response to a signal from the switch SW when the gate lock lever GL of the work machine 100 is in the first operating position and the gate bar 55 is in a passage-allowing state, and may be able to switch whether or not to speak to the worker in response to a signal indicating that the external volume dial DL1 has been pressed.
  • the controller 30 of the work machine 100 can switch the sound output function on and off in response to a signal from the internal volume dial DL2, even when the work machine 100 is in a key-off state, in other words, when the power source 11 is not operating and power is not being supplied to peripheral devices, etc., provided on the work machine 100.
  • the controller 30 can control the output of sound collected by the external sound collection device M1 from the internal sound output device SP2, and can also control the output of sound collected by the internal sound collection device M2 from the external sound output device SP1.
  • the work machine 100 enables two-way conversation at any time. This can prevent situations where the operator is speaking but those around him/her cannot hear, making communication easier.
  • the switch SW is an example of an operating device for switching the operating state of the conversation function.
  • the switch SW is provided on the top surface of the right console 54R.
  • the switch SW may also be one of the input devices D2, may be realized by a touch panel provided on the display device D1, or may be a knob switch. For example, when the switch SW is on, the sound collected by the external sound collection device M1 is output from the internal sound output device SP2, and when the switch SW is off, the output of the sound collected by the external sound collection device M1 from the internal sound output device SP2 is stopped (muted).
  • the conversation function is a function for realizing conversation between the operator OP of the work machine 100 and a worker WK located around the work machine 100, as shown in Figure 6.
  • Figure 6 is a perspective view of the work machine 100 on which the operator OP is riding and the worker WK located on the front left of the work machine 100.
  • Figure 6 shows how the voice of the operator OP is collected by the internal sound collection device M2 and output from the external sound output device SP1, and how the voice of the worker WK is collected by the external sound collection device M1 and output from the internal sound output device SP2.
  • the controller 30 outputs the sound collected by the external sound collection device M1 to the internal sound output device SP2, and outputs the sound collected by the internal sound collection device M2 to the external sound output device SP1.
  • the external-internal transfer function, which outputs the sound collected by the external sound collection device M1 to the internal sound output device SP2, and the internal-external transfer function, which outputs the sound collected by the internal sound collection device M2 to the external sound output device SP1 may be performed simultaneously or alternately.
  • an information transmission device G1 is provided at the top of each of the four side surfaces of the cab 10.
  • the front light bar G1F provided at the top of the front of the cab 10 emits green light
  • the left light bar G1L provided at the top of the left surface of the cab 10 emits white light.
  • the front light bar G1F emitting green light has a dot pattern attached. When a worker WK sees the front light bar G1F emitting green light, he or she can recognize that his or her voice is being detected by the front microphone M1F. Note that, for clarity, other devices such as the imaging device S6 are not shown in Figure 6.
  • the operating states of the conversation function include an ON state (the state shown in Figure 6) in which conversation between the operator OP and worker WK is possible, and an OFF state in which conversation between the operator OP and worker WK is not possible.
  • the operating states of the conversation function may additionally include at least one of an audible state (with respect to the operator OP) in which the operator OP can hear the voice of the worker WK but the worker WK cannot hear the voice of the operator OP, and a speechable state (with respect to the operator OP) in which the worker WK can hear the voice of the operator OP but the operator OP cannot hear the voice of the worker WK.
  • switch SW when switch SW is operated to switch the operation state of the conversation function to the ON state, external sound collection device M1, external sound output device SP1, internal sound collection device M2, and internal sound output device SP2 become available for use. Conversely, when switch SW is operated to switch the operation state of the conversation function to the OFF state, external sound collection device M1, external sound output device SP1, internal sound collection device M2, and internal sound output device SP2 become unavailable.
  • switch SW when switch SW is operated to switch the operating state of the conversation function to a listening state, external sound collection device M1 and internal sound output device SP2 become available for use. Furthermore, when switch SW is operated to switch the operating state of the conversation function to a speaking state, external sound output device SP1 and internal sound collection device M2 become available for use.
  • the operator OP speaks while pressing the speak button KS when the internal sound collection device M2 is available.
  • the controller 30 then causes the external sound output device SP1 to output a sound based on a signal generated from the sound collected by the internal sound collection device M2. This allows the operator OP to speak to the worker WK using the internal sound collection device M2 and the external sound output device SP1.
  • the operator OP waits without pressing the talk button KS.
  • the controller 30 then causes the internal sound output device SP2 to output a sound based on a signal generated from the sound collected by the external sound collection device M1. This allows the operator OP to use the external sound collection device M1 and the internal sound output device SP2 to hear the sounds around the work machine 100, including the voice of the worker WK.
  • the work machine 100 has the function of transmitting sounds from the external area outside the work machine 100 and the operation area where the operator OP is located, using sound collection and generation equipment provided in each of these areas.
  • the operation area includes, for example, the interior of the driver's cab 10 and a remote control room.
  • the sound collection and generation equipment in the external area includes an external sound collection device M1 and an external sound output device SP1
  • the sound collection and generation equipment in the operation area includes an internal sound collection device M2 and an internal sound output device SP2.
  • Figure 7 is a functional block diagram of the controller 30 of the work machine 100 shown in Figure 4.
  • Figure 8A is a flow diagram illustrating an example of the operation of the controller 30 shown in Figure 7.
  • the controller 30 also functions as a control device that determines whether or not there is an abnormality in the external sound collection device M1 based on, for example, signals AS1F, AS1L, AS1R, and AS1B generated from predetermined sounds collected by the external sound collection device M1.
  • the controller 30 may be composed of, for example, multiple control devices, or may be composed of a single control device.
  • the controller 30 has, for example, an external signal processing unit 301, an internal signal processing unit 302, a signal output unit 303, and an abnormality determination unit 304.
  • Each of these units of the controller 30 represents, for example, each function of the controller 30.
  • each function of the controller 30 is realized, for example, by the CPU of the controller 30 reading a program stored in a non-volatile storage device, loading it into a volatile storage device, and executing it.
  • the external signal processing unit 301 acquires and processes signals AS1F, AS1L, AS1R, and AS1B generated from sounds around the work machine 100 collected by an external sound collection device M1 located outside the cab 10 of the work machine 100.
  • the external signal processing unit 301 outputs, for example, the processed signal PS1 to the signal output unit 303.
  • the processing performed by the external signal processing unit 301 on the sound signals AS1F, AS1L, AS1R, and AS1B acquired from the external sound collection device M1 includes, for example, noise reduction processing.
  • the internal signal processing unit 302 acquires and processes a signal AS2 generated from sound (such as the voice of the operator OP) inside the cab 10 collected by an internal sound collection device M2 arranged inside the cab 10 of the work machine 100.
  • the internal signal processing unit 302 outputs the processed signal PS2 to the signal output unit 303.
  • the processing performed on the sound signal AS2 acquired by the internal signal processing unit 302 includes, for example, noise reduction processing.
  • the signal output unit 303 outputs output signals OS2L, OS2R based on the signal PS1 input from the external signal processing unit 301 to the internal sound output device SP2 located inside the driver's cab 10.
  • the signal output unit 303 amplifies or attenuates the output signals OS2L, OS2R in response to, for example, the operation of the internal volume dial DL2 by the operator OP. This allows sounds based on the sound signals AS1F, AS1L, AS1R, AS1B collected outside the driver's cab 10 to be output at an appropriate volume from the internal sound output device SP2 located inside the driver's cab 10, allowing the operator OP to hear them.
  • the signal output unit 303 outputs, for example, an output signal OS1 based on the signal PS2 input from the internal signal processing unit 302 to an external sound output device SP1 located outside the cab 10.
  • the signal output unit 303 amplifies or attenuates the output signal OS1 in response to, for example, the operation of the external volume dial DL1 by the operator OP. This allows sound based on the sound signal AS2 collected inside the cab 10 to be output at an appropriate volume from the external sound output device SP1 located outside the cab 10, so that it can be heard by workers WK and others around the work machine 100.
  • the abnormality determination unit 304 determines whether or not there is an abnormality in the external sound collection device M1 based on the signals AS1F, AS1L, AS1R, and AS1B generated from the predetermined sound collected by the external sound collection device M1.
  • the abnormality determination unit 304 uses as the predetermined sound, for example, the sound of the power source 11, the horn sound of the horn speaker SP3, the test sound output from the external sound output device SP1, or the sound of idling if the power source 11 is an engine.
  • the predetermined sound may be, for example, an alarm sound output from the alarm speaker SP4.
  • the controller 30 starts the processing flow shown in FIG. 8A, for example, when the start switch of the work machine 100 is turned on and the work machine 100 is started. By executing this processing flow, the controller 30 determines whether or not there is an abnormality in the external sound collection device M1 based on a signal generated from a predetermined sound collected by the external sound collection device M1. Note that the controller 30 may, for example, interrupt the processing flow of FIG. 8A while the work machine 100 is working, and pause the determination of whether or not there is an abnormality in the external sound collection device M1.
  • the controller 30 executes, for example, process P101, which confirms whether or not the test should be performed, and process P102, which accepts whether or not the test should be performed.
  • process P101 the abnormality determination unit 304 of the controller 30 notifies the operator OP, for example, via the display device D1 and the internal sound output device SP2, that a test of the external sound collection device M1 will be performed.
  • the controller 30 executes, for example, process P103 to determine whether or not a test of the external sound collection device M1 can be performed.
  • the abnormality determination unit 304 determines whether or not a test of the external sound collection device M1 can be performed, for example, based on the execution/non-execution input by the operator OP in the previous process P102. Specifically, if the operator OP selects and inputs "not executable" in the previous process P102, the abnormality determination unit 304 determines, for example, that execution is not possible (NO) in process P103. In this case, the controller 30 ends the processing flow shown in FIG. 8A without testing the external sound collection device M1.
  • the abnormality determination unit 304 determines, for example, that the test can be performed (YES) in process P103. In this case, the controller 30 executes, for example, process P104, which determines the content of the test to be performed on the external sound collection device M1. In this process P104, the abnormality determination unit 304 determines, for example, a predetermined sound for determining whether there is an abnormality in the external sound collection device M1.
  • the predetermined sound used to determine whether or not there is an abnormality in the external sound collection device M1 may be set in advance, for example, as a horn sound from the horn speaker SP3 or a test sound output from the external sound output device SP1, and stored in the non-volatile memory device of the controller 30.
  • the abnormality determination unit 304 determines that the predetermined sound that has been set in advance and stored in the non-volatile memory device is the predetermined sound to be used to test the external sound collection device M1.
  • the abnormality determination unit 304 executes process P105, for example, to output a test sound.
  • the abnormality determination unit 304 controls the external sound output device SP1 via the signal output unit 303, for example, to output the test sound from the external sound output device SP1.
  • the test sound output from the external sound output device SP1 is, for example, a sound with known frequency components and sound pressure level, or a sound including a pattern of known frequencies and sound pressure levels.
  • the controller 30 executes process P106, for example, at a predetermined timing to acquire predetermined sound signals AS1F, AS1L, AS1R, and AS1B from the external sound collection device M1.
  • the predetermined timing at which the abnormality determination unit 304 acquires the test sound signals AS1F, AS1L, AS1R, and AS1B in process P106 is, for example, when the test sound is being output, that is, the period from the start to the end of the output of the test sound.
  • the abnormality determination unit 304 controls, for example, the horn speaker SP3 via the signal output unit 303, to output a horn sound with a predetermined frequency component and sound pressure from the horn speaker SP3.
  • the abnormality determination unit 304 may, for example, control the display device D1 and the internal sound output device SP2 via the signal output unit 303 in process P105, and send a notification to the operator OP via the display device D1 and the internal sound output device SP2 urging them to operate the horn button HS.
  • the specified timing at which the abnormality determination unit 304 acquires the horn sound signals AS1F, AS1L, AS1R, and AS1B in process P106 is when the horn sound is being output, that is, the period from the start to the end of the horn sound output by the horn speaker SP3.
  • the abnormality determination unit 304 acquires the horn sound signals AS1F, AS1L, AS1R, and AS1B, for example, using the period from when the horn signal HSS is input to the signal output unit 303 to when the input is stopped as the predetermined timing.
  • the controller 30 may omit the above-mentioned processes P101 to P105.
  • the construction safety manual for the work machine 100 may stipulate that a horn sound be sounded when the power source 11 of the work machine 100 is started.
  • the controller 30 omits the above-mentioned processes P101 to P105 and executes process P106, which acquires horn sound signals AS1F, AS1L, AS1R, and AS1B from the external sound collection device M1 at a predetermined timing.
  • the predetermined timing in this case is when the horn sound is output.
  • the controller 30 can omit the above-mentioned processes P101 to P105.
  • the sound of idling when the power source 11 is an engine includes not only the sound of the power source 11 but also the driving sounds of equipment other than the power source 11.
  • the controller 30 executes process P106 to acquire signals AS1F, AS1L, AS1R, and AS1B from the external sound collection device M1 at a specified timing, for example, when the power source 11 starts up or when the power source 11 is idling.
  • the external signal processing unit 301 of the controller 30 acquires signals AS1F, AS1L, AS1R, and AS1B generated from the predetermined sound collected by the external sound collection device M1 and stores and records them in a non-volatile storage device.
  • This non-volatile storage device of the controller 30 stores, for example, signals AS1F', AS1L', AS1R', and AS1B' generated from the predetermined sound collected by the external sound collection device M1 during a past test in which no abnormality in the external sound collection device M1 was detected.
  • the controller 30 executes process P107, for example, to extract sound characteristics.
  • the abnormality determination unit 304 of the controller 30 extracts sound characteristics, including, for example, the phase difference, volume (sound pressure level), frequency components, etc. of the sound collected by each microphone that makes up the external sound collection device M1, and stores and records them in a non-volatile storage device.
  • the non-volatile storage device of the controller 30 stores, for example, sound characteristics extracted by the abnormality determination unit 304 during a previous calibration when no abnormalities were detected in the installation state of the external sound collection device M1.
  • the controller 30 executes process P108 to determine whether or not there is an abnormality in the external sound collection device M1.
  • the abnormality determination unit 304 of the controller 30 acquires newly stored predetermined sound characteristics, for example, from a non-volatile storage device. Furthermore, the abnormality determination unit 304 calculates an evaluation value for each of the acquired new sound characteristics.
  • the evaluation value includes, for example, sound pressure level, frequency components, etc.
  • the abnormality determination unit 304 acquires predetermined sound characteristics that have been stored in the past, for example, from a non-volatile storage device. Furthermore, the abnormality determination unit 304 calculates an evaluation value for each of the acquired past sound characteristics.
  • the evaluation value includes, for example, sound pressure level, frequency components, etc.
  • the abnormality determination unit 304 compares, for example, the evaluation value based on the new signals AS1F, AS1L, AS1R, and AS1B with the evaluation value based on the past signals AS1F', AS1L', AS1R', and AS1B' to determine whether or not there is an abnormality in the external sound collection device M1.
  • the abnormality determination unit 304 determines that there is an abnormality (YES) in the front microphone M1F that constitutes the external sound collection device M1 if, for example, the difference between the evaluation value of the newly recorded signal AS1F and the evaluation value of the previous signal AS1F' that was recorded before that signal AS1F exceeds a preset threshold. On the other hand, if the difference in the evaluation values is equal to or less than the threshold, the abnormality determination unit 304 determines that there is no abnormality (NO) in the front microphone M1F. The same is true for the other left microphone M1L, right microphone M1R, and rear microphone M1B that constitute the external sound collection device M1.
  • the controller 30 may determine the type of abnormality in the external sound collection device M1. For example, the controller 30 may determine that the type of abnormality in the external sound collection device M1 is a failure of the external sound collection device M1. Specifically, the abnormality determination unit 304 of the controller 30 may determine that the front microphone M1F constituting the external sound collection device M1 is malfunctioning if, for example, the sound pressure level calculated from the new signal AS1F of the front microphone M1F is zero or below a predetermined threshold. Furthermore, the abnormality determination unit 304 may determine that the wiring connected to the front microphone M1F is broken or that the front microphone M1F is malfunctioning if, for example, the new signal AS1F of the front microphone M1F is zero.
  • the controller 30 determines, for example, an abnormality in the wiring connected to the external sound collection device M1 as the type of abnormality in the external sound collection device M1. Specifically, it is assumed that the difference between the evaluation value of the new signal AS1F from the front microphone M1F and the evaluation value of the previous signal AS1F' exceeds a threshold, and the difference between the evaluation value of the new signal AS1F from the front microphone M1F and the evaluation value of the previous signal AS1B' from the rear microphone M1B is equal to or less than a threshold. In this case, the abnormality determination unit 304 determines, for example, that the abnormality in the wiring connected to the external sound collection device M1 is a misconnection of the wiring between the front microphone M1F and the rear microphone M1B.
  • the controller 30 determines, for example, an abnormality in the installation state of the external sound collection device M1 as the type of abnormality in the external sound collection device M1.
  • the abnormality determination unit 304 determines an abnormality in the installation state of the external sound collection device M1 when, for example, the difference between the direction of the source of a predetermined sound calculated from new signals AS1F, AS1L, AS1R, and AS1B of the external sound collection device M1 and the direction of the source of a predetermined sound calculated from past signals AS1F', AS1L', AS1R', and AS1B' of the external sound collection device M1 exceeds a threshold.
  • the direction of the source of a predetermined sound can be calculated based on the time difference between the predetermined sound arriving at each of the front microphone M1F, left microphone M1L, right microphone M1R, and rear microphone M1B of the external sound collection device M1.
  • the front microphone M1F, left microphone M1L, right microphone M1R, and rear microphone M1B of the external sound collection device M1 are respectively integrated with the front camera S6F, left camera S6L, right camera S6R, and rear camera S6B of the image capture device S6.
  • the abnormality determination unit 304 may compare past images and current images of the image capture device S6 to detect abnormalities such as deviations in the position or posture of the external sound collection device M1.
  • Figure 9A is an image diagram showing an example of an image displayed on the display device D1 shown in Figure 7 when it is determined that there is an abnormality in the external sound collection device M1.
  • Figure 9B is an image diagram showing an example of an image displayed on the display device D1 shown in Figure 7 when it is determined that there is no abnormality in the external sound collection device M1.
  • the image 85 that the controller 30 displays on the image display unit 42 that constitutes the display device D1 includes, for example, multiple images.
  • the image display unit 42 includes, for example, a date and time display area 42a, a driving mode display area 42b, an attachment display area 42c, a fuel efficiency display area 42d, a power source control status display area 42e, and a power source operating time display area.
  • the date and time display area 42a is an area that displays an image showing the current date and time.
  • the driving mode display area 42b is an area that displays an image showing the current driving mode.
  • the attachment display area 42c is an area that displays an image showing the currently installed attachment.
  • the fuel efficiency display area 42d is an area that displays an image showing fuel efficiency information calculated by the controller 30.
  • the fuel efficiency display area 42d includes, for example, an average fuel efficiency display area 42d1 that displays an image showing lifetime average fuel efficiency or average section fuel efficiency, and an instantaneous fuel efficiency display area 42d2 that displays an image showing instantaneous fuel efficiency.
  • the power source control status display area 42e is an area that displays an image showing the control status of the power source 11.
  • the power source operating time display area is an area that displays an image showing the cumulative operating time of the power source 11.
  • the image display unit 42 also includes, for example, a coolant temperature display area 42g, a remaining fuel amount display area 42h, a rotation speed level display area 42i, a remaining urea water amount display area 42j, and a hydraulic oil temperature display area 42k.
  • the coolant temperature display area 42g is an area that displays an image showing the current temperature state of the power source coolant.
  • the remaining fuel amount display area 42h is an area that displays an image showing the remaining amount of fuel stored in the fuel tank.
  • the rotation speed level display area 42i is an area that displays an image of the current level set by the dial. A number indicating the selected level is displayed in the rotation speed level display area 42i.
  • the urea water remaining amount display area 42j is an area that displays an image of the remaining amount of urea water stored in the urea water tank.
  • the hydraulic oil temperature display area 42k is an area that displays an image that indicates the temperature of the hydraulic oil in the hydraulic oil tank.
  • the image display unit 42 also includes, for example, a status display area 421, a first image display area 422, and a second image display area 423.
  • the status display area 421 is an area that displays an image showing the positional relationship between the work machine 100 and an object OB, such as a person, detected in the vicinity of the work machine 100.
  • the first image display area 422 and the second image display area 423 are areas that display image information captured by the imaging device S6.
  • the image displayed in the status display area 421 includes, for example, a direction display icon 421a, a work machine icon 421b, a first circular area 421c, a second circular area 421d, and a person detection icon 421e.
  • the status display area 421 may also display, for example, an overhead image generated by processing an image from the imaging device S6.
  • the overhead image is an image of the work machine 100 and its surrounding objects viewed from above.
  • the work machine icon may be displayed in the center of the overhead image, or the circular area and person detection icon may be superimposed on the overhead image.
  • the direction display icon 421a indicates the direction in which the work machine 100 can travel.
  • the work machine icon 421b is an icon that represents the work machine 100.
  • the first circular area 421c is an image that shows the range in which the attachment AT will rotate when the upper rotating body 3 is rotated while maintaining the current attitude of the attachment AT.
  • the second circular area 421d is an image that shows the range in which the attachment AT will rotate when the upper rotating body 3 is rotated with the attachment AT fully extended horizontally.
  • the person detection icon 421e is an image that displays people, such as the worker WK, that have been detected around the work machine 100.
  • the first image display area 422 displays, for example, a right-side image.
  • the right-side image is an image that shows the space to the right of the work machine 100, and includes an image 422c of the right edge of the top surface of the upper rotating body 3.
  • the right-side image is a real viewpoint image generated by the control unit 40a, and is generated based on an image acquired by the right camera S6R.
  • the first image display area 422 is displayed to the right of the status display area 421.
  • the right image displayed in the first image display area 422 includes an image 422a of a person, which is the object OB, a person detection frame 422b, and an image 422c of the right edge of the top surface of the upper rotating body 3.
  • the person detection frame 422b is an image generated by the controller 30 based on the detection results of a person, such as a worker WK, by the object detection device, and is a rectangular frame displayed to surround the image 422a of the detected person.
  • the second image display area 423 displays, for example, a rear image.
  • the rear image is an image that shows the space behind the work machine 100, and includes an image 423c of the counterweight.
  • the rear image is a real viewpoint image generated by the control unit 40a, and is generated based on an image acquired by the rear camera S6B.
  • the second image display area 423 is displayed below the status display area 421.
  • the image display unit 42 also includes an area 42m, for example, at the top right of the image display unit 42, that displays the status of the external sound collection device M1.
  • This area 42m is an area that displays, for example, a microphone icon representing the external sound collection device M1 and an exclamation point icon indicating that there is an abnormality in the external sound collection device M1.
  • the abnormality determination unit 304 shown in FIG. 7 determines that there is an abnormality in the external sound collection device M1 (YES) in process P108 of the processing flow shown in FIG. 8A, for example, it outputs a signal IFS including the determination result to the signal output unit 303 in process P109.
  • the signal output unit 303 then outputs a signal OSG to the display device D1 to display the image 85 shown in FIG. 9A.
  • a microphone icon representing the external sound collection device M1 and an exclamation point icon indicating that there is an abnormality in the external sound collection device M1 are displayed in area 42m of the image display unit 42.
  • the abnormality determination unit 304 determines that there is no abnormality (NO) in the external sound collection device M1, for example, in process P108 of the processing flow shown in FIG. 8A, it outputs a signal IFS including the determination result to the signal output unit 303 in process P110.
  • the signal output unit 303 then outputs a signal OSG to the display device D1 to display the image 85 shown in FIG. 9B. As a result, only the microphone icon representing the external sound collection device M1 is displayed in area 42m of the image display unit 42.
  • the abnormality determination unit 304 may cause the image display unit 42 to display an image 42n that shows details of the status of the external sound collection device M1.
  • the image 42n is a pop-up window that displays that there is an abnormality in the external sound collection device M1 and details of the abnormality.
  • the image 42n is a pop-up window that displays that there is no abnormality in the external sound collection device M1.
  • the controller 30 When the controller 30 starts the processing flow shown in FIG. 8B, it first executes external sound volume detection processing P111.
  • the external signal processing unit 301 acquires signals AS1F, AS1L, AS1R, and AS1B generated from external sound collected by the external sound collection device M1.
  • the external signal processing unit 301 calculates the external sound volume based on, for example, the amplitude of the acquired external sound signals AS1F, AS1L, AS1R, and AS1B.
  • the external sound volume is expressed in decibels [dB], for example.
  • the external signal processing unit 301 outputs the calculated external sound volume to the signal output unit 303.
  • the external volume threshold in process P112 is stored in advance, for example, in the non-volatile storage device of the controller 30.
  • This external volume threshold can be set, for example, to a volume that is several decibels lower than the volume of the predetermined sound used to determine whether there is an abnormality in the external sound collection device M1.
  • this external volume threshold may be set to any volume, for example, several decibels, that can avoid affecting the predetermined test sound used to determine whether there is an abnormality in the external sound collection device M1.
  • controller 30 When the controller 30 starts the processing flow shown in FIG. 8C, it executes each process from process P101, which confirms that the test has been performed, to process P104, which acquires a sound signal, in the same manner as the processing flow shown in FIG. 8A.
  • the signal output unit 303 compares, for example, an external volume threshold stored in advance in the non-volatile storage device of the controller 30 with the external volume input from the external signal processing unit 301.
  • the external volume threshold is set in the same manner as in process P112 in the processing flow of Figure 8B described above. Then, if the signal output unit 303 determines that the external volume exceeds the threshold (YES), the controller 30 executes process P114 to increase the volume of the specified sound.
  • the signal output unit 303 prepares to output an output signal to the power source 11 in the next process P105 to increase the output or rotation speed of the power source 11. If the predetermined sound is a horn sound, the signal output unit 303 prepares to output output signals OS3L, OS3R to the horn speaker SP3 in the next process P105 to increase the volume of the horn sound. If the predetermined sound is a test sound output from the external sound output device SP1, the signal output unit 303 prepares to output an output signal OS1 to the external sound output device SP1 in the next process P105 to increase the volume of the test sound. If the predetermined sound is an alarm sound output from the alarm speaker SP4, the signal output unit 303 prepares to output an output signal OS4 to the alarm speaker SP4 in the next process P105 to increase the volume of the alarm sound.
  • the volume of the predetermined sound that the signal output unit 303 increases is, for example, a volume that is a predetermined volume higher than the external volume acquired in the previous process P113.
  • the difference between the external volume and the volume of the predetermined sound is adjusted so that the characteristics of the predetermined sound can be acquired in the subsequent process P107.
  • the controller 30 determines in process P113 that the external volume is below the threshold (NO)
  • the controller 30 does not execute process P114 to increase the volume of the predetermined sound.
  • the controller 30, which is the control device, increases the volume of a predetermined sound when the volume of external sound around the upper rotating body 3 exceeds a predetermined threshold. Thereafter, similar to the processing flow in Figure 8A described above, the controller 30 executes processes from process P105, which outputs a test sound, to processes P109 and P110, which notify the presence or absence of an abnormality, and then ends the processing flow shown in Figure 8C.
  • FIG. 8D is a flow diagram illustrating yet another example of the operation of the controller 30 shown in FIG. 7.
  • the controller 30 executes processing P101 to confirm whether or not to perform the test, and processing P102 to accept whether or not to perform the test, similar to the processing flow shown in FIG. 8A.
  • the controller 30 notifies the operator OP via the display device D1 or the like that an abnormality determination of the external sound collection device M1 will be performed, as described above, and accepts input from the operator OP regarding whether or not to perform the test via the input device D2 or the like.
  • the controller 30 executes process P115 to determine whether or not an abnormality determination of the external sound collection device M1 can be performed.
  • process P103 shown in Figures 8A and 8B the controller 30 determined whether or not an abnormality determination of the external sound collection device M1 can be performed based on the execution/non-execution input by the operator OP in the previous process P102.
  • process P115 shown in Figure 8D the controller 30 determines whether or not an abnormality determination of the external sound collection device M1 can be performed based on environmental information about the work machine 100, in addition to the execution/non-execution input by the operator OP in the previous process P102.
  • the environmental information of the work machine 100 includes, for example, at least one of the following: the operating state of the work machine 100, the volume of sound collected by the external sound collection device M1, the detection results of the object detection device including the image capture device S6, or the detection results of the operation sensor 29.
  • the signal output unit 303 determines that abnormality determination of the external sound collection device M1 can be performed (YES). Also, if the environmental information does not satisfy the abnormality determination enablement conditions, the signal output unit 303 determines that abnormality determination of the external sound collection device M1 cannot be performed (NO).
  • the conditions for making an abnormality determination possible can include, for example, the external sound volume as environmental information being below a predetermined threshold, as in process P112 shown in FIG. 8B.
  • the conditions for making an abnormality determination possible can include, for example, at least one of the conditions related to environmental information listed below.
  • One condition is that the work machine 100 is in the key-on state or the key-off state.
  • Another condition is that the gate lock lever GL is in the first operating position or the second operating position.
  • the power source 11 is operating or stopped.
  • no operation by the operator OP is detected by the operation sensor 29.
  • no person is detected within a predetermined range around the work machine 100.
  • the predetermined range around the work machine 100 is, for example, a range within which the operator OP and people around the work machine 100 can converse using the external sound collection device M1, the internal sound output device SP2, the internal sound collection device M2, and the external sound output device SP1.
  • This predetermined range may be set in advance and stored in the non-volatile storage device of the controller 30.
  • process P115 if one or more of the abnormality determination conditions described above are not met, the signal output unit 303 determines that abnormality determination of the external sound collection device M1 cannot be performed (NO). The controller 30 then executes process P116, which notifies the operator OP that the test has been stopped.
  • the signal output unit 303 may, for example, display in area 42m of the image display unit 42 of the display device D1 shown in FIG. 9A a microphone icon representing the external sound collection device M1 and an exclamation point icon indicating that the abnormality determination has been stopped.
  • the signal output unit 303 may also, for example, display in the image display unit 42 of the display device D1 an image 42n including an abnormality determination condition that has not been satisfied and a message indicating that the abnormality determination of the external sound collection device M1 has therefore been stopped.
  • the notification in process P116 may also include a notification in the form of light, sound, or vibration, as described above.
  • the controller 30 then terminates the process flow shown in FIG. 8D.
  • process P115 if all of the abnormality determination conditions described above are met, the signal output unit 303 determines that abnormality determination of the external sound collection device M1 can be performed (YES). In this case, the controller 30 executes process P104 to determine the details of the abnormality determination, process P105 to output a test sound, and process P106 to acquire a sound signal, similar to the process flow of FIG. 8A. Thereafter, the controller 30 executes process P117 to determine whether or not to continue abnormality determination of the external sound collection device M1.
  • the signal output unit 303 determines whether or not to continue determining whether or not there is an abnormality in the external sound collection device M1, based on the environmental information of the work machine 100. Specifically, if all of the abnormality determination conditions described above are met, the signal output unit 303 determines that it is possible to continue determining whether or not there is an abnormality in the external sound collection device M1 (YES). Then, similar to the process flow described above and shown in FIG. 8A, the controller 30 executes process P107 to acquire sound characteristics, process P108 to determine whether or not there is an abnormality in the external sound collection device M1, and processes P109 and P110 to notify whether or not there is an abnormality. The controller 30 then terminates the process flow shown in FIG. 8D.
  • process P117 if one or more abnormality determination conditions are no longer satisfied, the signal output unit 303 determines that abnormality determination of the external sound collection device M1 cannot be continued (NO). The controller 30 then executes the aforementioned process P116, which notifies the operator OP that the test has been discontinued, and ends the process flow shown in FIG. 8C.
  • process P117 it is determined that the abnormality determination of the external sound collection device M1 cannot be continued (NO) in the following cases. For example, this is the case when, while process P105 and process P106 are being executed, the environmental information of the work machine 100 satisfies one of the following conditions, causing at least one of the abnormality determination conditions described above to no longer be satisfied. Note that the following conditions for the environmental information may differ depending on the type of sound being tested.
  • One condition is when the external sound volume exceeds a predetermined threshold. Another condition is when the work machine 100 is changed from a key-on state to a key-on state. Yet another condition is when the work machine 100 is changed from a key-off state to a key-on state. Yet another condition is when the gate lock lever GL is changed from a first operating position to a second operating position. Yet another condition is when the gate lock lever GL is changed from a second operating position to a first operating position. Yet another condition is when the power source 11 is stopped from an operating state. Yet another condition is when the power source 11 is operated from a stopped state. Yet another condition is when the operation sensor 29 detects operation of the operating device 26 by the operator OP. Yet another condition is when a person is detected within a predetermined range around the work machine 100 described above.
  • the controller 30, which is a control device that determines whether or not there is an abnormality in the external sound collection device M1, determines whether or not to perform and continue determining whether or not there is an abnormality in the external sound collection device M1, based on environmental information about the work machine 100.
  • the work machine 100 of this embodiment comprises a lower traveling body 1, an upper rotating body 3 rotatably mounted on the lower traveling body 1, and a controller 30, which is a control device.
  • the controller 30 determines whether or not there is an abnormality in the external sound collection device M1, which collects sounds around the upper rotating body 3, based on signals AS1F, AS1L, AS1R, and AS1B generated from predetermined sounds collected by the external sound collection device M1.
  • the work machine 100 of this embodiment can detect abnormalities in the external sound collection device M1, which collects sounds around the work machine 100, by collecting specific sounds using the external sound collection device M1.
  • This makes it easy to detect abnormalities in the external sound collection device M1 that are difficult to detect visually, and makes it possible to respond immediately if an abnormality occurs in the external sound collection device M1. Therefore, it becomes possible to more reliably collect sounds made by workers WK and the like around the work machine 100, as well as sounds made by other work machines, using the external sound collection device M1.
  • the controller 30, which is a control device, uses as the predetermined sound the sound of the power source 11 mounted on the upper rotating body 3, the horn sound of the horn speaker SP3 mounted on the upper rotating body 3, a test sound output from the external sound output device SP1 that outputs sound around the upper rotating body 3, or the sound of the power source 11 when idling.
  • abnormalities in the external sound collection device M1 can be detected using sounds emitted by existing facilities and equipment installed on the work machine 100. This makes it easier to introduce an abnormality detection function for the external sound collection device M1 to the work machine 100, reducing costs.
  • the controller 30, which is a control device, acquires signals AS1F, AS1L, AS1R, and AS1B from the external sound collection device M1 at a predetermined timing.
  • This configuration makes it possible to efficiently and accurately collect a predetermined sound suitable for detecting an abnormality in the external sound collection device M1.
  • the predetermined timing is a period during which a sound for determining whether or not there is an abnormality in the external sound collection device M1 is generated stably.
  • the predetermined timing is a period during which the predetermined sound for determining whether or not there is an abnormality in the external sound collection device M1 is fluctuating within a predetermined sound pressure range, or a period during which the frequency components of the predetermined sound are fluctuating within a predetermined amplitude range.
  • the controller 30, which is a control device, acquires signals AS1F, AS1L, AS1R, and AS1B from the external sound collection device M1 at predetermined times, such as when the power source 11 starts up, when a horn sound is output, when a test sound is output, or when the power source 11 is idling.
  • the sound of the power source 11, the horn sound output from the horn speaker SP3, the test sound output from the external sound output device SP1, or the sound of the power source 11 idling can be collected as predetermined sounds by the external sound collection device M1.
  • the controller 30, which is a control device, pauses determining whether or not there is an abnormality in the external sound collection device M1 while the work machine 100 is working.
  • This configuration prevents the specified sound used to determine whether there is an abnormality in the external sound collection device M1 from being drowned out by noise made by the work machine 100 while it is working.
  • the controller 30, which is a control device, records signals AS1F, AS1L, AS1R, and AS1B generated from predetermined sounds collected by the external sound collection device M1. Then, if the difference between the evaluation values of the newly recorded signals AS1F, AS1L, AS1R, and AS1B and the evaluation values of the signals AS1F', AS1L', AS1R', and AS1B' recorded before those signals exceeds a threshold, the controller 30 determines that there is an abnormality in the external sound collection device M1.
  • the abnormality of the external sound collection device M1 determined by the controller 30, which is a control device includes at least one of a malfunction of the external sound collection device M1, an abnormality in the installation state of the external sound collection device M1, or an abnormality in the wiring connected to the external sound collection device M1.
  • the external sound collection device M1 includes multiple microphones: a front microphone M1F, a left microphone M1L, a right microphone M1R, and a rear microphone M1B, or at least one array microphone.
  • the work machine 100 of this embodiment is further equipped with a front camera S6F, a left camera S6L, a right camera S6R, and a rear camera S6B, which are cameras configured integrally with the front microphone M1F, left microphone M1L, right microphone M1R, and rear microphone M1B, respectively.
  • the work machine 100 is equipped with a camera configured integrally with at least one array microphone.
  • the controller 30, which is a control device, causes the internal sound output device SP2, which outputs sound to the operator OP, to output sound based on signals AS1F, AS1L, AS1R, and AS1B generated from sound collected by the external sound collection device M1. Furthermore, the controller 30 causes the external sound output device SP1, which outputs sound around the upper rotating body 3, to output sound based on signal AS2 generated from sound collected by the internal sound collection device M2, which collects the voice of the operator OP.
  • the internal sound collection device M2 can collect the voice of the operator OP of the work machine 100 who is in the cab 10 and generate a signal AS2 based on that voice.
  • the controller 30 can also acquire the signal AS2 generated by the internal sound collection device M2 and output it to the external sound output device SP1. This allows the external sound output device SP1 to output sound based on the signal AS2 generated by the internal sound collection device M2, and communicate what was spoken by the operator OP who is in the cab 10 to workers WK and others around the work machine 100.
  • the work machine 100 of this embodiment also includes a talk button KS, which is an operation unit connected to the controller 30, which is a control device. Based on the operation state of the talk button KS, the controller 30 switches between a state in which sound based on signal AS2 generated from sound collected by the internal sound collection device M2 is output from the external sound output device SP1, and a state in which sound based on signals AS1F, AS1L, AS1R, and AS1B generated from sound collected by the external sound collection device M1 is output from the internal sound output device SP2.
  • the operator OP of the work machine 100 can, for example, by pressing the talk button KS, speak to workers WK and others around the work machine 100 via the internal sound collection device M2 and external sound output device SP1. Furthermore, by releasing the talk button KS, the operator OP can hear what is being said by workers WK and others around the work machine 100 via the external sound collection device M1 and internal sound output device SP2.
  • This configuration prevents the specified sound used to determine an abnormality in the external sound collection device M1 from being drowned out by external sounds around the work machine 100.
  • the controller 30 can accurately detect the specified sound used to determine an abnormality, preventing erroneous determinations of an abnormality in the external sound collection device M1.
  • the volume of the predetermined sound is increased.
  • This configuration prevents the specified sound used to determine an abnormality in the external sound collection device M1 from being drowned out by external sounds around the work machine 100.
  • the controller 30 can accurately detect the specified sound used to determine an abnormality, preventing erroneous determinations of an abnormality in the external sound collection device M1.
  • the controller 30, which is a control device, determines whether to carry out and continue determining whether there is an abnormality in the external sound collection device M1, based on environmental information about the work machine 100.
  • the environmental information is not suitable for determining whether there is an abnormality in the external sound collection device M1, or if the environmental information is not suitable for outputting a specified sound for determining whether there is an abnormality, it is possible to halt or interrupt the determination of whether there is an abnormality in the external sound collection device M1.
  • halt or interrupting the determination of whether there is an abnormality in the external sound collection device M1 when a person is detected around the work machine 100 it is possible to smoothly carry out conversations using the external sound collection device M1, the internal sound output device SP2, the internal sound collection device M2, and the external sound output device SP1.
  • Figure 10 is a functional block diagram showing another example of the controller 30 shown in Figure 7.
  • Figures 11A and 11B are flow diagrams explaining the operation of the controller 30 shown in Figure 10.
  • the external sound collection device M1 includes at least one array microphone M1A.
  • the controller 30 also includes an external signal processing unit 301, an internal signal processing unit 302, a signal output unit 303, and an abnormality determination unit 304, as well as a calibration unit 305.
  • the controller 30 By executing the processing flow shown in Figures 11A and 11B, the controller 30 detects an abnormality in the installation state of the array microphone M1A based on the signal AS1A generated from a predetermined sound collected by the array microphone M1A of the external sound collection device M1, and determines whether or not calibration of the coordinate system of the array microphone M1A is necessary.
  • controller 30 When the controller 30 starts the processing flow shown in Figures 11A and 11B, it executes, for example, processing P201 to processing P208, which are similar to the processing P101 to processing P108 shown in Figure 8A.
  • the external signal processing unit 301 of the controller 30 acquires a signal AS1A generated from test sounds collected by the array microphone M1A and stores and records it in a non-volatile storage device.
  • This non-volatile storage device of the controller 30 stores, for example, a signal AS1A' generated from a predetermined sound collected by the array microphone M1A during a previous calibration when no abnormality was detected in the array microphone M1A.
  • the abnormality determination unit 304 of the controller 30 extracts sound characteristics, including, for example, the phase difference, volume (sound pressure level), frequency characteristics, etc., of the sound collected by each of the multiple microphones that make up the array microphone M1A, and stores and records them in a non-volatile storage device.
  • This non-volatile storage device of the controller 30 stores, for example, sound characteristics extracted by the abnormality determination unit 304 during a past test in which no abnormality in the installation state of the array microphone M1A was detected.
  • the controller 30 executes process P208 to determine whether or not there is an abnormality in the external sound collection device M1.
  • the abnormality determination unit 304 of the controller 30 acquires newly stored predetermined sound characteristics, for example, from a non-volatile storage device. Furthermore, the abnormality determination unit 304 calculates an evaluation value from each of the newly acquired sound characteristics.
  • the evaluation value includes, for example, the phase difference, sound pressure level, frequency components, etc. of the sound that reaches the multiple microphones that make up the array microphone M1A.
  • the abnormality determination unit 304 acquires, for example, predetermined sound characteristics that were previously stored from a non-volatile storage device. Furthermore, the abnormality determination unit 304 calculates an evaluation value for each of the acquired past sound characteristics.
  • the evaluation value includes, for example, the phase difference, sound pressure level, frequency components, etc. of the sound that reaches the multiple microphones that make up the array microphone M1A.
  • the abnormality determination unit 304 then compares, for example, the evaluation value of the new signal AS1A with the evaluation value of the previous signal AS1A' to determine whether or not there is an abnormality in the external sound collection device M1. In this process P208, if the abnormality determination unit 304 determines that there is no abnormality in the external sound collection device M1 (NO), it executes process P208 to notify the determination result. Thereafter, the controller 30 ends the process flow shown in Figures 11A and 11B.
  • the controller 30 executes process P210 to confirm whether calibration has been performed and process P211 to accept whether calibration is possible, as shown in FIG. 11B.
  • the abnormality determination unit 304 of the controller 30 notifies the operator OP via the display device D1 and internal sound output device SP2 that calibration of the coordinate system of the array microphone M1A will be performed, for example, similar to process P101 described above.
  • the abnormality determination unit 304 accepts input from the operator OP regarding whether calibration of the array microphone M1A is possible via the input device D2, for example, similar to process P102 described above.
  • the controller 30 executes, for example, process P212 to determine whether the array microphone M1A can be calibrated.
  • the abnormality determination unit 304 determines whether the array microphone M1A can be calibrated based on the calibration option input by the operator OP in the previous process P211, similar to the above-mentioned process P103.
  • Calibration of the array microphone M1A takes a certain amount of time. Furthermore, it is possible to perform work using the work machine 100 without calibrating the array microphone M1A. Therefore, if the operator OP selects and inputs "calibration not possible" in the previous process P211, the abnormality determination unit 304 determines that calibration is not possible (NO) in process P212, and terminates the process flow shown in Figures 11A and 11B.
  • the signal output unit 303 of the controller 30 may, for example, display an icon indicating that there is an abnormality in the external sound collection device M1, i.e., that calibration is necessary, in area 42m of the display device D1, as shown in Figure 9A, until calibration of the external sound collection device M1 is complete.
  • the abnormality determination unit 304 determines that calibration is possible (YES) in process P212, for example.
  • the controller 30 executes process P213, for example, to output a calibration sound.
  • the calibration sound can be a sound similar to the predetermined sound used to determine whether or not there is an abnormality in the external sound collection device M1 in the aforementioned process P206, such as a test sound output from the external sound output device SP1 or a horn sound output from the horn speaker SP3.
  • the controller 30 executes process P214 to acquire a calibration sound signal, similar to process P106 described above.
  • the external signal processing unit 301 of the controller 30 acquires signal AS1A generated from the calibration sound collected by the array microphone M1A and stores and records it in a non-volatile storage device.
  • This non-volatile storage device of the controller 30 stores, for example, signal AS1A' generated from a predetermined sound collected by the array microphone M1A during a previous calibration in which no abnormalities in the installation state of the array microphone M1A were detected.
  • the controller 30 executes process P215, which extracts sound characteristics, for example.
  • the abnormality determination unit 304 of the controller 30 extracts sound characteristics, including, for example, the phase difference and volume (sound pressure level) of the sound collected by each of the multiple microphones that make up the array microphone M1A, and stores and records them in a non-volatile storage device.
  • the non-volatile storage device of the controller 30 stores, for example, sound characteristics extracted by the abnormality determination unit 304 during a previous calibration when no abnormality was detected in the installation state of the array microphone M1A.
  • the controller 30 executes process P216 to determine whether calibration of the array microphone M1A is necessary.
  • the abnormality determination unit 304 of the controller 30 compares the sound features newly extracted in the previous process P215 with past sound features stored in non-volatile storage. If the difference between the newly extracted sound features and the past sound features exceeds a preset threshold, the abnormality determination unit 304 determines that calibration of the coordinate system of the array microphone M1A is necessary (YES), and if the difference in direction is equal to or less than the threshold, determines that calibration of the coordinate system of the array microphone M1A is not necessary (NO).
  • the abnormality determination unit 304 may, for example, compare the characteristics of the test sound stored in the non-volatile storage device in the above-mentioned process P207 with the characteristics of past test sounds stored in the non-volatile storage device to determine whether calibration of the array microphone M1A is necessary. In this case, the controller 30 can omit the above-mentioned processes P213 to P215.
  • the controller 30 executes process P217 to notify the determination result, similar to process P109 described above. Thereafter, the controller 30 terminates the process flow shown in FIGS. 11A and 11B.
  • the controller 30 executes process P218, for example, to calculate the position and orientation of the array microphone M1A.
  • the calibration unit 305 of the controller 30 obtains information AD related to the newly extracted sound characteristics from the abnormality determination unit 304, and reverse-calculates the position and orientation of the array microphone M1A from the phase difference, volume, etc. of the sound obtained by the multiple microphones of the array microphone M1A.
  • the position of the calibration sound source such as the external sound output device SP1 or the horn speaker SP3 is identified in advance and stored in a non-volatile memory device. Therefore, by identifying the relative positional relationship between the array microphone M1A and the sound source from the phase difference and volume of the sound acquired by the multiple microphones of the array microphone M1A, the position and orientation of the array microphone M1A can be calculated backward from the position of the sound source stored in the non-volatile memory device.
  • the controller 30 executes process P219 to update the position and orientation of the array microphone M1A.
  • the calibration unit 305 of the controller 30 stores the position and orientation of the array microphone M1A calculated in the previous process P218 in a non-volatile storage device and updates them.
  • Figure 12 is a top view of another example configuration of the work machine 100.
  • the work machine 100 shown in Figure 12 differs from the work machine 100 shown in Figure 1 in that the external sound output device SP1 is composed of four speakers (front speaker SP1F, left speaker SP1L, right speaker SP1R, and rear speaker SP1B).
  • the external sound output device SP1 is composed of a single omnidirectional speaker provided above the cab 10.
  • the work machine 100 can turn on the light bar corresponding to the speaker that is turned on (in a state where it can emit light), and turn off the light bar corresponding to the speaker that is turned off (in a state where it cannot emit light).
  • the external sound output device SP1 may also be composed of one or more parametric speakers.
  • a parametric speaker is a speaker that uses ultrasound and can selectively transmit sound to people within a specific narrow range.
  • a parametric speaker can transmit sound toward any position.
  • the controller 30 may detect a worker WK around the work machine 100 based on images captured by the imaging device S6 and identify the position of the worker WK. Furthermore, if there are multiple workers WK around the work machine 100, the controller 30 may distinguish between a conversation target (a worker WK who is speaking) and a non-conversation target (a worker WK who is not speaking) based on the output of the four external sound collection devices M1. Furthermore, the controller 30 may distinguish between a conversation target (a worker WK facing the work machine 100) and a non-conversation target (a worker WK who is not facing the work machine 100) based on images captured by the imaging device S6. The controller 30 may then turn on the speaker and light bar facing the worker WK.
  • the controller 30 may turn on the rear speaker SP1B while keeping the front speaker SP1F, left speaker SP1L, and right speaker SP1R off. In this case, the controller 30 may turn on the rear light bar G1B while keeping the front light bar G1F, left light bar G1L, and right light bar G1R off. Note that this type of function may be implemented in the work machine 100 shown in Figures 1 to 5.
  • FIG. 13 is a schematic diagram showing an example configuration of the operation system SYS.
  • the operation system SYS includes a work machine 100, a remote control room RC, and a management center MC. Note that the detailed configuration of the work machine 100 is omitted from FIG. 13. This is because the work machine 100 shown in FIG. 13 has the same configuration as the work machine 100 shown in FIG. 1 or FIG. 12.
  • the work machine 100, remote control room RC, and management center MC are connected to one another so that they can send and receive data via the communication network NW.
  • the work machine 100, remote control room RC, and management center MC may also be connected to one another so that they can send and receive data directly without going through the communication network NW.
  • the work machine 100 sends information about the work site to the remote control room RC. This allows the remote operator RO in the remote control room RC to understand the situation at the work site based on the information from the work machine 100.
  • the work machine 100 is equipped with a sensor that can recognize the position and shape of objects present at the work site in three dimensions.
  • the work machine 100 is equipped with a spatial recognition device.
  • the work machine 100 can transmit the results of three-dimensional measurements of the work site to the remote control room RC.
  • the spatial recognition device is a device for recognizing the space around the work machine 100.
  • the spatial recognition device is a LiDAR.
  • the LiDAR measures the distance between the LiDAR and each of over one million points within the monitoring range.
  • the spatial recognition device may be any device that is capable of measuring the distance to an object.
  • the spatial recognition device may be a stereo camera, or a combination of the imaging device S6 and a ranging device such as millimeter-wave radar.
  • the operation system SYS may include one or more work machines 100.
  • the remote operator RO of a specific work machine 100 can obtain information about the work site obtained by that specific work machine 100, as well as information about the work site obtained by one or more other work machines 100.
  • the remote control room RC is equipped with a communication device T2, a remote controller 40, an operation device 26E, an operation sensor 43, a display device D1E, an internal sound collection device M2E, and an internal sound output device SP2E.
  • the remote control room RC also is equipped with an operation seat DS where the remote operator RO sits to remotely operate the work machine 100.
  • the communication device T2 is configured to be able to communicate with the communication device T1 attached to the work machine 100.
  • the remote controller 40 is a computing device that performs various calculations.
  • the remote controller 40 is configured as a microcomputer including a CPU and memory.
  • the various functions of the remote controller 40 are realized when the CPU executes programs stored in the memory.
  • the display device D1E is a device capable of displaying various types of information.
  • the display device D1E displays images based on information transmitted from the work machine 100 so that the remote operator RO in the remote control room RC can visually confirm the area around the work machine 100.
  • the display device D1E is a liquid crystal display that displays images captured by the imaging device S6 mounted on the work machine 100.
  • the display device D1E may also be a display or projector that provides naked-eye stereoscopic vision, or may be VR goggles, etc.
  • the internal sound output device SP2E is a device capable of outputting various types of sound information.
  • the internal sound output device SP2E outputs sound based on information transmitted from the work machine 100 so that the remote operator RO in the remote control room RC can hear sounds emitted at the work site.
  • the internal sound output device SP2E may be configured, for example, to output sound captured by an external sound collection device M1 attached to the outside of the cab 10, or may be configured to output sound captured by an internal sound collection device M2 attached to the inside of the cab 10.
  • the internal sound collection device M2 may be provided at a position corresponding to the ears of the operator seated in the cab 10.
  • the internal sound output device SP2E may be a stationary device such as a speaker, or a wearable device such as earphones or headphones.
  • the speaker may be a monaural speaker, a stereo speaker, or a surround speaker.
  • the speaker may also be an omnidirectional speaker or a directional speaker.
  • the wearable device may be equipped with a noise canceling function, a spatial audio function (stereophonic sound function), or a bone conduction function.
  • the operating device 26E is equipped with an operation sensor 43 for detecting the operation content of the operating device 26E.
  • the operation sensor 43 is, for example, an inclination sensor that detects the tilt angle of the operating lever, or an angle sensor that detects the swing angle of the operating lever around the swing axis.
  • the operation sensor 43 may also be composed of other sensors such as a pressure sensor, current sensor, voltage sensor, or distance sensor.
  • the operation sensor 43 outputs information related to the detected operation content of the operating device 26E to the remote controller 40.
  • the remote controller 40 generates an operation signal based on the received information and transmits the generated operation signal to the work machine 100.
  • the operation sensor 43 may be configured to generate the operation signal. In this case, the operation sensor 43 may output the operation signal to the communication device T2 without passing through the remote controller 40. With this configuration, the remote operator RO can remotely operate the work machine 100 from the remote control room RC.
  • the management center MC is a facility equipped with various devices for managing the work machine 100 at the work site or the remote operation of the work machine 100 by the remote operator RO in the remote control room RC.
  • the management center MC is installed in a location away from both the work site of the work machine 100 and the remote control room RC.
  • the management center MC is also equipped with a management device 200, an internal sound collection device M2C, and an internal sound output device SP2C.
  • the management device 200 is an example of a control device, and is, for example, a server computer (a so-called cloud server) or an edge server.
  • the management device 200 is typically a fixed terminal device, but may also be a portable terminal device (for example, a laptop computer, tablet, or smartphone).
  • a manager at the management center MC can, for example, use a sound collection device (external sound collection device M1 or internal sound collection device M2) attached to the work machine 100 and an internal sound output device SP2C to listen to sounds emitted at the work site. Furthermore, a manager at the management center MC can, for example, use an internal sound collection device M2E and internal sound output device SP2C provided in a remote control room RC to listen to sounds emitted in the remote control room RC. Furthermore, a manager at the management center MC can, for example, use the internal sound collection device M2C and an external sound output device SP1 attached to the work machine 100 to communicate the voices he or she makes to workers WK around the work machine 100.
  • a manager at the management center MC can, for example, use the internal sound collection device M2C and an internal sound output device SP2 attached to the work machine 100 to communicate the voices he or she makes to the operator OP of the work machine 100.
  • an administrator at the management center MC can use the internal sound collection device M2C and the internal sound output device SP2E installed in the remote control room RC to transmit the voices they make to the remote operator RO in the remote control room RC.
  • the work machine system SYS of this embodiment comprises a work machine 100, an external sound collection device M1, and a remote controller 40.
  • the work machine 100 comprises a lower traveling body 1 and an upper rotating body 3 rotatably mounted on the lower traveling body 1.
  • the external sound collection device M1 collects sounds around the work machine 100.
  • the remote controller 40 is a control device that determines whether or not there is an abnormality in the external sound collection device M1 based on signals AS1F, AS1L, AS1R, and AS1B generated from specific sounds collected by the external sound collection device M1.
  • the work machine system SYS of this embodiment can detect abnormalities in the external sound collection device M1, which collects sounds around the work machine 100, by collecting specific sounds using the external sound collection device M1.
  • This makes it easy to detect abnormalities in the external sound collection device M1 that are difficult to detect visually, and makes it possible to respond immediately if an abnormality occurs in the external sound collection device M1.
  • This makes it possible to more reliably collect sounds emitted by workers WK and others around the work machine 100, as well as sounds emitted by other work machines, using the external sound collection device M1. Therefore, this embodiment can provide a work machine system SYS that can detect abnormalities in the external sound collection device M1, which collects sounds around the work machine 100.
  • FIG. 14 is a schematic diagram showing an example configuration of a work machine 100A and work machine system SYS1 according to this modified example.
  • the work machine system SYS1 includes a work machine 100A, an installed microphone 1501, an installed speaker 1502, an autonomous mobile robot 1503, and a drone 1504.
  • the work machine 100A may have the same configuration as the work machine 100 shown in Figure 1 or Figure 12, or may have a configuration in which one or both of the external sound collection device M1 and the external sound output device SP1 have been removed from the work machine 100.
  • this modified example describes a case in which two-way conversation can be achieved even with a work machine 100A that is not equipped with one or both of the external sound collection device M1 and the external sound output device SP1.
  • the installed microphone 1501 is a sound collection device installed at the work site and can be connected to the work machine 100A via wireless communication or wired communication.
  • the installed microphone 1501 transmits a sound signal indicating the collected sound to the work machine 100.
  • the installed speaker 1502 is a sound output device installed at the work site and can be connected to the work machine 100A via wireless or wired communication.
  • the installed speaker 1502 outputs a sound indicated by a sound signal received from the work machine 100A.
  • the autonomous mobile robot 1503 is equipped with a sound collection device 1503A and a sound output device 1503B, and can be connected to the work machine 100A via wireless communication or wired communication.
  • the autonomous mobile robot 1503 transmits a sound signal indicating the sound collected by the sound collection device 1503A to the work machine 100A.
  • the autonomous mobile robot 1503 also outputs the sound indicated by the sound signal received from the work machine 100A from the sound output device 1503B.
  • the autonomous mobile robot 1503 is capable of moving within the work site area. This modification does not limit the manner in which the autonomous mobile robot 1503 moves. For example, if the autonomous mobile robot 1503 is equipped with a camera (an example of a detection device) (not shown), the autonomous mobile robot 1503 may identify the location of the work machine 100A based on image information captured by the camera, and may move to follow the work machine 100A when the work machine 100A moves. The autonomous mobile robot 1503 may also follow the work machine 100A so that the signal strength in communication with the work machine 100A is above a predetermined threshold. Furthermore, the autonomous mobile robot 1503 may identify the location of a worker based on image information captured by the camera, and move to a position where the worker's voice can be collected.
  • a camera an example of a detection device
  • the drone 1504 is equipped with a sound collection device 1504A and a sound output device 1504B, and can be connected to the work machine 100A via wireless communication or wired communication.
  • the drone 1504 transmits a sound signal indicating the sound collected by the sound collection device 1504A to the work machine 100A.
  • the drone 1504 also outputs the sound indicated by the sound signal received from the work machine 100A from the sound output device 1504B.
  • the drone 1504 is provided so that it can fly within the work site area. This modification does not limit the movement mode of the drone 1504; it may move by following the work machine 100A, like the autonomous mobile robot 1503, or it may move to a position where it can collect the voice of the worker. Because the drone 1504 is flying, it can move regardless of the terrain or obstacles at the work site.
  • the number of each of the installed microphone 1501, installed speaker 1502, autonomous mobile robot 1503, and drone 1504 installed at the work site may be one or more.
  • the work machine 100A is equipped with a controller 30.
  • the controller 30 is able to send and receive information to and from each of the installed microphone 1501, installed speaker 1502, autonomous mobile robot 1503, and drone 1504.
  • the controller 30 controls the transmission of a sound signal indicating sound collected by the internal sound collection device M2 via the communication device T1 to a sound output device located at a distance from the work machine 100A.
  • the controller 30 also controls the output of a sound indicated in a sound signal received via the communication device from a sound collection device located at a distance from the work machine 100A from the internal sound output device SP2.
  • the controller 30 transmits a sound signal indicating the sound collected by the internal sound collection device M2 to at least one of the installed speaker 1502, the autonomous mobile robot 1503, and the drone 1504.
  • the controller 30 receives a sound signal from at least one of the installed microphone 1501, the autonomous mobile robot 1503, and the drone 1504, and outputs the sound indicated by the received sound signal from the internal sound output device SP2.
  • the sound collection device and sound output device installed at the work site are not limited to the above-mentioned configurations.
  • a monitoring device that monitors the work site to be equipped with a sound collection device and sound output device in addition to a spatial recognition device (e.g., an imaging device).
  • a spatial recognition device e.g., an imaging device
  • the work machine 100A establishes communication with at least one of the installed microphone 1501, installed speaker 1502, autonomous mobile robot 1503, and drone 1504 present at the work site only when certain conditions are met. This makes it possible to realize two-way conversation between the operator of the work machine 100A and people at the work site.
  • communication is established with each of the installed microphone 1501, installed speaker 1502, autonomous mobile robot 1503, and drone 1504 that is determined to be within a certain distance from the work machine 100A, thereby realizing two-way conversation.
  • Any method, including well-known methods, may be used to determine whether the work machine 100A is within a predetermined range. For example, if a device is captured in image information captured by the imaging device S6, the distance to the device may be determined from the size and position of the captured image. In this case, a sticker or similar with a two-dimensional code may be attached to the device.
  • the controller 30 can recognize information about the device captured in the image information (for example, the device's unique information, the address of the connection destination, etc.) from the two-dimensional code captured in the image information.
  • Another example is a method in which the controller 30 of the work machine 100A stores the position information of the installed microphone 1501 and the installed speaker 1502 in advance. The controller 30 then determines whether the installed microphone 1501 and the installed speaker 1502 are present within a predetermined range based on the positions measured by the positioning device PS.
  • a further example is a method in which the installed microphone 1501, the installed speaker 1502, the autonomous mobile robot 1503, and the drone 1504 each periodically transmit position information to the work machine 100A.
  • this modified example does not limit the condition for realizing at least one of sound output and sound collection to being within a specified distance.
  • the closest of the multiple work machines 100A may establish communication with a device for realizing the sound output function (e.g., the installed microphone 1501, the installed speaker 1502, the autonomous mobile robot 1503, or the drone 1504) to realize at least one of sound output and sound collection.
  • a priority may be set for each of the multiple work machines 100A.
  • the device for realizing the sound output function e.g., the installed microphone 1501, the installed speaker 1502, the autonomous mobile robot 1503, or the drone 1504 may establish communication with the work machine 100A with the highest priority among the multiple work machines 100A to realize at least one of sound output and sound collection.
  • the targets of transmission and reception of sound signals to and from the work machine 100A are not limited to the installed microphone 1501, installed speaker 1502, autonomous mobile robot 1503, and drone 1504 shown in FIG. 14.
  • the work machine 100A may transmit and receive sound signals to and from a communication terminal carried by a person.
  • this modified example uses a sound collection device and sound output device located at a distance from the work machine 100A. Therefore, compared to using the external sound output device SP1 and external sound collection device M1 provided on the work machine 100A, it is possible to suppress the effects of noise and the like when transmitting sound to people outside the work machine 100 or collecting the sound of people outside the work machine 100A, making it easier to have two-way conversations.
  • the internal sound collection device, external sound collection device, internal sound output device, and external sound output device shown in the above-described embodiment and modified examples can be implemented in a variety of ways.
  • internal sound collection devices provided in positions capable of acquiring sounds uttered by the operator include internal sound collection devices M2, M2C, and M2E.
  • internal sound collection devices provided near the operator's mouth capable of acquiring sounds uttered by the operator include internal sound collection devices M2, M2C, and M2E.
  • internal sound collection devices provided in the direction the operator faces when the operator wishes to communicate include internal sound collection devices M2, M2C, and M2E.
  • external sound collection devices provided in positions capable of collecting sounds generated at a work site where a work machine is working include external sound collection devices M1 (M1F, M1R, M1L, M1B), 1501, 1503A, and 1504A.
  • external sound collection devices provided in positions capable of collecting sounds emitted by people present at a work site where a work machine is working include external sound collection devices M1 (M1F, M1R, M1L, M1B), 1501, 1503A, and 1504A.
  • External sound collection devices provided in positions capable of collecting sounds emitted by workers who wish to work in cooperation with the work machine 100 include external sound collection devices M1 (M1F, M1R, M1L, M1B), 1501, 1503A, and 1504A.
  • internal sound output devices provided in positions where the operator can hear the output sound include internal sound output devices SP2 (SP2R, SP2L), SP2C, and SP2E.
  • internal sound output devices provided near each of the operator's ears so that the operator can hear the output sound include internal sound output devices SP2 (SP2R, SP2L), SP2C, and SP2E.
  • external sound output devices provided in positions where people present at a work site where a work machine is performing work can hear the sound emitted by the work machine operator include external sound output devices SP1, 1502, 1503B, and 1504B.
  • External sound output devices provided in positions where workers who wish to perform work in cooperation with a work machine can hear the sound emitted by the work machine operator include external sound output devices SP1, 1502, 1503B, and 1504B.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

本開示は、作業機械の周囲の音を収集する外部集音装置の異常を検知可能な作業機械を提供する。作業機械(100)は、下部走行体(1)と、上部旋回体(3)と、制御装置であるコントローラ(30)と、を備える。コントローラ(30)は、外部集音装置(M1)が収集した所定の音から生成した信号(AS1F,AS1L,AS1R,AS1B)に基づいて外部集音装置(M1)の異常の有無を判定する。

Description

作業機械、作業機械システム
 本開示は、作業機械、及び、作業機械システムに関する。
 従来から機械周囲の人物の安全に適した音響処理システムが知られている(下記特許文献1を参照)。特許文献1に記載された音響処理システムは、音入力部と、危険度算出部と、音抽出部と、音出力部と、を有する。
 上記音入力部は、音を収集する複数のマイクロフォンにより構成されている。上記危険度算出部は、機械の動作による周囲の人物又は物体との接触に伴う危険度を算出する。上記音抽出部は、上記音入力部から出力された信号を入力として上記危険度算出部で算出された危険度に応じた分離信号を出力する。上記音出力部は、上記音抽出部から出力された分離信号を出力する。
特開2012-058314号公報
 上記特許文献1に記載された音響処理システムは、音入力部が収集した音から生成した信号を音抽出部によって処理するが、音入力部の異常を検知することはできない。
 本開示は、作業機械の周囲の音を収集する外部集音装置の異常を検知可能な作業機械、及び、作業機械システムを提供する。
 本開示の一つの態様は、下部走行体と、前記下部走行体の上に旋回可能に設けられた上部旋回体と、前記上部旋回体の周囲の音を収集する外部集音装置が収集した所定の音から生成した信号に基づいて前記外部集音装置の異常の有無を判定する制御装置と、を備える、作業機械を提供する。
 本開示の別の態様は、下部走行体と、前記下部走行体の上に旋回可能に設けられた上部旋回体と、を備えた作業機械と、前記上部旋回体の周囲の音を収集する外部集音装置が収集した所定の音から生成した信号に基づいて前記外部集音装置の異常の有無を判定する制御装置と、を備える、作業機械システムを提供する。
 本開示の上記の態様によれば、作業機械の周囲の音を収集する外部集音装置の異常を検知可能な作業機械、及び、作業機械システムを提供することができる。
本開示の実施形態に係る作業機械の側面図である。 図1に示す作業機械の上面図である。 図1に示す作業機械に取り付けられる外部集音装置の概略図である。 図1に示す作業機械の構成を概略的に示すブロック図である。 図1に示す作業機械の運転室内の構成を示す平面図である。 図1に示す作業機械の操作者と作業者との双方向会話の概念図である。 図4に示す作業機械の制御装置の機能ブロック図である。 図7に示す作業機械の制御装置の動作を説明するフロー図である。 図7に示す作業機械の制御装置の動作を説明するフロー図である。 図7に示す作業機械の制御装置の動作を説明するフロー図である。 図7に示す作業機械の制御装置の動作を説明するフロー図である。 図7に示す作業機械の表示装置に表示される画像を示す画像図である。 図7に示す作業機械の表示装置に表示される画像を示す画像図である。 図7に示す作業機械の制御装置の他の構成を示す機能ブロック図である。 図10に示す作業機械の制御装置の動作を説明するフロー図である。 図10に示す作業機械の制御装置の動作を説明するフロー図である。 図1に示す作業機械の他の構成を示す上面図である。 本開示の実施形態に係る作業機械システムの概略図である。 図13に示す作業機械システムの変形例を示す概略図である。
 以下、本開示の実施形態について図面を参照して説明する。以下で説明する実施形態は、例示であり、発明を限定するものではない。本開示の実施形態における全ての特徴及びその組み合わせは、必ずしも発明の本質的なものであるとは限らない。なお、各図面において同一の又は対応する構成には同一の又は対応する符号を付し、重複する説明を省略する場合がある。
 まず、図1及び図2を参照し、作業機械100の概要について説明をする。図1は作業機械100の側面図であり、図2は、作業機械100の上面図である。
 本開示の実施形態に係る作業機械100は、ショベルである。作業機械100は、クレーン、アスファルトフィニッシャ、又はフォークリフト等のショベル以外の機械であってもよい。また、図示例では、作業機械100としてのショベルは、エンドアタッチメントとしてバケット6を備えた掘削機であるが、バケット6以外のエンドアタッチメントを備えた林業機械等の応用機であってもよい。
 図1における+Xは三次元直交座標系を構成するX軸の一方向を表し、-XはX軸の他方向を表す。図2における+Yは三次元直交座標系を構成するY軸の一方向を表し、-YはY軸の他方向を表す。図1における+Zは三次元直交座標系を構成するZ軸の一方向を表し、-ZはZ軸の他方向を表す。図1では、作業機械100の+X側は、作業機械100の前側に相当し、作業機械100の-X側は、作業機械100の後側に相当する。また、作業機械100の+Y側は、作業機械100の左側に相当し、作業機械100の-Y側は、作業機械100の右側に相当する。また、作業機械100の+Z側は、作業機械100の上側に相当し、作業機械100の-Z側は、作業機械100の下側に相当する。他の図においても同様である。
 作業機械100は、下部走行体1と、旋回機構2を介して旋回自在に下部走行体1に搭載される上部旋回体3と、各種作業を行うためのアタッチメントATと、上部旋回体3に設けられた運転室10とを備える。運転室10は、キャビン又はキャブとも呼ばれる。作業機械100(上部旋回体3)の前側は、作業機械100を上部旋回体3の旋回軸に沿って真上から見たときに、上部旋回体3に対してアタッチメントATが取り付けられる側に対応する。また、作業機械100(上部旋回体3)の左側、右側、後側は、それぞれ、運転室10内の運転席に着座する操作者から見た左側、右側、後側に対応する。
 下部走行体1は、例えば、左右一対のクローラ1Cを含む。具体的には、クローラ1Cは、左クローラ1CL、及び右クローラ1CRを含む。左クローラ1CLは左走行油圧モータ2MLによって駆動され、右クローラ1CRは右走行油圧モータ2MRによって駆動される。左走行油圧モータ2MLは、被駆動部としての左クローラ1CLを駆動する走行駆動部であり、左クローラ1CLを回転させることができる。右走行油圧モータ2MRは、被駆動部としての右クローラ1CRを駆動する走行駆動部であり、右クローラ1CRを回転させることができる。なお、走行駆動部は電動モータであってもよい。
 上部旋回体3の前部中央には、ブーム4が回動可能に取り付けられ、ブーム4の先端には、アーム5が回動可能に取り付けられ、アーム5の先端には、バケット6が回動可能に取り付けられている。図示例では、ブーム4、アーム5、及びバケット6は、アタッチメントATの一例である掘削アタッチメントを構成している。ブーム4、アーム5、バケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、バケットシリンダ9により駆動される。
 バケット6は、作業具(エンドアタッチメント)の一例である。バケット6は、例えば、掘削作業等に用いられる。アーム5の先端には、作業内容等に応じて、バケット6の代わりに、他の作業具が取り付けられてもよい。他の作業具は、例えば、大型バケット、法面用バケット、浚渫用バケット等の他の種類のバケットであってよい。また、他の作業具は、攪拌機、ブレーカ、グラップル、又はリフティングマグネット等のバケット以外の種類の作業具であってもよい。
 旋回油圧モータ2A、左走行油圧モータ2ML、右走行油圧モータ2MR、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9は、油圧ポンプから吐出される作動油によって駆動される油圧アクチュエータである。
 なお、作業機械100は、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動部の全部又は一部が電気駆動されてもよい。すなわち、作業機械100は、被駆動部の全部又は一部が電動アクチュエータで駆動される、ハイブリッド作業機械又は電動作業機械等であってもよい。
 また、作業機械100には、例えば、情報伝達装置G1、外部集音装置M1、撮像装置S6、外部音出力装置SP1、ホーンスピーカSP3、及びアラームスピーカSP4が取り付けられている。
 撮像装置S6は、上部旋回体3又は運転室10に設けられ、作業機械100の周辺を撮像し、作業機械100の周辺を表した画像情報を取得する。図示例では、撮像装置S6は、前カメラS6F、左カメラS6L、右カメラS6R、及び、後カメラS6Bを含む。
 前カメラS6Fは、作業機械100の前方を撮像するカメラであり、運転室10の屋根、ブーム4の側面等、運転室10の外部に取り付けられる。なお、前カメラS6Fは、例えば、運転室10の天井等、運転室10の内部に取り付けられてもよい。左カメラS6Lは、作業機械100の左方を撮像するカメラであり、右カメラS6Rは、作業機械100の右方を撮像するカメラであり、後カメラS6Bは、作業機械100の後方を撮像するカメラである。具体的には、前カメラS6F、左カメラS6L、右カメラS6R、及び後カメラS6Bはいずれも、CCD又はCMOS等の撮像素子を備えた単眼の広角カメラであり、撮像した画像を表示装置D1(図4及び図5を参照)に出力する。また、撮像装置S6により撮像された画像の情報は、コントローラ30に取り込まれる。
 図示例では、前カメラS6Fは運転室10の屋根に取り付けられ、左カメラS6Lは上部旋回体3の上面左端に取り付けられ、右カメラS6Rは上部旋回体3の上面右端に取り付けられ、後カメラS6Bは上部旋回体3の上面後端に取り付けられている。
 撮像装置S6は、作業機械100の周囲にある物体を検出する物体検出装置を構成してもよい。物体は、例えば、人、動物、車両、建設機械、建造物、又は穴等である。物体検出装置は、人と人以外の物体とを区別して検出できるように構成されていてもよい。すなわち、物体検出装置は、人検出装置として機能するように構成されていてもよい。
 物体検出装置は、カメラ以外の装置で構成されていてもよい。例えば、物体検出装置はLiDARであってもよい。LiDARは、例えば、監視範囲内にある100万点以上の点群とLiDAR(レーザ源)との間の距離を計測可能な装置である。また、物体検出装置は、ステレオカメラ、距離画像カメラ、又はミリ波レーダ等、物体との間の距離を計測可能な他の装置であってもよい。物体検出装置としてミリ波レーダ等が利用される場合には、物体検出装置は、多数の信号(レーザ光等)を物体に向けて発信し、その反射信号を受信することにより、物体の距離及び方向を導き出してもよい。あるいは、物体検出装置は、2種類以上の装置の組合せであってもよい。例えば、物体検出装置は、撮像装置とLiDARとの組合せであってもよいし、撮像装置とミリ波レーダとの組合せであってもよいし、撮像装置とステレオカメラとの組合せであってもよい。
 外部集音装置M1は、運転室10の外側に配置されて外部の音を集める装置であり、マイクロフォン又はマイクとも呼ばれる。図示例では、外部集音装置M1は、上部旋回体3又は運転室10に設けられ、作業機械100の周辺で発生した音(空気振動)を機械的振動に変換し、その機械的振動を電気信号に変換する。
 具体的には、外部集音装置M1は、作業機械100の周囲にいる作業者が発する声を拾うことができるように構成され、例えば、上部旋回体3の異なる位置に着脱可能に取り付けられた複数のマイクロフォンを含む。複数のマイクロフォンは、例えば、前マイクM1F、左マイクM1L、右マイクM1R、及び、後マイクM1Bを含む。また、外部集音装置M1は、例えば、上部旋回体3に着脱可能に取り付けられた少なくとも一つのアレイマイクを含んでいてもよい。アレイマイクは、マイクロフォンアレイとも呼ばれ、アレイ状に配置されて一体的に構成された複数のマイクロフォンを有している。
 前マイクM1Fは、作業機械100の前方で生じた音を集めるマイクであり、運転室10の屋根、ブーム4の側面等、運転室10の外部に取り付けられる。なお、前マイクM1Fは、例えば、運転室10の天井等、運転室10の内部に取り付けられてもよい。左マイクM1Lは、作業機械100の左方で生じた音を集めるマイクであり、右マイクM1Rは、作業機械100の右方で生じた音を集めるマイクであり、後マイクM1Bは、作業機械100の後方で生じた音を集めるマイクである。そして、前マイクM1F、左マイクM1L、右マイクM1R、及び後マイクM1Bのそれぞれが生成する電気信号は、コントローラ30に取り込まれる。
 図示例では、前マイクM1Fは運転室10の屋根に取り付けられ、左マイクM1Lは上部旋回体3の上面左端に取り付けられ、右マイクM1Rは上部旋回体3の上面右端に取り付けられ、後マイクM1Bは上部旋回体3の上面後端に取り付けられている。このように、4個の外部集音装置M1(前マイクM1F、左マイクM1L、右マイクM1R、及び後マイクM1B)は、上部旋回体3の異なる位置に設けられている。そのため、コントローラ30は、4個の外部集音装置M1のそれぞれが集音した音の違い(例えば、音量の違い)に基づいて音の発生源がある方向を検出できる。また、外部集音装置M1としてアレイマイクを用いた場合は、例えば、位相のずれ、又は音量の違いに基づいて、音の発生源がある方向を検出できる。
 図示例では、4個の外部集音装置M1のそれぞれと4個の撮像装置S6のそれぞれとは互いに対応するように配置されている。具体的には、前マイクM1Fは、前カメラS6Fに隣接するように配置され、左マイクM1Lは、左カメラS6Lに隣接するように配置され、右マイクM1Rは、右カメラS6Rに隣接するように配置され、後マイクM1Bは、後カメラS6Bに隣接するように配置されている。
 また、前マイクM1F、左マイクM1L、右マイクM1R、及び後マイクM1B等の各々のマイクロフォンは、前カメラS6F、左マイクM1L、右マイクM1R、及び後カメラS6B等の各々のカメラと、それぞれ、一体的に構成されていてもよい。また、外部集音装置M1は、カメラと一体的に構成されたアレイマイクを含んでいてもよい。
 外部音出力装置SP1は、運転室10の外側に配置され、作業機械100の周囲に向けて音を出力する装置である。図示例では、外部音出力装置SP1は、無指向性スピーカであり、すべての方向に音を均一に出力できるように構成されている。ただし、外部音出力装置SP1は、前方に向けて音を出力する指向性スピーカであってもよい。
 ホーンスピーカSP3は、例えば、上部旋回体3の前部に搭載され、運転室10の外側で、アタッチメントATを構成するブーム4の下方側に配置されている。ホーンスピーカSP3は、例えば、左ホーンスピーカSP3Lと右ホーンスピーカSP3Rを有している。左ホーンスピーカSP3Lと右ホーンスピーカSP3Rは、それぞれホーン音を発生させる。
 アラームスピーカSP4は、例えば、上部旋回体3の後部に搭載され、運転室10の外側で、左走行油圧モータ2MLの近傍に配置されている。アラームスピーカSP4は、例えば、作業機械100の走行中にアラーム音を発生させ、作業機械100の周囲の作業者WK等に注意を促す。
 情報伝達装置G1は、作業機械100の外部に作業機械100の状態を知らせるための装置である。図示例では、情報伝達装置G1は、上部旋回体3又は運転室10に設けられ、作業機械100がどのような状態にあるかを作業機械100の周囲にいる作業者に伝えることができるように構成されている。具体的には、情報伝達装置G1は、発光装置であり、前ライトバーG1F、左ライトバーG1L、右ライトバーG1R、及び、後ライトバーG1Bを含む。
 前ライトバーG1Fは、作業機械100の前方にいる作業者等に視覚的に情報を伝えることができる発光装置であり、運転室10の屋根、ブーム4の側面等、運転室10の外部に取り付けられる。なお、前ライトバーG1Fは、例えば、運転室10の天井等、運転室10の内部に取り付けられてもよい。左ライトバーG1Lは、作業機械100の左方にいる作業者等に視覚的に情報を伝えることができる発光装置であり、右ライトバーG1Rは、作業機械100の右方にいる作業者等に視覚的に情報を伝えることができる発光装置であり、後ライトバーG1Bは、作業機械100の後方にいる作業者等に視覚的に情報を伝えることができる発光装置である。そして、前ライトバーG1F、左ライトバーG1L、右ライトバーG1R、及び後ライトバーG1Bのそれぞれは、コントローラ30からの電気信号に応じて発光する。図示例では、発光装置は、LEDライトであるが、ハロゲンランプ等の他の発光装置であってもよい。また、発光装置は、多色発光型であるが、単色発光型であってもよい。
 図示例では、前ライトバーG1Fは運転室10の屋根に取り付けられ、左ライトバーG1Lは上部旋回体3の上面左端に取り付けられ、右ライトバーG1Rは上部旋回体3の上面右端に取り付けられ、後ライトバーG1Bは上部旋回体3の上面後端に取り付けられている。このように、4個の情報伝達装置G1(前ライトバーG1F、左ライトバーG1L、右ライトバーG1R、及び後ライトバーG1B)は、上部旋回体3の異なる位置に設けられている。そのため、コントローラ30は、4個の情報伝達装置G1のそれぞれを別々に動作させることにより、作業機械100の前方、左方、右方、及び後方のそれぞれにいる作業者等に作業機械100がどのような状態にあるかを伝えることができる。
 図示例では、4個の情報伝達装置G1のそれぞれと4個の外部集音装置M1のそれぞれとは互いに対応するように配置されている。具体的には、前ライトバーG1Fは、前マイクM1Fに隣接するように配置され、左ライトバーG1Lは、左マイクM1Lに隣接するように配置され、右ライトバーG1Rは、右マイクM1Rに隣接するように配置され、後ライトバーG1Bは、後マイクM1Bに隣接するように配置されている。
 図3は、作業機械100に取り付けられる外部集音装置M1及び情報伝達装置G1の構成例を示す図である。具体的には、図3は、略直方体形状の筐体に取り付けられた左マイクM1L及び左ライトバーG1Lの斜視図である。なお、図3を参照する以下の説明は、左マイクM1L及び左ライトバーG1Lの組合せに関するが、前マイクM1F及び前ライトバーG1Fの組合せ、右マイクM1R及び右ライトバーG1Rの組合せ、及び、後マイクM1B及び後ライトバーG1Bの組合せにも同様に適用される。
 図3に示すように、左マイクM1L及び左ライトバーG1Lは、作業機械100の左方を向くように略直方体形状の筐体の左側面に配置されている。この配置により、左マイクM1Lは、作業機械100の左方で生じた音を効率的に集めることができ、左ライトバーG1Lは、作業機械100の左方にいる作業者に作業機械100の状態を効率的に伝えることができる。例えば、左マイクM1Lは、作業機械100の左方にいる作業者が発した声を捉えることができ、左ライトバーG1Lは、所定の色で発光することにより、左マイクM1Lが作業者の声を捉えたことを作業者に伝えることができる。この場合、左マイクM1Lに向かって話しかけた作業機械100の左方にいる作業者は、所定の色に発光した左ライトバーG1Lを見ることにより、自身の声が左マイクM1L(すなわち、作業機械100の操作者)に届いたことを確認できる。
 情報伝達装置G1は、運転室10の四つの側面のそれぞれの上部に設けられていてもよい(図6参照)。例えば、情報伝達装置G1は、前ライトバーG1Fが運転室10の前面の上部に取り付けられ、左ライトバーG1Lが運転室10の左面の上部に取り付けられ、右ライトバーG1Rが運転室10の右面の上部に取り付けられ、後ライトバーG1Bが運転室10の後面の上部に取り付けられるように構成されていてもよい。また、情報伝達装置G1は、運転室10の上面に取り付けられたニコトーチのような一つの回転灯であってもよく、液晶ディスプレイ又は有機ELディスプレイ等の表示装置であってもよい。
 コントローラ30は、制御装置の一例であり、例えば、CPU、揮発性記憶装置、不揮発性記憶装置、及び、各種入出力インターフェース等を含むコンピュータで構成される。そして、コントローラ30は、例えば、プログラムを不揮発性記憶装置から読み出して揮発性記憶装置にロードし、CPUに実行させることで各種機能を実現する。図示例では、コントローラ30は、各種機能を実現して作業機械100を制御できるように構成されている。各種機能は、例えば、操作者による作業機械100の手動操作をガイド(案内)するマシンガイダンス機能を含む。各種機能は、作業機械100の周辺の監視範囲内に存在する物体と作業機械100との接触を回避するために作業機械100を自動的又は自律的に動作させたり又は停止させたりする接触回避機能を含んでいてもよい。
 ブーム角度センサS1は、ブーム4の上部旋回体3に対する回動角度であるブーム角度を検出する。アーム角度センサS2は、アーム5のブーム4に対する回動角度であるアーム角度を検出する。バケット角度センサS3は、バケット6のアーム5に対する回動角度であるバケット角度を検出する。
 ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3のそれぞれは、例えば、ロータリエンコーダ、加速度センサ、6軸センサ、IMU(Inertial Measurement Unit:慣性計測装置)等であってもよく、可変抵抗器を利用したポテンショメータ、油圧シリンダのストローク量を検出するシリンダストロークセンサ等であってもよい。
 ブーム角度センサS1によるブーム角度に対応する検出信号、アーム角度センサS2によるアーム角度に対応する検出信号、及び、バケット角度センサS3によるバケット角度に対応する検出信号は、コントローラ30に取り込まれる。
 機体傾斜センサS4は、水平面に対する機体(下部走行体1又は上部旋回体3)の傾斜状態を検出する。機体傾斜センサS4は、例えば、上部旋回体3に取り付けられ、作業機械100(すなわち、上部旋回体3)の前後方向及び左右方向の2軸回りの傾斜角度を検出する。機体傾斜センサS4は、例えば、加速度センサ、6軸センサ、又はIMU等であってもよい。機体傾斜センサS4による傾斜角度に対応する検出信号は、コントローラ30に取り込まれる。
 旋回センサS5は、上部旋回体3の旋回に関する情報を出力する。旋回センサS5は、例えば、下部走行体1に対する上部旋回体3の旋回角速度を検出する。旋回センサS5は、旋回角度を検出してもよい。旋回センサS5は、例えば、ジャイロセンサ、レゾルバ、又はロータリエンコーダ等であってもよい。旋回センサS5による上部旋回体3の旋回角度又は旋回角速度に対応する検出信号は、コントローラ30に取り込まれる。
 測位装置PSは、上部旋回体3の位置を測定する。測位装置PSは、例えば、GNSS(Global Navigation Satellite System)コンパスであり、上部旋回体3の位置及び向きを検出する。上部旋回体3の位置及び向きに対応する検出信号は、コントローラ30に取り込まれる。上部旋回体3の向きを検出する機能は、上部旋回体3に取り付けられた方位センサにより実現されてもよい。
 運転室10は、操作者が搭乗する区画空間であり、上部旋回体3の前部左側に設けられている。ただし、作業機械100が遠隔操作される場合、又は、作業機械100が完全自動運転によって動作する場合、運転室10は省略されてもよい。
 通信装置T1は、移動体通信網、衛星通信網、又はインターネット網等を含む通信ネットワークを通じて外部機器と通信を行う。通信装置T1は、例えば、LTE(Long Term Evolution)、4G(4th Generation)、若しくは5G(5th Generation)等の移動体通信規格に対応する移動体通信モジュール、Wi-Fi(登録商標)若しくはBluetooth(登録商標)等の近距離無線通信規格に対応する通信モジュール、又は、衛星通信網に接続するための衛星通信モジュール等である。
 作業機械100は、運転室10に搭乗する操作者の操作に応じて、アクチュエータを動作させ、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動部を駆動する。
 あるいは、作業機械100は、作業機械100の外部から遠隔操作できるように構成されていてもよい。作業機械100が遠隔操作される場合、運転室10の内部は、無人状態であってもよい。
 また、作業機械100は、操作者の操作の内容に依らず、自動でアクチュエータを動作させてもよい。これにより、作業機械100は、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動部の少なくとも一部を自動で動作させる機能、すなわち、いわゆる「マシンコントロール機能」を実現する。
 図4は、作業機械100の構成の一例を概略的に示す図である。図4において、機械的動力伝達系、作動油ライン、パイロットライン、電気制御系は、それぞれ、二重線、太実線、太破線、点線で示されている。
 作業機械100の駆動系は、動力源11、レギュレータ13、メインポンプ14、及びコントロールバルブユニット17を含む。また、作業機械100の油圧駆動系は、旋回油圧モータ2A、左走行油圧モータ2ML、右走行油圧モータ2MR、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等の油圧アクチュエータを含む。
 動力源11は、例えば、エンジンであり、上部旋回体3の後部に搭載される。なお、作業機械100の動力源は、バッテリ又は燃料電池等の電源と電動モータとの組合せであってもよい。具体的には、動力源11は、コントローラ30による直接あるいは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ14及びパイロットポンプ15を駆動する。動力源11は、例えば、軽油を燃料とするディーゼルエンジンである。なお、動力源11は、ガソリンエンジン又は水素エンジン等であってもよい。
 レギュレータ13は、メインポンプ14の吐出量を制御する。例えば、レギュレータ13は、コントローラ30からの制御指令に応じて、メインポンプ14の斜板の角度(傾転角)を調節することによってメインポンプ14の吐出量を制御する。
 メインポンプ14は、例えば、動力源11と同様、上部旋回体3の後部に搭載され、作動油ラインを通じてコントロールバルブユニット17に作動油を供給する。図示例では、メインポンプ14は、可変容量式油圧ポンプである。
 コントロールバルブユニット17は、作業機械100における油圧システムを制御する油圧制御装置の一つである。図示例では、コントロールバルブユニット17は、制御弁171~176を含む。コントロールバルブユニット17は、制御弁171~176を通じ、メインポンプ14が吐出する作動油を1又は複数の油圧アクチュエータに選択的に供給できるように構成されている。制御弁171~176は、メインポンプ14から油圧アクチュエータに流れる作動油の流量、及び、油圧アクチュエータから作動油タンクに流れる作動油の流量を制御する。油圧アクチュエータは、ブームシリンダ7、アームシリンダ8、バケットシリンダ9、左走行油圧モータ2ML、右走行油圧モータ2MR、及び旋回油圧モータ2Aを含む。具体的には、制御弁171は、旋回油圧モータ2Aに対応し、制御弁172は、右走行油圧モータ2MRに対応し、制御弁173は、左走行油圧モータ2MLに対応する。また、制御弁174は、バケットシリンダ9に対応し、制御弁175は、ブームシリンダ7に対応し、制御弁176は、アームシリンダ8に対応する。
 パイロットポンプ15は、パイロット圧生成装置の一例であり、パイロットラインを介して油圧制御装置に作動油を供給できるように構成されている。図示例では、パイロットポンプ15は、固定容量型油圧ポンプである。ただし、パイロット圧生成装置は、メインポンプ14によって実現されてもよい。すなわち、メインポンプ14は、作動油ラインを介して作動油をコントロールバルブユニット17に供給する機能に加え、パイロットラインを介して各種油圧制御装置に作動油を供給する機能を備えていてもよい。この場合、パイロットポンプ15は、省略されてもよい。
 吐出圧センサ28は、メインポンプ14の吐出圧を検出するように構成されている。図示例では、吐出圧センサ28は、検出した値をコントローラ30に対して出力する。
 操作装置26は、操作者がアクチュエータの操作のために用いる装置である。操作装置26は、例えば、操作レバー及び操作ペダルを含む。アクチュエータは、油圧アクチュエータであってもよく電動アクチュエータであってもよい。
 操作センサ29は、操作装置26を用いた操作者の操作内容を検出するように構成されている。本実施形態では、操作センサ29は、アクチュエータのそれぞれに対応する操作装置26の操作方向及び操作量を検出し、検出した値をコントローラ30に対して出力する。図示例では、コントローラ30は、操作センサ29の出力に応じて弁31の開口面積を制御することができる。そして、コントローラ30は、パイロットポンプ15が吐出する作動油を、コントロールバルブユニット17内の対応する制御弁のパイロットポートに供給する。パイロットポートのそれぞれに供給される作動油の圧力(パイロット圧)は、原則として、油圧アクチュエータのそれぞれに対応する操作装置26の操作方向及び操作量に応じた圧力である。このように、操作装置26は、パイロットポンプ15が吐出する作動油を、コントロールバルブユニット17内の対応する制御弁のパイロットポートに供給できるように構成されている。
 マシンコントロール用制御弁として機能する弁31は、パイロットポンプ15とコントロールバルブユニット17内の制御弁のパイロットポートとを接続する管路に配置され、その管路の流路面積を変更できるように構成されている。図示例では、弁31は、コントローラ30が出力する制御指令に応じて動作する電磁弁である。そのため、コントローラ30は、操作者による操作装置26の操作とは無関係に、制御弁のパイロットポートに作用するパイロット圧を弁31によって調整することができる。
 この構成により、コントローラ30は、特定の操作装置26に対する操作が行われていない場合であっても、その特定の操作装置26に対応する油圧アクチュエータを動作させることができる。
 また、図4に示すように、作業機械100の制御系は、コントローラ30、表示装置D1、入力装置D2、ホーンボタンHS、発話ボタンKS、外部集音装置M1、内部集音装置M2、外部音出力装置SP1、内部音出力装置SP2、外部音量ダイヤルDL1、内部音量ダイヤルDL2、スイッチSW、及び通信装置T1等を含む。
 コントローラ30は、必要に応じてレギュレータ13に対して制御指令を出力し、メインポンプ14の吐出量を変化させることができるように構成されている。
 また、コントローラ30は、例えば、操作者による操作装置26を通じた作業機械100の手動操作をガイド(案内)するマシンガイダンス機能に関する制御を行うように構成されていてもよい。また、コントローラ30は、例えば、操作者による操作装置26を通じた作業機械100の手動操作を自動的に支援するマシンコントロール機能に関する制御を行うように構成されていてもよい。
 なお、コントローラ30の機能の一部は、他のコントローラ(制御装置)により実現されてもよい。すなわち、コントローラ30の機能は、複数のコントローラにより分散される態様で実現されてもよい。例えば、マシンガイダンス機能及びマシンコントロール機能は、専用のコントローラ(制御装置)により実現されてもよい。
 ここで、図5を参照し、運転室10の内部について説明する。図5は、運転室10の内部の上面図である。作業機械100は、運転室10の内部に配置される、運転席50、操作装置26、及び表示装置D1等を備える。運転席50の左側には、乗降用ドアが設けられている。操作者は乗降用ドアを開けて運転室10の内部に入ることができる。
 運転席50は、上面視において運転室10の中央に配置されている。運転席50は操作者が着座する座部51と背もたれ52とを含む。運転席50はリクライニングシートであり、背もたれ52の傾斜角度は調節可能である。運転席50の左側には左アームレスト53Lが配置され、右側には右アームレスト53Rが配置されている。左アームレスト53L及び右アームレスト53Rは背もたれ52によって回動可能に支持されている。
 運転席50の左側には左コンソール54Lが配置され、右側には右コンソール54Rが配置されている。左コンソール54L及び右コンソール54Rは、前後方向に沿って延在する。運転席50は、前後方向にスライド可能である。運転席50は、左コンソール54L及び右コンソール54Rと共に前後方向にスライド可能な構成であってもよい。
 左アームレスト53Lは、左コンソール54Lの上に配置されている。右アームレスト53Rは、右コンソール54Rの上に配置されている。左アームレスト53Lは、上面視において、左コンソール54Lの一部を覆うように配置されている。右アームレスト53Rは、上面視において、右コンソール54Rの一部を覆うように配置されている。
 操作装置26は、左操作レバー26L、右操作レバー26R、左走行ペダル26PL、右走行ペダル26PR、左走行レバー26DL、及び右走行レバー26DRを含む。
 左操作レバー26Lは、左コンソール54Lの前部に設けられている。同様に、右操作レバー26Rは、右コンソール54Rの前部に設けられている。運転席50に着座した操作者は、左手で左操作レバー26Lを把持しながら左操作レバー26Lを操作でき、かつ右手で右操作レバー26Rを把持しながら右操作レバー26Rを操作できる。運転席50に着座した操作者は、左手で左操作レバー26Lを操作してアームシリンダ8及び旋回油圧モータ2Aを駆動できる。また、運転席50に着座した操作者は、右手で右操作レバー26Rを操作してブームシリンダ7及びバケットシリンダ9を駆動できる。なお、左操作レバー26L及び右操作レバー26Rのそれぞれの基部はレバーブーツ27で覆われている。
 左走行ペダル26PL及び右走行ペダル26PRは、運転席50の前方の床面に配置されている。運転席50に着座した操作者は、左足で左走行ペダル26PLを操作して左走行油圧モータ2MLを駆動できる。また、運転席50に着座した操作者は、右足で右走行ペダル26PRを操作して右走行油圧モータ2MRを駆動できる。
 左走行レバー26DL及び右走行レバー26DRは、上面視において、左走行ペダル26PLと右走行ペダル26PRとの間に配置されている。左走行レバー26DL及び右走行レバー26DRは、運転席50の前方の床面から上方に延在している。運転席50に着座した操作者は、左手で左走行レバー26DLを把持しながら操作することで、左走行ペダル26PLを介した操作と同様に、左走行油圧モータ2MLを駆動できる。また、運転席50に着座した操作者は、右手で右走行レバー26DRを把持しながら操作することで、右走行ペダル26PRを介した操作と同様に、右走行油圧モータ2MRを駆動できる。また、左走行レバー26DL及び右走行レバー26DRは、操作者が片手で左走行レバー26DLと右走行レバー26DRとを同時に操作できるように配置されている。
 表示装置D1は、運転室10内の着座した操作者から視認し易い場所に設けられ、コントローラ30による制御下で、各種情報画像を表示する。図示例では、表示装置D1は、運転席50の右側前方に配置され、専用線を介してコントローラ30に接続されている。表示装置D1は、各種の画像情報を表示する。表示装置D1は、作業機械100の作業条件又は動作状態等の情報を表示する表示画面を含む。運転席50に着座した操作者は、表示装置D1に表示された各種情報を確認しながら作業機械100による作業を行うことができる。表示装置D1には、入力装置D2が設けられていてもよい。
 入力装置D2は、運転席50に着座した操作者の運転室10内の左側着座した操作者から手が届く範囲に設けられ、操作者による各種操作入力を受け付けて、操作入力に応じた信号をコントローラ30に出力する。入力装置D2は、各種情報画像を表示する表示装置D1のディスプレイに実装されるタッチパネル、操作装置26に含まれる複数の操作レバーのいずれか一つ以上のレバー部の先端に設けられるノブスイッチ、又は、表示装置D1の周囲に設置されるボタンスイッチ、レバー、トグルスイッチ、若しくは回転ダイヤル等を含む。入力装置D2に対する操作の内容に対応する信号は、コントローラ30に取り込まれる。
 左コンソール54Lの前端部の前面には、ゲートバー55が取り付けられる。ゲートバー55は、左コンソール54Lに設けられるゲートロックレバーGLの操作状態と連動して動作する。ゲートバー55は、上端部にある左右方向に延びる軸を中心として、起伏可能に左コンソール54Lの内部のフレームに取り付けられている。
 ゲートロックレバーGLは、操作装置26による作業機械100の操作が可能な状態(操作可能状態)と操作装置26による作業機械100の操作が不可能な状態(操作不可状態)とを切り換えるための機械的な入力操作部である。図示例では、ゲートロックレバーGLは、操作不可状態を実現する第1操作位置と操作可能状態を実現する第2操作位置とを操作者が切り換えることができるように構成されている。コントローラ30は、ゲートロックレバーGLの操作状態に応じて操作可能状態と操作不可状態とを切り換える。図示例では、コントローラ30は、ゲートロックレバーGLの操作状態に応じてパイロットラインの連通状態と非連通状態とを電気的に切り換えることで、作業機械100の操作可能状態と操作不可状態とを切り換える。
 また、ゲートロックレバーGLが第2操作位置にある場合、ゲートバー55は、図5に示すように、操作者による乗降用ドアの通過を妨げるように前方に起きた状態(通過禁止状態)になる。一方、ゲートロックレバーGLが第1操作位置にある場合、ゲートバー55は、操作者による乗降用ドアの通過の妨げとならないように左コンソール54Lの内部に収容された状態(通過許可状態)となる。
 この構成により、操作者は、ゲートロックレバーGLを第2操作位置にしてゲートバー55を通過禁止状態にしない限り、作業機械100の操作を行うことができない。そのため、この構成は、操作者が乗り降りするときに不注意にも操作装置26に触れてしまった場合であっても、作業機械100が意図せずに動いてしまうのを抑制できる。そのため、この構成は、作業機械100の安全性を向上させることができる。
 また、作業機械100は、ゲートロックレバーGLが第2操作位置にありゲートバー55が通過禁止状態にある場合に限り、動力源11を起動させるための所定の操作を受け付けることができるように構成されていてもよい。すなわち、作業機械100は、ゲートロックレバーGLが第1操作位置にありゲートバー55が通過許可状態にある場合には、動力源11を起動させることができないように構成されていてもよい。
 右コンソール54Rには、スイッチSWが設置されている。右コンソール54Rの右側には、窓側コンソール56が設置されている。窓側コンソール56は、運転室10の前後方向の全長に亘って延在し、右コンソール54Rと平行になるように設けられている。表示装置D1は窓側コンソール56の前部に設置されている。窓側コンソール56には、外部音量ダイヤルDL1、内部音量ダイヤルDL2、内部集音装置M2、ラジオチューナー等が設置されている。ラジオチューナー等は、左コンソール54L又は右コンソール54Rに設置されていてもよい。
 内部集音装置M2は、運転室10の内側に配置されて運転室10内で発生した音を集める装置である。図示例では、内部集音装置M2は、室内マイクであり、運転室10内の操作者が発する声を拾うことができるように構成されている。内部集音装置M2は、運転室10内で収集した音から生成した信号をコントローラ30へ出力する。
 ホーンボタンHSは、ホーン音を鳴らす際に作業機械100の操作者が操作するボタンである。図示例では、ホーンボタンHSは、左操作レバー26Lの先端に設けられたノブスイッチである。
 発話ボタンKSは、作業機械100の操作者が作業機械100の周囲にいる作業者に話しかける際に作業機械100の操作者が操作するボタンである。図示例では、発話ボタンKSは、右操作レバー26Rの先端に設けられたノブスイッチである。
 発話ボタンKSは、制御装置であるコントローラ30に接続された操作部である。コントローラ30は、発話ボタンKSの操作状態に基づいて、作業機械100の操作者OPが作業機械100の周囲の作業者WKなどの対象者に対して発話する状態と、その対象者が作業機械100の操作者OPに対して発話する状態とを切り替える(図6参照)。操作者OPが対象者に対して発話する状態は、内部集音装置M2が収集した音から生成した信号に基づく音を外部音出力装置SP1から出力させる状態である。対象者が操作者OPに対して発話する状態は、外部集音装置M1が収集した音から生成した信号に基づく音を内部音出力装置SP2から出力させる状態である。
 内部音出力装置SP2は、運転室10の内側に配置されて運転室10内の操作者に向けて音を出力する装置であり、運転室10内に設けられている。また、内部音出力装置SP2は、コントローラ30から入力された電気信号を物理的な音(空気の振動)に変換して出力する。内部音出力装置SP2は、任意の位置に設けられてよく、例えば、表示装置D1近傍、入力装置D2近傍、又は、運転室10の乗降用ドア近傍に設けられてもよい。図示例では、内部音出力装置SP2は、運転室10の後壁の左上隅に取り付けられた左室内スピーカSP2Lと、運転室10の後壁の右上隅に取り付けられた右室内スピーカSP2Rとを含む。なお、内部音出力装置SP2は、操作者が装着するヘッドホン又はイヤホンであってもよい。この場合、ヘッドホン又はイヤホンは、例えば、Bluetooth(登録商標)等を介してコントローラ30と通信できるように接続される。
 外部音量ダイヤルDL1は、外部音出力装置SP1が出力する音の音量を調整できるように構成されている。また、外部音出力装置SP1のそれぞれが出力する音の音量は、追加的に、表示装置D1に取り付けられたタッチパネル等の、外部音量ダイヤルDL1以外の装置を利用して調整できるように構成されていてもよい。外部音量ダイヤルDL1は、時計回り及び反時計回りのそれぞれの方向に無限に回転できるように構成されていてもよい。外部音量ダイヤルDL1を利用した音量調整と外部音量ダイヤルDL1以外の装置を利用した音量調整とが併用される場合に対応できるようにするためである。
 スイッチSWは、押下に応じて音の出力機能のオン、オフを切り替えるためのボタンである。スイッチSWの具体的な機能は、上述した通りとして説明を省略する。作業機械100のコントローラ30は、音の出力機能がオフの状態において、スイッチSWから押下されたことを示す信号を受信した場合に、音の出力機能をオンとする。
 外部音量ダイヤルDL1は、外部音出力装置SP1から出力される音の音量を調整する他に、押しボタンスイッチ機能を有している。本実施形態に係る外部音量ダイヤルDL1が押下されたか否かに応じて、作業機械100の周囲にいる作業者に話しかけるか否かが切り替えられる。換言すれば、外部音量ダイヤルDL1の押下は、図5に示されるノブスイッチの発話ボタンKSと同様の発話ボタンとして機能する。つまり、作業機械100のコントローラ30は、外部音量ダイヤルDL1(発話ボタン)が押下されたことを示す信号を受信した場合に、内部集音装置M2が収集した(操作者OPが発した音声を含む)音を外部音出力装置SP1からの出力制御を可能とする。
 内部音量ダイヤルDL2は、内部音出力装置SP2が出力する音の音量を調整できるように構成されている。また、内部音出力装置SP2のそれぞれが出力する音の音量は、追加的に、表示装置D1に取り付けられたタッチパネル等の、内部音量ダイヤルDL2以外の装置を利用して調整できるように構成されていてもよい。内部音量ダイヤルDL2は、時計回り及び反時計回りのそれぞれの方向に無限に回転できるように構成されていてもよい。内部音量ダイヤルDL2を利用した音量調整と内部音量ダイヤルDL2以外の装置を利用した音量調整とが併用される場合に対応できるようにするためである。
 内部音量ダイヤルDL2は、内部音出力装置SP2から出力される音量を調整する他に、押しボタンスイッチ機能を有している。本実施形態に係る内部音量ダイヤルDL2が押下されたか否かに応じて、音の出力についてミュートにするか否かが切り替えられる。
 スイッチSWは、押下に応じて音の出力機能のオン、オフを切り替えるためのボタンである。スイッチSWの具体的な機能は、上述した通りとして説明を省略する。
 作業機械100のコントローラ30は、音の出力機能がオフの状態において、スイッチSWから押下されたことを示す信号を受信した場合に、音の出力機能をオンとする。
 外部音量ダイヤルDL1は、外部音出力装置SP1から出力される音の音量を調整する他に、押しボタンスイッチ機能を有している。本実施形態に係る外部音量ダイヤルDL1が押下されたか否かに応じて、作業機械100の周囲にいる作業者に話しかけるか否かが切り替えられる。換言すれば、外部音量ダイヤルDL1は、発話ボタンKSとして機能する。
 つまり、作業機械100のコントローラ30は、外部音量ダイヤルDL1(発話ボタンKS)が押下されたことを示す信号を受信した場合に、内部集音装置M2が収集した(操作者OPが発した音声を含む)音を外部音出力装置SP1からの出力制御を可能とする。
 また、作業機械100のコントローラ30は、音の出力機能がオンの状態において、内部音量ダイヤルDL2から押下されたことを示す信号を受信した場合に、出力される音をミュートにする。これにより、コントローラ30は、外部集音装置M1が収集した(作業機械100周辺に存在している作業者WKが発した音声を含む)音を内部音出力装置SP2から出力する制御を停止する。
 本実施形態において、音の出力機能が利用可能となる条件は特に制限されず、実施態様に応じて定めることができる。
 例えば、作業機械100のコントローラ30は、作業機械100の動力源11が動作した状態に限り、スイッチSWからの信号に応じて音の出力機能のオンとオフとを切り替えることを可能にすると共に、外部音量ダイヤルDL1の押下を示す信号に応じて、作業者に話しかけるか否かを切り替えることを可能とする。したがって、コントローラ30は、作業機械100の動力源11が動作した状態において、外部集音装置M1が収集した音を内部音出力装置SP2から出力する制御を可能とし、かつ、内部集音装置M2が収集した音を外部音出力装置SP1から出力する制御を可能とする。そして、コントローラ30は、動力源11が動作していない状態において、外部集音装置M1が収集した音を内部音出力装置SP2から出力する制御を抑制し、かつ、内部集音装置M2が収集した音を外部音出力装置SP1からの出力する制御を抑制する。本実施形態においては、作業機械100の動力源11が動作した状態において、双方向会話を可能としている。したがって、操作者は、作業機械100の作業中において、作業機械100の周辺に存在する人との間でコミュニケーションを行うことで、作業効率の向上を実現できる。さらに、コントローラ30が、音の出力機能の利用を、作業機械100の動力源11が動作した状態に制限することで、電力消費量を抑制できる。
 他の例としては、作業機械100のコントローラ30は、(作業機械100の動力源11が動作した状態を含む)作業機械100がキーオン状態に限り、スイッチSWからの信号に応じて音の出力機能のオンとオフとを切り替えることを可能にすると共に、外部音量ダイヤルDL1の押下を示す信号に応じて、作業者に話しかけるか否かを切り替えることを可能とする。つまり、作業機械100では、作業機械100に設けられている周辺機器(例えば空調機器、ラジオチューナ等)に電力の供給が行われている場合には、音の出力機能のオンにできると共に作業者に話しかけることができる。したがって、コントローラ30は、作業機械100に設けられている周辺機器(例えば空調機器、ラジオチューナ等)に電力の供給が行われているキーオン状態において、外部集音装置M1が収集した音を内部音出力装置SP2から出力する制御を可能とし、かつ、内部集音装置M2が収集した音を外部音出力装置SP1から出力する制御を可能とする。そして、コントローラ30は、キーオフ状態において、外部集音装置M1が収集した音を内部音出力装置SP2から出力する制御を抑制し、かつ、内部集音装置M2が収集した音を外部音出力装置SP1からの出力する制御を抑制する。本実施形態においては、作業機械100がキーオン状態において、双方向会話を可能としている。したがって、操作者は、作業機械100による作業が行われていないとき、例えば、作業前の事前打合せ等でも、作業機械100の周辺に存在する人との間でコミュニケーションを容易に行うことができるので、作業効率の向上を実現できる。
 他の例としては、作業機械100のコントローラ30は、作業機械100のゲートロックレバーGLが第2操作位置にあり、ゲートバー55が通過禁止状態にある場合に限り、スイッチSWからの信号に応じて音の出力機能のオンとオフとを切り替えることを可能にすると共に、外部音量ダイヤルDL1の押下を示す信号に応じて、作業者に話しかけるか否かを切り替えることを可能とする。さらには、作業機械100のコントローラ30は、作業機械100のゲートロックレバーGLが第1操作位置にありゲートバー55が通過可能状態にある場合に、スイッチSWからの信号に応じて音の出力機能のオンとオフとを切り替えることを可能にすると共に、外部音量ダイヤルDL1の押下を示す信号に応じて、作業者に話しかけるか否かを切り替えることを可能としてもよい。
 さらなる例としては、作業機械100のコントローラ30は、作業機械100がキーオフ状態、換言すれば、動力源11が動作していない、かつ、作業機械100に設けられている周辺機器等に電力の供給が行われていない状態であっても、内部音量ダイヤルDL2からの信号に応じて、音の出力機能のオンとオフとを切り替えることを可能とする手法がある。つまり、コントローラ30は、キーオン状態及びキーオフ状態を問わず、外部集音装置M1が収集した音を内部音出力装置SP2からの出力制御を可能とし、かつ、内部集音装置M2が収集した音を外部音出力装置SP1からの出力制御を可能とする。本実施形態においては、作業機械100が任意のタイミングで、双方向会話を可能としている。したがって、操作者が話したにもかかわらず、周囲に聞こえていない等の状況が生じることを抑制できるので、コミュニケーションの疎通が容易になる。
 スイッチSWは、会話機能の動作状態を切り換えるための操作具の一例である。図示例では、スイッチSWは、右コンソール54Rの上面に設けられている。ただし、スイッチSWは、入力装置D2の一つであってもよく、表示装置D1に設けられたタッチパネルによって実現されてもよく、ノブスイッチであってもよい。例えば、スイッチSWがオンの場合に、外部集音装置M1により収集された音を、内部音出力装置SP2から出力し、スイッチSWがオフの場合に、外部集音装置M1により収集された音の、内部音出力装置SP2からの出力を停止(ミュート)する。
 会話機能は、図6に示すような作業機械100の操作者OPと作業機械100の周囲にいる作業者WKとの会話を実現するための機能である。図6は、操作者OPが搭乗している作業機械100と作業機械100の左前方にいる作業者WKの斜視図である。図6は、操作者OPの声が内部集音装置M2によって集音されて外部音出力装置SP1から出力され、作業者WKの声が外部集音装置M1によって集音されて内部音出力装置SP2から出力される様子を示している。
 コントローラ30は、図6に示すような操作者OPと作業者WKとの会話機能を実現するために、外部集音装置M1が収集した音を内部音出力装置SP2に出力させ、内部集音装置M2が収集した音を外部音出力装置SP1に出力させる。外部集音装置M1が収集した音を内部音出力装置SP2に出力させる外内伝達機能と、内部集音装置M2が収集した音を外部音出力装置SP1に出力させる内外伝達機能は、同時に発揮されてもよく、交互に発揮されてもよい。
 また、図6に示す作業機械100では、情報伝達装置G1は、運転室10の四つの側面のそれぞれの上部に設けられている。そして、運転室10の前面の上部に設けられた前ライトバーG1Fが緑色に発光し、運転室10の左面の上部に設けられた左ライトバーG1Lが白色に発光している。図6では、緑色に発光している前ライトバーG1Fにはドットパターンが付されている。緑色に発光している前ライトバーG1Fを見た作業者WKは、自身の声が前マイクM1Fによって検出されていることを認識できる。なお、図6では、明瞭化のため、撮像装置S6等の他の装置の図示が省略されている。
 会話機能の動作状態は、操作者OPと作業者WKとの間の会話が可能な状態であるオン状態(図6に示す状態)、及び、操作者OPと作業者WKとの間の会話ができない状態であるオフ状態を含む。ただし、会話機能の動作状態は、作業者WKの声を操作者OPが聴取できるが操作者OPの声を作業者WKが聴取できない状態である(操作者OPに関する)聴取可能状態、及び、操作者OPの声を作業者WKが聴取できるが作業者WKの声を操作者OPが聴取できない状態である(操作者OPに関する)発話可能状態の少なくとも一方を追加的に含んでいてもよい。
 具体的には、スイッチSWが操作されて会話機能の動作状態がオン状態に切り換えられると、外部集音装置M1、外部音出力装置SP1、内部集音装置M2、及び内部音出力装置SP2は利用可能な状態になる。反対に、スイッチSWが操作されて会話機能の動作状態がオフ状態に切り換えられると、外部集音装置M1、外部音出力装置SP1、内部集音装置M2、及び内部音出力装置SP2は利用不能な状態になる。
 また、スイッチSWが操作されて会話機能の動作状態が聴取可能状態に切り換えられると、外部集音装置M1及び内部音出力装置SP2は利用可能な状態になる。また、スイッチSWが操作されて会話機能の動作状態が発話可能状態に切り換えられると、外部音出力装置SP1及び内部集音装置M2は利用可能な状態になる。
 図示例では、操作者OPは、内部集音装置M2が利用可能な状態にあるときに発話ボタンKSを押しながら発話する。すると、コントローラ30は、内部集音装置M2が収集した音から生成した信号に基づく音を外部音出力装置SP1に出力させる。これにより、操作者OPは、内部集音装置M2及び外部音出力装置SP1を利用して作業者WKに話しかけることができる。
 また、操作者OPは、外部音出力装置SP1が利用可能な状態にあるときに発話ボタンKSを押さずに待機する。すると、コントローラ30は、外部集音装置M1が収集した音から生成した信号に基づく音を内部音出力装置SP2に出力させる。これにより、操作者OPは、外部集音装置M1及び内部音出力装置SP2を利用して、作業者WKの音声を含む作業機械100の周囲の音を聞くことができる。
 このように、作業機械100は、作業機械100の外側の外部領域と操作者OPがいる操作領域のそれぞれに設けられた集音発音設備によって、外部領域の音と操作領域の音を互いの領域に伝達する機能を備えている。なお、操作領域は、例えば、運転室10の内部や遠隔操作室等を含む。また、外部領域の集音発音設備は、外部集音装置M1及び外部音出力装置SP1を含み、操作領域の集音発音設備は、内部集音装置M2及び内部音出力装置SP2を含む。
 次に、本実施形態に係る作業機械100のコントローラ30の動作を説明する。図7は、図4に示す作業機械100のコントローラ30の機能ブロック図である。図8Aは、図7に示すコントローラ30の動作の一例を説明するフロー図である。
 本実施形態の作業機械100において、コントローラ30は、例えば、外部集音装置M1が収集した所定の音から生成した信号AS1F,AS1L,AS1R,AS1Bに基づいて外部集音装置M1の異常の有無を判定する制御装置としても機能する。なお、コントローラ30は、例えば、複数の制御装置によって構成されていてもよく、一つの制御装置によって構成されていてもよい。
 コントローラ30は、例えば、図7に示すように、外部信号処理部301と、内部信号処理部302と、信号出力部303と、異常判定部304と、を有している。これらコントローラ30の各部は、例えば、コントローラ30の各機能を表している。具体的には、コントローラ30の各機能は、例えば、コントローラ30のCPUが、不揮発性記憶装置に記憶されたプログラムを読み出し、揮発性記憶装置にロードして実行することにより実現される。
 外部信号処理部301は、例えば、作業機械100の運転室10の外側に配置された外部集音装置M1が収集した作業機械100の周囲の音から生成した信号AS1F,AS1L,AS1R,AS1Bを取得して処理する。外部信号処理部301は、例えば、処理済みの信号PS1を信号出力部303へ出力する。外部信号処理部301が外部集音装置M1から取得した音の信号AS1F,AS1L,AS1R,AS1Bに対して行う処理は、例えば、雑音低減処理などを含む。
 内部信号処理部302は、例えば、作業機械100の運転室10の内側に配置された内部集音装置M2が収集した運転室10内の音(操作者OPの音声など)から生成した信号AS2を取得して処理する。内部信号処理部302は、処理済みの信号PS2を信号出力部303へ出力する。内部信号処理部302が取得した音の信号AS2に対して行う処理は、例えば、雑音低減処理などを含む。
 信号出力部303は、例えば、外部信号処理部301から入力された信号PS1に基づく出力信号OS2L,OS2Rを、運転室10の内側に配置された内部音出力装置SP2へ出力する。信号出力部303は、例えば、操作者OPによる内部音量ダイヤルDL2の操作に応じて出力信号OS2L,OS2Rを増幅又は減衰させる。これにより、運転室10の外側で収集された音の信号AS1F,AS1L,AS1R,AS1Bに基づく音を、適切な音量で運転室10の内側に配置された内部音出力装置SP2から出力させ、操作者OPに聴取させることができる。
 また、信号出力部303は、例えば、内部信号処理部302から入力された信号PS2に基づく出力信号OS1を、運転室10の外側に配置された外部音出力装置SP1へ出力する。信号出力部303は、例えば、操作者OPによる外部音量ダイヤルDL1の操作に応じて出力信号OS1を増幅又は減衰させる。これにより、運転室10の内側で収集された音の信号AS2に基づく音を、適切な音量で運転室10の外側に配置された外部音出力装置SP1から出力させ、作業機械100の周囲の作業者WK等に聴取させることができる。
 異常判定部304は、外部集音装置M1が収集した所定の音から生成した信号AS1F,AS1L,AS1R,AS1Bに基づいて、外部集音装置M1の異常の有無を判定する。異常判定部304は、所定の音として、例えば、動力源11の音、ホーンスピーカSP3のホーン音、外部音出力装置SP1から出力されるテスト音、又は、動力源11がエンジンである場合のアイドリング時の音を用いる。また、所定の音として、例えば、アラームスピーカSP4から出力されるアラーム音を用いてもよい。
 コントローラ30は、例えば、作業機械100の始動スイッチがオンにされて作業機械100が始動されると、図8Aに示す処理フローを開始する。コントローラ30は、この処理フローを実行することで、外部集音装置M1が収集した所定の音から生成した信号に基づいて外部集音装置M1の異常の有無を判定する。なお、コントローラ30は、例えば、作業機械100の作業中には、図8Aの処理フローを中断して、外部集音装置M1の異常の有無に関する判定を休止してもよい。
 コントローラ30は、図8Aに示す処理フローを開始すると、例えば、テスト実施の確認を行う処理P101と、実施可否の受付を行う処理P102と、を実行する。処理P101において、コントローラ30の異常判定部304は、例えば、外部集音装置M1のテストを実施することを、表示装置D1及び内部音出力装置SP2を介して操作者OPに通知する。
 具体的には、異常判定部304は、例えば、信号出力部303に信号IFSを出力して、信号出力部303を介して表示装置D1及び内部音出力装置SP2を制御する。信号出力部303は、例えば、表示装置D1に信号OSGを出力してテスト実施の通知画像を表示させたり、内部音出力装置SP2に信号OS2L,OS2Rを出力してテスト実施の通知音声を出力させたりする。
 次の処理P102において、異常判定部304は、例えば、入力装置D2を介して外部集音装置M1のテストの実施可否に関する操作者OPの入力を受け付ける。具体的には、異常判定部304は、例えば、表示装置D1に「実施可」又は「実施不可」を選択するアイコンを表示させる。また、異常判定部304は、入力装置D2を介して操作者OPによる「実施可」又は「実施不可」の入力を受け付けて、入力装置D2からその入力結果に対応する信号ISを取得する。
 その後、コントローラ30は、例えば、外部集音装置M1のテストの実施可否を判定する処理P103を実行する。この処理P103において、異常判定部304は、例えば、前の処理P102で操作者OPが入力した実施可否に基づいて、外部集音装置M1のテストの実施可否を判定する。具体的には、前の処理P102で操作者OPが「実施不可」を選択して入力すると、異常判定部304は、例えば、処理P103において実施不可(NO)を判定する。この場合、コントローラ30は、外部集音装置M1のテストを実施することなく、図8Aに示す処理フローを終了させる。
 一方、前の処理P102で操作者OPが「実施可」を選択して入力すると、異常判定部304は、例えば、処理P103において実施可(YES)を判定する。この場合、コントローラ30は、例えば、外部集音装置M1のテストの実施内容を決定する処理P104を実行する。この処理P104において、異常判定部304は、例えば、外部集音装置M1の異常を判定するための所定の音を決定する。
 外部集音装置M1の異常を判定するための所定の音は、例えば、予め、ホーンスピーカSP3のホーン音や外部音出力装置SP1から出力されるテスト音などに設定されてコントローラ30の不揮発性記憶装置に格納されていてもよい。この場合、異常判定部304は、予め設定されて不揮発性記憶装置に格納された所定の音を、外部集音装置M1のテストに用いる所定の音として決定する。
 また、外部集音装置M1の異常を判定するための所定の音は、例えば、異常判定部304が表示装置D1に表示させた選択肢から操作者OPが選択して、入力装置D2を介して入力してもよい。この場合、異常判定部304は、操作者OPが選択して入力した所定の音を、外部集音装置M1のテストに用いる所定の音として決定する。
 その後、異常判定部304は、例えば、テスト用の音を出力する処理P105を実行する。この処理P105において、所定の音がテスト音である場合、異常判定部304は、例えば、信号出力部303を介して外部音出力装置SP1を制御して、外部音出力装置SP1からテスト音を出力させる。外部音出力装置SP1から出力させるテスト音は、例えば、既知の周波数成分及び音圧レベルの音、又は、既知の周波数及び音圧レベルのパターンを含む音である。
 その後、コントローラ30は、例えば、所定のタイミングで、外部集音装置M1から所定の音の信号AS1F,AS1L,AS1R,AS1Bを取得する処理P106を実行する。処理105で外部音出力装置SP1からテスト音を出力する場合に、処理P106で異常判定部304がテスト音の信号AS1F,AS1L,AS1R,AS1Bを取得する所定のタイミングは、例えば、テスト音の出力時、すなわち、テスト音の出力開始から終了までの期間である。
 また、処理P104で決定された所定の音がホーン音である場合、処理P105において、異常判定部304は、例えば、信号出力部303を介してホーンスピーカSP3を制御して、ホーンスピーカSP3から所定の周波数成分及び音圧のホーン音を出力させる。
 また、異常判定部304は、例えば、処理P105において信号出力部303を介して表示装置D1及び内部音出力装置SP2を制御して、表示装置D1及び内部音出力装置SP2を介して操作者OPにホーンボタンHSの操作を促す通知を行ってもよい。これらの場合、処理P106で異常判定部304がホーン音の信号AS1F,AS1L,AS1R,AS1Bを取得する所定のタイミングは、ホーン音の出力時、すなわち、ホーンスピーカSP3によるホーン音の出力開始から終了までの期間である。
 具体的には、操作者OPがホーンボタンHSを押すと、ホーンボタンHSから信号出力部303へホーン信号HSSが入力され、信号出力部303からホーンスピーカSP3へ出力信号OS3L,OS3Rが出力される。その結果、ホーンスピーカSP3からホーン音が出力される。この場合、異常判定部304は、例えば、信号出力部303にホーン信号HSSが入力された時点から入力が停止された時点までの期間を、所定のタイミングとして、ホーン音の信号AS1F,AS1L,AS1R,AS1Bを取得する。
 なお、所定の音として予めホーン音が設定されて不揮発性記憶装置に格納されている場合、コントローラ30は、前述の処理P101から処理P105までを省略してもよい。具体的には、例えば、作業機械100の動力源11の始動時にホーン音を鳴らすことが、作業機械100の施工安全マニュアルに規定される場合がある。この場合、コントローラ30は、前述の処理P101から処理P105までを省略して、所定のタイミングで外部集音装置M1からホーン音の信号AS1F,AS1L,AS1R,AS1Bを取得する処理P106を実行する。この場合の所定のタイミングは、ホーン音の出力時である。
 同様に、所定の音として予め動力源11の音、又は、動力源11がエンジンである場合のアイドリング時の音が設定されている場合も、コントローラ30は、前述の処理P101から処理P105までを省略することができる。ここで、動力源11がエンジンである場合のアイドリング時の音は、動力源11の音だけでなく、動力源11以外の機器の駆動音なども含む。これらの場合、コントローラ30は、例えば、動力源11の始動時、又は、動力源11のアイドリング時等の所定のタイミングで、外部集音装置M1から信号AS1F,AS1L,AS1R,AS1Bを取得する処理P106を実行する。
 処理P106において、コントローラ30の外部信号処理部301は、外部集音装置M1が収集した所定の音から生成した信号AS1F,AS1L,AS1R,AS1Bを取得して、不揮発性記憶装置に格納して記録する。このコントローラ30の不揮発性記憶装置には、例えば、外部集音装置M1の異常が検出されなかった過去のテスト時に外部集音装置M1が収集した所定の音から生成した信号AS1F',AS1L',AS1R',AS1B'が格納されている。
 次に、コントローラ30は、例えば、音の特徴を抽出する処理P107を実行する。この処理P107において、コントローラ30の異常判定部304は、例えば、外部集音装置M1を構成する各々のマイクロフォンによって収集された音の位相差、音量(音圧レベル)、周波数成分等を含む音の特徴を抽出して、不揮発性記憶装置に格納して記録する。このコントローラ30の不揮発性記憶装置には、例えば、外部集音装置M1の設置状態の異常が検出されなかった過去の校正時に異常判定部304が抽出した音の特徴が格納されている。
 次に、コントローラ30は、外部集音装置M1の異常の有無を判定する処理P108を実行する。この処理P108において、コントローラ30の異常判定部304は、例えば、不揮発性記憶装置から、新たに格納された所定の音の特徴を取得する。さらに、異常判定部304は、取得した新たな音の特徴から、それぞれ、評価値を算出する。評価値は、例えば、音圧レベル、周波数成分などを含む。
 さらに、この処理108において、異常判定部304は、例えば、不揮発性記憶装置から、過去に格納された所定の音の特徴を取得する。さらに、異常判定部304は、取得した過去の音の特徴から、それぞれ、評価値を算出する。評価値は、例えば、音圧レベル、周波数成分などを含む。
 そして、異常判定部304は、例えば、新たな信号AS1F,AS1L,AS1R,AS1Bに基づく評価値と、過去の信号AS1F',AS1L',AS1R',AS1B'に基づく評価値とを比較して、外部集音装置M1の異常の有無を判定する。
 具体的には、この処理P108において、異常判定部304は、例えば、新たに記録した信号AS1Fの評価値と、その信号AS1Fよりも前に記録した過去の信号AS1F'の評価値との差が、予め設定された閾値を超えている場合に、外部集音装置M1を構成する前マイクM1Fに異常があること(YES)を判定する。一方、異常判定部304は、上記評価値の差が閾値以下であれば、前マイクM1Fに異常がないこと(NO)を判定する。外部集音装置M1を構成する他の左マイクM1L、右マイクM1R、及び後マイクM1Bについても同様である。
 また、この処理P108において、コントローラ30は、外部集音装置M1の異常の種別を判定してもよい。コントローラ30は、例えば、外部集音装置M1の異常の種別として、外部集音装置M1の故障を判定する。具体的には、コントローラ30の異常判定部304は、例えば、前マイクM1Fの新たな信号AS1Fから算出した音圧レベルがゼロ又は所定の閾値以下である場合に、外部集音装置M1を構成する前マイクM1Fの故障を判定する。また、異常判定部304は、例えば、前マイクM1Fの新たな信号AS1Fがゼロである場合、前マイクM1Fに接続される配線の断線又は前マイクM1Fの故障を判定してもよい。
 また、コントローラ30は、例えば、外部集音装置M1の異常の種別として、例えば、外部集音装置M1に接続される配線の異常を判定する。具体的には、前マイクM1Fの新たな信号AS1Fの評価値と過去の信号AS1F'の評価値との差が閾値を超え、かつ、前マイクM1Fの新たな信号AS1Fの評価値と後マイクM1Bの過去の信号AS1B'の評価値との差が閾値以下であるとする。この場合、異常判定部304は、例えば、外部集音装置M1に接続される配線の異常として、前マイクM1Fと後マイクM1Bの配線の誤接続を判定する。
 また、コントローラ30は、例えば、外部集音装置M1の異常の種別として、外部集音装置M1の設置状態の異常を判定する。具体的には、異常判定部304は、例えば、外部集音装置M1の新たな信号AS1F,AS1L,AS1R,AS1Bから算出された所定の音の発生源の方向と、外部集音装置M1の過去の信号AS1F',AS1L',AS1R',AS1B'から算出された所定の音の発生源の方向との差が閾値を超える場合に、外部集音装置M1の設置状態の異常を判定する。なお、所定音の発生源の方向は、外部集音装置M1の前マイクM1F、左マイクM1L、右マイクM1R、及び後マイクM1Bのそれぞれに届いた所定の音の時間差に基づいて算出することができる。
 また、外部集音装置M1の前マイクM1F、左マイクM1L、右マイクM1R、及び後マイクM1Bは、それぞれ、撮像装置S6の前カメラS6F、左カメラS6L、右カメラS6R、及び後カメラS6Bと一体に構成されている。この場合、異常判定部304は、撮像装置S6の過去の画像と現在の画像を比較して、外部集音装置M1の位置や姿勢のずれ等の異常を検出してもよい。
 この処理P108において、異常判定部304は、外部集音装置M1に異常があること(YES)を判定すると、その判定結果を通知する処理P109を実行する。また、この処理P108において、異常判定部304は、外部集音装置M1に異常がないこと(NO)を判定すると、その判定結果を通知する処理P110を実行する。
 図9Aは、外部集音装置M1に異常があることが判定された場合に、図7に示す表示装置D1に表示される画像の一例を示す画像図である。図9Bは、外部集音装置M1に異常がないことが判定された場合に、図7に示す表示装置D1に表示される画像の一例を示す画像図である。以下では、まず、表示装置D1に表示される一般的な画像の例を説明し、その後、外部集音装置M1の異常の有無を通知する画像の例を説明する。
 図9A及び図9Bに示すように、コントローラ30が表示装置D1を構成する画像表示部42に表示させる画像85は、例えば、複数の画像を含む。画像表示部42は、例えば、日時表示領域42a、走行モード表示領域42b、アタッチメント表示領域42c、燃費表示領域42d、動力源制御状態表示領域42e、及び、動力源稼働時間表示領域を含む。
 日時表示領域42aは、現在の日時を示す画像を表示する領域である。走行モード表示領域42bは、現在の走行モードを示す画像を表示する領域である。アタッチメント表示領域42cは、現在装着されているアタッチメントを示す画像を表示する領域である。燃費表示領域42dは、コントローラ30によって算出された燃費情報を示す画像を表示する領域である。
 燃費表示領域42dは、例えば、生涯平均燃費又は区間平均燃費を示す画像を表示する平均燃費表示領域42d1と、瞬間燃費を示す画像を表示する瞬間燃費表示領域42d2とを含む。動力源制御状態表示領域42eは、動力源11の制御状態を示す画像を表示する領域である。動力源稼働時間表示領域は、動力源11の累積稼働時間を示す画像を表示する領域である。
 また、画像表示部42は、例えば、冷却水温表示領域42g、燃料残量表示領域42h、回転数レベル表示領域42i、尿素水残量表示領域42j、及び、作動油温表示領域42kを含む。冷却水温表示領域42gは、現在の動力源冷却水の温度状態を示す画像を表示する領域である。燃料残量表示領域42hは、燃料タンクに貯蔵されている燃料の残量状態を示す画像を表示する領域である。
 回転数レベル表示領域42iは、ダイヤルによって設定された現在のレベルを画像で表示する領域である。回転数レベル表示領域42iには、選択されているレベルを示す数字が表示される。尿素水残量表示領域42jは、尿素水タンクに貯蔵されている尿素水の残量状態を画像で表示する領域である。作動油温表示領域42kは、作動油タンク内の作動油の温度状態を示す画像を表示する領域である。
 また、画像表示部42は、例えば、状態表示領域421、第1画像表示領域422、及び、第2画像表示領域423を含む。状態表示領域421は、作業機械100と、作業機械100の周辺で検出された人などの対象物OBとの間の位置関係を表した画像を表示する領域である。第1画像表示領域422、及び、第2画像表示領域423は、撮像装置S6が撮像した画像情報を表示する領域である。
 状態表示領域421に表示される画像は、例えば、方向表示アイコン421a、作業機械アイコン421b、第1円領域421c、第2円領域421d、及び、人検出アイコン421eを含む。なお、状態表示領域421は、例えば、撮像装置S6の画像を処理することによって生成された俯瞰画像を表示してもよい。俯瞰画像は、作業機械100及びその周囲の物体を上方から見た画像である。俯瞰画像の中心に、作業機械アイコンが表示されてもよいし、俯瞰画像には、円領域及び人検知アイコンが重畳表示されてもよい。
 方向表示アイコン421aは、作業機械100の進行可能な方向を示している。作業機械アイコン421bは、作業機械100を示すアイコンである。第1円領域421cは、アタッチメントATの現在の姿勢を維持して上部旋回体3を旋回させたときに、アタッチメントATが旋回する範囲を示す画像である。第2円領域421dは、アタッチメントATを水平方向へ最も伸長させた状態で、上部旋回体3を旋回させたときに、アタッチメントATが旋回する範囲を示す画像である。人検出アイコン421eは、作業機械100の周囲で検知された作業者WKなどの人を表示する画像である。
 第1画像表示領域422には、例えば、右方画像が表示される。右方画像は、作業機械100の右方の空間を映し出す画像であり、上部旋回体3の上面右端の画像422cを含む。右方画像は、制御部40aによって生成される実視点画像であり、右カメラS6Rが取得した画像に基づいて生成される。第1画像表示領域422は、状態表示領域421を基準として右方に表示される。
 図9A及び図9Bに示す例において、第1画像表示領域422に表示される右方画像は、対象物OBである人の画像422aと、人検知枠422bと、上部旋回体3の上面右端の画像422cとを含む。人検知枠422bは、例えば、物体検出装置による作業者WKなどの人の検出結果に基づいて、コントローラ30によって生成される画像であり、検知した人の画像422aを囲むように表示される矩形の枠である。
 第2画像表示領域423には、例えば、後方画像が表示される。後方画像は、作業機械100の後方の空間を映し出す画像であり、カウンタウェイトの画像423cを含む。後方画像は、制御部40aによって生成される実視点画像であり、後カメラS6Bが取得した画像に基づいて生成される。第2画像表示領域423は、状態表示領域421を基準として下方に表示される。
 また、画像表示部42は、例えば、画像表示部42の右上に、外部集音装置M1の状態を表示する領域42mを含む。この領域42mは、例えば、外部集音装置M1を示すマイクのアイコンと、外部集音装置M1に異常があることを示す感嘆符「!」のアイコンを表示する領域である。
 図7に示す異常判定部304は、例えば、図8Aに示す処理フローの処理P108で、外部集音装置M1の異常あり(YES)を判定すると、処理P109でその判定結果を含む信号IFSを信号出力部303へ出力する。すると、信号出力部303は、図9Aに示す画像85を表示させるための信号OSGを表示装置D1へ出力する。その結果、画像表示部42の領域42mに、外部集音装置M1を示すマイクのアイコンと、その外部集音装置M1に異常があることを示す感嘆符「!」のアイコンが表示される。
 また、異常判定部304は、例えば、図8Aに示す処理フローの処理P108で、外部集音装置M1の異常なし(NO)を判定すると、処理P110でその判定結果を含む信号IFSを信号出力部303へ出力する。すると、信号出力部303は、図9Bに示す画像85を表示させるための信号OSGを表示装置D1へ出力する。その結果、画像表示部42の領域42mに、外部集音装置M1を示すマイクのアイコンのみが表示される。
 また、異常判定部304は、例えば、操作者OPがタッチパネル等の入力装置D2を介して外部集音装置M1の状態を表示する領域42mを選択した場合に、画像表示部42に外部集音装置M1の状態の詳細を示す画像42nを表示させてもよい。図9Aに示す例において、画像42nは、外部集音装置M1に異常があること及びその異常の詳細を表示するポップアップウィンドウである。また、図9Bに示す例において、画像42nは、外部集音装置M1に異常ないことを表示するポップアップウィンドウである。図8Aに示す処理P109又は処理P110の終了後、コントローラ30は、図8Aに示す処理フローを終了させる。
 図8Bは、図7に示すコントローラ30の別の動作例を説明するフロー図である。以下では、外部集音装置M1の異常の有無を判定するための所定の音を含まない作業機械100の周囲の音を機外音と称し、機外音の音量を機外音量と称する。
 コントローラ30は、図8Bに示す処理フローを開始すると、まず、機外音量の検出処理P111を実行する。この処理P111において、外部信号処理部301は、外部集音装置M1が収集した機外音から生成した信号AS1F,AS1L,AS1R,AS1Bを取得する。
 外部信号処理部301は、例えば、取得した機外音の信号AS1F,AS1L,AS1R,AS1Bの振幅に基づいて、機外音量を算出する。機外音量は、例えば、デシベル[dB]により表される。外部信号処理部301は、算出した機外音量を、信号出力部303へ出力する。
 次に、コントローラ30は、機外音量が所定の閾値以下であるか否かを判定する処理P112を実行する。この処理P112において、信号出力部303は、外部信号処理部301から入力された機外音量が閾値以下であること(YES)を判定すると、図8Aに示す前述の処理フローと同様の処理P101から処理P110までを実行する。一方、信号出力部303は、外部信号処理部301から入力された機外音量が閾値よりも大きいこと(NO)を判定すると、図8Bに示す処理フローを終了させる。
 なお、この処理P112における機外音量の閾値は、例えば、コントローラ30の不揮発性記憶装置に予め記憶されている。この機外音量の閾値は、例えば、外部集音装置M1の異常を判定するための所定の音の音量に対して、例えば、数デシベル程度の所定の音量だけ低い音量に設定することができる。また、この機外音量の閾値は、外部集音装置M1の異常を判定するためのテスト用の所定の音に対する影響を回避可能な、例えば、数デシベル程度の任意の音量に設定してもよい。
 このように、図8Bに示す処理フローにおいて、外部集音装置M1の異常の有無を判定する制御装置であるコントローラ30は、外部集音装置M1が収集した上部旋回体3の周囲における機外音の音量が所定の閾値以下である場合に、異常の有無の判定を実行する。
 図8Cは、図7に示すコントローラ30のさらに別の動作例を説明するフロー図である。以下では、外部集音装置M1の異常の有無を判定するための音、すなわち、テスト用の音を所定音と称し、所定音を除く上部旋回体3の周囲の音を機外音と称する。また、機外音の音量を、機外音量と称する。
 コントローラ30は、図8Cに示す処理フローを開始すると、図8Aに示す処理フローと同様に、テスト実施の確認を行う処理P101から、音の信号を取得する処理P104までの各処理を実行する。
 次に、コントローラ30は、所定音を除く機外音量が閾値を超えているか否かを判定する処理P113を実行する。この処理P113において、外部信号処理部301は、外部集音装置M1が所定音を含む上部旋回体3の周囲の音を収集することにより生成された信号AS1F,AS1L,AS1R,AS1Bを取得する。さらに、この処理P113において、外部信号処理部301は、例えば、取得した信号AS1F,AS1L,AS1R,AS1Bから機外音量を算出して、信号出力部303へ出力する。
 また、この処理P113において、信号出力部303は、例えば、コントローラ30の不揮発性記憶装置に予め記憶された機外音量の閾値と、外部信号処理部301から入力された機外音量とを比較する。機外音量の閾値は、前述の図8Bの処理フローにおける処理P112と同様に設定されている。そして、信号出力部303により、機外音量が閾値を超えていること(YES)が判定された場合に、コントローラ30は、所定音の音量を増加させる処理P114を実行する。
 この処理114において、所定音が動力源11の音又は動力源11がエンジンである場合のアイドリング音である場合、信号出力部303は、次の処理P105で動力源11の出力又は回転数を増加させる出力信号を動力源11へ出力する準備を行う。また、所定音がホーン音である場合、信号出力部303は、次の処理P105でホーンスピーカSP3へホーン音の音量を増加させる出力信号OS3L,OS3Rを出力する準備を行う。また、所定音が、外部音出力装置SP1から出力されるテスト音である場合、信号出力部303は、次の処理P105で外部音出力装置SP1へテスト音の音量を増加させる出力信号OS1を出力する準備を行う。また、所定音がアラームスピーカSP4から出力されるアラーム音である場合、信号出力部303は、次の処理P105でアラームスピーカSP4へアラーム音の音量を増加させる出力信号OS4を出力する準備を行う。
 処理P114において、信号出力部303が増加させる所定音の音量は、例えば、前の処理P113で取得された機外音量よりも所定の音量だけ高い音量である。ここで、機外音量と所定音の音量との差は、後の処理P107において所定音の特徴を取得可能な差となるように調整する。一方、処理P113において、信号出力部303により、機外音量が閾値以下であること(NO)が判定された場合に、コントローラ30は、所定音の音量を増加させる処理P114を実行しない。
 このように、図8Cに示す処理フローでは、制御装置であるコントローラ30は、上部旋回体3の周囲の機外音の音量が所定の閾値を超えた場合に、所定の音の音量を増加させる。その後、コントローラ30は、前述の図8Aの処理フローと同様に、テスト用の音を出力する処理P105から異常の有無を通知する処理P109,110までを実行して、図8Cに示す処理フローを終了させる。
 図8Dは、図7に示すコントローラ30のさらに別の動作例を説明するフロー図である。コントローラ30は、図8Dに示す処理フローを開始すると、図8Aに示す処理フローと同様に、テスト実施の確認を行う処理P101と、実施可否の受付を行う処理P102と、を実行する。これらの処理P101,P102において、コントローラ30は、前述のように、表示装置D1等を介して操作者OPに外部集音装置M1の異常判定を実施することを通知し、入力装置D2等を介して操作者OPによる実施可否の入力を受け付ける。
 次に、コントローラ30は、外部集音装置M1の異常判定の実施可否を判定する処理P115を実行する。図8A及び図8Bに示す処理P103では、コントローラ30は、前の処理P102で操作者OPが入力した実施可否に基づいて、外部集音装置M1の異常判定の実施可否を判定した。しかし、図8Dに示す処理P115では、コントローラ30は、前の処理P102で操作者OPが入力した実施可否に加えて、作業機械100の環境情報に基づいて、外部集音装置M1の異常判定の実施可否を判定する。
 作業機械100の環境情報は、例えば、作業機械100の作動状態、外部集音装置M1により収集される音の音量、撮像装置S6を含む物体検出装置の検知結果、又は操作センサ29の検出結果のうち、少なくとも一つを含む。信号出力部303は、処理P115において、例えば、環境情報が異常判定可能条件を満たす場合に、外部集音装置M1の異常判定を実施可能であること(YES)を判定する。また、信号出力部303は、環境情報が異常判定可能条件を満たさない場合に、外部集音装置M1の異常判定を実施不可であること(NO)を判定する。
 具体的には、異常判定可能条件は、例えば、図8Bに示す処理P112と同様に、環境情報としての機外音量が所定の閾値以下であることを含むことができる。また、異常判定可能条件は、例えば、以下に列挙する環境情報に関する条件のうち、少なくとも一つを含むことができる。一つの条件は、作業機械100がキーオン状態又はキーオフ状態であることである。別の条件は、ゲートロックレバーGLが第1操作位置又は第2操作位置にあることである。さらに別の条件は、動力源11が作動中又は停止中であることである。さらに別の条件は、操作センサ29によって操作者OPの操作が検出されていないことである。さらに別の条件は、作業機械100の周囲における所定の範囲内に人が検知されていないことである。ここで、作業機械100の周囲における所定の範囲は、例えば、外部集音装置M1、内部音出力装置SP2、内部集音装置M2、及び外部音出力装置SP1を用いて、操作者OPと作業機械100の周囲の人とが会話可能な範囲である。この所定の範囲は、予め設定されてコントローラ30の不揮発性記憶装置に格納されていてもよい。
 処理P115において、信号出力部303は、前述のような異常判定可能条件の一つ以上が満たされていない場合に、外部集音装置M1の異常判定の実施不可(NO)を判定する。すると、コントローラ30は、操作者OPに対して、テスト中止を通知する処理P116を実行する。
 この処理P116において、信号出力部303は、例えば、図9Aに示す表示装置D1の画像表示部42の領域42mに、外部集音装置M1を示すマイクのアイコンと、その異常判定が中止されたことを示す感嘆符「!」のアイコンを表示させる。また、信号出力部303は、例えば、表示装置D1の画像表示部42に、満たされていない異常判定可能条件と、それにより外部集音装置M1の異常判定が中止されたことを示すメッセージを含む画像42nを表示させてもよい。また、処理P116における通知は、前述のように、光、音、又は振動による通知を含んでもよい。その後、コントローラ30は、図8Dに示す処理フローを終了させる。
 一方、処理P115において、信号出力部303は、前述のような異常判定可能条件がすべて満たされている場合に、外部集音装置M1の異常判定の実施可(YES)を判定する。この場合、コントローラ30は、図8Aの処理フローと同様に、異常判定の実施内容を決定する処理P104、テスト用の音を出力する処理P105、及び音の信号を取得する処理P106を実行する。その後、コントローラ30は、外部集音装置M1の異常判定の継続可否を判定する処理P117を実行する。
 この処理P117において、信号出力部303は、作業機械100の環境情報に基づいて、外部集音装置M1の異常判定の継続可否を判定する。具体的には、信号出力部303は、前述の異常判定可能条件のすべてが満たされている場合に、外部集音装置M1の異常有無の判定を継続可能であること(YES)を判定する。すると、コントローラ30は、図8Aに示す前述の処理フローと同様に、音の特徴を取得する処理P107、外部集音装置M1の異常の有無を判定する処理P108、及び、異常の有無を通知する処理P109,P110を実行する。その後、コントローラ30は、図8Dに示す処理フローを終了させる。
 一方、処理P117において、信号出力部303は、一つ以上の異常判定可能条件が満たされなくなっている場合に、外部集音装置M1の異常判定を継続不可であること(NO)を判定する。すると、コントローラ30は、操作者OPに対してテスト中止を通知する前述の処理P116を実行し、図8Cに示す処理フローを終了させる。
 なお、処理P117において、外部集音装置M1の異常判定を継続不可であること(NO)が判定されるのは、次のような場合である。例えば、処理P105及び処理P106の実行中に、作業機械100の環境情報が以下のいずれか一つの条件を満たすことで、前述の異常判定可能条件の少なくとも一つが満たされなくなった場合である。なお、以下の環境情報に対する条件は、テスト用の音の種類によって異なる場合がある。
 一つの条件は、機外音量が所定の閾値を超えた場合である。別の条件は、作業機械100がキーオン状態からキーオン状態に変更された場合である。さらに別の条件は、作業機械100が、キーオフ状態からキーオン状態に変更された場合である。さらに別の条件は、ゲートロックレバーGLが第1操作位置から第2操作位置に変更された場合である。さらに別の条件は、ゲートロックレバーGLが第2操作位置から第1操作位置に変更された場合である。さらに別の条件は、動力源11が作動中の状態から停止された場合である。さらに別の条件は、動力源11が停止中の状態から作動された場合である。さらに別の条件は、操作センサ29によって操作者OPによる操作装置26の操作が検出された場合である。さらに別の条件は、前述の作業機械100の周囲における所定の範囲内で人が検知された場合である。
 以上のように、図8Dに示す処理フローでは、外部集音装置M1の異常の有無を判定する制御装置であるコントローラ30は、作業機械100の環境情報に基づいて、外部集音装置M1に関する異常の有無の判定についての実施可否及び継続可否を判定する。
 以下、本実施形態の作業機械100の作用を説明する。
 本実施形態の作業機械100は、下部走行体1と、その下部走行体1の上に旋回可能に設けられた上部旋回体3と、制御装置であるコントローラ30と、を備えている。そして、コントローラ30は、上部旋回体3の周囲の音を収集する外部集音装置M1が収集した所定の音から生成した信号AS1F,AS1L,AS1R,AS1Bに基づいて外部集音装置M1の異常の有無を判定する。
 このような構成により、本実施形態の作業機械100によれば、外部集音装置M1によって所定の音を収集することで、作業機械100の周囲の音を収集する外部集音装置M1の異常を検知することができる。これにより、視覚的に検知することが困難な外部集音装置M1の異常を容易に検知することができ、外部集音装置M1に異常が発生した場合に直ちに対応することが可能になる。したがって、作業機械100の周囲で作業者WK等が発した音声や他の作業機械が発した音などを、外部集音装置M1によってより確実に収集することが可能になる。
 また、本実施形態の作業機械100において、制御装置であるコントローラ30は、所定の音として、上部旋回体3に搭載された動力源11の音、上部旋回体3に搭載されたホーンスピーカSP3のホーン音、上部旋回体3の周囲に音を出力する外部音出力装置SP1から出力されるテスト音、又は、動力源11のアイドリング時の音を用いる。
 このような構成により、作業機械100に搭載された既存の設備や機器が発する音を用いて、外部集音装置M1の異常を検知することができる。したがって、作業機械100に対する外部集音装置M1の異常検知機能の導入を容易にして、コストを低減することができる。
 また、本実施形態の作業機械100において、制御装置であるコントローラ30は、所定のタイミングで外部集音装置M1から信号AS1F,AS1L,AS1R,AS1Bを取得する。このような構成により、外部集音装置M1の異常検知に適した所定の音を、効率よく的確に収集することが可能になる。なお、所定のタイミングは、前述のように、外部集音装置M1の異常の有無を判定するための音が安定して発生している期間である。すなわち、所定のタイミングは、外部集音装置M1の異常の有無を判定するための所定の音が、所定の音圧の範囲内で推移している期間や、所定の音の周波数成分が所定の振幅の範囲内で推移している期間である。
 また、本実施形態の作業機械100において、制御装置であるコントローラ30は、動力源11の始動時、ホーン音の出力時、テスト音の出力時、又は、動力源11のアイドリング時を所定のタイミングとして、外部集音装置M1から信号AS1F,AS1L,AS1R,AS1Bを取得する。
 このような構成により、動力源11の音、ホーンスピーカSP3から出力されるホーン音、外部音出力装置SP1から出力されるテスト音、又は、動力源11のアイドリング時の音を、外部集音装置M1に所定の音として収集させることができる。これにより、コントローラ30は、外部集音装置M1から所定の音の信号AS1F,AS1L,AS1R,AS1Bを効率よく取得することができる。
 また、本実施形態の作業機械100において、制御装置であるコントローラ30は、作業機械100の作業中に外部集音装置M1の異常の有無の判定を休止する。このような構成により、外部集音装置M1の異常を判定するための所定の音が、作業機械100の作業時の騒音によって掻き消されるのを防止できる。
 また、本実施形態の作業機械100において、制御装置であるコントローラ30は、外部集音装置M1が収集した所定の音から生成した信号AS1F,AS1L,AS1R,AS1Bを記録する。そして、コントローラ30は、新たに記録した信号AS1F,AS1L,AS1R,AS1Bの評価値と、それらの信号よりも前に記録した信号AS1F',AS1L',AS1R',AS1B'の評価値との差が閾値を超える場合に、外部集音装置M1に異常があることを判定する。
 このような構成により、外部集音装置M1が収集した所定の音から生成した信号AS1F,AS1L,AS1R,AS1Bに基づいて、外部集音装置M1の異常の有無を容易に判定することができる。
 また、本実施形態の作業機械100において、制御装置であるコントローラ30が判定する外部集音装置M1の異常は、外部集音装置M1の故障、外部集音装置M1の設置状態の異常、又は、外部集音装置M1に接続される配線の異常のうち、少なくとも一つを含む。
 このような構成により、外部集音装置M1が収集した所定の音から生成した信号AS1F,AS1L,AS1R,AS1Bに基づいて、外部集音装置M1の種々の異常を検知することができる。これにより、コントローラ30によって判定された外部集音装置M1の異常に対して、より適切に対応することが可能になる。
 また、本実施形態の作業機械100において、外部集音装置M1は、複数のマイクロフォンである前マイクM1F、左マイクM1L、右マイクM1R、及び後マイクM1B、又は、少なくとも一つのアレイマイクを含む。
 このような構成により、外部集音装置M1を構成する複数のマイクロフォン又はアレイマイクによって収集される特定の音の位相差や音量に基づいて、特定の音を出力する音の発生源の位置や方向を推定することが可能になる。その結果、音の発生源の位置や方向に基づいて、外部集音装置M1を構成する複数のマイクロフォンやアレイマイクの取付け状態の異常を検知することが可能になる。
 また、本実施形態の作業機械100は、各々のマイクロフォンである前マイクM1F、左マイクM1L、右マイクM1R、及び後マイクM1Bのそれぞれと一体的に構成されたカメラである前カメラS6F、左カメラS6L、右カメラS6R、及び後カメラS6Bをさらに備える。又は、作業機械100は、少なくとも一つのアレイマイクと一体的に構成されたカメラを備える。
 このような構成により、各々のマイクロフォンやアレイマイクの位置や姿勢の変化を、各々のマイクロフォンやアレイマイクと一体的に構成された各々のカメラの画像の変化に基づいて算出することができる。これにより、各々のカメラの画像から算出された各々のマイクロフォンやアレイマイクの位置や姿勢の変化に基づいて、各々のマイクロフォンやアレイマイクの座標系を校正することが可能になる。
 また、本実施形態の作業機械100において、制御装置であるコントローラ30は、外部集音装置M1が収集した音から生成した信号AS1F,AS1L,AS1R,AS1Bに基づく音を、操作者OPへ音を出力する内部音出力装置SP2に出力させる。また、コントローラ30は、操作者OPの音声を収集する内部集音装置M2が収集した音から生成した信号AS2に基づく音を、上部旋回体3の周囲に音を出力する外部音出力装置SP1に出力させる。
 このような構成により、内部集音装置M2は、運転室10に搭乗した作業機械100の操作者OPの音声を収集し、その音声に基づく信号AS2を生成することができる。また、コントローラ30は、内部集音装置M2によって生成された信号AS2を取得し、外部音出力装置SP1へ出力することができる。これにより、外部音出力装置SP1は、内部集音装置M2によって生成された信号AS2に基づく音を出力して、運転室10に搭乗した操作者OPが発話した内容を作業機械100の周囲の作業者WK等に伝達することができる。また、コントローラ30が、外部集音装置M1が収集した音から生成した信号AS1F,AS1L,AS1R,AS1Bに基づく音を内部音出力装置SP2に出力させることで、作業機械100の周囲の作業者WK等が発話した内容を運転室10に搭乗した作業機械100の操作者OPに伝達することができる。その結果、図6に示すように、操作者OPと作業者WKとの双方向会話が可能になる。
 また、本実施形態の作業機械100は、制御装置であるコントローラ30に接続された操作部である発話ボタンKSをさらに備えている。コントローラ30は、発話ボタンKSの操作状態に基づいて、内部集音装置M2が収集した音から生成した信号AS2に基づく音を外部音出力装置SP1から出力させる状態と、外部集音装置M1が収集した音から生成した信号AS1F,AS1L,AS1R,AS1Bに基づく音を内部音出力装置SP2から出力させる状態と、を切り替える。
 このような構成により、作業機械100の操作者OPは、例えば、発話ボタンKSを押すことで、内部集音装置M2及び外部音出力装置SP1を介して作業機械100の周囲の作業者WK等に話しかけることができる。また、操作者OPは、発話ボタンKSを放すことで、作業機械100の周囲の作業者WK等が発話した内容を、外部集音装置M1及び内部音出力装置SP2を介して聴取することができる。
 また、本実施形態の作業機械100において、制御装置であるコントローラ30は、外部集音装置M1が収集した上部旋回体3の周囲における機外音の音量が所定の閾値以下である場合に、外部集音装置M1における異常の有無の判定を実行する。
 このような構成により、外部集音装置M1の異常を判定するための所定の音が、作業機械100の周囲の機外音によって掻き消されるのを防止できる。その結果、コントローラ30により異常を判定するための所定の音を精度よく検知し、外部集音装置M1の異常についての誤判定を防止できる。
 また、本実施形態の作業機械100において、上部旋回体3の周囲における機外音の音量が所定の閾値を超えた場合に、所定の音の音量を増加させる。
 このような構成により、外部集音装置M1の異常を判定するための所定の音が、作業機械100の周囲の機外音によって掻き消されるのを防止できる。その結果、コントローラ30により異常を判定するための所定の音を精度よく検知し、外部集音装置M1の異常についての誤判定を防止できる。
 また、本実施形態の作業機械100において、制御装置であるコントローラ30は、作業機械100の環境情報に基づいて、外部集音装置M1に関する異常の有無の判定についての実施可否及び継続可否を判定する。
 このような構成により、環境情報が外部集音装置M1の異常の判定を実施するのに適さない場合や、環境情報が異常を判定するための所定の音を出力するのに適さない場合に、外部集音装置M1の異常の判定を中止したり中断したりすることができる。具体的には、例えば、作業機械100の周囲で人が検知された場合に外部集音装置M1の異常判定を中止又は中断することで、外部集音装置M1、内部音出力装置SP2、内部集音装置M2、及び外部音出力装置SP1を用いた会話を滞りなく行うことができる。
 以上説明したように、本実施形態によれば、作業機械100の周囲の音を収集する外部集音装置M1の異常を検知可能な作業機械100を提供することができる。なお、上述の実施形態では、主に、外部集音装置M1が無指向性の四つのマイクロフォン(前マイクM1F、左マイクM1L、右マイクM1R、後マイクM1B)を含む例について説明したが、外部集音装置M1は、前述のように、一つ又は複数のアレイマイクを備えていてもよい。
 以下、外部集音装置M1が少なくとも一つのアレイマイクを備える例について説明する。図10は、図7に示すコントローラ30の他の例を示す機能ブロック図である。図11A及び図11Bは、図10に示すコントローラ30の動作を説明するフロー図である。
 図10に示す例において、外部集音装置M1は、少なくとも一つのアレイマイクM1Aを含む。また、コントローラ30は、外部信号処理部301、内部信号処理部302、信号出力部303、及び異常判定部304に加えて、校正部305を有している。
 コントローラ30は、図11A及び図11Bに示す処理フローを実行することで、外部集音装置M1のアレイマイクM1Aが収集した所定の音から生成した信号AS1Aに基づいてアレイマイクM1Aの設置状態の異常を検知し、アレイマイクM1Aの座標系の校正要否を判定する。
 コントローラ30は、図11A及び図11Bに示す処理フローを開始すると、例えば、図8Aに示す前述の処理P101から処理P108までと同様の処理P201から処理P208までを実行する。
 ただし、図11Aに示す処理P206では、コントローラ30の外部信号処理部301は、アレイマイクM1Aが収集したテスト用の音から生成した信号AS1Aを取得して、不揮発性記憶装置に格納して記録する。このコントローラ30の不揮発性記憶装置には、例えば、アレイマイクM1Aに異常が検出されなかった過去の校正時にアレイマイクM1Aが収集した所定の音から生成した信号AS1A'が格納されている。
 また、図11Aに示す処理P207では、コントローラ30の異常判定部304は、例えば、アレイマイクM1Aを構成する複数のマイクロフォンの各々によって収集された音の位相差、音量(音圧レベル)、周波数特性等を含む音の特徴を抽出して、不揮発性記憶装置に格納して記録する。このコントローラ30の不揮発性記憶装置には、例えば、アレイマイクM1Aの設置状態の異常が検出されなかった過去のテスト時に異常判定部304が抽出した音の特徴が格納されている。
 次に、コントローラ30は、外部集音装置M1の異常の有無を判定する処理P208を実行する。この処理P208において、コントローラ30の異常判定部304は、例えば、不揮発性記憶装置から、新たに格納された所定の音の特徴を取得する。さらに、異常判定部304は、取得した新たな音の特徴から、それぞれ、評価値を算出する。評価値は、例えば、アレイマイクM1Aを構成する複数のマイクに届いた音の位相差、音圧レベル、周波数成分などを含む。
 さらに、この処理P208において、異常判定部304は、例えば、過去に不揮発性記憶装置から、過去に格納された所定の音の特徴を取得する。さらに、異常判定部304は、取得した過去の音の特徴から、それぞれ、評価値を算出する。評価値は、例えば、アレイマイクM1Aを構成する複数のマイクに届いた音の位相差、音圧レベル、周波数成分などを含む。
 そして、異常判定部304は、例えば、新たな信号AS1Aの評価値と、過去の信号AS1A'の評価値とを比較して、外部集音装置M1の異常の有無を判定する。この処理P208において、異常判定部304は、外部集音装置M1に異常がないこと(NO)を判定すると、その判定結果を通知する処理P208を実行する。その後、コントローラ30は、図11A及び図11Bに示す処理フローを終了させる。
 一方、処理P208において、異常判定部304が外部集音装置M1に異常があること(YES)を判定すると、コントローラ30は、図11Bに示すように、校正実施の確認を行う処理P210と、校正可否の受付を行う処理P211と、を実行する。処理P211において、コントローラ30の異常判定部304は、例えば、前述の処理P101と同様に、アレイマイクM1Aの座標系の校正を実施することを表示装置D1及び内部音出力装置SP2を介して操作者OPに通知する。次の処理P211において、異常判定部304は、例えば、前述の処理P102と同様に、入力装置D2を介してアレイマイクM1Aの校正可否に関する操作者OPの入力を受け付ける。
 その後、コントローラ30は、例えば、アレイマイクM1Aの校正可否を判定する処理P212を実行する。この処理P212において、異常判定部304は、例えば、前述の処理P103と同様に、前の処理P211で操作者OPが入力した校正可否に基づいて、アレイマイクM1Aの校正可否を判定する。
 アレイマイクM1Aの校正には、一定の時間を要する。また、アレイマイクM1Aの校正を実施しなくても、作業機械100による作業を行うことは可能である。そのため、前の処理P211で操作者OPが「校正不可」を選択して入力すると、異常判定部304は、処理P212において校正不可(NO)を判定し、図11A及び図11Bに示す処理フローを終了させる。この場合、コントローラ30の信号出力部303は、例えば、外部集音装置M1の校正が完了するまで、図9Aに示すように、表示装置D1の領域42mに、外部集音装置M1に異常があること、すなわち校正が必要であることを示すアイコンを表示させてもよい。
 一方、前の処理P211で操作者OPが「校正可」を選択して入力すると、異常判定部304は、例えば、処理P212において校正可(YES)を判定する。この場合、コントローラ30は、例えば、校正用の音を出力する処理P213を実行する。校正用の音は、例えば、外部音出力装置SP1から出力されるテスト音や、ホーンスピーカSP3から出力されるホーン音など、前述の処理P206において外部集音装置M1の異常の有無を判定するための所定の音と同様の音を使用することができる。
 次に、コントローラ30は、前述の処理P106と同様に、校正用の音の信号を取得する処理P214を実行する。この処理P214において、コントローラ30の外部信号処理部301は、アレイマイクM1Aが収集した校正用の音から生成した信号AS1Aを取得して、不揮発性記憶装置に格納して記録する。このコントローラ30の不揮発性記憶装置には、例えば、アレイマイクM1Aの設置状態の異常が検出されなかった過去の校正時にアレイマイクM1Aが収集した所定の音から生成した信号AS1A'が格納されている。
 次に、コントローラ30は、例えば、音の特徴を抽出する処理P215を実行する。この処理P215において、コントローラ30の異常判定部304は、例えば、アレイマイクM1Aを構成する複数のマイクロフォンの各々によって収集された音の位相差や音量(音圧レベル)を含む音の特徴を抽出して、不揮発性記憶装置に格納して記録する。このコントローラ30の不揮発性記憶装置には、例えば、アレイマイクM1Aの設置状態の異常が検出されなかった過去の校正時に異常判定部304が抽出した音の特徴が格納されている。
 次に、コントローラ30は、アレイマイクM1Aの校正要否を判定する処理P216を実行する。この処理P216において、コントローラ30の異常判定部304は、例えば、前の処理P215で新たに抽出された音の特徴と、不揮発性記憶装置に格納された過去の音の特徴とを比較する。そして、異常判定部304は、新たに抽出された音の特徴と過去の音の特徴との差が、予め設定された閾値を超えている場合に、アレイマイクM1Aの座標系の校正が必要であること(YES)を判定し、上記の方向の差が閾値以下である場合に、アレイマイクM1Aの座標系の校正が不要であること(NO)を判定する。
 なお、この処理P216において、異常判定部304は、例えば、前述の処理P207で不揮発性記憶装置に格納されたテスト音の特徴と、不揮発性記憶装置に格納されている過去のテスト音の特徴とを比較して、アレイマイクM1Aの校正の要否を判定してもよい。この場合、コントローラ30は、前述の処理P213から処理P215までを省略することができる。
 この処理P216において、異常判定部304によってアレイマイクM1Aの校正が不要であること(NO)が判定されると、コントローラ30は、例えば、前述の処理P109と同様に、その判定結果を通知する処理P217を実行する。その後、コントローラ30は、図11A及び図11Bに示す処理フローを終了させる。
 一方、処理P216において、異常判定部304によってアレイマイクM1Aの座標系の校正が必要であること(YES)が判定されると、コントローラ30は、例えば、アレイマイクM1Aの位置と姿勢を算出する処理P218を実行する。この処理P218において、コントローラ30の校正部305は、異常判定部304から新たに抽出された音の特徴に関する情報ADを取得し、アレイマイクM1Aの複数のマイクロフォンによって取得された音の位相差や音量等からアレイマイクM1Aの位置と姿勢を逆算する。
 具体的には、例えば、外部音出力装置SP1やホーンスピーカSP3等、校正用の音の発生源は、予め位置が特定されて不揮発性記憶装置に格納されている。そのため、アレイマイクM1Aの複数のマイクロフォンによって取得された音の位相差や音量等から、アレイマイクM1Aと音の発生源との相対的な位置関係を特定すれば、不揮発性記憶装置に格納された音の発生源の位置からアレイマイクM1Aの位置及び姿勢を逆算することができる。
 次に、コントローラ30は、アレイマイクM1Aの位置及び姿勢を更新する処理P219を実行する。この処理P219において、コントローラ30の校正部305は、前の処理P218で算出したアレイマイクM1Aの位置及び姿勢を不揮発性記憶装置に格納して更新する。
 その後、コントローラ30は、アレイマイクM1Aの校正完了を通知する処理P220を実行する。この処理P220において、コントローラ30の校正部305は、信号出力部303へアレイマイクM1Aの校正完了を通知する信号CCSを出力する。信号出力部303は、異常判定部304から校正完了を通知する信号CCSが入力されると、表示装置D1へ信号OSGを出力すると共に、内部音出力装置SP2へ信号OS2L,OS2Rを出力する。これにより、表示装置D1にアレイマイクM1Aの校正完了を示す通知が表示され、内部音出力装置SP2からアレイマイクM1Aの校正完了を示す音声が出力される。その後、コントローラ30は、図11A及び図11Bに示す処理フローを終了させる。
 以上のように、本実施形態の作業機械100は、制御装置であるコントローラ30によって図11A及び図11Bに示す処理フローを実行することで、外部集音装置M1の異常検知に加えて、外部集音装置M1を構成するアレイマイクM1Aの座標系を校正することができる。なお、コントローラ30は、アレイマイクM1Aと同様に、外部集音装置M1を構成する複数の無指向性マイク、前マイクM1F、左マイクM1L、右マイクM1R、及び、後マイクM1B等の校正を行ってもよい。この場合、外部集音装置M1の校正処理は、例えば、これらのマイクが生成した信号AS1F,AS1L,AS1R,AS1Bのゲイン調整(入力音圧を揃える処理)を含む。
 次に、図12を参照し、作業機械100の別の構成例について説明する。図12は、作業機械100の別の構成例の上面図である。図12に示す作業機械100は、外部音出力装置SP1が4台のスピーカ(前スピーカSP1F、左スピーカSP1L、右スピーカSP1R、及び後スピーカSP1B)によって構成されている点で、図1に示す作業機械100と異なる。図1に示す作業機械100では、外部音出力装置SP1は、運転室10の上に設けられた一台の無指向性スピーカによって構成されている。
 この構成により、図12に示す作業機械100は、例えば、前スピーカSP1Fをオン(音を出力できる状態)にし、左スピーカSP1L、右スピーカSP1R、及び後スピーカSP1Bをオフ(音を出力できない状態)にすることにより、作業機械100の左方、右方、及び後方にいる作業者WKに向けて音を出力することなく、作業機械100の前方にいる作業者WKに向けて音を出力することができる。
 また、図12に示す例では、前スピーカSP1Fに隣接するように前カメラS6F及び前マイクM1Fが設けられ、前マイクM1Fの筐体には前ライトバーG1Fが設けられている。また、左スピーカSP1Lに隣接するように左カメラS6L及び左マイクM1Lが設けられ、左マイクM1Lの筐体には左ライトバーG1Lが設けられている。また、右スピーカSP1Rに隣接するように右カメラS6R及び右マイクM1Rが設けられ、右マイクM1Rの筐体には右ライトバーG1Rが設けられている。また、後スピーカSP1Bに隣接するように後カメラS6B及び後マイクM1Bが設けられ、後マイクM1Bの筐体には後ライトバーG1Bが設けられている。
 この構成により、作業機械100は、オンにしたスピーカに対応するライトバーをオン(発光可能な状態)にし、オフにしたスピーカに対応するライトバーをオフ(発光不能な状態)にすることができる。
 なお、外部音出力装置SP1は、一台又は複数台のパラメトリックスピーカで構成されていてもよい。パラメトリックスピーカは、特定の狭い範囲にいる人に選択的に音を伝えることができる、超音波を利用したスピーカである。パラメトリックスピーカは、任意の位置に向けて音を伝えることができる。
 図12に示す作業機械100では、コントローラ30は、撮像装置S6が撮像した画像に基づいて作業機械100の周囲にいる作業者WKを検出し、作業者WKの位置を特定してもよい。また、作業機械100の周囲に複数の作業者WKがいる場合には、コントローラ30は、四つの外部集音装置M1の出力に基づき、会話対象者(声を出している作業者WK)と非対象者(声を出していない作業者WK)とを判別してもよい。なお、コントローラ30は、撮像装置S6が撮像した画像に基づき、会話対象者(作業機械100の方を向いている作業者WK)と非対象者(作業機械100の方を向いていない作業者WK)とを判別してもよい。そして、コントローラ30は、作業者WKの方を向いているスピーカ及びライトバーをオンにしてもよい。例えば、作業機械100の後方に(声を出している)作業者WKがいる場合には、コントローラ30は、前スピーカSP1F、左スピーカSP1L、及び右スピーカSP1Rをオフにしたまま、後スピーカSP1Bをオンにしてもよい。この場合、コントローラ30は、前ライトバーG1F、左ライトバーG1L、及び右ライトバーG1Rをオフにしたまま、後ライトバーG1Bをオンにしてもよい。なお、このような機能は、図1~図5に示す作業機械100において実現されてもよい。
 この構成により、コントローラ30は、作業者WKがいない方向に向けて音を出力することなく、作業者WKがいる方向に向けて音を出力することができる。そのため、作業者WKは、自身が会話対象者とされているか非対象者とされているかを容易に認識することができる。
 次に、図13を参照し、本開示の実施形態に係る操作システムSYSの構成例について説明する。図13は、操作システムSYSの構成例を示す概要図である。操作システムSYSは、図13に示すように、作業機械100、遠隔操作室RC、及び管理センタMCを含む。なお、図13では、作業機械100の詳細な構成については図示が省略されている。図13に示す作業機械100は、図1又は図12に示す作業機械100と同じ構成を有するためである。
 作業機械100、遠隔操作室RC、及び管理センタMCは、通信ネットワークNWを介してデータの送受信ができるように互いに接続されている。なお、作業機械100、遠隔操作室RC、及び管理センタMCは、通信ネットワークNWを介さずに互いに直接的にデータの送受信ができるように互いに接続されていてもよい。図示例では、作業機械100は、作業現場に関する情報を遠隔操作室RCに送信する。これにより、遠隔操作室RCにいる遠隔操作者ROは、作業機械100からの情報に基づいて作業現場の状況を把握することができる。
 作業機械100には、作業現場に存在する物体の位置及び形状を三次元的に認識可能なセンサが設けられている。例えば、作業機械100には空間認識装置が設けられている。そのため、作業機械100は、作業現場を三次元的に測定した結果を遠隔操作室RCに送信できる。
 空間認識装置は、作業機械100の周囲にある空間を認識するための装置である。図示例では、空間認識装置はLiDARである。LiDARは、例えば、監視範囲内にある100万点以上の点のそれぞれとLiDARとの間の距離を測定する。なお、空間認識装置は、物体との間の距離を計測可能な装置であればよい。例えば、空間認識装置は、ステレオカメラであってもよいし、撮像装置S6とミリ波レーダ等の測距装置との組合せであってもよい。
 操作システムSYSに含まれる作業機械100は、一台であってもよいし、複数台であってもよい。複数台の作業機械100を含む場合、特定の一台の作業機械100の遠隔操作者ROは、その特定の一台の作業機械100が入手する作業現場に関する情報に加え、他の一台又は複数台の作業機械100が入手する作業現場に関する情報を取得することができる。
 遠隔操作室RCには、通信装置T2、遠隔コントローラ40、操作装置26E、操作センサ43、表示装置D1E、内部集音装置M2E、及び内部音出力装置SP2Eが設置されている。また、遠隔操作室RCには、作業機械100を遠隔操作する遠隔操作者ROが座る操作席DSが設置されている。
 通信装置T2は、作業機械100に取り付けられた通信装置T1との間で通信できるように構成されている。
 遠隔コントローラ40は、各種演算を実行する演算装置である。本実施形態では、遠隔コントローラ40は、CPU及びメモリを含むマイクロコンピュータで構成されている。そして、遠隔コントローラ40の各種機能は、CPUがメモリに格納されたプログラムを実行することで実現される。
 表示装置D1Eは、各種情報を表示可能な装置である。表示装置D1Eは、遠隔操作室RCにいる遠隔操作者ROが作業機械100の周囲を視認するために、作業機械100から送信されてくる情報に基づいた画像を表示する。図示例では、表示装置D1Eは、作業機械100に搭載されている撮像装置S6が撮像した画像を表示する液晶ディスプレイである。なお、表示装置D1Eは、裸眼立体視を実現するディスプレイ又はプロジェクタであってもよく、VRゴーグル等であってもよい。
 内部音出力装置SP2Eは、各種音情報を出力可能な装置である。内部音出力装置SP2Eは、遠隔操作室RCにいる遠隔操作者ROが作業現場で発せられる音を聞くことができるよう、作業機械100から送信されてくる情報に基づいて音を出力する。内部音出力装置SP2Eは、例えば、運転室10の外部に取り付けられた外部集音装置M1が捉えた音を出力するように構成されていてもよく、運転室10の内部に取り付けられた内部集音装置M2が捉えた音を出力するように構成されていてもよい。この場合、内部集音装置M2は、運転室10内の運転席50に着座する操作者の耳の位置に相当する位置に設けられていてもよい。内部音出力装置SP2Eは、スピーカ等の設置型の装置であってもよく、イヤホン又はヘッドホン等の装着型の装置であってもよい。スピーカは、モノラルスピーカであってもよく、ステレオスピーカであってもよく、サラウンドスピーカであってもよい。また、スピーカは、無指向性スピーカであってもよく、指向性スピーカであってもよい。装着型の装置は、ノイズキャンセリング機能を備えたものであってもよく、空間オーディオ機能(立体音響機能)を備えたものであってもよく、骨伝導機能を備えたものであってもよい。
 操作装置26Eには、操作装置26Eの操作内容を検出するための操作センサ43が設置されている。操作センサ43は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサ43は、圧力センサ、電流センサ、電圧センサ、又は距離センサ等の他のセンサで構成されていてもよい。操作センサ43は、検出した操作装置26Eの操作内容に関する情報を遠隔コントローラ40に対して出力する。遠隔コントローラ40は、受信した情報に基づいて操作信号を生成し、生成した操作信号を作業機械100に向けて送信する。操作センサ43が操作信号を生成するように構成されていてもよい。この場合、操作センサ43は、遠隔コントローラ40を経由せずに、操作信号を通信装置T2に出力してもよい。このような構成により、遠隔操作者ROは、遠隔操作室RCから作業機械100を遠隔操作できる。
 管理センタMCは、作業現場にある作業機械100、又は、遠隔操作室RCにいる遠隔操作者ROによる作業機械100の遠隔操作等を管理するための各種装置が設けられる施設である。図示例では、管理センタMCは、作業機械100の作業現場及び遠隔操作室RCのそれぞれから離れた位置に設置されている。そして、管理センタMCには、管理装置200、内部集音装置M2C、及び内部音出力装置SP2Cが設置されている。
 管理装置200は、制御装置の一例であり、例えば、サーバコンピュータ(いわゆるクラウドサーバ)又はエッジサーバである。管理装置200は、典型的には固定型の端末装置であるが、可搬型の端末装置(例えば、ラップトップ型のコンピュータ、タブレット、又はスマートフォン等)であってもよい。
 この構成により、管理センタMCにいる管理者は、例えば、作業機械100に取り付けられた集音装置(外部集音装置M1又は内部集音装置M2)と内部音出力装置SP2Cとを利用し、作業現場で発せられる音を聞くことができる。また、管理センタMCにいる管理者は、例えば、遠隔操作室RCに設けられた内部集音装置M2Eと内部音出力装置SP2Cとを利用し、遠隔操作室RCで発せられる音を聞くことができる。また、管理センタMCにいる管理者は、例えば、内部集音装置M2Cと作業機械100に取り付けられた外部音出力装置SP1とを利用し、自身が発した声を作業機械100の周囲にいる作業者WKに伝えることができる。また、管理センタMCにいる管理者は、例えば、内部集音装置M2Cと作業機械100に取り付けられた内部音出力装置SP2とを利用し、自身が発した声を作業機械100の操作者OPに伝えることができる。管理センタMCにいる管理者は、例えば、内部集音装置M2Cと遠隔操作室RCに設けられた内部音出力装置SP2Eとを利用し、自身が発した声を遠隔操作室RCにいる遠隔操作者ROに伝えることができる。
 以下、本実施形態に係る作業機械システムSYSの作用を説明する。
 本実施形態の作業機械システムSYSは、作業機械100と、外部集音装置M1と、遠隔コントローラ40とを備えている。作業機械100は、下部走行体1と、その下部走行体1の上に旋回可能に設けられた上部旋回体3と、を備えている。外部集音装置M1は、作業機械100の周囲の音を収集する。遠隔コントローラ40は、外部集音装置M1が収集した所定の音から生成した信号AS1F,AS1L,AS1R,AS1Bに基づいて外部集音装置M1の異常の有無を判定する制御装置である。
 このような構成により、本実施形態の作業機械システムSYSによれば、外部集音装置M1によって所定の音を収集することで、作業機械100の周囲の音を収集する外部集音装置M1の異常を検知することができる。これにより、視覚的に検知することが困難な外部集音装置M1の異常を容易に検知することができ、外部集音装置M1に異常が発生した場合に直ちに対応することが可能になる。そのため、作業機械100の周囲で作業者WK等が発した音声や他の作業機械が発した音などを、外部集音装置M1によってより確実に収集することが可能になる。したがって、本実施形態によれば、作業機械100の周囲の音を収集する外部集音装置M1の異常を検知可能な作業機械システムSYSを提供することができる。
 最後に、前述の実施形態に係る作業機械100及び作業機械システムSYSの変形例を説明する。
 前述の実施形態においては、外部集音装置M1と外部音出力装置SP1とが上部旋回体3に設けられている例について説明した。しかしながら、前述の実施形態は、外部集音装置M1と外部音出力装置SP1を、上部旋回体3に設ける態様に制限されない。本変形例では、外部集音装置と外部音出力装置とを、作業機械100から離れた位置に設ける例について説明する。
 図14は、本変形例に係る作業機械100A及び作業機械システムSYS1の構成例を示す概略図である。作業機械システムSYS1は、図14に示すように、作業機械100A、設置型マイク1501、設置型スピーカ1502、自律移動ロボット1503、及び、ドローン1504を含む。
 作業機械100Aは、図1又は図12に示す作業機械100と同じ構成でもよいし、作業機械100から外部集音装置M1又は外部音出力装置SP1の一方又は双方が取り外された構成でもよい。つまり、本変形例は、外部集音装置M1又は外部音出力装置SP1の一方又は双方が設けられていない作業機械100Aでも双方向会話を実現する場合について説明する。
 設置型マイク1501は、作業現場に設けられた集音装置であって、作業機械100Aと無線通信又は有線で接続可能とする。設置型マイク1501は、収集した音を示す音信号を、作業機械100に送信する。
 設置型スピーカ1502は、作業現場に設けられた音出力装置であって、作業機械100Aと無線通信又は有線で接続可能とする。設置型スピーカ1502は、作業機械100Aから受信した音信号で示される音を出力する。
 自律移動ロボット1503は、集音装置1503A及び音出力装置1503Bが設けられ、作業機械100Aと無線通信又は有線で接続可能とする。自律移動ロボット1503は、集音装置1503Aにより収集された音を示す音信号を、作業機械100Aに送信する。また、自律移動ロボット1503は、作業機械100から受信した音信号で示される音を、音出力装置1503Bから出力する。
 自律移動ロボット1503は、作業現場の領域内を移動可能とする。本変形例は、自律移動ロボット1503の移動態様を制限するものではない。例えば、自律移動ロボット1503に(図示しない)カメラ(検出装置の一例)が設けられている場合に、自律移動ロボット1503は、カメラで撮像された画像情報に基づいて、作業機械100Aが存在する位置を特定し、作業機械100Aが移動する場合に、作業機械100Aに追従するように移動してもよい。また、自律移動ロボット1503は、作業機械100Aとの間の通信における信号強度が所定の閾値以上になるように、作業機械100Aに追従してもよい。さらには、自律移動ロボット1503は、カメラで撮像された画像情報に基づいて、作業者が存在する位置を特定し、作業者の音声を収集可能な位置まで移動してもよい。
 ドローン1504は、集音装置1504A及び音出力装置1504Bが設けられ、作業機械100Aと無線通信又は有線で接続可能とする。ドローン1504は、集音装置1504Aにより収集された音を示す音信号を、作業機械100Aに送信する。また、ドローン1504は、作業機械100Aから受信した音信号で示される音を、音出力装置1504Bから出力する。
 ドローン1504は、作業現場の領域内を飛行可能に設けられている。本変形例は、ドローン1504の移動態様を制限するものではなく、自律移動ロボット1503と同様に作業機械100Aに追従して移動してもよいし、作業者の音声を収集可能な位置まで移動してもよい。ドローン1504は、飛行しているので、作業現場の地形又は障害物にかかわらず、移動できる。
 作業現場に設けられる、設置型マイク1501、設置型スピーカ1502、自律移動ロボット1503、及び、ドローン1504の各々の数は、1つでもよいし、複数でもよい。
 作業機械100Aは、作業機械100と同様にコントローラ30を備えている。コントローラ30は、通信装置T1を用いることで、設置型マイク1501、設置型スピーカ1502、自律移動ロボット1503、及び、ドローン1504の各々との間で情報の送受信を可能とする。
 つまり、本変形例に係るコントローラ30は、内部集音装置M2によって収集された音を示す音信号を、通信装置T1を介して、作業機械100Aから離れた位置に存在する音出力装置に送信する制御を行う。また、コントローラ30は、作業機械100Aから離れた位置に存在する集音装置から通信装置を介して受信した音信号に示される音を、内部音出力装置SP2から出力する制御を行う。
 例えば、コントローラ30は、内部集音装置M2が収集した音を示す音信号を、設置型スピーカ1502、自律移動ロボット1503、及び、ドローン1504のうち少なくとも一つ以上に送信する。
 他の例としては、コントローラ30は、設置型マイク1501、自律移動ロボット1503、及び、ドローン1504のうち少なくとも一つ以上から音信号を受信し、受信した音信号で示される音を、内部音出力装置SP2から出力する。
 作業現場に設置される集音装置及び音出力装置は、上述した態様に制限するものではない。例えば、作業現場を監視する監視装置が、空間認識装置(例えば撮像装置)に加えて、集音装置及び音出力装置が備えられる手法がある。
 ところで、作業現場が広い場合には、設置型マイク1501、設置型スピーカ1502、自律移動ロボット1503、及び、ドローン1504の各々が複数設けられることになる。さらには、作業現場に存在する作業機械100Aの数も多くなる。この場合、作業現場に存在する設置型スピーカ1502、自律移動ロボット1503、及び、ドローン1504のすべてが、作業機械100Aから受信した音信号による音声を出力すると、作業現場に存在する人は、どの作業機械100Aからの音声か認識するのが難しい。
 そこで、本変形例に係る作業機械100Aは、所定の条件を満たした場合に限り、作業現場に存在する、設置型マイク1501、設置型スピーカ1502、自律移動ロボット1503、又は、ドローン1504のうち少なくとも一つ以上と通信を確立する。これにより、作業機械100Aの操作者と作業現場にいる人との双方向会話を実現可能とする。本変形例では、例えば、設置型マイク1501、設置型スピーカ1502、自律移動ロボット1503、及び、ドローン1504の各々のうち、作業機械100Aと所定の距離内と判定された機器について、通信を確立して双方向会話を実現する。
 作業機械100Aが、所定の範囲内か否かを判定する手法は、周知の手法を問わず、あらゆる手法を用いてよい。例えば、撮像装置S6が撮像した画像情報に機器が写っている場合に、写っているサイズ及び位置等から、当該機器までの距離を判定してもよい。その際に、機器に2次元コードが示されたシール等を張り付けることも考えられる。コントローラ30は、画像情報に写っている2次元コードから、画像情報に写っている機器に関する情報(例えば機器の固有情報、接続先のアドレス情報等)を認識できる。
 他の例としては、作業機械100Aのコントローラ30が、設置型マイク1501及び設置型スピーカ1502の位置情報を予め記憶する手法がある。そして、コントローラ30は、測位装置PSによって測定された位置に基づいて、設置型マイク1501及び設置型スピーカ1502が所定の範囲内に存在するか否かを判定する。さらには、設置型マイク1501、設置型スピーカ1502、自律移動ロボット1503、及び、ドローン1504の各々は、作業機械100Aに対して定期的に位置情報を送信する手法がある。
 また、本変形例は、音の出力及び音の収集のうち少なくとも一つ以上を実現する条件を、所定の距離内という条件を満たした場合に制限するものではない。例えば、作業機械100Aが複数存在する場合に、複数の作業機械100Aのうち最も近い作業機械100Aが、音の出力機能を実現するための機器(例えば、設置型マイク1501、設置型スピーカ1502、自律移動ロボット1503、又は、ドローン1504)と、音の出力及び音の収集のうち少なくとも一つ以上を実現するために、通信を確立してもよい。さらには、複数の作業機械100Aの各々に優先順位が設定されてもよい。そして、音の出力機能を実現するための機器(例えば、設置型マイク1501、設置型スピーカ1502、自律移動ロボット1503、又は、ドローン1504)は、複数の作業機械100Aのうち、優先順位が最も高い作業機械100Aとの間で、音の出力及び音の収集のうち少なくとも一つ以上を実現するために、通信を確立してもよい。
 また、本変形例は、作業機械100Aとの間における音信号の送受信の対象を、図14に示される、設置型マイク1501、設置型スピーカ1502、自律移動ロボット1503、及び、ドローン1504に制限するものではない。例えば、作業機械100Aは、人が所持する通信端末との間で音信号を送受信してもよい。
 本変形例では、作業機械100Aに外部音出力装置SP1及び外部集音装置M1が設けられていない場合でも、作業機械100Aに搭乗している操作者と、作業機械100Aの外部に存在する人と、の間の双方向会話を実現できる。
 さらに、本変形例では、作業機械100Aと離れた位置に存在する集音装置及び音出力装置を用いる。そのため、作業機械100Aに設けられている外部音出力装置SP1及び外部集音装置M1を利用する場合と比べて、作業機械100にいる外部の人へ音声を伝達したり、作業機械100Aの外部にいる人の音声を収集したりする際に、騒音等の影響を抑制して、双方向会話を容易にできる。
 本変形例では、作業機械100Aに操作者が搭乗している場合について説明したが、作業機械100Aに操作者が搭乗している場合に制限するものではなく、遠隔操作者ROが作業機械100Aを遠隔操作室RCから操作する場合でも、本変形例で示したような、作業機械100Aから離れた位置に設けられた音出力装置及び集音装置を用いて、双方向会話を実現してもよい。つまり、作業機械を操作している操作者が存在する領域と、作業機械の外部との各々の領域に設けられた集音装置及び音出力装置によって、互いの領域でそれぞれの音を伝達する機能が設けられていればよい。
 上述した実施形態及び変形例で示した内部集音装置、外部集音装置、内部音出力装置、及び、外部音出力装置は、様々な実施態様が考えられる。
 例えば、操作者が発した音声を取得可能な位置に設けられた内部集音装置は、内部集音装置M2、M2C、M2Eを含む。また、操作者が発した音声を取得可能である、操作者の口付近に設けられた内部集音装置は、内部集音装置M2、M2C、M2Eを含む。また、操作者がコミュニケーションを行いたい場合に、操作者が向く方向に設けられている内部集音装置は、内部集音装置M2、M2C、M2Eを含む。
 例えば、作業機械が作業を行う作業現場で生じた音を取得可能な位置に設けられた外部集音装置は、外部集音装置M1(M1F、M1R、M1L、M1B)、1501、1503A、1504Aを含む。例えば、作業機械が作業を行う作業現場に存在する人が発した音声を取得可能な位置に設けられた外部集音装置は、外部集音装置M1(M1F、M1R、M1L、M1B)、1501、1503A、1504Aを含む。作業機械100と連携して作業を行いたい作業者が発した音声を取得可能な位置に設けられた外部集音装置は、外部集音装置M1(M1F、M1R、M1L、M1B)、1501、1503A、1504Aを含む。
 例えば、操作者が出力された音を聞くことが可能な位置に設けられた内部音出力装置は、内部音出力装置SP2(SP2R、SP2L)、SP2C、SP2Eを含む。また、操作者が出力された音を聞くことができるように、操作者の耳の各々付近に設けられた内部音出力装置は、内部音出力装置SP2(SP2R、SP2L)、SP2C、SP2Eを含む。
 例えば、作業機械が作業を行う作業現場に存在する人が、作業機械の操作者が発した音声を聞くことが可能になる位置に設けられた外部音出力装置は、外部音出力装置SP1、1502、1503B、1504Bを含む。作業機械と連携して作業を行いたい作業者が、作業機械の操作者が発した音声を聞くことが可能になる位置に設けられた外部音出力装置は、外部音出力装置SP1、1502、1503B、1504Bを含む。
 以上、本開示の好ましい実施形態が説明された。しかしながら、本開示に係る発明は、上述した実施形態に限定されることはない。上述した実施形態は、本開示に係る発明の範囲を逸脱することなしに、種々の変形、置換等が適用され得る。また、上述した実施形態を参照して説明された特徴のそれぞれは、技術的に矛盾しない限り、適宜に組み合わされてもよい。
 本願は、2024年3月11日に出願した日本国特許出願2024-037468号に基づく優先権を主張するものであり、この日本国特許出願の全内容を本願に参照により援用する。
 1     下部走行体
 3     上部旋回体
 10    運転室  
 11    動力源
 30    コントローラ(制御装置)
 40    遠隔コントローラ(制御装置)
 100   作業機械
 100A  作業機械
 1501  設置型マイク(外部集音装置)
 1502  設置型スピーカ(外部音出力装置)
 1503A 集音装置(外部集音装置)
 1503B 音出力装置(外部音出力装置)
 1504A 集音装置(外部集音装置)
 1504B 音出力装置(外部音出力装置)
 AS1B  信号
 AS1F  信号
 AS1L  信号
 AS1R  信号
 AS2   信号
 KS    発話ボタン(操作部)
 M1    外部集音装置
 M1A   アレイマイク
 M1B   後マイク(マイクロフォン)
 M1F   前マイク(マイクロフォン)
 M1L   左マイク(マイクロフォン)
 M1R   右マイク(マイクロフォン)
 M2    内部集音装置
 M2C   内部集音装置
 M2E   内部集音装置
 OP    操作者
 RO    遠隔操作者(操作者)
 S6B   後カメラ(カメラ)
 S6F   前カメラ(カメラ)
 S6L   左カメラ(カメラ)
 S6R   右カメラ(カメラ)
 SP1   外部音出力装置
 SP2   内部音出力装置
 SP2C  内部音出力装置
 SP2E  内部音出力装置
 SP3   ホーンスピーカ
 SYS   作業機械システム
 SYS1  作業機械システム

Claims (15)

  1.  下部走行体と、
     前記下部走行体の上に旋回可能に設けられた上部旋回体と、
     前記上部旋回体の周囲の音を収集する外部集音装置が収集した所定の音に基づいて前記外部集音装置の異常の有無を判定する制御装置と、を備える、
     作業機械。
  2.  前記制御装置は、前記所定の音として、前記上部旋回体に搭載された動力源の音、前記上部旋回体に搭載されたホーンスピーカのホーン音、前記上部旋回体の周囲に音を出力する外部音出力装置から出力されるテスト音、又は、前記動力源のアイドリング時の音を用いる、
     請求項1に記載の作業機械。
  3.  前記制御装置は、所定のタイミングで前記外部集音装置から前記所定の音に基づいて生成された信号を取得する、
     請求項2に記載の作業機械。
  4.  前記制御装置は、前記動力源の始動時、前記ホーン音の出力時、前記テスト音の出力時、又は、前記動力源のアイドリング時を前記所定のタイミングとして前記外部集音装置から前記信号を取得する、
     請求項3に記載の作業機械。
  5.  前記制御装置は、前記作業機械の作業中に前記異常の有無の判定を休止する、
     請求項1から請求項4のいずれか一項に記載の作業機械。
  6.  前記制御装置は、前記外部集音装置が収集した前記所定の音から生成した信号を記録し、新たに記録した前記信号の評価値と該信号よりも前に記録した前記信号の評価値との差が閾値を超える場合に前記異常があることを判定する、
     請求項1から請求項4のいずれか一項に記載の作業機械。
  7.  前記制御装置が判定する前記異常は、前記外部集音装置の故障、前記外部集音装置の設置状態の異常、又は、前記外部集音装置に接続される配線の異常のうち、少なくとも一つを含む、
     請求項1から請求項4のいずれか一項に記載の作業機械。
  8.  前記外部集音装置は、複数のマイクロフォン、又は、少なくとも一つのアレイマイクを含む、
     請求項1から請求項4のいずれか一項に記載の作業機械。
  9.  各々の前記マイクロフォン又は前記アレイマイクと一体的に構成されたカメラをさらに備える、
     請求項8に記載の作業機械。
  10.  前記制御装置は、前記外部集音装置が収集した音を、前記作業機械の操作者へ音を出力する内部音出力装置に出力させ、前記操作者の音声を収集する内部集音装置が収集した音を、前記上部旋回体の周囲に音を出力する外部音出力装置に出力させる、
     請求項1から請求項4のいずれか一項に記載の作業機械。
  11.  前記制御装置に接続された操作部をさらに備え、
     前記制御装置は、前記操作部の操作状態に基づいて、前記内部集音装置が収集した音を前記外部音出力装置から出力させる状態と、前記外部集音装置が収集した音を前記内部音出力装置から出力させる状態と、を切り替える、
     請求項10に記載の作業機械。
  12.  前記制御装置は、前記外部集音装置が収集した前記上部旋回体の周囲における機外音の音量が所定の閾値以下である場合に、前記異常の有無の判定を実行する、
     請求項1から請求項4のいずれか一項に記載の作業機械。
  13.  前記制御装置は、前記上部旋回体の周囲における機外音の音量が所定の閾値を超えた場合に、前記所定の音の音量を増加させる、
     請求項1から請求項4のいずれか一項に記載の作業機械。
  14.  前記制御装置は、前記作業機械の環境情報に基づいて前記異常の有無の判定についての実施可否及び継続可否を判定する、
     請求項1から請求項4のいずれか一項に記載の作業機械。
  15.  下部走行体と、前記下部走行体の上に旋回可能に設けられた上部旋回体と、を備えた作業機械と、
     前記作業機械の周囲の音を収集する外部集音装置と、
     前記外部集音装置が収集した所定の音に基づいて前記外部集音装置の異常の有無を判定する制御装置と、を備える、
     作業機械システム。
PCT/JP2025/008895 2024-03-11 2025-03-10 作業機械、作業機械システム Pending WO2025192552A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024037468 2024-03-11
JP2024-037468 2024-03-11

Publications (1)

Publication Number Publication Date
WO2025192552A1 true WO2025192552A1 (ja) 2025-09-18

Family

ID=97063754

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/008895 Pending WO2025192552A1 (ja) 2024-03-11 2025-03-10 作業機械、作業機械システム

Country Status (1)

Country Link
WO (1) WO2025192552A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6377996U (ja) * 1986-11-11 1988-05-23
JP2014182038A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2017212687A (ja) * 2016-05-27 2017-11-30 パナソニックIpマネジメント株式会社 音声処理システム、音声処理装置及び音声処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6377996U (ja) * 1986-11-11 1988-05-23
JP2014182038A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2017212687A (ja) * 2016-05-27 2017-11-30 パナソニックIpマネジメント株式会社 音声処理システム、音声処理装置及び音声処理方法

Similar Documents

Publication Publication Date Title
JP7407178B2 (ja) ショベル
US20250283305A1 (en) Work machine and operation system for work machine
US12028653B2 (en) Inspection system for construction machine
US20250283306A1 (en) Work machine and control system for work machine
WO2025192550A1 (ja) 作業機械、作業機械システム
WO2025192541A1 (ja) 作業機械及びシステム
US20250283307A1 (en) Work machine and control system for work machine
WO2025192545A1 (ja) 作業機械、作業機械システム
WO2025192555A1 (ja) 作業機械、及び作業機械の操作システム
JP2025138402A (ja) 作業機械、作業機械の操作システム
WO2025192543A1 (ja) 作業機械、及び作業機械の制御システム
WO2025192553A1 (ja) 作業機械及び作業機械のシステム
US20250283300A1 (en) Work machine and operation support system
JP2025138418A (ja) 作業機械、及び作業機械の操作システム
WO2023026568A1 (ja) 遠隔操作システムおよび遠隔操作複合システム
JP2025138400A (ja) 作業機械、作業機械の操作システム
WO2025192554A1 (ja) 作業機械及び作業機械のシステム
JP2025138399A (ja) 作業機械、及び作業機械の操作システム
WO2025192546A1 (ja) 作業機械、操作支援システム
WO2025192547A1 (ja) 作業機械、及び作業機械の制御システム
JP2025138398A (ja) 作業機械、作業機械の遠隔操作システム、作業機械の管理システム
JP2025138401A (ja) 作業機械用のシステム
JP2025138612A (ja) 作業機械及び作業機械の操作システム
JP2025138419A (ja) 作業機械、及び作業機械の制御システム
WO2025192542A1 (ja) 作業機械、及び作業機械の制御システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25769521

Country of ref document: EP

Kind code of ref document: A1