WO2024070448A1 - 映像記録システム - Google Patents

映像記録システム Download PDF

Info

Publication number
WO2024070448A1
WO2024070448A1 PCT/JP2023/031489 JP2023031489W WO2024070448A1 WO 2024070448 A1 WO2024070448 A1 WO 2024070448A1 JP 2023031489 W JP2023031489 W JP 2023031489W WO 2024070448 A1 WO2024070448 A1 WO 2024070448A1
Authority
WO
WIPO (PCT)
Prior art keywords
construction machine
video
video recording
sensor
sign
Prior art date
Application number
PCT/JP2023/031489
Other languages
English (en)
French (fr)
Inventor
尚 多胡
正道 田中
昌輝 日暮
毅一 佐藤
大斗 坂井
理沙 齋藤
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Publication of WO2024070448A1 publication Critical patent/WO2024070448A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices

Definitions

  • the present invention relates to a video recording system, and is suitable for use, for example, in a video recording system that records images of the surroundings of construction machinery.
  • a drive recorder refers to a video recording device that uses a camera attached to the vehicle to capture images of the area in front of the vehicle while the vehicle is moving or stopped, and records the captured images.
  • vehicle body data such as CAN (Controller Area Network) signals are also being linked to the video data and saved in a video recording device.
  • CAN Controller Area Network
  • Such video recording devices are thought to be effective not only for private automobiles but also for construction machinery.
  • a video recording device By installing a video recording device on construction machinery and recording video of the surrounding area while the machinery is in operation, it may be possible to verify (for example, investigate the cause of) so-called near miss accidents based on the recorded video of the surrounding area.
  • a "near miss accident” refers to an incident that did not result in a serious accident, but was one step away from leading directly to one.
  • Patent Document 1 discloses that, with regard to a drive recorder, the scale of an accident is determined based on the acceleration in the X-Y-Z directions detected by a collision sensor, and the amount of data in the file to be saved is variably set according to the scale of the accident determined.
  • Patent Document 1 discloses that the recording of video is triggered by an impact to the vehicle body detected by an acceleration sensor in the vehicle.
  • construction machinery is constantly exposed to shocks and large vibrations due to work operations, and it is not uncommon for shocks of a similar magnitude to accidents to occur even during normal operation. Therefore, it is not appropriate to use the same trigger to start recording for construction machinery as for automobiles.
  • the present invention has been made in consideration of the above points, and aims to propose a video recording system that can facilitate the extraction of surrounding video when an event such as a near-miss occurs, thereby simplifying the verification process for near-miss cases, etc.
  • the present invention provides a video recording system for recording video around a construction machine, which includes a camera for recording video around the construction machine, one or more types of sensors for detecting the condition of the construction machine, a controller for detecting signs that the construction machine is about to tip over or that a part of the construction machine is about to come into contact with a surrounding object based on the output of the sensor or video around the construction machine recorded by the camera, and a video recording device that records the video around the construction machine captured by the camera when triggered by the controller detecting the signs.
  • the video recording system of the present invention can limit the timing of recording video of the surroundings of a construction machine to operations that may cause the machine to tip over or a part of the machine to come into contact with surrounding objects, i.e., operations that may cause a near-miss.
  • the present invention makes it possible to realize a video recording system that can facilitate the extraction of surrounding video when an event such as a near-miss occurs, thereby simplifying the verification work of near-miss cases, etc.
  • FIG. 1 is a side view showing the configuration of a construction machine equipped with an operation information recording system according to the present embodiment.
  • 1 is a block diagram showing a configuration of an operation information recording system according to an embodiment of the present invention.
  • 4A is a diagram showing the state of a gate lock device
  • FIG. 4B is a diagram showing a recording trigger signal
  • FIG. 4C is a diagram explaining the on/off timing of a recording function.
  • 13 is a flowchart showing the procedure of a recording process.
  • 13 is a flowchart showing a procedure for generating a recording trigger signal.
  • 1A and 1B are a top view and a side view, respectively, provided for explaining an operational restriction area of a construction machine.
  • FIG. 13 is a diagram illustrating an example of the screen configuration of a sign detection example list screen.
  • FIG. 13 is a diagram illustrating an example of a screen configuration of a case details screen.
  • reference numeral 1 denotes a construction machine (hydraulic excavator) equipped with an operation information recording system according to this embodiment as a whole.
  • This construction machine 1 is configured with a self-propelled lower traveling body 2, an upper rotating body 3 mounted on the lower traveling body 2 so as to be able to rotate freely, and a front device 4 connected to the front of the upper rotating body 3.
  • the upper rotating body 3 is equipped with an engine 5 as a driving force and a main pump 6 driven by the engine 5, and the lower running body 2, upper rotating body 3, and front device 4 can each be operated independently by the hydraulic oil pumped out by the main pump 6.
  • a pair of traveling hydraulic motors 7 driven by hydraulic oil pumped from a main pump 6 are mounted on the left and right rear sides of the lower traveling body 2, and by driving these traveling hydraulic motors 7, the crawlers 8 provided on both the left and right sides of the lower traveling body 2 can be independently rotated. This allows the lower traveling body 2, and in turn the entire construction machine 1, to travel in the forward/backward direction and turn in the left/right direction.
  • the upper rotating body 3 is also connected to the lower running body 2 via a hydraulic swing motor 9 that is powered by hydraulic oil pumped from the main pump 6, and the upper rotating body 3 can be rotated left and right relative to the lower running body 2 by driving the hydraulic swing motor 9.
  • the front device 4 is a working device that directly performs work such as digging or leveling the ground, or lifting excavated soil or other cargo.
  • the front device 4 is composed of a boom 11 connected to the upper rotating body 3 so that one end can rotate in the forward and backward directions of the upper rotating body 3 via a rotating shaft 10, an arm 13 rotatably connected at one end to the other end of the boom 11 via a rotating shaft 12, a bucket 15 rotatably connected at the other end of the arm 13 via a rotating shaft 14, and a boom cylinder 16, arm cylinder 17, and bucket cylinder 18 that can be extended and retracted by hydraulic oil pumped out from the main pump 6.
  • one end of the boom cylinder 16 is connected to the boom 11 via a rotating shaft 19, and the other end is connected to the upper rotating body 3 via a rotating shaft (not shown), so that the boom 11 can be rotated around the rotating shaft 10 by driving the boom cylinder 16 to extend and retract.
  • the arm cylinder 17 has one end connected to the boom 11 and the other end connected to the arm 13 via a rotating shaft 20, so that the arm 13 can be rotated around the rotating shaft 12 by driving the arm cylinder 17 to extend and retract.
  • one end of the bucket cylinder 18 is connected to the arm 13, and the other end is connected to the bucket 15 via a link, so that the bucket 15 can be rotated around the rotation axis 14 by driving the bucket cylinder 18 to extend and retract.
  • the traveling hydraulic motor 7, the swing hydraulic motor 9, the boom cylinder 16, the arm cylinder 17, and the bucket cylinder 18 are switched between a state in which operation is permitted and a state in which operation is prohibited by a gate lock device 45 (see Figure 2) provided in the driver's cab of the upper swing body 3.
  • FIG. 2 shows the configuration of the operation information recording system 30 of this embodiment mounted on such a construction machine 1.
  • This operation information recording system 30 is a system for recording video data of the surroundings of the construction machine 1 and vehicle body data before and after a near-miss incident is detected while the construction machine 1 is in operation. Note that in the following, a "near-miss incident" will be described as an example in which the operation information recording system 30 detects a change in the posture of the construction machine 1 that is a sign of it leading to a tipping over, or a sign of the front device 4 coming into contact with a surrounding object.
  • the operation information recording system 30 is mounted on the construction machine 1 and is equipped with various sensors such as multiple surrounding monitoring cameras 31, an inclination sensor 32, a rotation angle sensor 33, a boom angle sensor 34, an arm angle sensor 35 and a load sensor 36, as well as a monitor control controller 37, a monitor 38, a vehicle control controller 39, a video recording device 40 and a communication terminal 41, each of which is disposed in the driver's seat 3A (Fig. 1) of the upper rotating body 3.
  • the monitor control controller 37, the monitor 38, the vehicle control controller 39 and the video recording device 40 are also connected for free communication via an on-board network 42 such as a CAN network.
  • the surroundings monitoring cameras 31 are cameras for photographing the surroundings of the construction machine 1, and multiple cameras are installed on the top of the upper rotating body 3 so that they can photograph the left and right sides, front, and rear. Each surroundings monitoring camera 31 outputs video data of the surroundings of the construction machine 1 obtained by photographing them to the monitor control controller 37.
  • the tilt sensor 32 and the slewing angle sensor 33 are each disposed on the upper rotating body 3.
  • the tilt sensor 32 detects the tilt angles of the upper rotating body 3 in the longitudinal and lateral directions (i.e., the pitch angle and roll angle of the upper rotating body 3 with the front direction of the upper rotating body 3 as the roll axis direction) and outputs these detected tilt angles to the vehicle control controller 39.
  • the slewing angle sensor 33 detects the slewing angle of the upper rotating body 3 relative to the lower running body 2 and outputs the detected slewing angle to the vehicle control controller 39.
  • the boom angle sensor 34, arm angle sensor 35, and load sensor 36 are each disposed on the front device 4.
  • the boom angle sensor 34 detects the attitude of the boom 11 as a tilt angle from a reference state (hereinafter, this will be referred to as the boom tilt angle), and outputs the detected boom tilt angle to the vehicle control controller 39.
  • the arm angle sensor 35 also detects the position of the arm 13 as a tilt angle from a reference state relative to the boom 11 (hereinafter, this will be referred to as the arm tilt angle), and outputs the detected arm tilt angle to the vehicle body controller 39. Furthermore, the load sensor 36 detects the load of the load lifted by the front device 4, and outputs the detected load to the vehicle body controller 39.
  • the monitor control controller 37 generates a composite image, such as a split image in which the surrounding images captured by each surrounding monitoring camera 31 are split and displayed, or a surround view image in which the boundaries of the surrounding images captured by adjacent surrounding monitoring cameras 31 are blended, based on the image data provided by each surrounding monitoring camera 31.
  • the monitor control controller 37 then transmits the image data of the generated composite image to the monitor 38 and the video recording device 40 via the communication line 43.
  • Monitor 38 is composed of a display device such as a liquid crystal panel or an organic EL (Electro-Luminescence) panel. Monitor 38 displays a composite image based on the image data provided from monitor controller 37 via communication line 43.
  • a display device such as a liquid crystal panel or an organic EL (Electro-Luminescence) panel.
  • Monitor 38 displays a composite image based on the image data provided from monitor controller 37 via communication line 43.
  • the vehicle body control controller 39 transmits the sensor data provided by the tilt sensor 32, the slewing angle sensor 33, the boom angle sensor 34, the arm angle sensor 35, and the load sensor 36 to the video recording device 40 via the in-vehicle network 42.
  • the vehicle body control controller 39 also monitors these sensor data, and when the gate lock device 45 provided in the driver's seat 3A is unlocked and detects signs that the construction machine 1 will tip over or the front device 4 will come into contact with a surrounding object, it transmits a recording trigger signal to the video recording device 40 via the in-vehicle network 42 as a trigger to start recording. Details of "signs that the posture of the construction machine 1 will change and lead to tip over or that the front device 4 will come into contact with a surrounding object" will be described later.
  • the vehicle body control controller 39 is also provided with sensor data that indicates the hydraulic pressure of the hydraulic oil supplied to the travel hydraulic motor 7, swing hydraulic motor 9, boom cylinder 16, arm cylinder 17, and bucket cylinder 18, detected by hydraulic sensors attached to the travel hydraulic motor 7, swing hydraulic motor 9, boom cylinder 16, arm cylinder 17, and bucket cylinder 18, respectively, as described above in FIG. 1.
  • the vehicle body control controller 39 then transmits the sensor data provided by these hydraulic sensors to the video recording device 40 via the in-vehicle network 42.
  • the video recording device 40 is configured with a semiconductor memory such as a flash memory, and a storage device such as a hard disk device or SSD (Solid State Drive). As described above, the video recording device 40 is provided with the video data of the composite video from the monitor control controller 37, and the sensor data of various sensors from the vehicle control controller 39. In addition, the video recording device 40 is also sequentially provided with engine speed data indicating the speed of the engine 5 ( Figure 1) from an ECU (Electronic Control Unit) not shown.
  • a semiconductor memory such as a flash memory
  • SSD Solid State Drive
  • the video recording device 40 then temporarily stores the video data of the composite video provided by the monitor control controller 37 in sequence for a fixed period of time, and also associates the sensor data of the various sensors provided by the vehicle control controller 39 and the engine speed data provided by the ECU as vehicle body data with the composite video generated at the same time, and temporarily stores them in sequence for the same fixed period of time as the composite video.
  • the video recording device 40 when it receives a recording trigger signal from the vehicle body controller 39, it files and saves the most recent predetermined time (e.g., 30 seconds) of the video data and vehicle body data temporarily stored at that time, as well as the predetermined time (e.g., 30 seconds) of the video data and vehicle body data subsequently provided by the monitor controller 37, vehicle body controller 39, ECU, etc., as data at the time of precursor detection.
  • this action of filing and saving a predetermined time of precursor detection data will be referred to as recording.
  • the video recording device 40 also stores the current position of the construction machine 1 at that time, which is notified by the communication terminal 41 as described below, in the file of the precursor detection data.
  • the video recording device 40 then uploads (transmits) the saved file of precursor detection data at an appropriate timing to an external server device 47 by wireless communication, sequentially via the communication terminal 41 and the antenna 46 provided on the upper rotating body 3.
  • the communication terminal 41 is a communication device capable of two-way communication with the external server device 47 via a wireless communication line such as a mobile phone line. This allows the operation information recording system 30 to not only upload the above-mentioned files to the external server device 47, but also allows the external server device 47 to access the operation information recording system 30.
  • This communication terminal is equipped with a GPS (Global Positioning System) receiver.
  • the communication terminal then sequentially detects its own current location based on the GPS signals received by this GPS receiver, and notifies the video recording device 40 of the detected current location.
  • this current location is stored in a file of data at the time of symptom detection as described above, and uploaded to the external server device 47.
  • the external server device 47 is composed of a general-purpose server device equipped with a CPU (Central Processing Unit), a main storage device such as a semiconductor memory, an auxiliary storage device such as a hard disk drive, input devices such as a mouse and keyboard, and a display device such as a liquid crystal display or an organic EL display, and is provided separately from the construction machine 1.
  • a CPU Central Processing Unit
  • main storage device such as a semiconductor memory
  • auxiliary storage device such as a hard disk drive
  • input devices such as a mouse and keyboard
  • a display device such as a liquid crystal display or an organic EL display
  • the external server device 47 accumulates and manages files of data on when signs are detected that are appropriately sent from one or more construction machines 1 under its management. Based on the accumulated data on when signs are detected, and in response to a specified operation by the user, the external server device 47 displays a composite image and other necessary information when the vehicle control controller 39 of each construction machine 1 detects a change in the posture of the construction machine 1 that is leading to a tipping over or a sign that the front device 4 is about to come into contact with a surrounding object.
  • a single video recording system is thus constructed by the external server device 47 and the operation information recording system 30 for one or more construction machines 1 under the management of the external server device 47.
  • a user of this video recording system can then use the data at the time of sign detection stored in the external server device 47 to verify in more detail, using statistical methods, the operator's operation that led to the detection of a sign of a change in the posture of the construction machine 1 leading to a tipping over or a sign of the front device 4 coming into contact with a surrounding object, and can use the verification results for future training of the operator of the construction machine 1, etc.
  • FIG 3 shows the state of the gate lock device 45 and the timing of recording the data at the time of sign detection.
  • the vehicle body controller 39 detects a sign of the construction machine 1 tipping over or the front device 4 coming into contact with a surrounding object, the vehicle body controller 39 transmits a recording trigger signal SG, which is valid for a predetermined time t as shown in Figure 3(B), to the video recorder 40.
  • the video recording device 40 starts recording, and as shown in FIG. 3(C), it records the video data and vehicle body data for a predetermined time T1 before the point at which the recording trigger signal SG becomes valid, and the video data and vehicle body data for a predetermined time T2 after that point as data at the time of symptom detection.
  • the value of the predetermined time T2 is set to a value greater than the predetermined time t.
  • the video recording device 40 will ignore the recording trigger signal SG even if it switches from disabled to enabled again and continue recording that one recording.
  • FIG. 4 shows the flow of a series of processes (hereinafter referred to as recording processing) executed by the video recording device 40 in relation to recording of the above-mentioned surrounding video of the construction machine 1.
  • This recording processing starts when the engine of the construction machine 1 is started, for example, to power up the vehicle body, which in turn powers up the entire operation information recording system 30 (Fig. 2), and then the video recording device 40 completes preparation for recording.
  • the video recording device 40 first starts temporarily storing the video data provided by the monitor control controller 37, etc., and the vehicle body data provided by the vehicle body control controller 39 and the ECU, etc. (S1), and then determines whether the recording trigger signal provided by the vehicle body control controller 39 is valid (S2).
  • the video recording device 40 determines whether the power supply to the vehicle body has been turned off (S6). If the video recording device 40 obtains a negative result in this determination, it returns to step S2, and thereafter repeats the loop of steps S2-S6-S2 until the recording trigger signal becomes valid or the power supply to the vehicle body is turned off.
  • the video recording device 40 starts saving the video data and vehicle body data that have been temporarily stored from the time T1 before the recording trigger signal became valid (S3).
  • the video recording device 40 waits for the time T2 to elapse from the time when the recording trigger signal became valid (S4). Then, when the time T2 has elapsed from the time when the recording trigger signal became valid, the video recording device 40 completes saving the video data and vehicle body data, and files the video data and vehicle body data saved up to that point for the (T1+T2) time, as well as the position data of the current position of the vehicle body notified by the communication terminal 41 at that time, as data at the time of symptom detection (S5).
  • the video recording device 40 judges whether the power supply to the vehicle body has been turned off (S6). If the video recording device 40 obtains a negative result in this judgment, it returns to step S2, and thereafter repeats the processing from step S2 onwards in the same manner as described above.
  • step S6 If the vehicle's power supply is eventually turned off and a positive result is obtained in step S6, the video recording device 40 turns off its own power supply (S7). This ends the recording process.
  • FIG. 5 shows the flow of a series of processes executed by the vehicle body control controller 39 in parallel with the recording process described above with reference to FIG. 4 with regard to the recording of such video data and vehicle body data.
  • the vehicle body control controller 39 generates a recording trigger signal according to the processing procedure shown in FIG. 5 and transmits the generated recording trigger signal to the video recording device 40.
  • the vehicle body controller 39 when the vehicle body controller 39 is powered on, it starts the process shown in FIG. 5 (hereinafter, this is called the recording trigger signal generation process), and first determines whether or not certain conditions (hereinafter, this is called the recording start condition) for starting this recording trigger signal generation process, such as the attitude of the front device 4 and the RPM of the engine 5, are satisfied (S10).
  • the conditions for starting recording can be, for example, that the attitude of the front device 4 and the RPM of the engine 5 are within a specified range, and that the current position of the construction machine 1 is in a pre-specified location. If the vehicle control controller 39 obtains a negative result in this determination, it waits for the recording start conditions to be met.
  • the vehicle body control controller 39 When the recording start condition is eventually met, the vehicle body control controller 39 first determines whether the gate lock device 45 (FIG. 2) is unlocked (S11). If the vehicle body control controller 39 obtains a negative result in this determination, it returns to step S10, and thereafter executes the processes from step S10 onward in the same manner as described above.
  • the vehicle control controller 39 obtains a positive result in the judgment of step S11, it judges whether it has detected a sign that the construction machine 1 is about to tip over or that the front device 4 is about to come into contact with a surrounding object, based on the sensor data provided by the tilt sensor 32, the slewing angle sensor 33, the boom angle sensor 34, the arm angle sensor 35, and the load sensor 36 (S12).
  • step S13 If the vehicle body controller 39 obtains a negative result in this determination, it returns to step S10, and thereafter repeats the processes from step S10 onwards in the same manner as described above. On the other hand, if the vehicle body controller 39 obtains a positive result in the determination in step S12, it activates the recording trigger signal for a time t (S13).
  • the vehicle body controller 39 judges whether or not the vehicle body controller 39 is still detecting a sign that the construction machine 1 will tip over or that the front device 4 will come into contact with a surrounding object (S14). If the vehicle body controller 39 obtains a positive result in this judgment, it waits until it no longer detects such a sign.
  • step S14 the process returns to step S10, and thereafter, the process from step S10 onwards is repeated in the same manner as described above.
  • the first such “sign” can be set as "the attitude (tilt) of the upper rotating body 3 such that at least one of the tilt angles in the forward/backward direction and left/right direction exceeds a preset threshold angle for the forward/backward tilt or left/right tilt.”
  • the construction machine 1 of this embodiment is originally equipped with a function in the vehicle body control controller 39 that warns the operator in the driver's seat 3A by sound or an image displayed on the monitor 38 when the inclination of the vehicle body reaches a certain threshold angle or more, indicating that the construction machine 1 may tilt and tip over. Therefore, in this embodiment, when warning the operator in this way, the vehicle body control controller 39 also activates a recording trigger signal.
  • the file of data recorded by the video recording device 40 upon detection of this "sign" contains not only the sensor data output from the tilt sensor 32 at that time, but also the sensor data from the various hydraulic sensors mentioned above, which serves as the basis for estimating the operation of the operator on the construction machine 1. This makes it possible to later verify what operation by the operator caused the body of the construction machine 1 to tilt based on this data upon detection of the sign.
  • the second “sign” can be set to "the magnitude of the load applied to the front device 4 by the suspended load detected by the load sensor 36 of the front device 4 has exceeded a preset threshold value for the magnitude of that load (hereinafter referred to as the load threshold value)."
  • the construction machine 1 of this embodiment is originally equipped with a function in the vehicle control controller 39 that warns the operator in the driver's seat 3A by sound or by displaying an image on the monitor 38, etc., that there is a risk of the construction machine 1 tipping over if the load applied to the front device 4 by the load lifted by the front device 4 exceeds the load threshold and the attitude of the front device 4 causes the vehicle body's tipping moment to become excessive.
  • the vehicle control controller 39 when a warning is issued to the operator in this way, the vehicle control controller 39 also activates a recording trigger signal.
  • the file of data at the time of sign detection recorded by the video recording device 40 upon detection of this "sign" contains not only the magnitude of the load caused by the suspended load detected by the load sensor 36 at that time, but also sensor data from various hydraulic sensors (here, hydraulic sensors attached to each cylinder, such as the boom cylinder 16) that serve as the basis for estimating the operation of the operator on the front device 4. This makes it possible to later verify, based on this data at the time of sign detection, what operation by the operator caused a load exceeding the load threshold to be placed on the front device 4 of the construction machine 1.
  • a third "sign" can be set to "part of the front device 4 has exceeded a preset operating limit range.”
  • the operator can set the operating restriction area of the front device 4 in the vehicle control controller 39 so that the vehicle body does not come into contact with surrounding objects. Specifically, as shown in FIG. 6, the operator can set a forward restriction area 50 in the forward direction, a height restriction area 51 in the height direction, a depth restriction area 52 in the depth direction, a right restriction area 53 to the right, and a left restriction area 54 to the left, based on the lower running body 2.
  • the vehicle body control controller 39 is equipped with a function that constantly calculates the posture of the front device 4 based on the sensor data provided by each of the swing angle sensor 33, boom angle sensor 34, and arm angle sensor 35, and if it determines that a part of the front device 4 has exceeded the forward restricted area 50, height restricted area 51, depth restricted area 52, right restricted area 53, or left restricted area 54, it issues a warning to the operator in the driver's seat 3A by sound or an image displayed on the monitor 38, and stops the operation of the front device 4.
  • the vehicle body controller 39 when a warning is issued to the operator in this way, the vehicle body controller 39 also activates a recording trigger signal.
  • the file of precursor detection data recorded by the video recording device 40 upon detection of this "precursor" contains not only information calculated by the vehicle body controller 39 as to which direction the front device 4 has exceeded the operating restriction area, but also sensor data corresponding to the operation of rotating the upper rotating body 3 and various operations performed by the operator on the front device 4. This makes it possible to later verify, based on this precursor detection data, what operation by the operator caused part of the front device 4 to exceed the operating restriction area.
  • Figure 7 shows the screen configuration of a list screen 60 of precursor detection cases that can be displayed on the external server device 47 by a specified operation based on the precursor detection time data uploaded from the construction machine 1 to the external server device 47 ( Figure 2) as described above.
  • This list screen 60 of precursor detection cases displays a list of information about each case in which a precursor to tipping over due to a change in the posture of the construction machine 1 or a precursor to the front device 4 coming into contact with a surrounding object was detected, based on the precursor detection data uploaded to the external server device 47 from each construction machine 1 up to that point.
  • date and time of occurrence the date and time of occurrence
  • event the type of warning issued to the operator when the precursor detection data was saved
  • operation the operation performed by the operator at the time recognized based on the sensor data from each hydraulic sensor
  • model the model of the construction machine 1 in which the accident occurred
  • FIG. 7 shows that on "2021/4/7 12:45", during a "travel” operation of a construction machine 1 of the model “hydraulic excavator B", a "body tilt warning” was issued, indicating that the posture of the body of the construction machine 1 was tilted beyond the allowable angle.
  • FIG. 7 also shows that on "2021/4/3 18:30", during a "swing” operation of a construction machine 1 of the model “hydraulic excavator A", a "front load warning” was issued, indicating that the load of the load suspended from the front device 4 was equal to or greater than the above-mentioned load threshold.
  • the range of cases displayed on the Predictive Detection Case List Screen 60 can be limited to those corresponding to that date or item.
  • a pull-down menu with a calendar is displayed. Then, by using the calendar displayed in this pull-down menu to specify a date or date range, the cases displayed on the symptom detection case list screen 60 can be limited to those cases in which a symptom was detected on the specified date or date range.
  • a pull-down menu is displayed listing all types of warnings that can be issued by the construction machine 1. Then, by specifying the desired warning from among the warnings listed in this pull-down menu, the cases displayed on the symptom detection case list screen 60 can be limited to those in which the specified warning was issued.
  • a pull-down menu is displayed that lists all the types of operations that the operator can perform on the construction machine 1. Then, by specifying the desired operation from among the operations listed in this pull-down menu, the cases displayed on the symptom detection case list screen 60 can be limited to those in which the specified operation was performed.
  • a pull-down menu is displayed listing all the models of construction machines 1 managed by the external server device 47. Then, by specifying the desired model from among the models listed in this pull-down menu, the cases displayed on the symptom detection case list screen 60 can be limited to those that occurred on the construction machine 1 of the specified model.
  • a screen like that shown in FIG. 8 (hereinafter, this will be referred to as a case detail screen) 70 based on the symptom detection time data of that case can be displayed in place of the symptom detection case list screen 60 that was previously displayed or overlaid on the symptom detection case list screen 60.
  • This case details screen 70 is configured with a case summary display area 71, a map display area 72, a video display area 73, and an operation information display area 74.
  • the case summary display area 71 displays an overview of the corresponding case
  • the map display area 72 displays a bird's-eye view map 75 of the location where the corresponding case occurred, based on the location data included in the symptom detection time data of the corresponding case.
  • the video display area 73 also displays a composite video 76 that was saved when the corresponding event occurred.
  • FIG. 8 shows an example in which the composite video 76 is a split video.
  • the composite video 76 displayed in the video display area 73 can be started or stopped by pressing (clicking) a play button 77 or a stop button 78 displayed below the composite video 76.
  • the playback position of the composite video 76 can also be moved to a position corresponding to the position of the slider 80 by dragging a slider 80 of a slider bar 79 displayed below the composite video 76 to move it left or right.
  • the operation information display area 74 displays in graph form the details of various operations performed by the operator before and after the date and time of the occurrence of the corresponding case.
  • the engine speed (“engine speed”) before and after the date and time of the occurrence of the corresponding case is displayed as is in graph form.
  • the oil pressure of the hydraulic oil supplied to the swing hydraulic motor 9 (FIG. 1) (“swing operation") is displayed in graph form as the details of the swing operation, and further, the oil pressure of the hydraulic oil supplied to the traveling hydraulic motor 7 (FIG. 1) (“travel operation”) is displayed in graph form as the details of the travel operation.
  • the state (“gate lock") of the gate lock device 45 (FIG. 2) is displayed in a format similar to that of FIG. 3 (A).
  • the detection of a sign that the construction machine 1 is about to tip over or the front device 4 is about to come into contact with a surrounding object is regarded as the detection of a near-miss incident, and the video data of the composite video and the vehicle body data for a predetermined time before and after the detection are stored. Therefore, even in an environment where a large impact occurs during the operation of the construction machine 1, it is possible to record only the video data and the vehicle body data at the time when the near-miss incident occurs.
  • the operational information recording system 30 can record only the video data and vehicle data at the time of the near-miss incident, unnecessary data is not stored in the video recording device 40, and unnecessary data can be prevented from taking up space in the video recording device's memory capacity and from being overwritten by necessary data.
  • the operational information recording system 30 makes it easier to extract surrounding video when a near-miss occurs, thereby simplifying the verification process for the near-miss.
  • the construction machine is a hydraulic excavator.
  • the present invention is not limited to this, and can be widely applied to various other construction machines such as a crane truck or a loader.
  • the symptom detection case list screen 60 and the case detail screen 70 are configured as shown in Figures 7 and 8, but the present invention is not limited to this, and various other configurations can be widely applied.
  • the symptom detection case list screen 60 and the case detail screen 70 are described as being displayed only on the external server device 47, but the present invention is not limited to this, and for example, the symptom detection case list screen 60 and the case detail screen 70 may also be displayed on a client terminal connected to the external server device 47 via a network such as the Internet.
  • This invention can be widely applied to various construction machines.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

建設機械の周囲を撮影するカメラと、建設機械の状態を検出する１又は複数種類のセンサとを建設機械に設け、センサの出力又はカメラにより撮影された建設機械の周囲の映像に基づいて、建設機械が転倒に至る予兆又は建設機械の一部が周囲物に接触する予兆を検知し、当該予兆を検知したことをトリガとして、カメラにより撮影された建設機械の周囲映像の録画を行うようにした。

Description

映像記録システム
　本発明は映像記録システムに関し、例えば、建設機械の周囲映像を記録する映像記録システムに適用して好適なものである。
　近年、事故発生時の原因を調査することを目的として、自動車にドライブレコーダを取り付けるドライバが増加している。ここで、ドライブレコーダとは、車体に取り付けられたカメラにより走行中又は停車中の車体の前方等を撮影し、撮影により得られた映像を録画する映像記録装置を指す。
　また近年では、自動車の車体前方等の映像だけでなく、ＣＡＮ（Controller Area Network）信号等の車体データを映像データと紐付けて映像記録装置に保存することも行われている。このように映像だけでなく車体データも保存することで、これら映像データ及び車体データに基づいて事故発生時のより詳細な状況を検証することが可能となる。
　このような映像記録装置は自家用の自動車だけでなく建設機械に対しても有効であると考えられる。建設機械に映像記録装置を搭載し、稼働中の建設機械の周囲映像等を記録しておくことにより、記録された周囲映像等に基づいて、いわゆるヒヤリハット事例（near miss accident）の検証（例えば、原因調査）を行い得るものと考えられる。ここで、「ヒヤリハット事例」とは、重大な事故には至らなかったものの、事故に直結してもおかしくない一歩手前の事例を指す。
　なお、下記特許文献１には、ドライブレコーダに関し、衝突センサにより検出されたＸ－Ｙ－Ｚ方向の加速度等に基づいて事故の規模を把握し、把握した事故の規模に応じて保存するファイルのデータ量を可変設定することが開示されている。
特許第４３９４７８０号明細書
　ところで、建設機械にかかる映像記録装置を取り付ける場合において、建設機械が稼働している全時間分の映像データや車体データの記録を行うものとすると、そのデータが映像記録装置の記憶容量を圧迫し、必要なデータが上書きされてしまったり、ヒヤリハット事例の発生時のデータを抽出する作業が増大するなどの問題がある。
　このため建設機械にかかる映像記録装置を取り付けるに際しては、記録が必要となるタイミングで記録開始のトリガをかけるようにして、ヒヤリハット等に関係のない不要な映像データ等の記録を防止し、ヒヤリハット事例の抽出作業を容易化させることが望ましい。
　この点について、特許文献１では、自動車の加速センサで検出した車体の衝撃をトリガとして録画映像を保存することが開示されている。しかしながら、建設機械は、作業による動作等により常に衝撃や大きな振動を受けているため、平常稼働時であっても事故と同等程度の衝撃が発生することも珍しくない。従って、建設機械における録画開始のトリガを自動車と同様にすることは適切ではない。
　本発明は以上の点を考慮してなされたもので、ヒヤリハット事例などの事象発生時の周囲映像の抽出作業を容易化させ、これによりヒヤリハット事例などの検証作業を簡易化させ得る映像記録システムを提案しようとするものである。
　かかる課題を解決するため本発明においては、建設機械の周囲映像を記録する映像記録システムにおいて、記建設機械の周囲を撮影するカメラと、前記建設機械の状態を検出する１又は複数種類のセンサと、前記センサの出力又は前記カメラにより撮影された前記建設機械の周囲の映像に基づいて、前記建設機械が転倒に至る予兆又は前記建設機械の一部が周囲物に接触する予兆を検知するコントローラと、前記コントローラが当該予兆を検知したことをトリガとして、前記カメラにより撮影された前記建設機械の周囲映像の録画を行う映像記録装置とを設けるようにした。
　本発明の映像記録システムによれば、建設機械の周囲映像の録画タイミングを、建設機械が転倒し又は前記建設機械の一部が周囲物に接触するおそれがある操作、つまりヒヤリハット事例が発生した操作がなされたときに制限することができる。
　本発明によれば、ヒヤリハット事例などの事象発生時の周囲映像の抽出を容易化させて、ヒヤリハット事例などの検証作業を簡易化させる得る映像記録システムを実現できる。
本実施の形態による稼働情報記録システムを搭載した建設機械の構成を示す側面図である。 本実施の形態による稼働情報記録システムの構成を示すブロック図である。 （Ａ）はゲートロック装置の状態を示す図であり、（Ｂ）は録画トリガ信号を示す図であり、（Ｃ）は録画機能のオン／オフのタイミングの説明に供する図である。 録画処理の処理手順を示すフローチャートである。 録画トリガ信号生成処理の処理手順を示すフローチャートである。 （Ａ）及び（Ｂ）は、それぞれ建設機械の動作制限領域の説明に供する上面図及び側面図である。 予兆検知事例一覧画面の画面構成例を示す図である。 事例詳細画面の画面構成例を示す図である。
　以下図面に基づいて、本発明の一実施の形態を詳述する。
（１）本実施の形態による稼働情報記録システム及びこれを搭載した建設機械の構成
　図１において、１は全体として本実施の形態による稼働情報記録システムを搭載した建設機械（油圧ショベル）を示す。この建設機械１は、自走可能な下部走行体２と、下部走行体２上に旋回自在に搭載された上部旋回体３と、上部旋回体３の前方に連結されたフロント装置４とを備えて構成されている。
　上部旋回体３には、原動力としてのエンジン５と、エンジン５によって駆動されるメインポンプ６とが搭載されており、メインポンプ６によって送り出された作動油によって下部走行体２、上部旋回体３及びフロント装置４をそれぞれ独立して動作させることができるようになされている。
　実際上、下部走行体２には、メインポンプ６から送り出された作動油によって駆動する一対の走行油圧モータ７が左右後方に搭載されており、これら走行油圧モータ７を駆動することによって下部走行体２の左右方向の両側にそれぞれ設けられたクローラ８を独立して回転駆動させることができる。これにより下部走行体２、ひいては建設機械１全体を前後方向に走行させたり、左右方向に旋回させることができる。
　また上部旋回体３は、メインポンプ６から送り出された作動油によって動作する旋回油圧モータ９を介して下部走行体２と連結されており、旋回油圧モータ９を駆動することによって下部走行体２に対して上部旋回体３を左右方向に旋回させることができる。
　フロント装置４は、地面等の掘削若しくは均し又は掘り出した土や他の荷物の持ち上げなどの作業を直接行う作業装置である。フロント装置４は、一端側が回転軸１０を介して上部旋回体３の前後方向に回転できるように上部旋回体３に連結されたブーム１１と、ブーム１１の他端側に回転軸１２を介して一端側が回転自在に接続されたアーム１３と、アーム１３の他端側に回転軸１４を介して回転可能に接続されたバケット１５と、それぞれメインポンプ６から送り出された作動油によって伸縮動作させることができるブームシリンダ１６、アームシリンダ１７及びバケットシリンダ１８とを備えて構成される。
　この場合、ブームシリンダ１６は、一端側が回転軸１９を介してブーム１１に連結されると共に他端側が図示しない回転軸を介して上部旋回体３に連結されており、これによりブームシリンダ１６を伸縮駆動することによってブーム１１を回転軸１０の周りに回転させることができるようになされている。
　またアームシリンダ１７は、一端側がブーム１１に連結されると共に、他端側が回転軸２０を介してアーム１３に連結されており、これによりアームシリンダ１７を伸縮駆動することによってアーム１３を回転軸１２の周りに回転させることができるようになされている。
　さらにバケットシリンダ１８は、一端側がアーム１３に連結されると共に、他端側がリンクを介してバケット１５に連結されており、これによりバケットシリンダ１８を伸縮駆動することによってバケット１５を回転軸１４の周りに回転させることができるようになされている。
　また、これら走行油圧モータ７、旋回油圧モータ９、ブームシリンダ１６、アームシリンダ１７及びバケットシリンダ１８は、上部旋回体３の運転室内に設けられるゲートロック装置４５（図２参照）により、動作が許容される状態と、禁止される状態とに切り替えられる。
　図２は、かかる建設機械１に搭載された本実施の形態の稼働情報記録システム３０の構成を示す。この稼働情報記録システム３０は、建設機械１の稼働中にヒヤリハット事例の発生を検知した場合に、その前後の時間の建設機械１の周囲映像の映像データや車体データを記録するためのシステムである。なお以下においては、「ヒヤリハット事例」として、稼働情報記録システム３０が、建設機械１の姿勢が変化し転倒に至る予兆又はフロント装置４が周囲物に接触する予兆を検知するものを例として説明する。
　稼働情報記録システム３０は、建設機械１に搭載されるもので、複数の周囲監視用カメラ３１、傾斜センサ３２、旋回角度センサ３３、ブーム角度センサ３４、アーム角度センサ３５及び荷重センサ３６などの各種センサと、それぞれ上部旋回体３の運転席３Ａ（図１）に配置されたモニタ制御コントローラ３７、モニタ３８、車体制御コントローラ３９、映像記録装置４０及び通信端末４１とを備えて構成される。またモニタ制御コントローラ３７、モニタ３８、車体制御コントローラ３９及び映像記録装置４０は、ＣＡＮネットワークなどの車載ネットワーク４２を介して通信自在に接続されている。
　周囲監視用カメラ３１は、それぞれ建設機械１の周囲を撮影するためのカメラであり、上部旋回体３の上部に左右側方、前方、後方を撮影可能に複数配設される。各周囲監視用カメラ３１は、それぞれ撮影により得られた建設機械１の周囲映像の映像データをモニタ制御コントローラ３７に出力する。
　傾斜センサ３２及び旋回角度センサ３３は、それぞれ上部旋回体３に配設される。傾斜センサ３２は、上部旋回体３の前後方向及び左右方向の傾き角度（つまり上部旋回体３の正面方向をロール軸方向とする上部旋回体３のピッチ角及びロール角）を検出し、検出したこれらの傾き角度を車体制御コントローラ３９に出力する。また旋回角度センサ３３は、下部走行体２に対する上部旋回体３の旋回角度を検出し、検出した旋回角度を車体制御コントローラ３９に出力する。
　ブーム角度センサ３４、アーム角度センサ３５及び荷重センサ３６は、それぞれフロント装置４に配設される。ブーム角度センサ３４は、ブーム１１の姿勢を、基準状態からの傾き角度（以下、これをブーム傾き角度と呼ぶ）として検出し、検出したブーム傾き角度を車体制御コントローラ３９に出力する。
　またアーム角度センサ３５は、アーム１３の姿勢を、ブーム１１に対する基準状態からの傾き角度（以下、これをアーム傾き角度と呼ぶ）として検出し、検出したアーム傾き角度を車体制御コントローラ３９に出力する。さらに荷重センサ３６は、フロント装置４により吊り上げられた吊り荷の荷重を検出し、検出した荷重を車体制御コントローラ３９に出力する。
　モニタ制御コントローラ３７は、各周囲監視用カメラ３１からそれぞれ与えられた映像データに基づいて、各周囲監視用カメラ３１により撮影された周囲映像が分割表示された分割映像、又は、隣り合った周囲監視用カメラ３１により撮影された周囲映像の境界をブレンドしたサラウンドビュー映像などの合成映像を生成する。そしてモニタ制御コントローラ３７は、生成した合成映像の映像データを通信線４３を介してモニタ３８及び映像記録装置４０にそれぞれ送信する。
　モニタ３８は、液晶パネル又は有機ＥＬ（Electro-Luminescence）パネルなどの表示装置から構成される。モニタ３８は、モニタ制御コントローラ３７から通信線４３を介して与えられた映像データに基づく合成映像を表示する。
　車体制御コントローラ３９は、傾斜センサ３２、旋回角度センサ３３、ブーム角度センサ３４、アーム角度センサ３５及び荷重センサ３６からそれぞれ与えられるセンサデータを車載ネットワーク４２を介して映像記録装置４０に送信する。また車体制御コントローラ３９は、これらのセンサデータを監視し、運転席３Ａに設けられたゲートロック装置４５のロックが解除されている状態のときに、建設機械１が転倒し又はフロント装置４が周囲物に接触する予兆を検知した場合に、車載ネットワーク４２を介して映像記録装置４０に対して録画の開始トリガとなる録画トリガ信号を送信する。「建設機械１の姿勢が変化し転倒に至る予兆又はフロント装置４が周囲物に接触する予兆」の詳細については後述する。
　なお図示してはいないが、車体制御コントローラ３９には、図１について上述した走行油圧モータ７、旋回油圧モータ９、ブームシリンダ１６、アームシリンダ１７及びバケットシリンダ１８にそれぞれ取り付けられた油圧センサにより検出された、これら走行油圧モータ７、旋回油圧モータ９、ブームシリンダ１６、アームシリンダ１７及びバケットシリンダ１８に供給された作動油の油圧を表すセンサデータも与えられる。そして車体制御コントローラ３９は、これらの油圧センサから与えられたセンサデータも車載ネットワーク４２を介して映像記録装置４０に送信する。
　映像記録装置４０は、フラッシュメモリ等の半導体メモリや、ハードディスク装置又はＳＳＤ（Solid State Drive）などの記憶装置を備えて構成される。映像記録装置４０には、上述のようにモニタ制御コントローラ３７からの合成映像の映像データと、車体制御コントローラ３９からの各種センサのセンサデータとが与えられる。加えて、映像記録装置４０には、図示しないＥＣＵ（Electronic Control Unit）からエンジン５（図１）の回転数を表すエンジン回転数データも逐次与えられる。
　そして映像記録装置４０は、モニタ制御コントローラ３７から与えられた合成映像の映像データを直近一定時間分だけ一時的に順次記憶すると共に、車体制御コントローラ３９から与えられた各種センサのセンサデータと、ＥＣＵから与えられたエンジン回転数データとを車体データとして、これらを同じ時刻に生成された合成映像と紐付けて合成映像と同じ直近一定時間分だけ一時的に順次記憶する。
　また映像記録装置４０は、車体制御コントローラ３９から録画トリガ信号が与えられた場合には、そのとき一時的に記憶している映像データ及び車体データのうちの直近の所定時間分（例えば30秒分）の映像データ及び車体データと、その後にモニタ制御コントローラ３７、車体制御コントローラ３９及びＥＣＵなどから与えられた所定時間分（例えば30秒分）の映像データ及び車体データとを予兆検知時データとしてファイル化して保存する。以下においては、このように所定時間分の予兆検知時データをファイル化して保存する動作を録画と呼ぶものとする。
　この際、映像記録装置４０は、後述のように通信端末４１から通知されたそのときのその建設機械１の現在位置もかかる予兆検知時データのファイルに格納して保存する。そして映像記録装置４０は、この後、保存した予兆検知時データのファイルを、適宜のタイミングで通信端末４１及び上部旋回体３に設けられたアンテナ４６を順次介して無線通信により外部サーバ装置４７にアップロード（送信）する。
　通信端末４１は、携帯電話回線などの無線通信回線を介して外部サーバ装置４７と双方向の通信が可能な通信装置である。これにより稼働情報記録システム３０が外部サーバ装置４７に上述のファイルをアップロードするだけでなく、外部サーバ装置４７が稼働情報記録システム３０にアクセスすることもできる。
　この通信端末には、ＧＰＳ（Global Positioning System）受信機が搭載されている。そして通信端末は、このＧＰＳ受信機により受信したＧＰＳ信号に基づいて自己の現在位置を逐次検出し、検出した現在位置を映像記録装置４０に通知する。かくして、この現在位置が上述のように予兆検知時データのファイルに格納されて外部サーバ装置４７にアップロードされる。
　外部サーバ装置４７は、ＣＰＵ（Central Processing Unit）と、半導体メモリなどの主記憶装置と、ハードディスク装置などの補助記憶装置と、マウス及びキーボードなどの入力装置と、液晶ディスプレイ又は有機ＥＬディスプレイなどの表示装置とを備えた汎用のサーバ装置から構成され、建設機械１とは別個に設けられる。
　外部サーバ装置４７は、管理下にある１又は複数の各建設機械１からそれぞれ適宜送信される予兆検知時データのファイルを蓄積して管理する。また外部サーバ装置４７は、蓄積した予兆検知時データに基づき、ユーザの所定操作に応じて、各建設機械１の車体制御コントローラ３９がそれぞれ建設機械１の姿勢が変化し転倒に至る予兆又はフロント装置４が周囲物に接触する予兆を検知したときの合成映像や、その他必要な情報を表示する。
　このように本実施の形態では、外部サーバ装置４７と、外部サーバ装置４７の管理下にある１又は複数の建設機械１の稼働情報記録システム３０とによって１つの映像記録システムが構築される。そして、この映像記録システムのユーザは、外部サーバ装置４７に蓄積された予兆検知時データを用いて建設機械１の姿勢が変化し転倒に至る予兆又はフロント装置４が周囲物に接触する予兆が検知されるに至ったオペレータの操作を、統計手法などを用いてより詳細に検証することができ、検証結果を建設機械１のオペレータの今後の教育などに利用することができる。
（２）録画トリガ信号及び予兆検知時データの関係
　図３は、ゲートロック装置４５の状態と、予兆検知時データの録画タイミングを示す。車体制御コントローラ３９は、図３（Ａ）のようにゲートロック装置４５のロックが解除されて動作が許容されている場合であって、建設機械１の転倒又はフロント装置４の周囲物への接触の予兆を検知したときに、図３（Ｂ）のように所定時間ｔだけ有効となる録画トリガ信号ＳＧを映像記録装置４０に送信する。
　そして映像記録装置４０は、この録画トリガ信号ＳＧが有効となると録画を開始し、図３（Ｃ）のように、録画トリガ信号ＳＧが有効となった時点よりも前の所定時間Ｔ１分の映像データ及び車体データと、当該時点よりも後の所定時間Ｔ２分の映像データ及び車体データとを予兆検知時データとして録画する。所定時間Ｔ２の値は、所定時間ｔよりも大きい値に設定される。
　映像記録装置４０は、１回分の録画（（Ｔ１＋Ｔ２）時間分の録画）が完了するまでの間は、録画トリガ信号ＳＧが再び無効から有効に切り替わった場合においてもこれを無視してその１回分の録画を継続する。
（３）録画に関する映像記録装置及び車体制御コントローラの処理
　図４は、上述のような建設機械１の周囲映像等の録画に関連して映像記録装置４０により実行される一連の処理（以下、これを録画処理と呼ぶ）の流れを示す。この録画処理は、建設機械１のエンジンが起動されるなどして車体の電源が投入され、これに伴い稼働情報記録システム３０（図２）全体の電源がオンされた後、映像記録装置４０において録画の準備が完了すると開始される。
　そして映像記録装置４０は、まず、モニタ制御コントローラ３７等から与えられる映像データや、車体制御コントローラ３９及びＥＣＵなどから与えられる車体データの一時的な記憶を開始し（Ｓ１）、この後、車体制御コントローラ３９から与えられた録画トリガ信号が有効となっているか否かを判断する（Ｓ２）。
　映像記録装置４０は、この判断で否定結果を得ると、車体の電源がオフされたか否かを判断する（Ｓ６）。また映像記録装置４０は、この判断で否定結果を得るとステップＳ２に戻り、この後、録画トリガ信号が有効となり又は車体の電源がオフされるまでステップＳ２－ステップＳ６－ステップＳ２のループを繰り返す。
　そして映像記録装置４０は、やがて録画トリガ信号が有効となると、一時的に記憶している映像データ及び車体データのうち、録画トリガ信号が有効となった時点から時間Ｔ１前の時間からの映像データ及び車体データの保存を開始する（Ｓ３）。
　続いて、映像記録装置４０は、録画トリガ信号が有効となった時点から時間Ｔ２が経過するのを待ち受ける（Ｓ４）。そして映像記録装置４０は、やがて録画トリガ信号が有効となった時点から時間Ｔ２が経過すると、映像データ及び車体データの保存を完了し、それまでに保存した（Ｔ１＋Ｔ２）時間分の映像データ及び車体データと、そのとき通信端末４１から通知された車体の現在位置の位置データとを予兆検知時データとしてファイル化する（Ｓ５）。
　次いで、映像記録装置４０は、車体の電源がオフされたか否かを判断する（Ｓ６）。そして映像記録装置４０は、この判断で否定結果を得るとステップＳ２に戻り、この後、ステップＳ２以降の処理を上述と同様に繰り返す。
　また映像記録装置４０は、やがて車体の電源がオフされることによりステップＳ６で肯定結果を得ると自身の電源をオフする（Ｓ７）。これにより、この録画処理が終了する。
　一方、図５は、かかる映像データ及び車体データの録画に関して、図４について上述した録画処理と並行して車体制御コントローラ３９により実行される一連の処理の流れを示す。車体制御コントローラ３９は、この図５に示す処理手順に従って録画トリガ信号を生成し、生成した録画トリガ信号を映像記録装置４０に送信する。
　実際上、車体制御コントローラ３９は、自身の電源が投入されるとこの図５に示す処理（以下、これを録画トリガ信号生成処理と呼ぶ）を開始し、まず、フロント装置４の姿勢やエンジン５の回転数など、この録画トリガ信号生成処理を開始できる所定条件（以下、これを録画開始条件と呼ぶ）が満たされているか否かを判定する（Ｓ１０）。
　この録画開始条件としては、例えばフロント装置４の姿勢及びエンジン５の回転数が所定範囲内にあることや、建設機械１の現在位置が予め指定された場所であるか否かといった条件を設定することができる。そして車体制御コントローラ３９は、この判断で否定結果を得ると、かかる録画開始条件が満たされるのを待ち受ける。
　そして車体制御コントローラ３９は、やがて録画開始条件が満たされると、まず、ゲートロック装置４５（図２）のロックが解除されているか否かを判断する（Ｓ１１）。そして車体制御コントローラ３９は、この判断で否定結果を得るとステップＳ１０に戻り、この後、ステップＳ１０以降の処理を上述と同様に実行する。
　これに対して車体制御コントローラ３９は、ステップＳ１１の判断で肯定結果を得ると、傾斜センサ３２、旋回角度センサ３３、ブーム角度センサ３４、アーム角度センサ３５及び荷重センサ３６からそれぞれ与えられるセンサデータに基づいて、建設機械１が転倒し又はフロント装置４が周囲物に接触する予兆を検知したか否かを判断する（Ｓ１２）。
　そして車体制御コントローラ３９は、この判断で否定結果を得るとステップＳ１０に戻り、この後、ステップＳ１０以降の処理を上述と同様に繰り返す。これに対して、車体制御コントローラ３９は、ステップＳ１２の判断で肯定結果を得ると、録画トリガ信号を時間ｔだけ有効にする（Ｓ１３）。
　続いて、車体制御コントローラ３９は、建設機械１が転倒し又はフロント装置４が周囲物に接触する予兆を現在も検知したままであるか否かを判断する（Ｓ１４）。車体制御コントローラ３９は、この判断で肯定結果を得ると、かかる予兆を検知しなくなるのを待ち受ける。
　そして車体制御コントローラ３９は、やがてかかる予兆を検知しなくなることによりステップＳ１４の判断で肯定結果を得るとステップＳ１０に戻り、この後、ステップＳ１０以降の処理を上述と同様に繰り返す。
　ここで、上述の「建設機械１の姿勢が変化し転倒に至ることを予兆し又はフロント装置４が周囲物に接触する予兆」について説明する。車体制御コントローラ３９に対しては、このような「予兆」を複数設定することができる。
　例えば、１つ目のかかる「予兆」として、「上部旋回体３の姿勢（傾き）が前後方向及び左右方向の傾き角度の少なくとも一方が、これら前後方向の傾きや左右方向の傾きに対して予め設定された閾値角度以上となったこと」を設定することができる。
　この場合において、本実施の形態の建設機械１は、元来、車体の傾斜がある閾値角度以上になった場合に、建設機械１が傾き転倒するおそれがあるとして音やモニタ３８に表示する画像などによって運転席３Ａのオペレータに対して警告を発する機能が車体制御コントローラ３９に搭載されている。そこで、本実施の形態においては、このようにオペレータに警告を発する際に、これと併せて車体制御コントローラ３９が録画トリガ信号を有効にする。
　この「予兆」の検知によって映像記録装置４０により録画された予兆検知時データのファイルには、そのときの傾斜センサ３２から出力されたセンサデータに加えて、建設機械１に対するオペレータの操作内容を推定する際の根拠となる上述の各種油圧センサのセンサデータも含まれる。これにより、この予兆検知時データに基づいて、オペレータのどのような操作によって建設機械１の車体が傾いたかを後から検証することができる。
　また２つ目の「予兆」として、「フロント装置４の荷重センサ３６により検出された吊り荷がフロント装置４に与える負荷の大きさが、当該負荷の大きさに対して予め設定された閾値（以下、これを負荷閾値と呼ぶ）以上となったこと」を設定することができる。
　この場合において、本実施の形態の建設機械１は、元来、フロント装置４で持ち上げている吊り荷がフロント装置４に与える負荷がかかる負荷閾値以上になり、フロント装置４の姿勢により車体の転倒モーメントが過大となった場合、建設機械１が転倒するおそれがあるとして音やモニタ３８に表示する画像などによって運転席３Ａのオペレータに対して警告を発する機能が車体制御コントローラ３９に搭載されている。
　そこで、本実施の形態においては、このようにオペレータに警告を発する際に、これと併せて車体制御コントローラ３９が録画トリガ信号を有効にする。この「予兆」の検知によって映像記録装置４０により録画された予兆検知時データのファイルには、そのときの荷重センサ３６により検出された吊り荷による負荷の大きさに加えてフロント装置４に対するオペレータの操作内容を推定する際の根拠となる各種油圧センサ（ここではブームシリンダ１６等の各シリンダにそれぞれ取り付けられた油圧センサ）のセンサデータも含まれる。これにより、この予兆検知時データに基づいて、オペレータのどのような操作によって建設機械１のフロント装置４に負荷閾値以上の負荷が掛かったのかを後から検証することができる。
　さらに３つ目の「予兆」として、「フロント装置４の一部が予め設定された動作制限領域を超えたこと」を設定することができる。
　本実施の形態の建設機械１は、車体が周囲物と接触しないように、オペレータが車体制御コントローラ３９に対してフロント装置４の動作制限領域を設定することができる。具体的に、オペレータは、図６に示すように、下部走行体２を基準として前方に前方制限領域５０、高さ方向に高さ制限領域５１、深さ方向に深さ制限領域５２、右方に右方制限領域５３、左方に左方制限領域５４をそれぞれ設定することができる。
　この場合において、車体制御コントローラ３９には、元来、旋回角度センサ３３、ブーム角度センサ３４及びアーム角度センサ３５のそれぞれから与えられたセンサデータに基づいてフロント装置４の姿勢を常時算出し、フロント装置４の一部がこれら前方制限領域５０、高さ制限領域５１、深さ制限領域５２、右方制限領域５３又は左方制限領域５４を超えたと判定した場合に、音やモニタ３８に表示する画像などによって運転席３Ａのオペレータに対して警告を発すると共に、フロント装置４の動作を停止させる機能が搭載されている。
　そこで、本実施の形態においては、このようにオペレータに警告を発する際に、これと併せて車体制御コントローラ３９が録画トリガ信号を有効にする。この「予兆」の検知によって映像記録装置４０により録画された予兆検知時データのファイルには、車体制御コントローラ３９により算出された、フロント装置４がどの方向の動作制限領域を超えたかという情報に加え、上部旋回体３を旋回させる操作や、フロント装置４に対するオペレータの各種操作の操作内容に応じたセンサデータも含まれる。これにより、この予兆検知時データに基づいて、オペレータのどのような操作によってフロント装置４の一部が動作制限領域を超えてしまったのかを後から検証することができる。
（４）外部サーバ装置に表示される各種画面の構成
　図７は、上述のようにして建設機械１から外部サーバ装置４７（図２）にアップロードされた予兆検知時データに基づいて、所定操作により外部サーバ装置４７に表示させ得る予兆検知事例一覧画面６０の画面構成を示す。
　この予兆検知事例一覧画面６０には、それまでに各建設機械１から外部サーバ装置４７にアップロードされた各予兆検知時データに基づき認識される、建設機械１の姿勢の変化により転倒に至る予兆又はフロント装置４が周辺物に接触する予兆が検知された各事例に関する情報が一覧表示される。
　具体的には、これらの事例について、その発生日時（「発生日時」）、その予兆検知時データが保存されたときにオペレータに対して発せられた警告の種類（「事象」）、各油圧センサからのセンサデータに基づき認識されるそのときオペレータにより行われた操作の内容（「操作」）及びその事故等が発生した建設機械１の機種（「機種」）と、その予兆検知時データに基づく合成映像の先頭の静止画のサムネイル画像６１とがそれぞれ表示される。
　例えば、図７では、「2021/4/7 12:45」に「油圧ショベルＢ」という機種の建設機械１の「走行」操作中に、建設機械１の車体の姿勢が許容角度以上に傾斜したという「車体傾斜警告」が発せられたという事例が発生したことが示されている。また図７では、「2021/4/3 18:30」に「油圧ショベルＡ」という機種の建設機械１の「旋回」操作中に、フロント装置４の吊り荷の荷重が上述の負荷閾値以上であるという「フロント荷重警告」が発せられたという事例が発生したことが示されている。さらに図７では、「2021/4/1 15:00」に「油圧ショベルＣ」という機種の建設機械１の「掘削」操作中に、その建設機械１のフロント装置４の一部が制限領域（例えば、図６の深さ制限領域５２）を超えるという「領域制限警告」が発せられたという事例が発生したことが示されている。
　また予兆検知事例一覧画面６０では、最上段に表示された「発生日時」、「事象」、「操作」及び「機種」という文字列６２Ａ～６２Ｄをクリックすることにより表示される図示しないプルダウンメニューに掲載された日付又は項目の中から所望する日付又は項目を指定することにより、予兆検知事例一覧画面６０に一覧表示される事例の範囲をその日付又は項目に対応する事例に限定することができる。
　例えば、「発生日時」という文字列６２Ａをクリックした場合、カレンダが掲載されたプルダウンメニューが表示される。そして、このプルダウンメニューに表示されたカレンダを用いて日付又は日にちの範囲を指定することにより、予兆検知事例一覧画面６０に表示される事例を、指定した日付又は日にちの範囲に予兆が検知された事例に限定することができる。
　また「事象」という文字列６２Ｂをクリックした場合には、建設機械１において発せられるすべての種類の警告が掲載されたプルダウンメニューが表示される。そして、このプルダウンメニューに掲載された警告の中から所望する警告を指定することにより、予兆検知事例一覧画面６０に表示される事例を、指定した警告が発せられた事例に限定することができる。
　さらに「操作」という文字列６２Ｃをクリックした場合には、建設機械１に対してオペレータが行うすべての種類の操作が掲載されたプルダウンメニューが表示される。そして、このプルダウンメニューに掲載された操作の中から所望する操作を指定することにより、予兆検知事例一覧画面６０に表示される事例を、指定した操作が行われた事例に限定することができる。
　さらに「機種」という文字列６２Ｄをクリックした場合には、外部サーバ装置４７が管理するすべての建設機械１の機種が掲載されたプルダウンメニューが表示される。そして、このプルダウンメニューに掲載された機種の中から所望する機種を指定することにより、予兆検知事例一覧画面６０に表示される事例を、指定した機種の建設機械１に発生した事例に限定することができる。
　一方、予兆検知事例一覧画面６０では、所望する事例に対応する行又はサムネイル画像６１をダブルクリックするなどして選択することにより、それまで表示されていた予兆検知事例一覧画面６０に代えて又はその予兆検知事例一覧画面６０に重ねて、その事例の予兆検知時データに基づく図８に示すような画面（以下、これを事例詳細画面と呼ぶ）７０を表示させることができる。
　この事例詳細画面７０は、事例概要表示領域７１、マップ表示領域７２、動画表示領域７３及び操作情報表示領域７４を備えて構成される。そして事例概要表示領域７１には、対応する事例の概要が表示され、マップ表示領域７２には、対応する事例の予兆検知時データに含まれる位置データに基づいて、対応する事例が発生した場所の鳥瞰地図７５が表示される。
　また動画表示領域７３には、対応する事例が発生したときに保存された合成映像７６が表示される。なお、図８は合成映像７６が分割映像である場合の例を示している。この動画表示領域７３に表示された合成映像７６は、その合成映像７６の下側に表示された再生ボタン７７や停止ボタン７８を押圧操作（クリック）することにより再生を開始させたり、再生を停止させたりすることができる。また合成映像７６は、その合成映像７６の下側に表示されたスライダバー７９のスライダ８０をドラッグして左右方向に移動させることにより、再生位置をそのスライダ８０の位置に応じた位置に移動させることができる。
　さらに操作情報表示領域７４には、対応する事例の発生日時の前後におけるオペレータの各種操作の操作内容がグラフ形式で表示される。図８では、対応する事例の発生日時の前後におけるエンジン回転数（「エンジン回転数」）がそのままグラフ形式で表示されている。また図８では、旋回操作の内容として、旋回油圧モータ９（図１）に供給された作動油の油圧（「旋回操作」）がグラフ形式で表示され、さらに走行操作の内容として、走行油圧モータ７（図１）に供給された作動油の油圧（「走行操作」）がグラフ形式で表示されている。さらに図８では、ゲートロック装置４５（図２）の状態（「ゲートロック」）が図３（Ａ）と同様の形式で表示されている。
（５）本実施の形態の効果
　以上のように本実施の形態の稼働情報記録システム３０では、建設機械１が転倒し又はフロント装置４が周囲物に接触する予兆の検知をヒヤリハット事例の検知として、その検知の前後所定時間分の合成映像の映像データや車体データを保存する。従って、建設機械１の稼働中に大きな衝撃が発生する環境においてもヒヤリハット事例発生時の映像データ及び車体データのみを記録することができる。
　また、本稼働情報記録システム３０では、このようにヒヤリハット事例発生時の映像データ及び車体データのみを記録することができるため、不要なデータが映像記録装置４０に保存されることがなく、不要なデータで映像記録装置の記憶容量を圧迫し、必要なデータが上書きされることを未然かつ有効に防止することができる。
　よって本稼働情報記録システム３０によれば、ヒヤリハット事例発生時の周囲映像の抽出作業を容易化させ、これによりヒヤリハット事例の検証作業を簡易化させることができる。
（６）他の実施の形態
　なお上述の実施の形態においては、建設機械が油圧ショベルである場合について述べたが、本発明はこれに限らず、クレーン車やローダなどこの他種々の建設機械に広く適用することができる。
　また上述の実施の形態においては、予兆検知事例一覧画面６０や事例詳細画面７０を図７や図８のように構成するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成を広く適用することができる。
　さらに上述の実施の形態においては、予兆検知事例一覧画面６０や事例詳細画面７０を外部サーバ装置４７にのみ表示させ得るようにした場合について述べたが、本発明はこれに限らず、例えば、インターネットなどのネットワークを介して外部サーバ装置４７と接続されたクライアント端末においても予兆検知事例一覧画面６０や事例詳細画面７０を表示できるようにしてもよい。
　本発明は、種々の建設機械に広く適用することができる。
　１……建設機械、２……下部走行体、３……上部旋回体、４……フロント装置、３０……稼働情報記録システム、３１……周囲監視用カメラ、３２……傾斜センサ、３３……旋回角度センサ、３４……ブーム角度センサ、３５……アーム角度センサ、３６……荷重センサ、３７……モニタ制御コントローラ、３８……モニタ、３９……車体制御コントローラ、４０……映像記録装置、４１……通信端末、４５……ゲートロック装置、４７……外部サーバ装置、５０……前方制限領域、５１……高さ制限領域、５２……深さ制限領域、５３……右方制限領域、５４……左方制限領域、６０……予兆検知事例一覧画面、７０……事例詳細画面。
 

Claims (6)

  1. 　建設機械の周囲映像を記録する映像記録システムにおいて、
    　前記建設機械の周囲を撮影するカメラと、
    　前記建設機械の状態を検出する１又は複数種類のセンサと、
    　前記センサの出力又は前記カメラにより撮影された前記建設機械の周囲の映像に基づいて、前記建設機械が転倒に至る予兆又は前記建設機械の一部が周囲物に接触する予兆を検知するコントローラと、
    　前記コントローラが当該予兆を検知したことをトリガとして、前記カメラにより撮影された前記建設機械の周囲映像の録画を行う映像記録装置と
    　を備えることを特徴とする映像記録システム。
  2. 　前記センサとして、前記建設機械の車体の傾きを検出する傾斜センサを備え、
    　前記建設機械が転倒に至る前記予兆は、
    　前記傾斜センサにより検出された前記建設機械の車体の傾きが予め設定された第１の閾値を超えたことである
    　ことを特徴とする請求項１に記載の映像記録システム。
  3. 　前記建設機械は、作業を行うフロント装置を有する油圧ショベルであり、
    　前記センサとして、前記フロント装置に掛かる吊り荷の荷重を検出する荷重センサを有し、
    　前記建設機械が転倒に至る前記予兆は、
    　前記荷重センサにより検出された前記フロント装置に掛かる前記吊り荷の荷重が予め設定された第２の閾値を超えたことである
    　ことを特徴とする請求項１に記載の映像記録システム。
  4. 　前記建設機械は、作業を行うフロント装置を有する油圧ショベルであり、
    　前記センサとして、前記フロント装置の姿勢を検出する姿勢センサを有し、
    　前記建設機械の一部が周囲物に接触する予兆は、
    　前記フロント装置の一部が前記建設機械の周囲に予め設定された動作制限領域を超えたことである
    　ことを特徴とする請求項１に記載の映像記録システム。
  5. 　前記建設機械とは別個に設けられた外部サーバ装置をさらに備え、
    　前記映像記録装置は、
    　録画した前記建設機械の周囲映像の映像データを前記外部サーバ装置にアップロードし、
    　前記外部サーバ装置は、
    　アップロードされた前記映像データに基づく前記建設機械の前記周囲映像を表示する
    　ことを特徴とする請求項１に記載の映像記録システム。
  6. 　前記外部サーバ装置には、複数の前記建設機械から前記映像データがアップロードされ、
    　前記外部サーバ装置は、
    　アップロードされた前記映像データの中から指定された条件に合致する前記映像データに基づく前記周囲映像を表示する
    　ことを特徴とする請求項１に記載の映像記録システム。
     
PCT/JP2023/031489 2022-09-30 2023-08-30 映像記録システム WO2024070448A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-159122 2022-09-30
JP2022159122 2022-09-30

Publications (1)

Publication Number Publication Date
WO2024070448A1 true WO2024070448A1 (ja) 2024-04-04

Family

ID=90477178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/031489 WO2024070448A1 (ja) 2022-09-30 2023-08-30 映像記録システム

Country Status (1)

Country Link
WO (1) WO2024070448A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004123362A (ja) * 2002-10-07 2004-04-22 Hitachi Constr Mach Co Ltd フック付き建設機械
US20100138094A1 (en) * 2008-12-02 2010-06-03 Caterpillar Inc. System and method for accident logging in an automated machine
WO2019182042A1 (ja) * 2018-03-20 2019-09-26 住友重機械工業株式会社 ショベル、情報処理装置、情報処理方法、プログラム
JP2021031835A (ja) * 2019-08-13 2021-03-01 日立建機株式会社 記録システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004123362A (ja) * 2002-10-07 2004-04-22 Hitachi Constr Mach Co Ltd フック付き建設機械
US20100138094A1 (en) * 2008-12-02 2010-06-03 Caterpillar Inc. System and method for accident logging in an automated machine
WO2019182042A1 (ja) * 2018-03-20 2019-09-26 住友重機械工業株式会社 ショベル、情報処理装置、情報処理方法、プログラム
JP2021031835A (ja) * 2019-08-13 2021-03-01 日立建機株式会社 記録システム

Similar Documents

Publication Publication Date Title
CN108699817B (zh) 工程机械
US20210246626A1 (en) Shovel, information processing apparatus, and recording medium storing information processing program
KR102659153B1 (ko) 쇼벨, 정보처리장치
JP7073151B2 (ja) ショベル、ショベルの制御方法及びプログラム
US20180205905A1 (en) Structural health monitoring systems utilizing visual feedback and selective recording
CN113874586A (zh) 地面接合工具监控系统
CN110344467B (zh) 挖掘机测量和控制逻辑电路
WO2021241033A1 (ja) 作業機械
WO2024070448A1 (ja) 映像記録システム
JP2019167733A (ja) 建設機械
CN112639893B (zh) 车辆用记录控制装置、车辆用拍摄装置、车辆用记录控制方法及程序
KR20220143554A (ko) 작업기계용 정보처리장치, 정보관리시스템, 작업기계용 정보처리프로그램
US11987960B2 (en) Work machine, information management system, information terminal, and program
WO2021025034A1 (ja) 建設機械、建設機械の表示装置、及び、建設機械の管理装置
US12000115B2 (en) Hydraulic excavator
JP5111184B2 (ja) 作業機のデータ通信システム
JP2000064359A (ja) 自動運転建設機械
WO2022224827A1 (ja) 情報処理装置、情報処理装置の制御プログラム
JP6723184B2 (ja) 稼働データ記憶装置
JP2022155699A (ja) 車体情報収集システム
WO2023190047A1 (ja) 映像記録装置
WO2023190671A1 (ja) 物体検知システム
JP7430120B2 (ja) 作業機の撮影システム
WO2021193396A1 (ja) ショベルの管理装置、ショベルの管理システム、ショベルの支援装置、ショベル
JP2020143476A (ja) 作業機械用画像取得装置、情報管理システム、情報端末、作業機械用画像取得プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23871688

Country of ref document: EP

Kind code of ref document: A1