WO2006106685A1 - 作業機械の周囲監視装置 - Google Patents

作業機械の周囲監視装置 Download PDF

Info

Publication number
WO2006106685A1
WO2006106685A1 PCT/JP2006/306325 JP2006306325W WO2006106685A1 WO 2006106685 A1 WO2006106685 A1 WO 2006106685A1 JP 2006306325 W JP2006306325 W JP 2006306325W WO 2006106685 A1 WO2006106685 A1 WO 2006106685A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
obstacle
work machine
display
monitoring device
Prior art date
Application number
PCT/JP2006/306325
Other languages
English (en)
French (fr)
Inventor
Hidefumi Ishimoto
Hiroshi Ogura
Yoshinori Eguchi
Kazuo Fujishima
Yasuhiko Kanari
Original Assignee
Hitachi Construction Machinery Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co., Ltd. filed Critical Hitachi Construction Machinery Co., Ltd.
Publication of WO2006106685A1 publication Critical patent/WO2006106685A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated

Definitions

  • the present invention relates to a device for monitoring the surroundings of a work machine such as a hydraulic excavator, and more particularly, to a means for accurately presenting an image of an obstacle present around the work machine to a driver of the work machine.
  • a work machine such as a hydraulic excavator
  • the term “obstacle” refers to all obstacles to the operation of work machines such as other work machines, workers and personnel entering and leaving the work site, and structures on the work site. Say things.
  • a surrounding monitoring device for a working machine mounted on the working machine in order to prevent a contact accident between the working machine and an obstacle existing around the working machine an imaging unit that images the surroundings of the working machine;
  • a surrounding monitoring device for a work machine that also serves as a display device that presents an image picked up by the image pickup means to a driver (see, for example, Patent Document 1.)
  • Each of the plurality of image pickup means a plurality of obstacle detection means such as proximity sensors are provided, and when an obstacle is detected by any obstacle detection device, an image picked up by the corresponding imaging means is selectively selected in the driver's seat.
  • surrounding monitoring device is also conventionally known (e.g., see Patent Document 2.) to be displayed on the display means provided in 0
  • Patent Document 1 Japanese Patent Laid-Open No. 2001-140286
  • Patent Document 2 JP 2002-327470 A
  • the surrounding monitoring device disclosed in Patent Document 2 selectively selects an image captured by the imaging unit only when an obstacle is detected by the obstacle detecting device. Therefore, the driver can judge the distance from the work machine to the obstacle more quickly than the surroundings monitoring device disclosed in Patent Document 1, and the driver's burden can be reduced to some extent.
  • the present invention has been made to solve the deficiencies in the prior art, and its purpose is to more accurately present the driver with the presence of obstacles that hinder the operation of the work machine.
  • An object of the present invention is to provide a work machine ambient monitoring device.
  • the present invention provides an imaging means for imaging the surroundings of a work machine, an obstacle position measuring means for detecting an obstacle existing around the work machine and measuring the position thereof, Intrusion determining means for determining whether or not an obstacle detected by the obstacle position measuring means has entered a preset monitoring range, and display means for displaying an image captured by the imaging means.
  • Intrusion determining means for determining whether or not an obstacle detected by the obstacle position measuring means has entered a preset monitoring range
  • display means for displaying an image captured by the imaging means.
  • an image that emphasizes the obstacle image that has been determined to have entered the predetermined monitoring range by the intrusion determination unit is added to the display image. Even if there are other workers and structures, the obstacle that has entered the monitoring range for the driver who does not confuse the obstacles entering the monitoring range with other workers and structures Only objects can be recognized easily and reliably.
  • the present invention provides the surrounding monitoring device for a work machine having the above-described configuration, wherein the display image generation unit includes the obstacle in an image captured by the imaging unit as an image that emphasizes the obstacle.
  • the marks indicating the positions of the marks are drawn in an overlapping manner.
  • the display image generating unit includes the obstacle in an image captured by the imaging unit as an image that emphasizes the obstacle.
  • the mark indicating the position of the object and the information prepared in association with the obstacle are drawn in an overlapping manner.
  • the display image generating unit adds an image indicating the monitoring range to an image captured by the imaging unit.
  • the image indicating the monitoring range is added to the image picked up by the image pickup means, and therefore it is determined whether or not there is an obstacle within the monitoring range. This makes it easier to understand intuitively and more accurately avoids obstacles.
  • the present invention is the work machine surrounding monitoring device having the above-described configuration, wherein the display image generating unit converts the image captured by the imaging unit into a rotated image corresponding to an imaging direction, and the display unit It was configured to display in
  • the image captured by the image capturing means is converted into a rotated image corresponding to the image capturing direction and displayed on the display means. Can understand the situation and immediately perform appropriate avoidance operations for obstacles.
  • the present invention provides the surrounding monitoring device for a work machine having the above-described configuration, wherein the display image generating unit is configured to display the obstacle image captured by the imaging unit as viewed from the set position of the imaging unit.
  • the projected image is converted into a projected image and displayed on the display means.
  • the image of the obstacle imaged by the imaging means is converted into a projected image on the ground viewed by the imaging means and displayed on the display means.
  • the lower part of the obstacle which is difficult to display clearly on the display screen because it becomes a bird's-eye view image, can be clearly displayed on the display screen, and an appropriate avoidance operation for the obstacle can be surely performed.
  • the display image generation unit detects an image captured by the imaging unit and an obstacle determined to have entered the monitoring range.
  • a plane image of the work machine, a plane image of the monitoring range set around the work machine, and an image showing the position of an obstacle determined to have entered the monitoring range are also generated, and each of these images is displayed on the display means.
  • the plane image of the work machine, the plane image of the monitoring range set around the work machine, and the image indicating the position of the obstacle determined to have entered the monitoring range Since the composite image is displayed on the display means, the driver can directly recognize the positional relationship between the work machine and the obstacle by viewing the composite image. In addition to the composite image, an image captured by the imaging unit is also displayed on the display unit, so that when the driver displays an image indicating the position of the obstacle in the composite image, the image is captured by the imaging unit. The By viewing the image, it is possible to obtain more detailed information such as whether the obstacle is an object or a person. Therefore, an appropriate avoidance operation for an obstacle can be performed more accurately.
  • the display image generation unit emphasizes an obstacle determined to have entered the monitoring range in the composite image. Is added and displayed on the display means.
  • the driver displays the image that emphasizes the obstacle just by displaying the position of the obstacle that has entered the monitoring range on the display means in the composite image. Obstacles that have entered the area can be grasped more reliably and easily, and the required avoidance action can be taken reliably.
  • the obstacle position measurement unit can be an obstacle with the first self-position measurement unit provided in the work machine.
  • Second self-position measuring means provided for other work machines and workers, and self-positions of other work machines and workers provided for the work machines and measured by the second self-position measuring means.
  • the intrusion determination means includes the self-position of the work machine measured by the first self-position measurement means, and the other work machine or worker obtained by the communication means. According to the self-position, it is determined whether or not the other work machine or worker has entered the monitoring range.
  • the intrusion determination in one work machine is determined by the first self-position measuring means provided in the one work machine and the other position of the one work machine. Since it is based on the self-position of the other work machine and the self-position of the worker transmitted from the machine, the worker, etc., the other work machine, the worker, etc. Position information of other work machines and workers that are unlikely to cause erroneous measurement due to blind spots, as in the case of measuring the position of the machine, can be obtained more reliably. This can be done reliably and the reliability of the ambient monitoring system can be improved.
  • the present invention is the work machine surrounding monitoring apparatus having the above-described configuration, wherein the obstacle position measuring means can be an obstacle with the first signal transmitting / receiving means provided in the work machine.
  • a second signal transmission / reception means provided to the work machine and the worker, and the work machine
  • a relative position measuring means for measuring a relative position between the first and second signal exchanging means, and the intrusion determining means is configured to detect the other position based on the relative position measured by the relative position measuring means. In this configuration, it is determined whether or not a work machine or a worker has entered the monitoring range.
  • relative position measuring means conventionally, various means such as distance measuring means using an ultrasonic wave or a microwave transbonder, position detection using a wireless LAN, and image processing are known. .
  • distance measuring means using an ultrasonic wave or a microwave transbonder position detection using a wireless LAN
  • image processing image processing
  • a relative position measuring means and a signal exchanging means are provided for a work machine, a worker, etc., as with the self-position measuring means, other work machines and work in one work machine are also provided. Since the position of personnel can be measured more reliably, the reliability of the surrounding monitoring system can be improved.
  • the surrounding monitoring device for the work machine of the present invention uses the imaging means. Since the display image generation means for generating a display image with an image that emphasizes an obstacle determined to have entered the monitoring range in the captured image and displaying it on the display means is provided. Even when multiple workers or structures are shown, it is within the monitoring range for drivers who do not confuse obstacles that have entered the monitoring range with other workers or structures. Only obstructions can be recognized easily and reliably. As a result, it is possible to prevent oversight of obstacles that hinder the driver's continuation of work, thereby improving the safety of the work and not requiring special attention and judgment from the driver. Can be prevented.
  • the surrounding monitoring device of the working machine of this example is characterized in that the hydraulic excavator is provided with an obstacle position measuring means for detecting an obstacle such as an operator or another working machine and measuring its position. .
  • the hydraulic excavator includes an articulated front working machine 1A including a boom la, an arm lb, and a packet lc that rotate in the vertical direction, and an upper swing body 1 It consists of a vehicle body IB consisting of d and a lower traveling body le.
  • the upper swing body Id is provided with a cab 1 f, and a base end of a boom la constituting the front work machine 1A is supported at the front portion thereof so as to be vertically rotatable.
  • the boom la, the arm lb, the packet lc, and the lower traveling body le are driven by hydraulic actuators of a boom cylinder 3a, an arm cylinder 3b, a bucket cylinder 3c, and a traveling motor 3e, respectively.
  • the upper swing body Id is also driven by a hydraulic actuator (not shown) called a swing motor.
  • the boom la, the arm lb, the packet lc, and the upper swing body Id are provided with angle detectors 8a, 8b, 8c, 8d, respectively, so that the rotation angle of each member can be detected! .
  • the surrounding monitoring device of the working machine of this example includes an obstacle detector 10 as an obstacle detection means, a camera 12 such as a CCD camera as an imaging means, and an alarm sound generation.
  • Alarm sound generation device 40 such as buzzer or speaker as a means
  • display device 50 such as a liquid crystal display device as a display means
  • the monitoring controller 20A outputs a driving signal for the device 40 and a driving signal for the display device 50.
  • the monitoring controller 20A determines whether there is an obstacle within the required monitoring range based on the output signal of the obstacle detector 10, and issues an alarm when determining that there is an obstacle within the required monitoring range.
  • An intrusion determination unit 21 that outputs a driving signal of the sound generator 40 and obstacle position information according to the determination result, and an image captured by the camera 12 (hereinafter, this image is referred to as a “camera image”).
  • a display image generation unit 22 that generates an image to be displayed on the display device 50 by combining the temporarily stored camera image and the obstacle position information from the intrusion determination unit 21.
  • the alarm sound generation device 40 and the display device 50 are installed in the cab If, and the obstacle detector 10 and the camera 12 are provided at the rear of the upper swing body Id as shown in FIGS. .
  • the obstacle detector 10 a proximity sensor such as a laser radar, a millimeter wave radar, an ultrasonic sensor or an infrared sensor is used.
  • the obstacle detector 10 detects obstacles such as workers, structures, and other work machines that exist within the monitoring range 11 set behind the vehicle 1B. Then get the distance and heading from the 1B body to those obstacles.
  • the camera 12 captures an image within the monitoring range 11.
  • Reference numeral 13 in FIG. 4 indicates the field of view of the camera 12! /.
  • FIG. 6 is a flowchart showing a procedure of processing performed in the intrusion determination unit 21
  • FIG. 7 is a flowchart showing a procedure of processing performed in the display image generation unit 22. Each of these processes is performed at a predetermined cycle during the operation of the work machine.
  • Intrusion determination unit 21 obtains obstacle position information by the procedure of STEP 101 to STEP 105 shown in FIG. 6 after the system is activated.
  • STEP 101 The obstacle detector 10 detects the presence or absence of an obstacle in the monitoring range 11. As shown in FIG. 5, when a worker 90 enters the monitoring range 11, the worker 90 is detected as an obstacle by the obstacle detector 10. If no obstacle is detected in STEP 101, the process ends.
  • STEP102 When an obstacle is detected in STEP101, the distance from the vehicle body 1B to the worker 90 and the orientation of the worker 90 with respect to the vehicle body 1B are obtained from the obstacle detector 10 as the obstacle detection position. As shown in FIG. 4, the position where the worker 90 blocks the detection surface 11a of the obstacle detector 10 is an obstacle detection position by the obstacle detector 10.
  • STEP 103 A worker who is obstacle position information from the obstacle detection position obtained from the obstacle detector 10 and the installation position information of the obstacle detector 10 stored in advance in the intrusion determination unit 21. The 3D position of is calculated.
  • STEP 104 Send a signal to the alarm sound generator 40 to generate an alarm sound in the cab If
  • STEP 105 Obstacle position information is sent to the display image generation unit 22, and the processing of the intrusion determination unit 21 is terminated.
  • the three-dimensional position information of the worker 90 is sent to the display image generation unit 22 as obstacle position information.
  • the display image generation unit 22 displays a composite image on the display device 50 according to the steps STEP201 to STEP206 shown in FIG.
  • STEP 201 The captured image of the camera 12 is stored. As shown in FIG. 5, when the worker 90 has entered the monitoring area 11, the display image generating unit 22 stores the image 80a shown in FIG. Note that a part of the upper swing body Id is shown in the lower part of the image 80a.
  • STEP202 The monitoring range 11 is drawn on the image 80a stored in the display image generation unit 22, The rendered image 80b shown in FIG. 9 is generated. As a result, it becomes easier for the driver to visually determine whether the obstacle is within the monitoring range 11, and it is possible to alleviate the driver's fatigue and prevent a reduction in work efficiency.
  • STEP 203 The three-dimensional position information of the worker 90 is obtained from the intrusion determination unit 21.
  • STEP 204 The three-dimensional position of the worker 90 obtained from the intrusion determination unit 21 is converted into a pixel position on a two-dimensional plane of the camera image.
  • the three-dimensional position information of the worker 90 obtained from the intrusion determination unit 21 is used as the pixel position of the worker 90 on the image 80b on which the monitoring range 11 is drawn ( X, Y).
  • the pixel at the upper left corner of the image 80c is set to the origin position (0, 0).
  • STEP 205 An image that emphasizes an obstacle is added to the image 80b to generate a display image 80d.
  • a spot 101 indicating the position of the worker 90 is drawn at the pixel position (X, Y) of the worker 90 obtained in STEP 204, and the worker 90 is located in the vicinity thereof.
  • the display image 80d is generated by drawing an arrow 102 indicating the position of the image.
  • FIG. 12 when there are a plurality of workers 90 and 95 behind the vehicle body 1B, the plurality of workers 90 and 95 appear in the camera image 80.
  • the spot 101 and the arrow 102 are drawn only for the worker 90 who has entered the monitoring range 11.
  • STEP 206 An image 80d in which marks 101 and 102 for emphasizing the obstacle 90 are drawn is generated on the display device 50, and the camera image 80a enters the monitoring range 11 and enters the monitoring range 11! Output. As a result, the image 80d shown in FIG.
  • the surrounding monitoring device for the work machine in this example does not display the camera image 80a as it is on the display device 50 installed in the cab If. Obstacles intruding within range 11 (worker) Since the image 80d on which the marks 01 and 102 are drawn to emphasize 90 is displayed, the driver obstructs the work. The presence or absence of 90 can be reliably recognized, so that contact between the work machine and the obstacle 90 can be prevented and work efficiency can be prevented from being lowered. Further, since the image of the monitoring range 11 is displayed on the display device 50, the driver visually determines whether or not the obstacle 90 is within the monitoring range 11, and this point force is immediately applied to the work machine. And obstacle 90 can be prevented and work efficiency can be improved.
  • the surrounding monitoring device of the working machine of this example has an alarm sound generating device 40 installed in the cab If, and when the obstacle 90 is detected in the monitoring range 11 of the obstacle detector 10, an alarm sound is generated. As a result, it is possible to more reliably prevent the driver from overlooking the obstacle 90 that has entered the monitored area 11.
  • the obstacle detector 10 and the camera 12 are provided one behind the upper swing body Id, but the quantity and arrangement of the obstacle detector 10 and the camera 12 are related.
  • a plurality of obstacle detectors 10 and cameras 12 that are not particularly limited may be mounted at a plurality of locations on the vehicle body 1B for a wider range of monitoring.
  • a plurality of display devices can be provided in the operation room If.
  • the power for drawing the spot 101 and the arrow 102 indicating the position of the obstacle as an image for emphasizing the obstacle on the camera image 80 is limited to this. It is also possible to take measures such as changing the color of obstacles by image processing.
  • other information related to the obstacle 90 can also be displayed. For example, a display method such as changing the size or color of the mark according to the distance of the obstacle, or blinking the mark when the obstacle is moving in the direction approaching the vehicle body can be adopted.
  • the surrounding monitoring device of the working machine in this example includes a first self-position measuring unit on the hydraulic excavator and a second self-position measuring unit on the worker, and 1 based on the measurement result of each self-position measuring unit.
  • a first self-position measuring unit on the hydraulic excavator and a second self-position measuring unit on the worker, and 1 based on the measurement result of each self-position measuring unit.
  • excavators and workers to other excavators It is characterized by monitoring.
  • the hydraulic excavator includes a camera 12 such as a CCD camera as an imaging means, a GPS receiver 14 as a self-position measuring means, and other hydraulic excavators and workers.
  • a wireless transmitter / receiver 15 that transmits and receives signals; an alarm sound generating device 40 such as a buzzer that is an alarm sound generating means; a display device 50 such as a liquid crystal display device that is a display means; and an output signal of the camera 12 and
  • a monitoring controller 20B that receives the output signal of the GPS receiver 14 and the reception signal of the wireless transceiver 15 and outputs the drive signal of the alarm sound generating device 40 and the drive signal of the display device 50.
  • the monitoring controller 20B includes a monitoring range pattern storage memory 25 in which a required monitoring range pattern is stored in advance, a monitoring range pattern stored in the memory 25, self-location information of the work machine captured from the GPS receiver 14, and wireless Based on the self-location information of other work machines or workers imported from the transceiver 15, it was determined whether or not the obstacle had entered the required monitoring range, and it was determined that the obstacle had entered the monitoring range.
  • the intrusion determination unit 24 outputs the driving signal of the alarm sound generator 40 and the obstacle position information according to the determination result, and stores the camera image, and the stored camera image and the obstacle from the intrusion determination unit 24
  • a display image generation unit 22 that generates an image to be displayed on the display device 50 by combining the position information.
  • the GPS receiver 14 is provided on the upper surface of the rear part of the upper swing body Id
  • the radio transceiver 15 is provided on the roof of the cab If.
  • the worker 90 is equipped with a GPS receiver 91 as self-position measuring means and a radio transceiver 92 that transmits and receives signals to and from the hydraulic excavator.
  • the wireless transceiver 92 records worker-specific information such as the name of the worker wearing the radio transceiver and the work contents in charge.
  • the wireless transmitter / receiver 92 transmits the worker position information acquired by the GPS receiver 91 and the worker-specific information recorded in the wireless transmitter / receiver 92 to the wireless transmitter / receiver 15 provided in the hydraulic excavator.
  • the wireless transmitter / receiver 15 provided in the hydraulic excavator receives the worker position information and the worker-specific information from the wireless transceiver 92 that the worker 90 is equipped with.
  • FIG. 16 shows the monitoring stored in the monitoring range pattern storage memory 25. It is a figure which shows an example of a visual range pattern, Comprising:
  • the monitoring range 17 is set so that the vehicle body 1B may be surrounded.
  • the intrusion determination unit 24 uses the position information of the absolute coordinates of the hydraulic excavator acquired by the GPS receiver 14 and the position information of the absolute coordinates of the worker acquired by the GPS receiver 91 to determine the presence direction of the worker with respect to the hydraulic excavator and The distance of the workers of the hydraulic excavator is calculated, and when there are workers in the monitoring range 17 set around the vehicle body 1B, as shown in Figs. 17 and 18, within the monitoring range 17 It is determined that an obstacle has entered.
  • the camera 12 captures an image within the monitoring range 17.
  • FIG. 19 is a flowchart showing a procedure of processing performed by the intrusion determination unit 24, and FIG. 20 is a flowchart showing a procedure of processing performed by the display image generation unit 22. Each of these processes is performed at a predetermined cycle during the operation of the work machine.
  • the intrusion determination unit 24 sends the worker position information and the worker specific information to the display image generation unit 22 according to the procedure of STEP301 to STEP305 shown in FIG.
  • STEP 301 Worker position information and worker-specific information are obtained from the wireless transceiver 92 equipped with the worker 90 by the wireless transceiver 15.
  • STEP 302 Read a monitoring range pattern from the monitoring range pattern storage memory 25.
  • STEP 303 The worker position information and the monitoring range pattern are collated, and it is determined whether or not the worker 90 has entered the monitoring range 11. If it is determined in STEP 303 that the worker 90 has entered the monitoring area 11 and the process is terminated, the process is terminated.
  • STEP 304 If it is determined in STEP 303 that the worker 90 has entered the monitoring range 11, a drive signal is output to the alarm sound generator 40 to generate an alarm sound.
  • STEP 305 The worker position information and the worker specific information are sent to the display image generating unit 22, and the processing of the worker intrusion determining unit is ended.
  • display image generation unit 22 causes display device 50 to display a composite image in the sequence of STEP 401 to STEP 407 shown in FIG.
  • STEP 401 Store the image captured by the camera 12. As shown in FIGS. 17 and 18, when the worker 90 has entered the monitoring range 11, the display image generation unit 22 stores the image 100a shown in FIG. Note that the lower part of the image 100a is a part of the upper rotating body Id. Part.
  • STEP 402 The monitoring range 11 is drawn on the image 100a stored in the display image generation unit 22, and the drawn image 100b shown in FIG. 22 is generated. As a result, it becomes easier for the driver to visually determine whether or not the obstacle is within the monitoring range 11, and the driver's fatigue can be reduced and work efficiency can be prevented from being lowered.
  • STEP 403 Obtain worker position information and worker specific information from the intrusion determination unit 24.
  • STEP 404 The worker position information obtained from the intrusion determination unit 24 is converted into a pixel position on the two-dimensional plane of the camera image. This conversion is performed in the same manner as explained in STEP 204 and FIG.
  • STEP 405 An image that emphasizes an obstacle is added to the image 100b to generate a display image 100c.
  • a spot 101 indicating the position of the worker 90 is drawn at the pixel position of the worker 90 obtained in STEP 404, and an arrow indicating the position of the worker 90 is provided in the vicinity thereof.
  • STEP 406 The worker-specific information obtained from the intrusion determination unit 24 is drawn on the camera image 100c.
  • the name of the worker and the work contents in charge are drawn as worker-specific information in the vicinity of the worker 90.
  • STEP 407 Generate and display the monitoring range 11 on the camera image 100c, and the image 100d in which the marks 101 and 102 that highlight the obstacle 90 that has entered the monitoring range 11 and the worker-specific information are drawn. Output to device 50.
  • the image 100d shown in FIG. As described above, when the image lOOd including the worker-specific information is displayed on the display device 50, the name of the worker and the work content in charge in the worker-specific information indicate the worker who should work around the hydraulic excavator. If they match, the operator and the worker understand the details of the work, so it can be judged that the danger is low even if the worker approaches the excavator. Can be judged to have a high risk. Therefore, the driver can operate the hydraulic excavator more appropriately, and can more reliably prevent contact with workers and decrease in work efficiency.
  • the surrounding monitoring device for the working machine of this example uses self-position measuring means for both the working machine and the worker who do not measure the position of the obstacle with the obstacle position measuring means provided in the working machine. Equipped with a GPS receiver 14, 91 and wireless transceivers 15, 92, and the self-position of the work machine 1 measured by the self-position measuring means provided on the work machine 1 and other work machines Based on the self-position of the other work machine sent from the worker and the self-position of the worker, the intrusion determination in one work machine is performed. Compared to measuring the position of other work machines and workers, it is possible to obtain the position information of other work machines and workers that are less likely to cause blind spots in position measurement. Therefore, the position of other work machines and workers can be measured more reliably, and the reliability of the surrounding monitoring system can be improved.
  • the case where a worker equipped with the GPS receiver 91 and the wireless transceiver 92 has entered the monitoring range 11 has been described as an example.
  • a GPS receiver 91 and a wireless transmitter / receiver 92 to persons concerned such as a person or an outpatient, it is possible to prevent such persons from entering the monitoring area 11. In this case, it is possible to alert the driver with strong attention by recording information such as “foreigner!
  • the work machine receives wirelessly the position information of the worker 90 obtained by the GPS receiver 91 installed in the worker 90, and determines whether the worker enters the monitoring range 11.
  • the gist of the present invention is not limited to this, and any method that can identify a worker who has entered the monitoring range can use a distance measuring means or a wireless transponder. It is possible to use other means such as position detection using LAN or image processing.
  • the mark display method may be changed according to the worker-specific information. For example, In the case of workers or outpatients who are unrelated to the work of industrial machinery, it may be possible to raise the driver's attention by enlarging the mark or turning it on.
  • the surveillance range pattern is drawn after being stored in advance in the camera image.
  • the planned travel locus, planned turn trajectory, front work The planned movement trajectory of the machine can also be drawn as a monitoring range.
  • the planned travel path 111 can be drawn as a monitoring range, and the risk of contact with the worker 90 is more accurately and effectively transmitted to the driver. be able to.
  • the camera image is converted into a bird's-eye view from above the work machine by the display image generator 22, and a mark indicating the worker position and worker-specific information are drawn and displayed on the bird's-eye view image. It can also be output to the device. In this way, the situation around the work machine can be grasped three-dimensionally, so that the work machine can be operated more appropriately.
  • a monitoring camera and a monitoring station are placed outside, and the position information measured by the work machine and the worker with the GPS receiver is received by the monitoring station, and an intrusion determination process is performed.
  • an image drawn by superimposing the worker position information and the worker specific information on the monitoring camera image may be transmitted to the work machine by communication and displayed on the display device in the cab If.
  • the surrounding monitoring device of the working machine in this example simply displays on the display means a camera image and a plane image of the working machine that displays an image that emphasizes an obstacle that has been determined to have entered the monitoring range, and the working machine. It is characterized by displaying a composite image of a planar image of the monitoring range set around and an image showing the position of an obstacle that has entered the monitoring range.
  • the surrounding monitoring device of the working machine of the present example includes two obstacle detectors 10a and 10b as obstacle detection means, and two cameras 12a, 10b as imaging means.
  • 3b is the same as the surroundings monitoring device according to the first embodiment shown in FIG. 3 except that a reference image storage memory 26 in which a required composite image is stored in advance is provided in the monitoring controller 20C. Configured.
  • the reference image storage memory 26 stores a plan view of the work machine on which the surrounding monitoring device is mounted and a plan view of the monitoring range set around the work machine. Is done. When an alarm range for driving the alarm sound generator 40 is set within the monitoring range, a plan view of the alarm range can be stored together.
  • the first obstacle detector 10a is set at the center of the side surface far from the cab If of the upper swing body Id, and the first camera 12a is located above it. Set to part. Further, the second obstacle detector 10b is set at the center of the rear surface of the upper swing body Id, and the second camera 12b is set at the upper part thereof. As shown in FIG. 28, the intrusion detection unit 21 determines the area 11a, ib within the radius D2 centered on the set position of the obstacle detectors 10a, 10b as the monitoring range, and is within the radius D1 of the inner circumference. Area 11c, l id is set to be judged as the alarm range.
  • the reference image storage memory 26 stores a circle having a radius D2 around the set position of the obstacle detectors 10a, 1 Ob as the monitoring ranges 11a, l ib.
  • a circle with a radius D1 centering on the set position of the obstacle detectors 10a and 10b is stored as the alarm range 11c and lid.
  • the display screen of the display device 50 is divided into a surrounding monitoring monitor image display screen 61, a side camera image display screen 62, and a rear camera image display screen 63, as shown in FIGS.
  • the display image generation unit 22 is configured to display a surrounding monitoring monitor image displayed on the surrounding monitoring monitor image display screen 61, a side camera image displayed on the side camera image display screen 62, and a rear camera image.
  • a rear camera image displayed on the display screen 63 is generated and displayed on the display device 50.
  • FIG. 29 is a display image of the display device 50 when there is no obstacle around the excavator, and the surrounding monitoring device is mounted on the surrounding monitoring monitor image display screen 61 as the surrounding monitoring monitor image.
  • a composite image composed of the planar images 72c and 72d is displayed on the display device 50.
  • the side camera image display screen 62 and the rear camera image display screen 63 display a message “No obstacle” instead of the side camera image and the rear camera image. Is displayed.
  • FIG. 30 is a display image of the display device 50 when an obstacle enters the monitoring range 11a of the first obstacle detector 10a, and the surrounding monitoring monitor image display screen 61 displays the surrounding monitoring.
  • the monitor image As the monitor image, the plane image 71 of the excavator, the plane images 72a and 72b of the monitoring range 11a, l ib set around the hydraulic excavator, and the alarm range set in the monitoring range 11a, l ib
  • a composite image composed of the planar images 72c and 72d of 11c and l id and the images 73 and 74 indicating the position of the obstacle is displayed on the display device 50.
  • the rear part of the obstacle as seen from the first obstacle detector 10a is an area behind the obstacle that cannot be detected, so the mask image 76 is attached to that part.
  • an image of an obstacle (worker) 90 determined to have entered the monitoring range by the intrusion determination unit 21 and an image of a fence 93 existing behind the obstacle 90 are displayed.
  • a message “no obstacle” is displayed on the rear camera image display screen 63 instead of the rear camera image.
  • FIG. 31 shows the display of the display device 50 when an obstacle has entered both the monitoring range 11a of the first obstacle detector 10a and the monitoring range l ib of the second obstacle detector 10b.
  • the surrounding monitoring monitor image display screen 61 includes a planar image 71 of the hydraulic excavator and a planar image 72a, 72b of the monitoring range 11a, l ib set around the hydraulic excavator as the surrounding monitoring monitor image. And a combined image including the plane images 72c and 72d of the alarm ranges 11c and 1 Id set in the monitoring ranges 11a and l ib and the images 73, 74 and 75 indicating the positions of the obstacles. Is displayed.
  • a mask image 76 indicating that other obstacles cannot be detected behind the obstacle is attached to the rear part of the obstacle as viewed from the obstacle detectors 10a and 10b.
  • an image of an obstacle (worker) 90 determined to have entered the monitoring range by the intrusion determination unit 21 and an image of the fence 93 existing behind it are displayed.
  • an image of an obstacle (worker) 92 determined to have entered the monitoring range by the intrusion determination unit 21 and an image of a fence 93 and other workers 94 existing behind the obstacle 92 are displayed. Is done.
  • the camera image reversed left and right is not displayed directly on the rear camera image display screen 63 as it is, as it is displayed by the second camera 12b. It is displayed on the rear camera image display screen 63.
  • This allows driving The driver can view the rear camera image display screen 63 with the same feeling as when the rear of the work machine is monitored with the rearview mirror, and the driver's discomfort can be reduced.
  • FIG. 32 shows a case where an obstacle enters the monitoring range 11a of the first obstacle detector 10a and an obstacle enters the alarm range l id of the second obstacle detector 10b.
  • This is a display image of the display device 50.
  • a rectangular frame mark 95 is drawn as a mark for emphasizing this.
  • the rear camera image display screen 63 itself is surrounded by a frame-shaped mark 96 in order to attract the driver's attention more strongly. Others are almost the same as the display contents of the display screen shown in FIG. In this example, the force 95, 96 is drawn on the screen only when an obstacle enters the alarm range l id.
  • the surrounding monitoring device for the working machine of the present example displays the plane image 71 of the hydraulic excavator on the display screen of the display device 50 and the monitoring ranges 11a and 11b set around the hydraulic excavator.
  • the driver looks at each camera image displayed on the side camera image display screen 62 and the rear camera image display screen 63 of the display device 50, so that the monitoring range 11a, l ib or alarm range 11c, l Detailed information such as whether the obstacle determined to have entered the id is an object or a person can be obtained. Therefore, an appropriate avoidance operation for an obstacle can be performed more accurately.
  • the side camera image display screen 62 and the rear camera image of the display device 50 only when the intrusion determination unit 21 determines that an obstacle has entered the monitoring ranges 11a and ib.
  • the corresponding camera image is displayed on the image display screen 63.
  • the camera image can always be displayed on the display screen 50 regardless of the judgment result of the intrusion judgment unit 21. .
  • the display screen of the display device 50 is not frequently switched from the display state to the non-display state or the non-display state force display state, so that the driver is not stressed and the work efficiency is improved. can do.
  • the display screen of the display device 50 is divided into the left half, the upper right, and the lower right, and the surrounding monitor monitor image display screen 61 and the side camera image display screen 62 are respectively divided.
  • the rear camera image display screen 63 is used, the display device 50 can be divided in any pattern that is not limited to this. For example, if the display screen of the display device 50 is divided into an upper left part, an upper right part and a lower part, the surrounding monitor monitor image display screen 61, the side camera image display screen 62, and the rear camera image display screen 63, respectively. The correspondence between each display screen and the monitoring range can be made easier for the driver.
  • the camera images corresponding to the side camera image display screen 62 and the rear camera image display screen 63 of the display device 50 are displayed as they are regardless of the imaging orientation of the camera.
  • the side camera image display screen 62 displays a rotated image obtained by rotating the camera image captured by the first camera 12a clockwise by 90 degrees
  • the rear camera image display screen 63 displays A rotated image obtained by rotating the camera image captured by the second camera 12b by 180 degrees can also be displayed.
  • an image corresponding to the monitoring direction of each camera can be presented to the driver, so that the presence direction of the obstacle is misidentified.
  • Appropriate avoidance operation for obstructing obstacles can be performed reliably.
  • the image of the obstacle displayed in the camera image is displayed on the side camera image display screen 62 and the rear camera image display screen 63 without any processing.
  • the image of the obstacle imaged by the cameras 12a and 12b can be converted into a projected image 97 on the ground where the camera 12a and 12b forces are also viewed and displayed on the display means 50.
  • the projection image 97 is displayed on the display means 50 instead of the normal camera image, the normal camera image becomes an overhead image, and thus it is difficult to display clearly on the display screen.
  • the position of the obstacle can be clearly displayed on the display screen 50, the position of the obstacle can be reliably presented to the driver, and the avoidance operation for the obstacle can be appropriately and reliably performed. Can be done.
  • the display screen of the display device 50 is divided into a plurality of parts, and the area assigned as the surrounding monitoring monitor image display screen 61 is within the monitoring range 11a, l ib or the alarm range 11c, l Force drawing image 73, 74, 75 showing the position of an obstacle that has entered in id As shown in Fig. 35, instead of images 73, 74, 75 showing the position of the obstacle, cameras 12a, 12b It is also possible to display on the display device 50 the projected image 97 of the obstacle on the ground and the mark 98 that emphasizes the position of the obstacle.
  • the projected image 97 of the obstacle and the image 98 that emphasizes the position of the obstacle are displayed on the surrounding monitor image display screen 61, it is possible to move around the excavator just by looking at the surrounding monitor image display screen 61. Since it is possible to grasp the state of existing obstacles, it is easier to grasp the situation than when the surrounding situation is grasped by looking at multiple screens. In addition, since the image 98 that emphasizes the position of the obstacle is also displayed, it is possible to reliably recognize the obstacle that has entered the monitoring range 11a, lid or the alarm range 11c, lid. Therefore, the driver can easily and surely recognize the position of the obstacle, and can appropriately perform an avoidance operation for the obstacle.
  • the gist of the present invention is not limited to the above-described embodiments and modification examples, but the techniques described in each embodiment and modification examples are appropriately combined to work in different embodiments. It can also be set as the surrounding monitoring apparatus for machines.
  • FIG. 1 is a perspective view of a hydraulic excavator equipped with a surrounding monitoring device according to a first embodiment.
  • FIG. 2 is a top view of the excavator showing the monitoring range of the obstacle detector according to the first embodiment.
  • FIG. 3 is a block diagram showing a control system configuration of the surroundings monitoring apparatus according to the first embodiment.
  • FIG. 4 is an explanatory diagram showing a monitoring range of an obstacle detector and an imaging range of a camera according to the first embodiment.
  • FIG. 5 is an explanation showing the monitoring range and obstacle detection position of the obstacle detector according to the first embodiment.
  • ⁇ 6 It is a diagram showing a processing flow of an obstacle determination unit according to the first embodiment.
  • FIG. 7 is a diagram showing a processing flow of the display image generation unit according to the first embodiment.
  • FIG. 8 is a diagram showing an example of a camera image.
  • FIG. 9 A diagram showing an example of a camera image to which a monitoring range is added.
  • FIG. 11 is a diagram showing an example of an image displayed on the display device.
  • FIG. 12 It is an explanatory view showing a state where a plurality of obstacles exist around the work machine.
  • FIG. 13 A diagram showing an example of an image displayed on the display device when there are a plurality of obstacles around the work machine.
  • ⁇ 14 A perspective view of a hydraulic excavator equipped with a surrounding monitoring device according to the second embodiment.
  • ⁇ 15] A block diagram showing a control system configuration of the surrounding monitoring device according to the second embodiment.
  • FIG. 16 is a diagram showing a monitoring pattern of the surroundings monitoring apparatus according to the second embodiment.
  • FIG. 17 is an explanatory diagram showing a monitoring range and an obstacle detection position of the obstacle detector according to the second embodiment.
  • FIG. 18 is an explanatory diagram showing the monitoring range of the obstacle detector and the imaging range of the camera according to the second embodiment.
  • FIG. 19 A diagram showing a process flow of the worker intrusion determination unit according to the second embodiment.
  • FIG. 20 A diagram showing a process flow of the display image generation unit according to the second embodiment.
  • ⁇ 22 It is a figure which shows an example of the camera image to which the monitoring range was added.
  • ⁇ 23 A diagram illustrating an example of an image to which worker-specific information is added.
  • FIG. 24 is a diagram showing an example of an image displayed on the display device.
  • ⁇ 25 It is a diagram showing an example of an image to which a travel schedule locus is added.
  • FIG. 26 is a block diagram showing a control system configuration of the surroundings monitoring apparatus according to the third embodiment.
  • ⁇ 27 A perspective view of a hydraulic excavator equipped with a surrounding monitoring device according to the third embodiment.
  • ⁇ 28] A plan view of the working machine and an explanatory diagram of a monitoring range and an alarm range set around the working excavator.
  • FIG. 29 is a diagram showing the state of the display screen when there is no obstacle in the monitoring range.
  • This is a diagram showing the state of the display screen when there is an obstacle captured by the side camera.
  • FIG. 31 is a diagram showing the state of the display screen when there is an obstacle captured by the side camera and the rear camera.
  • FIG. 32 is a diagram showing a state when an emphasis mark is added to an obstacle image.
  • FIG. 33 is a diagram showing a modification in which a rotated image is displayed on the display screen.
  • FIG. 34 is a diagram showing a modified example in which a projected image is displayed on the display screen.
  • FIG. 35 is a diagram showing a modified example in which an obstacle image and an emphasis mark are displayed on the surrounding monitoring screen.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】作業の続行に支障をきたす障害物の存在をより的確に運転者に提示可能な作業機械の周囲監視装置を提供する。 【解決手段】作業機械の周囲の状態を運転室内に備えられた表示装置に表示される画像にて監視する作業機械の周囲監視装置において、カメラ画像に所要の監視範囲１１及び当該監視範囲１１内に侵入している障害物（作業員）９０を強調するためのマーク１０１，１０２が描画された画像８０ｄを前記表示装置に表示する。

Description

明 細 書
作業機械の周囲監視装置
技術分野
[0001] 本発明は、油圧ショベル等の作業機械の周囲を監視する装置に係り、特に、作業 機械の周囲に存在する障害物の画像を作業機械の運転者に的確に提示する手段 に関する。なお、本明細書において「障害物」とは、他の作業機械、作業現場に出入 りする作業員や関係者等、及び作業現場の構造物など、作業機械の稼働に障害とな る全てのものをいう。
背景技術
[0002] 従来より、作業機械とその周囲に存在する障害物との接触事故を防止するために 作業機械に搭載される作業機械の周囲監視装置として、作業機械の周囲を撮像す る撮像手段と、当該撮像手段により撮像された画像を運転者に提示する表示装置と 力もなる作業機械の周囲監視装置が知られている (例えば、特許文献 1参照。 ) oまた 、複数の撮像手段のそれぞれに対応付けて近接センサなどの複数の障害物検出手 段を備え、いずれかの障害物検出装置によって障害物が検出された場合、それに対 応する撮像手段により撮像された画像を選択的に運転席に備えられた表示手段に 表示する周囲監視装置も従来より知られている (例えば、特許文献 2参照。 )0
[0003] この種の周囲監視装置を備えると、作業機械の運転者は、表示手段に表示された 画像を見ることにより作業機械の周囲に存在する障害物の有無を確認できるので、 表示手段に障害物が表示されていない場合には安心して作業を続行できると共に、 表示手段に障害物が表示されている場合には適宜の回避操作を行うことにより作業 機械と障害物との接触事故を未然に防止できるので、必要な作業を安全かつ高能率 に行うことができる。
特許文献 1：特開 2001— 140286号公報
特許文献 2：特開 2002— 327470号公報
発明の開示
発明が解決しょうとする課題 [0004] しかしながら、前記従来例に係る周囲監視装置は、いずれも表示手段に撮像手段 により撮像された画像をそのままの形で表示するので、作業機械力 障害物までの 距離の判断ひいては危険の有無に関する判断や危険の程度に関する判断について は運転者が経験に基づいて行わなくてはならず、運転者の負担を十分に軽減するこ とができない。
[0005] 前記従来例に係る周囲監視装置のうち、特許文献 2に開示の周囲監視装置は、障 害物検出装置によって障害物が検出された場合にのみ撮像手段により撮像された 画像を選択的に表示手段に表示するので、特許文献 1に開示の周囲監視装置よりも 作業機械から障害物までの距離を運転者が判断しやすぐ運転者の負担をある程度 軽減することができる。
[0006] しかしながら、作業現場には複数の障害物が存在する場合が多ぐかつ作業機械 の稼働や作業員の活動等に伴って時々刻々と作業機械と障害物との相対位置及び 相対距離が変化するので、単に撮像手段により撮像された作業機械周囲の画像を 表示手段に表示するだけでは、画像中に複数の作業員や構造物が表示されている 場合に、画像中のどの作業員又は構造物が障害物として検出されたのかを判別しに くぐ運転者の負担を十分に低減することができない。
[0007] 本発明は、力かる従来技術の不備を解決するためになされたものであり、その目的 は、作業機械の稼働に支障をきたす障害物の存在をより的確に運転者に提示可能 な作業機械の周囲監視装置を提供することにある。
課題を解決するための手段
[0008] 本発明は、上記課題を解決するため、作業機械の周囲を撮像する撮像手段と、作 業機械の周囲に存在する障害物を検出しその位置を計測する障害物位置計測手段 と、前記障害物位置計測手段により検出された障害物が予め設定された監視範囲内 に侵入したか否かを判定する侵入判定手段と、前記撮像手段により撮像された画像 を表示する表示手段とを備えた作業機械の周囲監視装置において、前記障害物位 置計測手段により検出された障害物が前記侵入判定手段により前記監視範囲内に 侵入したと判定されたとき、前記撮像手段により撮像された画像中に前記監視範囲 内に侵入したと判定された障害物を強調する画像が付加された表示画像を生成して 前記表示手段に表示する表示画像生成手段を備えるという構成にした。
[0009] 力かる構成によると、侵入判定手段により予め定められた監視範囲内に侵入してい ると判定された障害物の画像にそれを強調する画像が付加されるので、表示画像中 に複数の作業員や構造物が写っている場合にも、監視範囲内に侵入している障害 物と他の作業員や構造物とを混同することがなぐ運転者に監視範囲内に入った障 害物のみを容易かつ確実に認識させることができる。
[0010] また、本発明は、前記構成の作業機械の周囲監視装置において、前記表示画像 生成手段は、前記障害物を強調する画像として、前記撮像手段により撮像された画 像中に前記障害物の位置を示すマークを重ねて描画するという構成にした。
[0011] 力かる構成によると、監視範囲内に侵入した障害物の画像が、これに重ねて描画さ れたマークによって強調されるので、運転者は監視範囲内に侵入した障害物を容易 かつ確実に認識することができ、障害物との接触を回避するための操作を確実かつ 的確に行うことができる。
[0012] また、本発明は、前記構成の作業機械の周囲監視装置において、前記表示画像 生成手段は、前記障害物を強調する画像として、前記撮像手段により撮像された画 像中に前記障害物の位置を示すマークと前記障害物に関連付けて用意された情報 とを重ねて描画するという構成にした。
[0013] 力かる構成によると、監視範囲内に侵入した障害物の画像が、これに重ねて描画さ れたマークによって強調されると共に、障害物に関連付けて用意された情報が重ね て描画されるので、運転者は監視範囲内に入った障害物の位置のみならず、その特 性をより容易かつ確実に把握することができ、障害物の回避操作をより的確に行うこ とがでさる。
[0014] また、本発明は、前記構成の作業機械の周囲監視装置において、前記表示画像 生成手段は、前記撮像手段により撮像された画像中に前記監視範囲を示す画像を 付加するという構成にした。
[0015] カゝかる構成によると、撮像手段により撮像された画像中に監視範囲を示す画像を付 加されるので、監視範囲内に障害物が入っているカゝ否かの判断を運転者が直感的 に理解しやすくなり、障害物の回避操作をより的確に行うことができる。 [0016] また、本発明は、前記構成の作業機械の周囲監視装置において、前記表示画像 生成手段は、前記撮像手段により撮像された画像を撮像方位に応じた回転画像に 変換し、前記表示手段に表示するという構成にした。
[0017] カゝかる構成によると、撮像手段により撮像された画像が撮像方位に応じた回転画像 に変換して表示手段に表示されるので、運転席に対する障害物の存在方位を運転 者が直感的に理解しやすぐ障害物に対する適切な回避操作を確実に行うことがで きる。
[0018] また、本発明は、前記構成の作業機械の周囲監視装置において、前記表示画像 生成手段は、前記撮像手段により撮像された障害物の画像を前記撮像手段の設定 位置から見た地面への投影画像に変換し、前記表示手段に表示するという構成にし た。
[0019] カゝかる構成によると、撮像手段により撮像された障害物の画像が撮像手段カゝら見た 地面への投影画像に変換して表示手段に表示されるので、通常の撮像画像では俯 瞰画像となるために表示画面上に明瞭に表示することが難しい障害物の下部を明瞭 に表示画面上に表示することができ、障害物に対する適切な回避操作を確実に行う ことができる。
[0020] また、本発明は、前記構成の作業機械の周囲監視装置において、前記表示画像 生成手段は、前記撮像手段により撮像された画像及び前記監視範囲内に侵入した と判定された障害物を強調する画像のほかに、前記作業機械の平面画像と当該作 業機械の周囲に設定された前記監視範囲の平面画像と前記監視範囲内に侵入した と判定された障害物の位置を示す画像との合成画像を併せて生成し、これらの各画 像を前記表示手段に表示するという構成にした。
[0021] 力かる構成によると、作業機械の平面画像と当該作業機械の周囲に設定された監 視範囲の平面画像と監視範囲内に侵入したと判定された障害物の位置を示す画像 との合成画像を表示手段に表示するので、運転者はこの合成画像を見ることにより作 業機械と障害物との位置関係を直接的に認識することができる。また、表示手段には 、この合成画像の他に撮像手段により撮像された画像も表示されるので、運転者は 合成画像中に障害物の位置を示す画像が表示された場合、撮像手段により撮像さ れた画像を見ることにより、当該障害物が物であるか人であるか等のより詳しい情報 を知得できる。よって、障害物の適切な回避操作をより的確に行うことができる。
[0022] また、本発明は、前記構成の作業機械の周囲監視装置において、前記表示画像 生成手段は、前記合成画像中に、前記監視範囲内に侵入したと判定された障害物 を強調する画像を付加して前記表示手段に表示するという構成にした。
[0023] 力かる構成によると、合成画像中に表示手段に監視範囲内に侵入した障害物の位 置を表示するだけでなぐ障害物を強調する画像を併せて表示するので、運転者が 監視範囲内に侵入した障害物をより確実かつ容易に把握することができ、所要の回 避動作を確実にとることができる。
[0024] また、本発明は、前記構成の作業機械の周囲監視装置において、前記障害物位 置計測手段は、前記作業機械に備えられる第 1の自己位置計測手段と、障害物にな り得る他の作業機械や作業員に備えられる第 2の自己位置計測手段と、前記作業機 械に備えられ、前記第 2の自己位置計測手段により計測された他の作業機械や作業 員の自己位置を受信する通信手段とからなり、前記侵入判定手段は、前記第 1の自 己位置計測手段により計測された前記作業機械の自己位置と、前記通信手段により 得られた前記他の作業機械や作業員の自己位置とにより、前記他の作業機械や作 業員が前記監視範囲内に侵入したカゝ否かを判定するという構成にした。
[0025] 力かる構成によると、 1の作業機械における侵入判定を、当該 1の作業機械に備え られた第 1の自己位置計測手段により計測された当該 1の作業機械の自己位置と他 の作業機械や作業員等より送信された他の作業機械の自己位置及び作業員の自己 位置に基づいて行うので、 1の作業機械に備えられた障害物位置計測手段により他 の作業機械及び作業員等の位置を計測する場合のように死角による誤計測が生じ にくぐ他の作業機械及び作業員等の位置情報を確実に得ることができるので、他の 作業機械及び作業員等の位置計測をより確実に行うことができ、周囲監視システム の信頼性を高めることができる。
[0026] また、本発明は、前記構成の作業機械の周囲監視装置において、前記障害物位 置計測手段は、前記作業機械に備えられる第 1の信号授受手段と、障害物になり得 る他の作業機械や作業員に備えられる第 2の信号授受手段と、前記作業機械に備え られ、前記第 1及び第 2の信号授受手段間の相対位置を計測する相対位置計測手 段とからなり、前記侵入判定手段は、前記相対位置計測手段により計測された前記 相対位置より、前記他の作業機械や作業員が前記監視範囲内に侵入したか否かを 判定するという構成にした。
[0027] 相対位置計測手段としては、従来より、超音波或いはマイクロ波トランスボンダを用 いた距離測定手段や、無線 LANを用いた位置検出、それに画像処理などの種々の 手段が知られて 、る。このような相対位置計測手段と信号授受手段とを作業機械や 作業員等に備えた場合にも、自己位置計測手段を備えた場合と同様に、 1の作業機 械における他の作業機械及び作業員等の位置計測をより確実に行うことができるの で、周囲監視システムの信頼性を高めることができる。
発明の効果
[0028] 本発明の作業機械の周囲監視装置は、障害物位置計測手段により検出された障 害物が侵入判定手段により予め定められた監視範囲内に侵入したと判定されたとき 、撮像手段により撮像された画像中に監視範囲内に侵入したと判定された障害物を 強調する画像が付加された表示画像を生成して表示手段に表示する表示画像生成 手段を備えたので、表示画像中に複数の作業員や構造物が写っている場合にも、監 視範囲内に侵入している障害物と他の作業員や構造物とを混同することがなぐ運 転者に監視範囲内に入った障害物のみを容易かつ確実に認識させることができる。 よって、運転者による作業の続行に支障をきたす障害物の見落としを防止できて作 業の安全性が高められると共に、運転者に特別な注意力や判断力を要求しないので 、作業効率の低下を防止することができる。
発明を実施するための最良の形態
[0029] 以下、本発明に係る周囲監視装置の第 1例を図 1乃至図 13に基づいて説明する。
本例の作業機械の周囲監視装置は、油圧ショベルに作業員や他の作業機械などの 障害物を検出してその位置を計測するための障害物位置計測手段を備えたことを特 徴とする。
[0030] 油圧ショベルは、図 1及び図 2に示すように、それぞれ垂直方向に回動するブーム la、アーム lb及びパケット lcからなる多関節型のフロント作業機 1Aと、上部旋回体 1 d及び下部走行体 leからなる車体 IBとで構成される。上部旋回体 Idには、運転室 1 fが備えられると共に、その前部にはフロント作業機 1Aを構成するブーム laの基端が 垂直方向に回動可能に支持される。ブーム la、アーム lb、パケット lc及び下部走行 体 leは、それぞれブームシリンダ 3a、アームシリンダ 3b、バケツトシリンダ 3c及び走 行モータ 3eの各油圧ァクチユエータにより駆動される。なお、上部旋回体 Idも、旋回 モータと呼ばれる図示しない油圧ァクチユエータにより駆動される。さらに、ブーム la 、アーム lb、パケット lc及び上部旋回体 Idには、それぞれ角度検出器 8a, 8b, 8c, 8dが備えられ、各部材の回動角を検出できるようになって!/、る。
[0031] 本例の作業機械の周囲監視装置は、図 3に示すように、障害物検出手段である障 害物検出器 10と、撮像手段である CCDカメラなどのカメラ 12と、警報音発生手段で あるブザーやスピーカなどの警報音発生装置 40と、表示手段である液晶表示装置な どの表示装置 50と、障害物検出器 10の出力信号及びカメラ 12の出力信号を取り込 んで警報音発生装置 40の駆動信号及び表示装置 50の駆動信号を出力する監視コ ントローラ 20Aとからなる。監視コントローラ 20Aは、障害物検出器 10の出力信号に 基づいて所要の監視範囲内に障害物が存在するか否かを判定し、所要の監視範囲 内に障害物が存在すると判定した場合に警報音発生装置 40の駆動信号とその判定 結果に応じた障害物位置情報を出力する侵入判定部 21と、カメラ 12により撮像され た画像 (以下、本明細書においては、この画像を「カメラ画像」という。）を一時格納し 、一時格納されたカメラ画像と侵入判定部 21からの障害物位置情報とを合成して表 示装置 50に表示する画像を生成する表示画像生成部 22とからなる。
[0032] 警報音発生装置 40及び表示装置 50は運転室 If内に設置され、障害物検出器 10 及びカメラ 12は、図 2及び図 4に示すように、上部旋回体 Idの後部に備えられる。障 害物検出器 10としてはレーザレーダ、ミリ波レーダ、超音波センサ又は赤外線センサ などの近接センサが用いられる。障害物検出器 10は、図 2及び図 5に示すように、車 体 1Bの後方に設定された監視範囲 11内に存在する作業員や構造物それに他の作 業機械などの障害物を検出して車体 1Bカゝらそれらの障害物までの距離と方位を得る 。また、カメラ 12は監視範囲 11内の画像を撮像する。なお、図 4中の符号 13はカメラ 12の視野範囲を示して!/、る。 [0033] 以下、監視コントローラ 20Aにて行われる処理の手順を、図 6及び図 7に基づいて 説明する。図 6は侵入判定部 21にて行われる処理の手順を示すフロー図であり、図 7は表示画像生成部 22にて行われる処理の手順を示すフロー図である。これらの各 処理は、作業機械の動作中に所定の周期で行われる。
[0034] 侵入判定部 21においては、システムの起動後、図 6に示す STEP101〜STEP10 5の手順で障害物位置情報を得る。
[0035] STEP101 :障害物検出器 10により監視範囲 11内における障害物の有無を検出 する。図 5に示すように監視範囲 11内に作業員 90が侵入している場合、この作業員 90が障害物検出器 10により障害物として検出される。なお、 STEP101において障 害物が検出されな力つた場合は、処理は終了する。
[0036] STEP102 : STEP101において障害物が検出された場合、障害物検出位置として 車体 1Bカゝら作業員 90までの距離と車体 1Bに対する作業員 90の方位を障害物検出 器 10から得る。なお、図 4に示すように、障害物検出器 10の検出面 11aを作業員 90 が遮る位置が、障害物検出器 10による障害物検出位置となる。
[0037] STEP103 :障害物検出器 10から得られた障害物検出位置と侵入判定部 21に予 め記憶された障害物検出器 10の取付位置情報とから、障害物位置情報である作業 員 90の 3次元位置を算出する。
[0038] STEP104 :警報音発生装置 40に信号を送り、運転室 If内に警報音を発生させる
[0039] STEP105 :表示画像生成部 22に障害物位置情報を送り、侵入判定部 21の処理 を終了する。この例では、作業員 90の 3次元位置情報が障害物位置情報として表示 画像生成部 22に送られる。
[0040] 表示画像生成部 22においては、システムの起動後、図 7に示す STEP201〜STE P206の手順で表示装置 50に合成画像を表示させる。
[0041] STEP201 :カメラ 12の撮像画像を格納する。図 5に示すように監視範囲 11内に作 業員 90が侵入していた場合、表示画像生成部 22には図 8に示す画像 80aが格納さ れる。なお、画像 80aの下部に映っているのは、上部旋回体 Idの一部である。
[0042] STEP202：表示画像生成部 22に格納された画像 80a上に監視範囲 11を描画し、 図 9に示す描画後の画像 80bを生成する。これにより、障害物が監視範囲 11内に入 つている力否かの判断を運転者が視覚的に行いやすくなり、運転者の疲労の緩和と 作業能率の低下防止とを図ることができる。
[0043] STEP203：侵入判定部 21から作業員 90の 3次元位置情報を得る。
[0044] STEP204：侵入判定部 21から得られた作業員 90の 3次元位置をカメラ画像の 2 次元平面上の画素位置に変換する。本例においては、図 10に示すように、侵入判 定部 21から得られた作業員 90の 3次元位置情報を、監視範囲 11が描画された画像 80b上での作業員 90の画素位置 (X、 Y)に変換する。なお、本例においては、画像 80cの左上角部の画素を原点位置（0, 0)として!/、る。
[0045] STEP205 :画像 80b上に障害物を強調する画像を付加し、表示画像 80dを生成 する。本例においては、図 11に示すように、 STEP204で得られた作業員 90の画素 位置 (X、 Y)に作業員 90の位置を示すスポット 101を描画すると共に、その近傍に作 業員 90の位置を示す矢印 102を描画して、表示画像 80dを生成している。なお、図 12に示すように、車体 1Bの後方に複数の作業員 90, 95が存在する場合、カメラ画 像 80にはこれら複数の作業員 90, 95が現れるが、このステップでは、図 13に示すよ うに、監視範囲 11内に侵入している作業員 90に関してのみスポット 101及び矢印 10 2を描画する。
[0046] STEP206：カメラ画像 80aに監視範囲 11及び当該監視範囲 11内に侵入して!/、る 障害物 90を強調するマーク 101, 102が描画された画像 80dを生成し、表示装置 50 に出力する。これにより、表示装置 50には図 11の画像 80dが表示される。
[0047] なお、前記実施の形態においては、作業員が障害物となる場合を例にとって説明 したが、他の油圧ショベルや作業現場に存在する構造物、それに作業現場に随時立 ち入る見学者や外来者等についても同様の方法で油圧ショベルとの接触を回避する ことができる。
[0048] 本例の作業機械の周囲監視装置は、運転室 If内に設置された表示装置 50にカメ ラ画像 80aをそのまま表示するのではなぐカメラ画像 80aに所要の監視範囲 11及 び当該監視範囲 11内に侵入している障害物 (作業員） 90を強調するためのマーク 1 01, 102が描画された画像 80dを表示するので、運転者は作業の妨げになる障害物 90の有無を確実に認識することができ、作業機械と障害物 90との接触を防止できる と共に作業効率の低下を防止できる。また、表示装置 50に監視範囲 11の画像を表 示するので、障害物 90が監視範囲 11内に入っている力否かの判断を運転者が視覚 的に行いやすぐこの点力 も作業機械と障害物 90の接触防止と作業効率の向上と を図ることができる。さらに、本例の作業機械の周囲監視装置は、運転室 If内に警報 音発生装置 40を設置し、障害物検出器 10の監視範囲 11内に障害物 90が検出され た場合に警報音を発するようにしたので、運転者による監視範囲 11内に侵入して ヽ る障害物 90の見落としをより確実に防止することができる。
[0049] 以下に、第 1実施形態に係る周囲監視装置の変形例を列記する。
[0050] (1)第 1実施形態では、本発明を油圧ショベルに適用した場合を例にとって説明し たが、本発明の要旨はこれに限定されるものではなぐ公知に属する他の任意の作 業機械にも適用することができる。
[0051] (2)第 1実施形態では、障害物検出器 10とカメラ 12とを上部旋回体 Idの後方に 1 つずつ備えたが、これら障害物検出器 10及びカメラ 12の数量や配置に関しては特 に制限があるものではなぐ複数の障害物検出器 10及びカメラ 12を車体 1Bの複数 箇所に搭載してより広範囲な監視を行うようにしても良い。また、これに対応して、運 転室 If内に複数の表示装置を設けることもできる。
[0052] (3)第 1実施形態では、カメラ画像 80上に障害物を強調する画像として障害物の 存在位置を示すスポット 101と矢印 102とを描画した力 本発明の要旨はこれに限定 されるものではなぐ画像処理によって障害物の色を変えるなどの手段を採ることもで きる。また、障害物の存在位置を示すマークのみならず、障害物 90に関する他の情 報を表示することもできる。例えば、障害物の距離に応じてマークの大きさや色を変 化させたり、障害物が車体に接近する方向に移動しているときにはマークを点滅させ るなどの表示方法を採ることもできる。
[0053] 次に、本発明に係る周囲監視装置の第 2例を図 14乃至図 25に基づいて説明する 。本例の作業機械の周囲監視装置は、油圧ショベルに第 1の自己位置計測手段を 備えると共に作業員に第 2の自己位置計測手段を装備させ、各自己位置計測手段 の計測結果に基づいて 1の油圧ショベルへの作業員及び他の油圧ショベルの接近 を監視することを特徴とする。
[0054] 油圧ショベルには、図 15に示すように、撮像手段である CCDカメラなどのカメラ 12 と、自己位置計測手段である GPS受信機 14と、他の油圧ショベル及び作業員との間 で信号の送受信を行う無線送受信機 15と、警報音発生手段であるブザーゃスピー 力などの警報音発生装置 40と、表示手段である液晶表示装置などの表示装置 50と 、カメラ 12の出力信号及び GPS受信機 14の出力信号並びに無線送受信機 15の受 信信号を取り込んで警報音発生装置 40の駆動信号及び表示装置 50の駆動信号を 出力する監視コントローラ 20Bとが備えられる。監視コントローラ 20Bは、所要の監視 範囲パターンが予め記憶された監視範囲パターン保存メモリ 25と、当該メモリ 25に 記憶された監視範囲パターン及び GPS受信機 14から取り込まれる当該作業機械の 自己位置情報並びに無線送受信機 15から取り込まれる他の作業機械又は作業員 の自己位置情報に基づいて所要の監視範囲内に障害物が侵入した力否かを判定し 、監視範囲内に障害物が侵入したと判定した場合に警報音発生装置 40の駆動信号 とその判定結果に応じた障害物位置情報を出力する侵入判定部 24と、カメラ画像を 格納し、格納されたカメラ画像と侵入判定部 24からの障害物位置情報とを合成して 表示装置 50に表示する画像を生成する表示画像生成部 22とからなる。図 14に示す ように、 GPS受信機 14は上部旋回体 Idの後部上面に備えられ、無線送受信機 15 は運転室 Ifの屋根上に備えられる。
[0055] 一方、作業員 90は、図 18に示すように、自己位置計測手段である GPS受信機 91 と、油圧ショベルとの間で信号の送受信を行う無線送受信機 92とを装備する。無線 送受信機 92には、これを装備する作業員の名前や担当する作業内容等の作業員固 有情報が記録されている。無線送受信機 92は、油圧ショベルに備えられた無線送受 信機 15に、 GPS受信機 91によって取得された作業員位置情報と無線送受信機 92 に記録されている作業員固有情報とを送信する。油圧ショベルに備えられた無線送 受信機 15は、作業員 90が装備する無線送受信機 92からの作業員位置情報と作業 員固有情報とを受信する。
[0056] 監視範囲パターン保存メモリ 25には、必要に応じて任意の監視範囲パターンを予 め記憶しておくことができる。図 16は監視範囲パターン保存メモリ 25に記憶された監 視範囲パターンの一例を示す図であって、車体 1Bを取り囲むように監視範囲 17が 設定されている。侵入判定部 24は、 GPS受信機 14によって取得された油圧ショベル の絶対座標の位置情報と GPS受信機 91によって取得された作業員の絶対座標の 位置情報とから油圧ショベルに対する作業員の存在方位及び油圧ショベル力ゝらの作 業員の存在距離を算出し、図 17及び図 18に示すように、車体 1Bの周囲に設定され た監視範囲 17内に作業員が存在するとき、監視範囲 17内に障害物が侵入したと判 定する。カメラ 12は、監視範囲 17内の画像を撮像する。
[0057] 以下、監視コントローラ 20Bにて行われる処理の手順を、図 19及び図 20に基づい て説明する。図 19は侵入判定部 24にて行われる処理の手順を示すフロー図であり、 図 20は表示画像生成部 22にて行われる処理の手順を示すフロー図である。これら の各処理は、作業機械の動作中に所定の周期で行われる。
[0058] 侵入判定部 24においては、システムの起動後、図 19に示す STEP301〜STEP3 05の手順で作業員位置情報及び作業員固有情報を表示画像生成部 22に送る。
[0059] STEP301 :無線送受信機 15により、作業員 90の装備する無線送受信機 92から 作業員位置情報及び作業員固有情報を得る。
[0060] STEP302 :監視範囲パターン保存メモリ 25から監視範囲パターンを読み出す。
[0061] STEP303 :作業員位置情報と監視範囲パターンとを照合し、作業員 90が監視範 囲 11内に侵入して 、るか否かを判定する。この STEP303にて作業員 90が監視範 囲 11内に侵入して 、な 、と判定された場合には、処理を終了する。
[0062] STEP304 : STEP303において作業員 90が監視範囲 11内に侵入していると判 定された場合には、警報音発生装置 40に駆動信号を出力し、警報音を発生する。
[0063] STEP305 :作業員位置情報及び作業員固有情報を表示画像生成部 22に送り、 作業員侵入判定部の処理を終了する。
[0064] 表示画像生成部 22においては、システムの起動後、図 20に示す STEP401〜ST EP407の手順で表示装置 50に合成画像を表示させる。
[0065] STEP401 :カメラ 12の撮像画像を格納する。図 17及び図 18に示すように監視範 囲 11内に作業員 90が侵入していた場合、表示画像生成部 22には図 21に示す画像 100aが格納される。なお、画像 100aの下部に映っているのは、上部旋回体 Idの一 部である。
[0066] STEP402：表示画像生成部 22に格納された画像 100a上に監視範囲 11を描画し 、図 22に示す描画後の画像 100bを生成する。これにより、障害物が監視範囲 11内 に入っている力否かの判断を運転者が視覚的に行いやすくなり、運転者の疲労の緩 和と作業能率の低下防止とを図ることができる。
[0067] STEP403 :侵入判定部 24から作業員位置情報及び作業員固有情報を得る。
[0068] STEP404：侵入判定部 24から得られた作業員位置情報をカメラ画像の 2次元平 面上の画素位置に変換する。この変換は、 STEP204及び図 10にて説明したと同じ 方式で行われる。
[0069] STEP405 :画像 100b上に障害物を強調する画像を付カ卩し、表示画像 100cを生 成する。本例においては、図 23に示すように、 STEP404で得られた作業員 90の画 素位置に作業員 90の位置を示すスポット 101を描画すると共に、その近傍に作業員 90の位置を示す矢印 102を描画して、表示画像 100cを生成して!/、る。
[0070] STEP406：カメラ画像 100cに侵入判定部 24から得られた作業員固有情報を描画 する。本例においては、図 24に示すように、作業員 90の近傍に作業員固有情報とし て作業員の名前と担当する作業内容が描画される。
[0071] STEP407 :カメラ画像 100cに監視範囲 11、当該監視範囲 11内に侵入している 障害物 90を強調するマーク 101, 102及び作業員固有情報が描画された画像 100 dを生成し、表示装置 50に出力する。これにより、表示装置 50には図 24の画像 100 dが表示される。このように、表示装置 50に作業員固有情報を含む画像 lOOdを表示 すると、作業員固有情報に表された作業員の名前と担当する作業内容が当該油圧 ショベルの周囲で作業すべき作業員と一致する場合には、運転者と作業員とは互い に作業の内容を理解しているので、作業員が油圧ショベルに接近しても危険度が低 いと判断でき、反対に、一致しない場合には、危険度が高いと判断できる。したがつ て、運転者は油圧ショベルの稼働をより適切に行うことができ、作業員の接触防止と 作業効率の低下をより確実に防止できる。
[0072] なお、前記第 2実施形態においては、作業員が障害物となる場合を例にとって説明 した力 他の油圧ショベルや構造物についても同様の方法で油圧ショベルとの接触 を回避することができる。また、前記第 2実施形態においては、作業機械として油圧 ショベルを例示した力 他の作業機械についても同様に実施できることは勿論である
[0073] 本例の作業機械の周囲監視装置は、作業機械に備えられた障害物位置計測手段 にて障害物の位置を計測するのではなぐ作業機械及び作業員の双方に自己位置 計測手段である GPS受信機 14, 91及び無線送受信機 15, 92を装備し、 1の作業機 械に備えられた自己位置計測手段にて計測された当該 1の作業機械の自己位置と 他の作業機械及び作業員より送信された他の作業機械の自己位置及び作業員の自 己位置に基づいて 1の作業機械における侵入判定を行うので、 1の作業機械に備え られた障害物位置計測手段にて他の作業機械及び作業員の位置を計測する場合 に比べて位置計測の死角が生じにくぐ他の作業機械及び作業員の位置情報を確 実に得ることができる。よって、他の作業機械及び作業員の位置計測をより確実に行 うことができ、周囲監視システムの信頼性を高めることができる。
[0074] なお、前記第 2実施形態においては、 GPS受信機 91と無線送受信機 92とを装備さ せた作業員が監視範囲 11内に侵入した場合を例にとって説明したが、作業現場の 見学者や外来者などの関係者に GPS受信機 91と無線送受信機 92とを装備させるこ とにより、これら関係者についても監視範囲 11内への侵入防止を図ることができる。 この場合には、固有情報として名前や担当する作業内容ではなぐ例えば「外来者 ！注意」などの情報を記録させておくことで、運転者に強い注意力を喚起させること ができる。
[0075] 以下に、第 2実施形態に係る周囲監視装置の変形例を列記する。
[0076] (1)第 2実施形態では、作業員 90が装備した GPS受信機 91により得られた作業員 90の位置情報を作業機械が無線により受信して監視範囲 11内への侵入を判定する 例を示したが、本発明の要旨はこれに限定されるものではなぐ監視範囲内に侵入し た作業員が特定できる方法であれば、超音波或いはマイクロ波トランスボンダによる 距離測定手段や無線 LANを用いた位置検出、或いは画像処理などの他の手段を 用いることちでさる。
[0077] (2)作業員固有情報に応じてマークの表示方法を変化させても良い。例えば、作 業機械の作業に無関係な作業員や外来者の場合には、マークをより大きくしたり、点 灯させることで更に運転者の注意を喚起するという方法も考えられる。
[0078] (3)第 2実施形態では、カメラ画像に予め記憶してぉ 、た監視範囲パターンを描画 したが、運転者の操作や作業内容に応じて走行予定軌跡や旋回予定軌跡、フロント 作業機の移動予定軌跡などを監視範囲として描画することもできる。例えば、後進走 行中には、図 25に示すように、監視範囲として走行予定軌跡 111を描画することが でき、運転者に作業員 90との接触危険性をより的確にかつ効果的に伝えることがで きる。
[0079] (4)カメラ画像を表示画像生成部 22にて作業機械の上方を視点とした俯瞰画像に 変換し、俯瞰画像上に作業員位置を示すマークと作業員固有情報を描画して表示 装置に出力することもできる。このようにすると、作業機械の周囲の状況を 3次元的に 把握することができるので、作業機械の稼働をより適切化することができる。
[0080] (5)外部に監視カメラと監視局とをおき、作業機械及び作業員がそれぞれ GPS受 信機で計測した位置情報を監視局にて受信し、侵入判定処理を行い、侵入があった 場合には、監視カメラ画像に作業員位置情報及び作業員固有情報を重ねて描画し た画像を作業機械に通信により送信し、運転室 If内の表示装置に表示するようにし ても良い。
[0081] 次に、本発明に係る周囲監視装置の第 3例を図 26乃至図 32に基づいて説明する 。本例の作業機械の周囲監視装置は、表示手段にカメラ画像及び監視範囲内に侵 入したと判定された障害物を強調する画像を表示するだけでなぐ作業機械の平面 画像と当該作業機械の周囲に設定された監視範囲の平面画像と監視範囲内に侵入 した障害物の位置を示す画像との合成画像を表示することを特徴とする。
[0082] 本例の作業機械の周囲監視装置は、図 26に示すように、障害物検出手段として 2 台の障害物検出器 10a, 10bを備えたこと、撮像手段として 2台のカメラ 12a, 12bを 備えたこと、及び監視コントローラ 20C内に所要の合成画像が予め記憶された参照 画像保存メモリ 26を備えたことを除き、図 3に示した第 1実施形態に係る周囲監視装 置と同等に構成される。参照画像保存メモリ 26には、周囲監視装置が搭載される作 業機械の平面図及び当該作業機械の周囲に設定された監視範囲の平面図が記憶 される。なお、監視範囲内に警報音発生装置 40を駆動するための警報範囲が設定 される場合には、当該警報範囲の平面図を併せて記憶することができる。
[0083] 図 27及び図 28に示すように、第 1の障害物検出器 10aは上部旋回体 Idの運転室 Ifから遠 、方の側面中央部に設定され、第 1のカメラ 12aはその上方部分に設定さ れる。また、第 2の障害物検出器 10bは上部旋回体 Idの後面中央部に設定され、第 2のカメラ 12bはその上方部分に設定される。侵入判定部 21は、図 28に示すように、 障害物検出器 10a, 10bの設定位置を中心として半径 D2以内の領域 11a, l ibを監 視範囲と判定し、その内周の半径 D1以内の領域 11c, l idを警報範囲と判定するよ うに設定される。これに伴い前記参照画像保存メモリ 26には、障害物検出器 10a, 1 Obの設定位置を中心として半径 D2の円が監視範囲 11a, l ibとして記憶される。ま た、障害物検出器 10a, 10bの設定位置を中心として半径 D1の円が警報範囲 11c, l idとして記憶される。そして、前記監視範囲 11a, l ib内に障害物が侵入した場合 には、表示装置 50に表示される障害物の画像にそれを強調する画像を付加し、警 報範囲 11c, l id内に障害物が侵入した場合には、警報音発生装置 40から警報音 を発生させる。
[0084] 表示装置 50の表示画面は、図 29乃至図 32に示すように、周囲監視モニタ画像表 示画面 61と、側方カメラ画像表示画面 62と、後方カメラ画像表示画面 63とに分割さ れており、表示画像生成部 22は、周囲監視モニタ画像表示画面 61に表示される周 囲監視モニタ画像と、側方カメラ画像表示画面 62に表示される側方カメラ画像と、後 方カメラ画像表示画面 63に表示される後方カメラ画像を生成して、表示装置 50に表 示する。
[0085] 図 29は、油圧ショベルの周囲に障害物が存在しない場合における表示装置 50の 表示画像であり、周囲監視モニタ画像表示画面 61には周囲監視モニタ画像として、 周囲監視装置が搭載される油圧ショベルの平面画像 71と、当該油圧ショベルの周囲 に設定された監視範囲 11a, l ibの平面画像 72a, 72bと、当該監視範囲 11a, l ib 内に設定された警報範囲 11c, l idの平面画像 72c、 72dとからなる合成画像が表 示装置 50に表示される。また、側方カメラ画像表示画面 62及び後方カメラ画像表示 画面 63には、側方カメラ画像及び後方カメラ画像に代えて「障害物なし」のメッセ一 ジが表示される。
[0086] 図 30は、第 1の障害物検出器 10aの監視範囲 11a内に障害物が侵入した場合にお ける表示装置 50の表示画像であり、周囲監視モニタ画像表示画面 61には周囲監視 モニタ画像として、油圧ショベルの平面画像 71と、当該油圧ショベルの周囲に設定さ れた監視範囲 11a, l ibの平面画像 72a, 72bと、当該監視範囲 11a, l ib内に設定 された警報範囲 11c, l idの平面画像 72c、 72dと、障害物の位置を示す画像 73, 7 4とからなる合成画像が表示装置 50に表示される。なお、第 1の障害物検出器 10aか ら見て障害物の後方部分は、障害物の陰になって他の障害物を検出できない領域と なるので、その部分にマスク画像 76が付される。また、側方カメラ画像表示画面 62に は、侵入判定部 21により監視範囲内に入ったと判定された障害物 (作業員） 90の画 像とその後方に存在するフェンス 93の画像が表示される。さらに、後方カメラ画像表 示画面 63には、後方カメラ画像に代えて「障害物なし」のメッセージが表示される。
[0087] 図 31は、第 1の障害物検出器 10aの監視範囲内 11a及び第 2の障害物検出器 10b の監視範囲 l ib内の双方に障害物が侵入した場合における表示装置 50の表示画 像であり、周囲監視モニタ画像表示画面 61には周囲監視モニタ画像として、油圧シ ョベルの平面画像 71と、当該油圧ショベルの周囲に設定された監視範囲 11a, l ib の平面画像 72a, 72bと、当該監視範囲 11a, l ib内に設定された警報範囲 11c, 1 Idの平面画像 72c、 72dと、障害物の位置を示す画像 73, 74, 75と力もなる合成画 像が表示装置 50に表示される。また、障害物検出器 10a, 10bから見て障害物の後 方部分には、障害物の陰になって他の障害物を検出できないことを示すマスク画像 7 6が付される。また、側方カメラ画像表示画面 62には、侵入判定部 21により監視範囲 内に入ったと判定された障害物 (作業員） 90の画像とその後方に存在するフェンス 9 3の画像が表示され、後方カメラ画像表示画面 63には、侵入判定部 21により監視範 囲内に入ったと判定された障害物 (作業員） 92の画像とその後方に存在するフェンス 93及び他の作業員 94の画像が表示される。
[0088] なお、図 31から明らかなように、本例においては、第 2のカメラ 12bによって撮像され たカメラ画像をそのまま後方カメラ画像表示画面 63に表示するのではなぐ左右反 転したカメラ画像が後方カメラ画像表示画面 63に表示されている。これにより、運転 者はバックミラーで作業機械の後方を監視した場合と同様の感覚で後方カメラ画像 表示画面 63を見ることができ、運転者の違和感を小さくすることができる。
[0089] 図 32は、第 1の障害物検出器 10aの監視範囲 11a内に障害物が侵入すると共に、 第 2の障害物検出器 10bの警報範囲 l id内に障害物が侵入した場合における表示 装置 50の表示画像であり、後方カメラ画像表示画面 63に映し出された作業員 92の 表示位置に、これを強調するためのマークとして、矩形枠形のマーク 95が重ねて描 画されている。また、運転者の注意をより強く喚起するため、後方カメラ画像表示画面 63自体が枠形のマーク 96で囲まれている。その他については、図 31に示した表示 画面の表示内容とほぼ同じである。なお、本例においては、警報範囲 l id内に障害 物が侵入した場合にのみ画面中にマーク 95, 96を描画した力 監視範囲 11a, l ib 内に障害物が侵入した場合にこれらのマーク 95, 96を描画することもできる。さらに は、監視範囲 11a, l ib内に障害物が侵入した場合と警報範囲 11c, l id内に障害 物が侵入した場合とでマーク 95, 96の表示形態を変更し、運転者の判断をより容易 なちの〖こすることちでさる。
[0090] このように、本例の作業機械の周囲監視装置は、表示装置 50の表示画面に、油圧 ショベルの平面画像 71と、当該油圧ショベルの周囲に設定された監視範囲 11a, 11 bの平面画像 72a, 72bと、当該監視範囲 11a, l ib内に設定された警報範囲 11c, l idの平面画像 72c、 72dと、障害物の位置を示す画像 73, 74, 75と力もなる合成 画像を表示するので、運転者はこの合成画像を見ることにより作業機械に対する障 害物の存在位置を一瞥で知ることができる。また、運転者は、表示装置 50の側方カメ ラ画像表示画面 62及び後方カメラ画像表示画面 63に表示された各カメラ画像を見 ることにより、監視範囲 11a, l ib又は警報範囲 11c, l idに侵入したと判定された障 害物が物であるか人であるか等の詳しい情報を知得できる。よって、障害物の適切な 回避操作をより的確に行うことができる。
[0091] 以下に、上記した第 3実施形態の変形例を列記する。
[0092] (1)第 3実施形態では、侵入判定部 21が監視範囲 11a, l ib内に障害物が侵入し たと判定した場合のみ表示装置 50の側方カメラ画像表示画面 62及び後方カメラ画 像表示画面 63に該当するカメラ画像を表示するようにしたが、例えば小規模な道路 工事現場のように、作業機械の周囲で常に作業員が作業している場合には、侵入判 定部 21の判定結果に関わりなく常に表示画面 50にカメラ画像を表示するようにする こともできる。このようにすると、表示装置 50の表示画面が表示状態から非表示状態 に又は非表示状態力 表示状態に頻繁に切り替わらないので、運転者によけいなス トレスを与えることがなく、作業能率を改善することができる。
[0093] (2)第 3実施形態では、表示装置 50の表示画面を左半部と右上部と右下部とに分 割し、それぞれ周囲監視モニタ画像表示画面 61、側方カメラ画像表示画面 62及び 後方カメラ画像表示画面 63としたが、表示装置 50の分割形式に関してはこれに限 定されるものではなぐ任意のパターンで分割することができる。例えば、表示装置 5 0の表示画面を左上部と右上部と下部とに 3分割し、それぞれ周囲監視モニタ画像 表示画面 61、側方カメラ画像表示画面 62及び後方カメラ画像表示画面 63とすれば 、各表示画面と監視範囲との対応をより運転者に分かりやすいものにすることができ る。
[0094] (3)第 3実施形態では、カメラの撮像方位に関係なく表示装置 50の側方カメラ画像 表示画面 62及び後方カメラ画像表示画面 63に該当するカメラ画像をそのまま表示 したが、図 33に示すように、側方カメラ画像表示画面 62には第 1のカメラ 12aにて撮 像されたカメラ画像を 90度右方向に回転させた回転画像を表示し、後方カメラ画像 表示画面 63には第 2のカメラ 12bにて撮像されたカメラ画像を 180度回転させた回 転画像を表示することもできる。このように、カメラ画像を撮像方位に応じた回転画像 に変換して表示手段に表示すると、運転者に各カメラの監視方位に応じた画像を提 示できるので、障害物の存在方位を誤認しにくぐ障害物に対する適切な回避操作 を確実に行うことができる。
[0095] (4)第 3実施形態では、カメラ画像中に映し出された障害物の画像を何ら加工するこ となく側方カメラ画像表示画面 62及び後方カメラ画像表示画面 63に表示したが、図 34に示すように、カメラ 12a, 12bにより撮像された障害物の画像をカメラ 12a, 12b 力も見た地面への投影画像 97に変換して表示手段 50に表示することもできる。この ように、通常のカメラ画像に代えて投影画像 97を表示手段 50に表示すると、通常の カメラ画像では俯瞰画像となるために表示画面上に明瞭に表示することが難しい障 害物の下部、例えば作業員の足の位置等を明瞭に表示画面 50上に表示できるので 、運転者に障害物の位置を確実に提示することができ、障害物に対する回避操作を 適切かつ確実に行うことができる。
[0096] (5)第 3実施形態では、表示装置 50の表示画面を複数に分割し、周囲監視モニタ画 像表示画面 61として割り当てられた部分に監視範囲 11a, l ib内又は警報範囲 11c , l id内に侵入した障害物の位置を示す画像 73, 74, 75を描画した力 図 35に示 すように、障害物の位置を示す画像 73, 74, 75に代えて、カメラ 12a, 12bから見た 障害物の地面への投影画像 97及び当該障害物の位置を強調するマーク 98を表示 装置 50に表示することもできる。このように、周囲監視モニタ画像表示画面 61に障害 物の投影画像 97及び当該障害物の位置を強調する画像 98を表示すると、周囲監 視モニタ画像表示画面 61を見るだけで油圧ショベルの周囲に存在する障害物の状 態を把握することができるので、複数の画面を見て周囲の状況を把握する場合に比 ベて状況を把握しやすい。また、障害物の位置を強調する画像 98が併せて表示さ れているので、監視範囲 11a, l ib内又は警報範囲 11c, l id内に侵入した障害物 を確実に認識することができる。よって、運転者は容易かつ確実に障害物の位置を 認識することができ、障害物に対する適切な回避操作を確実に行うことができる。
[0097] なお、本発明の要旨は、上述の実施形態及び変形例に限定されるものではなぐこ れら各実施形態及び各変形例に記載された技術を適宜組み合わせて、異なる実施 形態の作業機械用の周囲監視装置とすることもできる。
図面の簡単な説明
[0098] [図 1]第 1実施形態に係る周囲監視装置が搭載された油圧ショベルの斜視図である。
[図 2]第 1実施形態に係る障害物検出器の監視範囲を示す油圧ショベルの上面図で ある。
[図 3]第 1実施形態に係る周囲監視装置の制御システム構成を示すブロック図である
[図 4]第 1実施形態に係る障害物検出器の監視範囲とカメラの撮像範囲とを示す説 明図である。
[図 5]第 1実施形態に係る障害物検出器の監視範囲と障害物検出位置とを示す説明 図である。
圆 6]第 1実施形態に係る障害物判定部の処理フローを示す図である。
圆 7]第 1実施形態に係る表示画像生成部の処理フローを示す図である。
[図 8]カメラ画像の一例を示す図である。
圆 9]監視範囲が付加されたカメラ画像の一例を示す図である。
圆 10]障害物検出情報の変換方式を示す説明図である。
[図 11]表示装置に表示される画像の一例を示す図である。
圆 12]作業機械の周囲に複数の障害物が存在する状態を示す説明図である。 圆 13]作業機械の周囲に複数の障害物が存在する場合の表示装置に表示される画 像の一例を示す図である。
圆 14]第 2実施形態に係る周囲監視装置が搭載された油圧ショベルの斜視図である 圆 15]第 2実施形態に係る周囲監視装置の制御システム構成を示すブロック図であ る。
[図 16]第 2実施形態に係る周囲監視装置の監視パターンを示す図である。
圆 17]第 2実施形態に係る障害物検出器の監視範囲と障害物検出位置とを示す説 明図である。
圆 18]第 2実施形態に係る障害物検出器の監視範囲とカメラの撮像範囲とを示す説 明図である。
圆 19]第 2実施形態に係る作業員侵入判定部の処理フローを示す図である。
圆 20]第 2実施形態に係る表示画像生成部の処理フローを示す図である。
圆 21]第 2実施形態に係るカメラ画像の一例を示す図である。
圆 22]監視範囲が付加されたカメラ画像の一例を示す図である。
圆 23]作業員固有情報が付加された画像の一例を示す図である。
[図 24]表示装置に表示される画像の一例を示す図である。
圆 25]走行予定軌跡が付加された画像の一例を示す図である。
[図 26]第 3実施形態に係る周囲監視装置の制御システム構成を示すブロック図であ る。 圆 27]第 3実施形態に係る周囲監視装置が搭載された油圧ショベルの斜視図である 圆 28]作業機械の平面図とその周囲に設定された監視範囲及び警報範囲の説明図 である。
圆 29]監視範囲内に障害物が存在しないときの表示画面の状態を示す図である。 圆 30]側方カメラで捉えられた障害物が存在するときの表示画面の状態を示す図で ある。
圆 31]側方カメラ及び後方カメラで捉えられた障害物が存在するときの表示画面の状 態を示す図である。
圆 32]障害物の画像に強調するマークを付したときの状態を示す図である。
[図 33]表示画面に回転画像を表示した変形例を示す図である。
圆 34]表示画面に投影画像を表示した変形例を示す図である。
[図 35]周囲監視モニタ画面に障害物画像及び強調マークを表示した変形例を示す 図である。
符号の説明
10, 10a, 10b 障害物検出器
11, 11a, l ib 監視範囲
12, 12a, 12b カメラ
21 侵入判定部
22 表示画像生成部
50 表示装置
71 油圧ショベルの平面画像
72a, 72b 監視範囲の平面画像
72c, 72d 警報範囲の平面画像
73, 74, 75 障害物の位置を示す画像
101 障害物位置を示すスポット
102 障害物位置を示す矢印
103 侵入者に関連付けられた情報

Claims

請求の範囲
[1] 作業機械の周囲を撮像する撮像手段と、
前記作業機械の周囲に存在する障害物を検出しその位置を計測する障害物位置 計測手段と、
前記障害物位置計測手段により検出された障害物が予め設定された監視範囲内 に侵入した力否かを判定する侵入判定手段と、
前記撮像手段により撮像された画像を表示する表示手段
とを備えた作業機械の周囲監視装置において、
前記障害物位置計測手段により検出された障害物が前記侵入判定手段により前 記監視範囲内に侵入したと判定されたとき、前記撮像手段により撮像された画像中 に前記監視範囲内に侵入したと判定された障害物を強調する画像が付加された表 示画像を生成して前記表示手段に表示する表示画像生成手段を備えたことを特徴と する作業機械の周囲監視装置。
[2] 請求の範囲 1に記載の作業機械の周囲監視装置において、
前記表示画像生成手段は、前記障害物を強調する画像として、前記撮像手段によ り撮像された画像中に前記障害物の位置を示すマークを重ねて描画することを特徴 とする作業機械の周囲監視装置。
[3] 請求の範囲 1に記載の作業機械の周囲監視装置において、
前記表示画像生成手段は、前記障害物を強調する画像として、前記撮像手段によ り撮像された画像中に前記障害物の位置を示すマークと前記障害物に関連付けて 用意された情報とを重ねて描画することを特徴とする作業機械の周囲監視装置。
[4] 請求の範囲 1に記載の作業機械の周囲監視装置において、
前記表示画像生成手段は、前記撮像手段により撮像された画像中に前記監視範 囲を示す画像を付加することを特徴とする作業機械の周囲監視装置。
[5] 請求の範囲 1に記載の作業機械の周囲監視装置において、
前記表示画像生成手段は、前記撮像手段により撮像された画像を撮像方位に応じ た回転画像に変換し、前記表示手段に表示することを特徴とする作業機械の周囲監 視装置。
[6] 請求の範囲 1に記載の作業機械の周囲監視装置において、
前記表示画像生成手段は、前記撮像手段により撮像された障害物の画像を前記 撮像手段の設定位置から見た地面への投影画像に変換し、前記表示手段に表示す ることを特徴とする作業機械の周囲監視装置。
[7] 請求の範囲 1に記載の作業機械の周囲監視装置において、
前記表示画像生成手段は、前記撮像手段により撮像された画像及び前記監視範 囲内に侵入したと判定された障害物を強調する画像のほかに、前記作業機械の平 面画像と当該作業機械の周囲に設定された前記監視範囲の平面画像と前記監視範 囲内に侵入したと判定された障害物の位置を示す画像との合成画像を併せて生成 し、これらの各画像を前記表示手段に表示することを特徴とする作業機械の周囲監 視装置。
[8] 請求の範囲 7に記載の作業機械の周囲監視装置において、
前記表示画像生成手段は、前記合成画像中に、前記監視範囲内に侵入したと判 定された障害物を強調する画像を付加して前記表示手段に表示することを特徴とす る作業機械の周囲監視装置。
[9] 請求の範囲 1に記載の作業機械の周囲監視装置において、
前記障害物位置計測手段は、前記作業機械に備えられる第 1の自己位置計測手 段と、障害物になり得る他の作業機械や作業員に備えられる第 2の自己位置計測手 段と、前記作業機械に備えられ、前記第 2の自己位置計測手段により計測された他 の作業機械や作業員の自己位置を受信する通信手段とからなり、
前記侵入判定手段は、前記第 1の自己位置計測手段により計測された前記作業機 械の自己位置と、前記通信手段により得られた前記他の作業機械や作業員の自己 位置とにより、前記他の作業機械や作業員が前記監視範囲内に侵入した力否かを 判定することを特徴とする作業機械の周囲監視装置。
[10] 請求の範囲 1に記載の作業機械の周囲監視装置において、
前記障害物位置計測手段は、前記作業機械に備えられる第 1の信号授受手段と、 障害物になり得る他の作業機械や作業員に備えられる第 2の信号授受手段と、前記 作業機械に備えられ、前記第 1及び第 2の信号授受手段間の相対位置を計測する 相対位置計測手段とからなり、
前記侵入判定手段は、前記相対位置計測手段により計測された前記相対位置より 、前記他の作業機械や作業員が前記監視範囲内に侵入した力否力を判定すること を特徴とする作業機械の周囲監視装置。
PCT/JP2006/306325 2005-03-31 2006-03-28 作業機械の周囲監視装置 WO2006106685A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005103235A JP2008179940A (ja) 2005-03-31 2005-03-31 作業機械の周囲監視装置
JP2005-103235 2005-03-31

Publications (1)

Publication Number Publication Date
WO2006106685A1 true WO2006106685A1 (ja) 2006-10-12

Family

ID=37073251

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/306325 WO2006106685A1 (ja) 2005-03-31 2006-03-28 作業機械の周囲監視装置

Country Status (2)

Country Link
JP (1) JP2008179940A (ja)
WO (1) WO2006106685A1 (ja)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008163719A (ja) * 2007-01-05 2008-07-17 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2008312004A (ja) * 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
JP2009113561A (ja) * 2007-11-02 2009-05-28 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd 建設機械用モニター装置
JP2009121053A (ja) * 2007-11-12 2009-06-04 Clarion Co Ltd 建設・土木作業車両の作業安全監視システム
EP2233647A1 (en) * 2007-12-10 2010-09-29 Hitachi Construction Machinery Co., Ltd Construction machine
WO2011043006A1 (ja) * 2009-10-07 2011-04-14 パナソニック株式会社 制御装置および車両周囲監視装置
WO2011158955A1 (ja) * 2010-06-18 2011-12-22 日立建機株式会社 作業機械の周囲監視装置
WO2012043522A1 (ja) 2010-09-29 2012-04-05 日立建機株式会社 作業機械の周囲監視装置
WO2012157438A1 (ja) * 2011-05-13 2012-11-22 日立建機株式会社 油圧ショベルの後方視野表示装置
WO2012164712A1 (ja) 2011-06-02 2012-12-06 日立建機株式会社 作業機械の周囲監視装置
WO2012169362A1 (ja) * 2011-06-07 2012-12-13 株式会社小松製作所 作業車両の周辺監視装置
EP2560385A1 (en) * 2010-04-12 2013-02-20 Sumitomo Heavy Industries, LTD. Image generation device and operation support system
WO2014045466A1 (ja) * 2012-09-20 2014-03-27 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
GB2522616A (en) * 2014-01-22 2015-08-05 Cementation Skanska Ltd Mechanical plant safety system
CN107407074A (zh) * 2015-07-15 2017-11-28 株式会社小松制作所 显示系统及工程机械
US9836938B2 (en) 2013-03-19 2017-12-05 Sumitomo Heavy Industries, Ltd. Shovel having audio output device installed in cab
CN109154154A (zh) * 2016-07-05 2019-01-04 住友建机株式会社 挖土机
JPWO2020196874A1 (ja) * 2019-03-27 2020-10-01
WO2020218454A1 (ja) * 2019-04-26 2020-10-29 住友建機株式会社 表示装置、ショベル、情報処理装置
JP2020188474A (ja) * 2019-01-28 2020-11-19 住友重機械工業株式会社 ショベル
CN112669555A (zh) * 2020-12-11 2021-04-16 北京京能能源技术研究有限责任公司 智能安全预警方法及系统
WO2023045234A1 (zh) * 2021-09-27 2023-03-30 徐州徐工挖掘机械有限公司 挖掘机电子围墙的建立方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010112100A (ja) * 2008-11-07 2010-05-20 Hitachi Constr Mach Co Ltd 作業機械の監視装置
JP5227841B2 (ja) * 2009-02-27 2013-07-03 日立建機株式会社 周囲監視装置
JP5941663B2 (ja) * 2011-11-30 2016-06-29 住友建機株式会社 建設機械用モニタシステム
CN103491339B (zh) * 2012-06-11 2017-11-03 华为技术有限公司 视频获取方法、设备及系统
JP6045865B2 (ja) * 2012-09-20 2016-12-14 住友建機株式会社 ショベル
JP6091821B2 (ja) * 2012-09-20 2017-03-08 住友建機株式会社 ショベル
JP6214976B2 (ja) * 2013-09-11 2017-10-18 住友建機株式会社 建設機械
JP6267972B2 (ja) * 2014-01-23 2018-01-24 日立建機株式会社 作業機械の周囲監視装置
JP6401141B2 (ja) * 2015-10-15 2018-10-03 日立建機株式会社 車両周囲障害物検出装置
JP6515021B2 (ja) * 2015-11-30 2019-05-15 住友重機械工業株式会社 作業機械用周辺監視システム
JP6515020B2 (ja) * 2015-11-30 2019-05-15 住友重機械工業株式会社 作業機械用周辺監視システム
JP6419677B2 (ja) * 2015-11-30 2018-11-07 住友重機械工業株式会社 作業機械用周辺監視システム
WO2017094626A1 (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP6662622B2 (ja) * 2015-11-30 2020-03-11 住友重機械工業株式会社 作業機械用周辺監視システム及び作業機械用周辺監視システムを備えた建設機械
JP6689763B2 (ja) * 2017-02-06 2020-04-28 住友建機株式会社 ショベル
JP6378801B2 (ja) * 2017-05-08 2018-08-22 住友建機株式会社 ショベル
JP6541734B2 (ja) * 2017-09-06 2019-07-10 住友建機株式会社 ショベル
JP6873889B2 (ja) * 2017-11-14 2021-05-19 住友重機械工業株式会社 ショベル及びショベルの周囲画像生成装置
JPWO2019112059A1 (ja) * 2017-12-07 2020-11-26 住友建機株式会社 ショベル
JP6949767B2 (ja) * 2018-03-22 2021-10-13 日立建機株式会社 作業員管理システム
JP7009327B2 (ja) * 2018-07-10 2022-01-25 住友建機株式会社 ショベル
JP7265323B2 (ja) * 2018-07-31 2023-04-26 株式会社小松製作所 作業機械を制御するためのシステム及び方法
JP2019004484A (ja) * 2018-08-07 2019-01-10 住友建機株式会社 ショベル
JP7058582B2 (ja) * 2018-09-27 2022-04-22 日立建機株式会社 作業機械
JP7130547B2 (ja) * 2018-12-26 2022-09-05 住友建機株式会社 ショベル及びショベル用周辺監視装置
US20220213669A1 (en) * 2019-07-18 2022-07-07 Komatsu Ltd. Display system for work vehicle and display method for work vehicle
JP7178334B2 (ja) * 2019-08-19 2022-11-25 住友建機株式会社 ショベル及びショベルの表示装置
JP2020002773A (ja) * 2019-09-11 2020-01-09 住友重機械工業株式会社 ショベル及びショベルの周囲画像生成装置
JP7255454B2 (ja) * 2019-11-07 2023-04-11 コベルコ建機株式会社 作業機械の周囲監視装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305999A (ja) * 1995-05-11 1996-11-22 Hitachi Ltd 車載用カメラシステム
JPH09125466A (ja) * 1995-11-07 1997-05-13 Yutani Heavy Ind Ltd 作業機械の警報装置
JPH1072851A (ja) * 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JPH11149108A (ja) * 1997-11-14 1999-06-02 Nissan Motor Co Ltd 車両用カメラ
JP2001055100A (ja) * 1999-08-18 2001-02-27 Matsushita Electric Ind Co Ltd 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2002327470A (ja) * 2001-05-02 2002-11-15 Komatsu Ltd 作業機械の表示装置
JP2002339407A (ja) * 2001-05-16 2002-11-27 Komatsu Ltd 土木作業システム
JP2003105807A (ja) * 2001-09-27 2003-04-09 Komatsu Ltd 作業車両の侵入禁止領域での停止制御方法及びその制御装置
JP2005006152A (ja) * 2003-06-13 2005-01-06 Auto Network Gijutsu Kenkyusho:Kk 接近報知システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305999A (ja) * 1995-05-11 1996-11-22 Hitachi Ltd 車載用カメラシステム
JPH09125466A (ja) * 1995-11-07 1997-05-13 Yutani Heavy Ind Ltd 作業機械の警報装置
JPH1072851A (ja) * 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JPH11149108A (ja) * 1997-11-14 1999-06-02 Nissan Motor Co Ltd 車両用カメラ
JP2001055100A (ja) * 1999-08-18 2001-02-27 Matsushita Electric Ind Co Ltd 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2002327470A (ja) * 2001-05-02 2002-11-15 Komatsu Ltd 作業機械の表示装置
JP2002339407A (ja) * 2001-05-16 2002-11-27 Komatsu Ltd 土木作業システム
JP2003105807A (ja) * 2001-09-27 2003-04-09 Komatsu Ltd 作業車両の侵入禁止領域での停止制御方法及びその制御装置
JP2005006152A (ja) * 2003-06-13 2005-01-06 Auto Network Gijutsu Kenkyusho:Kk 接近報知システム

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008163719A (ja) * 2007-01-05 2008-07-17 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2008312004A (ja) * 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
JP2009113561A (ja) * 2007-11-02 2009-05-28 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd 建設機械用モニター装置
JP2009121053A (ja) * 2007-11-12 2009-06-04 Clarion Co Ltd 建設・土木作業車両の作業安全監視システム
EP2233647A1 (en) * 2007-12-10 2010-09-29 Hitachi Construction Machinery Co., Ltd Construction machine
EP2233647A4 (en) * 2007-12-10 2013-03-20 Hitachi Construction Machinery CONSTRUCTION MACHINE
JP5143235B2 (ja) * 2009-10-07 2013-02-13 パナソニック株式会社 制御装置および車両周囲監視装置
WO2011043006A1 (ja) * 2009-10-07 2011-04-14 パナソニック株式会社 制御装置および車両周囲監視装置
EP3410703A1 (en) * 2010-04-12 2018-12-05 Sumitomo Heavy Industries, Ltd. Image generation device and operation support system
US9881412B2 (en) 2010-04-12 2018-01-30 Sumitomo Heavy Industries, Ltd. Image generation device and operation support system
EP2560385A4 (en) * 2010-04-12 2013-07-17 Sumitomo Heavy Industries PICTURE GENERATING DEVICE AND OPERATIONAL SUPPORT SYSTEM
EP2560385A1 (en) * 2010-04-12 2013-02-20 Sumitomo Heavy Industries, LTD. Image generation device and operation support system
EP2570556A4 (en) * 2010-06-18 2018-01-03 Hitachi Construction Machinery Co., Ltd. Device for monitoring area around work machine
WO2011158955A1 (ja) * 2010-06-18 2011-12-22 日立建機株式会社 作業機械の周囲監視装置
CN102947515A (zh) * 2010-06-18 2013-02-27 日立建机株式会社 作业机械的周围监视装置
AU2011266010B2 (en) * 2010-06-18 2015-01-29 Hitachi Construction Machinery Co., Ltd. Surrounding area monitoring device for monitoring area around work machine
JPWO2011158955A1 (ja) * 2010-06-18 2013-08-19 日立建機株式会社 作業機械の周囲監視装置
JP5395266B2 (ja) * 2010-06-18 2014-01-22 日立建機株式会社 作業機械の周囲監視装置
US9332229B2 (en) 2010-06-18 2016-05-03 Hitachi Construction Machinery Co., Ltd. Surrounding area monitoring device for monitoring area around work machine
WO2012043522A1 (ja) 2010-09-29 2012-04-05 日立建機株式会社 作業機械の周囲監視装置
WO2012157438A1 (ja) * 2011-05-13 2012-11-22 日立建機株式会社 油圧ショベルの後方視野表示装置
EP2708663A4 (en) * 2011-05-13 2014-12-24 Hitachi Construction Machinery DEVICE FOR DISPLAYING THE REAR FIELD OF A HYDRAULIC EXCAVATOR
CN103635637A (zh) * 2011-05-13 2014-03-12 日立建机株式会社 液压挖掘机的后方视野显示装置
EP2708663A1 (en) * 2011-05-13 2014-03-19 Hitachi Construction Machinery Co., Ltd. Device for displaying rearward field of view of hydraulic shovel
EP2717570A4 (en) * 2011-06-02 2014-11-19 Hitachi Construction Machinery DEVICE FOR PERIPHERAL SURVEILLANCE FOR WORK MACHINE
EP2717570A1 (en) * 2011-06-02 2014-04-09 Hitachi Construction Machinery Co., Ltd. Device for monitoring area around working machine
JPWO2012164712A1 (ja) * 2011-06-02 2014-07-31 日立建機株式会社 作業機械の周囲監視装置
CN103563358A (zh) * 2011-06-02 2014-02-05 日立建机株式会社 作业机械的周围监视装置
WO2012164712A1 (ja) 2011-06-02 2012-12-06 日立建機株式会社 作業機械の周囲監視装置
US9956915B2 (en) 2011-06-07 2018-05-01 Komatsu Ltd. Dump truck periphery monitoring apparatus
JP2012254660A (ja) * 2011-06-07 2012-12-27 Komatsu Ltd 作業車両の周辺監視装置
CN103079891A (zh) * 2011-06-07 2013-05-01 株式会社小松制作所 作业车辆的周边监视装置
WO2012169362A1 (ja) * 2011-06-07 2012-12-13 株式会社小松製作所 作業車両の周辺監視装置
CN103079891B (zh) * 2011-06-07 2015-12-02 株式会社小松制作所 作业车辆的周边监视装置
WO2014045466A1 (ja) * 2012-09-20 2014-03-27 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
CN103827943B (zh) * 2012-09-20 2015-06-10 株式会社小松制作所 工作车辆用周边监视系统以及工作车辆
CN103827943A (zh) * 2012-09-20 2014-05-28 株式会社小松制作所 工作车辆用周边监视系统以及工作车辆
JP2014064144A (ja) * 2012-09-20 2014-04-10 Komatsu Ltd 作業車両用周辺監視システム及び作業車両
US9333915B2 (en) 2012-09-20 2016-05-10 Komatsu Ltd. Work vehicle periphery monitoring system and work vehicle
US9836938B2 (en) 2013-03-19 2017-12-05 Sumitomo Heavy Industries, Ltd. Shovel having audio output device installed in cab
GB2522616B (en) * 2014-01-22 2016-07-20 Cementation Skanska Ltd Mechanical plant safety system
GB2522616A (en) * 2014-01-22 2015-08-05 Cementation Skanska Ltd Mechanical plant safety system
US10794047B2 (en) 2015-07-15 2020-10-06 Komatsu Ltd. Display system and construction machine
CN107407074A (zh) * 2015-07-15 2017-11-28 株式会社小松制作所 显示系统及工程机械
CN109154154A (zh) * 2016-07-05 2019-01-04 住友建机株式会社 挖土机
JP2020188474A (ja) * 2019-01-28 2020-11-19 住友重機械工業株式会社 ショベル
JP7454461B2 (ja) 2019-01-28 2024-03-22 住友重機械工業株式会社 ショベル
WO2020196874A1 (ja) * 2019-03-27 2020-10-01 住友建機株式会社 建設機械、支援システム
JPWO2020196874A1 (ja) * 2019-03-27 2020-10-01
JP7387718B2 (ja) 2019-03-27 2023-11-28 住友建機株式会社 建設機械、支援システム
WO2020218454A1 (ja) * 2019-04-26 2020-10-29 住友建機株式会社 表示装置、ショベル、情報処理装置
JP7511547B2 (ja) 2019-04-26 2024-07-05 住友建機株式会社 表示装置、ショベル、情報処理装置
CN112669555A (zh) * 2020-12-11 2021-04-16 北京京能能源技术研究有限责任公司 智能安全预警方法及系统
WO2023045234A1 (zh) * 2021-09-27 2023-03-30 徐州徐工挖掘机械有限公司 挖掘机电子围墙的建立方法

Also Published As

Publication number Publication date
JP2008179940A (ja) 2008-08-07

Similar Documents

Publication Publication Date Title
WO2006106685A1 (ja) 作業機械の周囲監視装置
KR101895830B1 (ko) 작업 기계의 주변 감시 장치
JP4776491B2 (ja) 作業機械の周囲監視装置
JP4847913B2 (ja) 作業機械周辺監視装置
JP2008101416A (ja) 作業現場の管理システム
JP6734260B2 (ja) 作業機械
JP4996928B2 (ja) 作業機械の周囲監視装置
US9332229B2 (en) Surrounding area monitoring device for monitoring area around work machine
KR101322201B1 (ko) 건설용 중장비 접근 감시 시스템
JP5227841B2 (ja) 周囲監視装置
JP4218449B2 (ja) クレーンの動作監視システム及び方法
JP2003105807A (ja) 作業車両の侵入禁止領域での停止制御方法及びその制御装置
WO2016158255A1 (ja) 作業機械の周辺監視装置
JP2007085091A (ja) 作業現場の安全管理装置及びこれに適用される作業機械
JP5976442B2 (ja) 重機周りの接近作業員検知方法及びシステム
JP7058582B2 (ja) 作業機械
JP2008144378A (ja) 遠隔操縦作業機の制御装置
JP4694032B2 (ja) 作業機械の表示装置
JP6559464B2 (ja) 作業車両の周囲監視装置
WO2017188230A1 (ja) 建設機械
AU2010355231B2 (en) Method and control unit for controlling a display of a proximity warning system
JP2009110037A (ja) 車両案内装置、車両案内方法および車両案内プログラム
JP2021068948A (ja) 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
US20230287659A1 (en) Display system for construction machine
KR20230134423A (ko) 건설기계의 표시 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

122 Ep: pct application non-entry in european phase

Ref document number: 06730273

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP