WO2013088995A9 - 建設機械の周囲画像表示装置及び周囲画像表示方法 - Google Patents

建設機械の周囲画像表示装置及び周囲画像表示方法 Download PDF

Info

Publication number
WO2013088995A9
WO2013088995A9 PCT/JP2012/081422 JP2012081422W WO2013088995A9 WO 2013088995 A9 WO2013088995 A9 WO 2013088995A9 JP 2012081422 W JP2012081422 W JP 2012081422W WO 2013088995 A9 WO2013088995 A9 WO 2013088995A9
Authority
WO
WIPO (PCT)
Prior art keywords
guideline
image
construction machine
color information
display device
Prior art date
Application number
PCT/JP2012/081422
Other languages
English (en)
French (fr)
Other versions
WO2013088995A1 (ja
Inventor
泉川　岳哉
Original Assignee
住友建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友建機株式会社 filed Critical 住友建機株式会社
Priority to CN201280057996.9A priority Critical patent/CN103958790A/zh
Priority to KR1020147013970A priority patent/KR101672862B1/ko
Priority to EP12858012.3A priority patent/EP2792800B1/en
Publication of WO2013088995A1 publication Critical patent/WO2013088995A1/ja
Publication of WO2013088995A9 publication Critical patent/WO2013088995A9/ja
Priority to US14/289,800 priority patent/US10017113B2/en
Priority to US16/013,172 priority patent/US10293751B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated

Definitions

  • the present invention relates to an ambient image display device and an ambient image display method for a construction machine, and in particular, to a construction machine for easily recognizing a guideline displayed together with an ambient image under any environment.
  • the present invention relates to an ambient image display device and an ambient image display method.
  • a scale (guideline) as a distance display line is set to be displayed on the monitor screen so as to be superimposed on the image from the camera. Further, this scale is an arc-shaped line centered on the pivoting center of the upper revolving superstructure of the construction machine on which the camera is installed.
  • guidelines such as a scale displayed on the screen in the above-mentioned prior art are displayed with reference to the traveling direction of the construction machine and the distance to the machine, and white, green, red, etc. when displaying the guidelines It was displayed with a single color line.
  • the present invention has been made in view of the above-described problems, and an ambient image display device for a construction machine for easily recognizing a guideline displayed together with an ambient image under any environment of the construction machine And providing an ambient image display method.
  • the construction taken by the imaging means From the imaging means based on the setting information obtained by the guideline setting means for setting a guideline having at least two color information at a predetermined distance from the construction machine with respect to the image around the machine and the setting information obtained by the guideline setting means
  • the apparatus is characterized by comprising: guideline generating means for generating a guideline on the obtained surrounding image; and display means for displaying the surrounding image including the guideline obtained by the guideline generating means on a screen.
  • an image around the construction machine photographed by the imaging unit is acquired Acquisition step; a guideline generation step of generating a guideline having at least two color information at a predetermined distance from the construction machine on the surrounding image obtained by the image acquisition step; And displaying the image on the screen including the guidelines to be displayed on the screen.
  • any component of the present invention, expression, or any combination of components can be used, for example, as a method, apparatus, system, computer program , Those applied to recording media, data structures, etc. are also embodiments of the present invention. It is valid.
  • FIG. 1 shows the example of a schematic structure of a construction machine. It is a figure which shows the other example of schematic structure of a construction machine. It is a figure which shows the 1st Example of the surrounding image display apparatus in a construction machine. It is a flowchart which shows an example of the surrounding image display process procedure in this embodiment. It is a figure which shows the example of a monitor screen in a 1st Example. It is a figure which shows the example of another monitor screen in a 1st Example. It is a figure which shows the 2nd Example of the surrounding image display apparatus in a construction machine. It is a figure which shows an example of the guideline in a 2nd Example. It is a figure which shows the 3rd Example of the surrounding image display apparatus in a construction machine.
  • the present invention relates to, for example, a display device for displaying an image around a construction machine (including not only an image but also an image), a predetermined periphery of the construction machine by a camera (imaging means) installed in a predetermined place in advance.
  • a display device for displaying an image around a construction machine (including not only an image but also an image), a predetermined periphery of the construction machine by a camera (imaging means) installed in a predetermined place in advance.
  • the guidelines on the camera image in the prior art are displayed superimposed on the image, there is a background portion that can not be seen behind the guidelines. Therefore, in the present invention, for example, at least one (for example, white) of at least two pieces of color information (for example, white and black) forming the guideline, the brightness of the background portion of the original image on which the guideline is displayed To make it translucent and white. Further, in the present invention, the brightness of the background portion of the original image on which the guidelines are displayed can be lowered and made semi-transparent and black-displayed similarly for the black line. Thus, in the present invention, by displaying the guideline, the visibility of the original image can be improved without hiding the background image below it. As described above, the color information to be translucent may be one color or a plurality of colors.
  • an ambient image display device and an ambient image display method for a construction machine according to the present invention are suitably implemented will be described using the drawings.
  • a construction machine is described using an example of a hydraulic shovel
  • the present invention is not limited to this.
  • various constructions such as a hydraulic crane, a wheel loader, a bulldozer, a forklift, etc. It may be a machine or the like.
  • FIG. 1 is a view showing a schematic configuration example of a construction machine.
  • a camera shooting that captures an image (including not only an image but also an image) by capturing a surrounding area which is a blind spot from the driver's seat 11 of the construction machine 10 Means)
  • At least one 12 is provided. Specifically, as shown in FIG. 1A
  • cameras 12-1 to 12-3 (hereinafter collectively referred to as "camera 12" as needed) on the rear (rear) and both sides (side) of the construction machine 10
  • the present invention is not limited to this.
  • only one camera 12 may be behind.
  • the camera 12 may not be provided to the construction machine 10, and may be installed at an external location where the blind spot of the construction machine 10 can be photographed.
  • the camera 12 may have individual auto gain control in order to have a certain degree of brightness uniformity even in an environment in which the brightness differs depending on the shooting direction.
  • the camera 12 may have a high sensitivity CCD (Charge Coupled Device) sensor in order to secure a field of view even in, for example, dusk or night.
  • CCD Charge Coupled Device
  • an image obtained from each of the cameras 12-1 to 12-3 is projected on the ground plane of the construction machine 10 as shown in FIG. 1B from the relationship of the installation position of each camera 12 and the angle of view. Synthesize. Therefore, as shown in FIG. 1A, for example, each of the cameras 12-1 to 12-3 is installed with the CCD surface inclined by a predetermined angle ⁇ in the ground direction. Thus, the ground contact surface of the construction machine 10 becomes a display target plane (FIG. 1A).
  • an overlapping area of the image obtained from the camera 12-1 and the image obtained from the camera 12-2 and the image obtained from the camera 12-1 there is an overlapping area of the image obtained from the camera 12-3.
  • image boundary processing is performed using a known method to prevent an object (for example, an obstacle or the like) located in the overlapping area from disappearing from the composite image.
  • the surroundings of the construction machine 10 are displayed in the surroundings of the driver's seat 11 with a video that makes it easy to grasp the positional relationship between the construction machine 10 and the above mentioned surrounding workers and obstacles without switching images. It can be displayed on the image display device.
  • the camera 12 main body does not protrude from the construction machine 10, and the posture hardly changes due to vibration or shock during work. It is a condition that the functionality and appearance of the hydraulic excavator etc. are not significantly impaired.
  • the left and right objects are arranged as much as possible, and the imaging directions are installed without deviation.
  • the elevation angle (upper and lower swing) of the camera 12 is within the visual field range from the road surface immediately below the camera 12 to the large obstacle of about the height of the camera 12. It was set to about 55 degrees from below vertically. In fact, since a part of the construction machine 10 is reflected at the lower end of the field of view, the area of about 30 to 40 cm in the vicinity of the construction machine 10 on the road surface is out of the field of view.
  • the azimuth angle (right and left swing) of the camera 12 emphasizes the symmetry of the shooting direction, and all the cameras 12-1 to 12-3 are orthogonal to the end face of the construction machine 10 and installed at intervals of about 90 degrees
  • the present invention is not limited to this.
  • the side cameras 12-2 and 12-3 are installed slightly forward. can do.
  • the rotation angle (rotation around the optical axis) of the camera 12 is always 0 degree in all the cameras 12-1 to 12-3.
  • a guideline is combined with an image obtained at a predetermined time interval from the camera 12 or an image or video obtained continuously, for example, a display such as a monitor Display on the means.
  • an illuminance sensor (illuminance detection means) 13 may be provided above the driver's seat 11 to measure the illuminance around the construction machine.
  • the illuminance sensor 13 by using the illuminance sensor 13, it is possible to adjust the content of the guideline to be combined with the image captured by the camera 12.
  • the number, etc., in this invention it is not limited to this.
  • FIG. 2 is a diagram showing a first embodiment of an ambient image display device in a construction machine.
  • the display device 20 shown in FIG. 2 is configured to have an image combining unit 21, a guideline setting unit 22, a guideline generation unit 23, and a display unit 24.
  • the image combining means 21 combines the images obtained from the cameras 12-1 to 12-3 shown in FIG. 1 described above.
  • the present invention is not limited to this.
  • the images obtained from the cameras 12-1 to 12-3 may be output to the subsequent processing without being synthesized, or Instead of combining all the images, only two or more selected images may be combined.
  • the image synthesizing unit 21 outputs the synthesized image to the guideline generating unit 23.
  • the image combining unit 21 obtains the average brightness of each image obtained from each of the cameras 12-1 to 12-3, and the brightness of each image after combining is calculated based on the obtained difference in average brightness. Adjustment can be made so that there is no variation in (brightness). Thus, in the present embodiment, it is possible to generate a composite image that is easier for the operator to see.
  • the guideline setting unit 22 sets a guideline to be displayed on the image obtained by the image combining unit 21.
  • the guidelines mean, for example, a line serving as a reference of the distance from the construction machine 10, a line serving as a boundary between the safety area and the danger area, and the like, but the present invention is not limited thereto.
  • the guideline setting unit 22 sets the position at which the above-described guideline is displayed. Specifically, for example, when it is made to resemble and enlarge the contour shape of the construction machine from a distance (for example, 5 m etc.) from the contour end of the construction machine 10 or from the center of the construction machine 10 or the driver's seat 11 An enlargement factor (for example, 200%) can be set.
  • the guideline setting unit 22 sets model information of the construction machine on which the surrounding image display device 20 is installed.
  • the model A is set, about 1.5 m is set from the contour end of the construction machine 10
  • the model B is set, about 3.0 m from the contour end of the construction machine 10 It is set.
  • the setting method of displaying a guide line it is not limited to the content mentioned above.
  • the guideline setting unit 22 sets, for example, at least two different colors of color information as the colors included in the guideline, for example.
  • the color information includes, for example, luminance (contrast, screen brightness), hue (hue), saturation (degree of vividness), lightness (brightness) and the like, but the present invention is limited thereto. It is not a thing.
  • the guideline setting unit 22 sets color information including, for example, white and black, and displays at least two colors alternately in black and white lines or displays a guideline in which at least two colors are adjacent to each other.
  • a plurality of lines of at least two colors are alternately arranged to be displayed in stripes (stripes). Accordingly, in the present embodiment, for example, when the camera image is whitish (bright), the guidelines can be confirmed with the black line, and when the camera image is blackish (dark), the guidelines are confirmed with the white line. Can.
  • the operator can easily visually recognize the guidelines displayed on the screen of the display unit 24 under any circumstances of the construction machine 10. Furthermore, in the present embodiment, since the difference is expressed not by the difference in color from the background but by the difference in contrast between white and black, it is possible to identify the guidelines even when the operator is weak. .
  • the guideline setting means 22 can set the width, pattern, thickness (thickness) of the guideline, the length of each of the different colors alternately arranged, etc. as the detailed setting information.
  • the operator may arbitrarily set these detailed setting information, and acquires screen information such as the screen size and resolution from the display unit 24 and automatically sets the value corresponding to the acquired screen information. You may thus, in the present embodiment, for example, the guideline can be appropriately displayed on the screen without being too small or too large.
  • Various contents set by the guideline setting means 22 are stored in a memory (storage means) or the like provided in the guideline setting means 22.
  • the content set by the guideline setting means 22 may be performed before or after the actual operation by the construction machine 10, and can also be set during the operation of the construction machine 10.
  • the guideline generation unit 23 generates a guideline based on the content set by the guideline setting unit 22. Specifically, the guideline generating unit 23 generates a guideline indicating, for example, the distance from the construction machine 10, the boundary between the safe area and the dangerous area, and the like. Further, the guideline generation unit 23 synthesizes the generated guidelines on the image obtained by the image synthesis unit 23, and outputs the image in which the guidelines are synthesized to the display unit 24.
  • the guideline generating unit 23 can adjust the width of the guideline and / or the length for each different color of the color information alternately arranged.
  • the display unit 24 displays the image generated by the guideline generation unit 23. Further, when the guideline setting unit 22 requests acquisition of screen information such as the screen size and the screen resolution, the display unit 24 outputs corresponding information to the guideline setting unit 22.
  • a liquid crystal color monitor can be used as the display means 24.
  • the present invention is not limited to this.
  • FIG. 3 is a flowchart showing an example of a surrounding image display processing procedure in the present embodiment.
  • various information is set in advance by the guideline setting unit 22.
  • an image of the surroundings of the construction machine 10 is acquired from the camera 12 provided in the construction machine 10 (S01), and then it is determined whether or not the acquired image is to be synthesized. (S02).
  • composition / not composite may be set in advance by, for example, the operator of the construction machine 10, or a fixed value (composition / not composite) may be set in advance. It may be set appropriately according to the content.
  • the surrounding image display process when combining is necessary in the process of S02 (YES in S02), the obtained plurality of images are combined (S03).
  • a guideline is generated based on preset guideline setting information (S04), According to the generated guidelines, the synthesized image obtained by the process of S03 or the image as obtained by the process of S01 is synthesized (S05).
  • the combined image is displayed on the display means 24 such as a monitor (S06).
  • the above-described ambient image display processing is repeatedly performed until the end instruction from the operator or the power of the ambient image display device 20 or the construction machine 10 is turned off.
  • FIG. 4 is a view showing an example of a monitor screen in the first embodiment.
  • the monitor screen 30 shown in FIG. 4A and FIG. 4B corresponds to the type of the construction machine 10 in which the surrounding image display device 20 is installed, with respect to the image of the construction machine 10 set in advance.
  • the composite image 31 of the cameras 12-1 to 12-3 is displayed, and the guideline 32 (the guideline 32-1 in FIG. 4A and the guideline 32-2 in FIG. 4B) is further displayed on the composite image 31. .
  • the guide line 32 in the present embodiment is provided at a position separated by a predetermined distance from the position (end portion) of the contour of the construction machine 10. Therefore, in the present embodiment, the contour shape corresponding to each type and size of each construction machine 10 is set.
  • the display method of the guide line 32 in the present invention is not limited to this. For example, a predetermined area from the position of the outline of the construction machine 10 described above in the area visible to a certain degree from the driver's seat 11 and the area not visible at all The distance of may be partially adjusted.
  • a guideline 32-1 shown in FIG. 4A is a line in which two colors of white and black are alternately arranged at predetermined intervals, as an example.
  • positioned alternately it is not specifically limited, but the area
  • the ratio of white to black in the entire guideline 32-1 so as to be substantially the same.
  • the operator of the construction machine 10 can visually recognize the guidelines as a black dotted line when the background is bright with one guideline 32-1, and as the white dotted line when the background is dark Can be seen.
  • the colors to be alternately arranged are not limited to white and black, but may be one color selected from white or black and another different color, or two different colors other than black and white It may be three or more different colors selected from all colors.
  • two color lines may be adjacent in parallel to generate one guideline 32-2.
  • a line in which the black line is adjacent to the outside of the white line is generated, but the present invention is not limited to this, for example, the white line is adjacent to the outside of the black line.
  • a plurality of white lines and black lines may be used to generate striped (striped) guidelines.
  • a guideline in which two pieces of color information are alternately arranged at a predetermined width, or at least two lines generated using each of two pieces of color information are arranged in parallel. Adjacent guidelines etc. are generated and combined with the surrounding image. Thereby, for example, in a dark (dark) background, a white line can be recognized, and in a white (bright) background, a black line can be recognized.
  • the guidelines 32 based on the first embodiment described above are displayed superimposed on the image, there is a portion of background that can not be seen behind the guidelines. Therefore, in the present invention, one of at least two pieces of color information forming the guideline (for example, white) is displayed in white by making the brightness of the background color that is the original image semi-transparent. This makes it possible to improve the visibility of the original image without hiding the background image under the guideline.
  • white the color information forming the guideline
  • the black guide line portion is made semitransparent by lowering the luminance of the original image information and displayed black, without hiding the background image under the guide line. Visibility can be improved.
  • the color information of the object to be translucent may be one color or a plurality of colors.
  • FIG. 5 is a view showing a second embodiment of the surrounding image display device in the construction machine.
  • the block configurations having the same functions as those in the first embodiment described above are denoted by the same reference numerals, and the specific description thereof is omitted here.
  • the display device 40 shown in FIG. 5 is configured to have an image combining unit 21, an image analysis unit 41, a guideline setting unit 22, a guideline generation unit 42, and a display unit 24.
  • the image analysis unit 41 acquires color information for each pixel of the combined image obtained by the image combining unit 21.
  • luminance information is used as an example of color information, but the present invention is not limited to this.
  • the color information of the image at the position where the guideline is to be synthesized includes, for example, hue, saturation, lightness, luminance and the like. Therefore, the guideline generating means 42 can adjust the color information of at least one of the hue, saturation, lightness, and luminance to generate a guideline having two pieces of color information.
  • the guideline setting means 22 in addition to the setting described above, it is set how much (upper limit value) or lower limit (lower limit value) the resolution of the background pixel of the portion to be merged with the guideline is to be increased.
  • the guideline setting unit 22 sets, for example, a width to which the luminance of the pixel is increased or decreased.
  • the upper limit value and the lower limit value are set such that a guideline in which they are alternately arranged is generated using a color raised 50 and a color lowered 100 relative to the luminance of the background pixel. .
  • the information set as described above is output to the guideline generation unit 42.
  • the guideline generation unit 42 obtains the brightness of the pixel corresponding to the position (coordinates) at which the guideline is displayed, from the color information of each pixel analyzed by the image analysis unit 41 based on the setting information obtained by the guideline setting unit 22 And adjust the brightness up and down according to the upper and lower limits set in the setting information for the acquired image, and alternately arrange the two colors obtained by each at a predetermined interval to generate a guideline Do. This makes it possible to generate a translucent background guideline.
  • the guideline generation unit 42 outputs the generated image to the display unit 24, and displays the image with the guideline from the display unit 24.
  • the average luminance of an image acquired from the camera 12 may be determined, and the upper limit value and the lower limit value may be set in accordance with the determined average luminance.
  • the second embodiment by obtaining the average luminance of each pixel of the original image, the brightness around the construction machine 10 can be grasped, and appropriate guidelines can be generated and displayed accordingly. .
  • the upper limit value and the lower limit value of these luminances are set based on pure black for luminance 0 and pure white for luminance 255. Further, in the present embodiment, the upper limit value and the lower limit value may be uniform values (for example, ⁇ 50).
  • the guide line generation means 42 changes the width of the guide line and / or each color of the color information alternately arranged according to the average brightness of the surrounding image. The length of the can be adjusted.
  • FIG. 6 is a diagram showing an example of a guideline in the second embodiment.
  • the vicinity of the guideline is enlarged and displayed.
  • the example of FIG. 6 shows an example of the guide line 51 in which at least two colors are alternately arranged, the present invention is not limited to this.
  • the illuminance sensor (illuminance detection means) 13 described above when the illuminance sensor (illuminance detection means) 13 described above is provided in the construction machine 10, the brightness (illuminance) around the construction machine 10 can be obtained by using the illuminance sensor 13 And adjust the content of the guidelines in accordance with the detected illuminance.
  • FIG. 7 is a view showing a third embodiment of the surrounding image display device in the construction machine.
  • the block configuration having the same function as that of the first embodiment described above is given the same reference numeral, and the specific description thereof is omitted here.
  • the display device 60 shown in FIG. 7 is configured to have an image combining unit 21, a guideline setting unit 22, a guideline generation unit 61, and a display unit 24.
  • the illuminance sensor 13 detects the brightness of various light emission sources such as incandescent lamps, fluorescent lamps, and sunlight.
  • various light emission sources such as incandescent lamps, fluorescent lamps, and sunlight.
  • the illumination sensor 13 used in the present embodiment for example, even if the type of light source changes, the output value of the sensor with respect to the brightness is almost equally reproduced, and the linearity of the sensor output is excellent according to the magnitude of the illumination. Furthermore, the light receiving sensitivity is high, and low illuminance can be detected.
  • the illuminance sensor 13 outputs the obtained illuminance (brightness) to the guideline generating means 61. Further, in the guideline setting means 22, in addition to the setting in the above-described first embodiment, for example, how much the resolution of the background pixel of the portion for synthesizing the guideline is increased (upper limit value) or decreased (lower limit value) It sets based on the illumination intensity obtained from the illumination intensity sensor 13.
  • the guideline setting unit 22 sets the width to which the luminance of the pixel is increased or decreased. For example, when the illuminance is less than the predetermined value, the entire periphery of the construction machine 10 is dark, so the upper limit value is set to +100 (that is, the brightness 180) with respect to the brightness of the background image (for example, the brightness 80). And the lower limit value of ⁇ 30 (that is, the luminance of 50) can be used. Further, in the present embodiment, the upper limit value and the lower limit value may be uniform values (for example, ⁇ 50).
  • not only the upper limit value and the lower limit value of the guideline described above may be set according to the illuminance from the illuminance sensor 13, but also the brightness of the entire screen may be changed.
  • the third embodiment not only the illuminance around the construction machine 10 but also the illuminance in the driver's seat 11 is detected by the illuminance sensor provided in the driver's seat, and the detected illuminance in the driver's seat 11 is dealt with It is also possible to adjust the upper limit value and the lower limit value of the brightness of the guideline, or the brightness of the entire screen.
  • the adjustment described above can be included in the process of the guideline generation unit 61 or may be included in the image combining unit 21. When the above-described process is included in the image combining unit 21, the illuminance obtained by the illuminance sensor 13 is output to the image combining unit 21.
  • the guide line generation means 61 may, for example, change the width of the guide line according to the ambient illumination and / or the length for each different color of color information alternately arranged. Can be adjusted.
  • the third embodiment can generate the translucent guidelines as shown in FIG. 6 described above by performing the processing described above. That is, also in the third embodiment, the guide line 51 can be easily grasped without being hidden by the guide line even when there is an obstacle 52 such as a tree or a surrounding worker in the background.
  • the above-described first to third embodiments can be combined as appropriate.
  • the number of guidelines displayed on the screen of the display means 24 is not limited to one.
  • a plurality of guidelines may be displayed on the screen at predetermined distance intervals from the construction machine 10
  • a plurality of guidelines may be displayed on the screen according to the distance to an object, the condition of the work site (ground condition, weather, daytime, nighttime, etc.), the operation level of the operator, and the like.
  • the present invention it is possible to easily recognize the guidelines displayed with the surrounding image under any environment of the construction machine. Further, in the present invention, for example, by using a color approximating white and black, for example, when the camera image is whitish (bright), the guideline can be confirmed with a black line, and the camera image is blackish (dark) You can check the guidelines on the white line.
  • the construction machine can easily check the guidelines on the screen under any circumstances. Furthermore, according to the present invention, for example, even when the person (operator etc.) who confirms the monitor is weak in color, it is expressed not by the difference in color from the background but by the difference in contrast between white and black. Can be identified.
  • At least one of the at least two pieces of color information included in the guideline is displayed in a semitransparent state by increasing the brightness of the background color that is the original image. Thereby, the visibility of the original image can be improved without hiding the background image under the guideline.
  • Construction machine 11 Driver's seat 12 Camera (imaging means) 13 illuminance sensor (illuminance detection means) 20, 40, 60 Display Device 21 Image Combining Means 22 Guideline Setting Means 23, 4, 62 Guideline Generating Means 24 Display Means 30 Monitor Screen 31 Composite Image 32, 51 Guideline 41 Image Analysis Means 52 Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Image Processing (AREA)

Abstract

　少なくとも１つの撮像手段により撮影された建設機械の周囲の画像を表示する前記建設機械の周囲画像表示装置において、前記撮像手段により撮影された前記建設機械の周囲の画像に対し、前記建設機械から所定の距離に少なくとも２つの色情報を有するガイドラインを設定するガイドライン設定手段と、前記ガイドライン設定手段により得られた設定情報に基づいて、前記撮像手段から得られた周囲の画像上にガイドラインを生成するガイドライン生成手段と、前記ガイドライン生成手段により得られるガイドラインを含む周囲の画像を画面に表示する表示手段とを有する。

Description

建設機械の周囲画像表示装置及び周囲画像表示方法
　　本発明は、建設機械の周囲画像表示装置及び周囲画像表示方法に係り、特に建設機械がどのような環境下においても、周囲の画像と共に表示されるガイドラインを容易に認識にさせるための建設機械の周囲画像表示装置及び周囲画像表示方法に関する。
　　従来の油圧ショベル等の建設機械は、一般的な自動車等と比較して大型であり、また特有の形状を有しているため、特に建設機械の周囲に死角ができ易い。そのため、建設機械の周囲において建設機械の誘導や作業状況の管理を行う周囲作業者がいる場合や、木や壁等の障害物等があるような現場においては、より広い視界を確保することが必要となる。
　　そこで、従来では、建設機械の周囲の視界領域を広げて安全を確保するため、建設機械の運転席から直接視認しにくい建設機械の後方領域にカメラ等を設置し、そのカメラで撮影された後方視野画像を運転席のモニタ上に表示する技術が知られている（例えば、特許文献１参照）。
　　なお、特許文献１に示す手法では、モニタ画面にカメラからの画像に重ね合わせるようにして、距離表示ラインとしての目盛り（ガイドライン）が表示されるように設定している。また、この目盛りは、カメラを設置した建設機械の上部旋回体の旋回中心を中心とする円弧状のラインである。
特開２００５－１８８１６０号公報
　　ところで、上述した従来技術における画面に表示される目盛り等のガイドラインは、建設機械の進行方向や、機械との距離を目安として表示されており、ガイドラインを表示する場合は、白や緑、赤等の単色の線で表示されていた。
　　しかしながら、建設機械の周囲がコンクリート上であったり、日射が強くカメラ画像が白っぽい場合には、カメラで撮影した周囲の画像を表示した画面上で、白色に近い色情報のガイドラインを識別するのが難しくなる。また逆に夜間等の場合には、カメラ画像全体が黒っぽくなるため、画面上で黒色に近い色情報のガイドラインを識別するのが難しくなる。また、例えば草むらの上に建設機械がある場合には、緑色に近い色情報のガイドラインを識別するのが難しくなる。特に建設機械は、様々な作業現場で使用されるが、例えば採石場では周囲が赤土や石灰岩(白色)であったり、或いは産業廃棄物処理場等では周囲に様々な物が散乱していたりと、作業現場の周囲環境が多岐に亘るため、それら周囲環境の違いがあってもガイドラインを容易に識別できるようにする必要がある。
　　更に、緑や赤等の淡色である場合には、色弱の操作者（運転者、作業員、オペレータ等も含む）にとって状況により識別するのが難しくなることもある。
　　本発明は、上述した問題点に鑑みなされたものであり、建設機械がどのような環境下においても、周囲の画像と共に表示されるガイドラインを容易に認識にさせるための建設機械の周囲画像表示装置及び周囲画像表示方法を提供することを目的とする。
　　上述の目的を達成するために、本発明は、少なくとも１つの撮像手段により撮影された建設機械の周囲の画像を表示する前記建設機械の周囲画像表示装置において、前記撮像手段により撮影された前記建設機械の周囲の画像に対し、前記建設機械から所定の距離に少なくとも２つの色情報を有するガイドラインを設定するガイドライン設定手段と、前記ガイドライン設定手段により得られた設定情報に基づいて、前記撮像手段から得られた周囲の画像上にガイドラインを生成するガイドライン生成手段と、前記ガイドライン生成手段により得られるガイドラインを含む周囲の画像を画面に表示する表示手段とを有することを特徴とする。
　　また、本発明は、少なくとも１つの撮像手段により撮影された建設機械の周囲の画像を表示する前記建設機械の周囲画像表示方法において、前記撮像手段により撮影された前記建設機械の周囲の画像を取得する画像取得ステップと、前記画像取得ステップにより得られる前記周囲の画像上に、前記建設機械から所定の距離に少なくとも２つの色情報を有するガイドラインを生成するガイドライン生成ステップと、前記ガイドライン生成ステップにより得られるガイドラインを含む周囲の画像を画面に表示する表示ステップとを有することを特徴とする
　なお、本発明の構成要素、表現又は構成要素の任意の組み合わせを、例えば、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造等に適用したものも本発明の態様として有効である。
　　本発明によれば、建設機械がどのような環境下においても、周囲の画像と共に表示されるガイドラインを容易に認識にさせることができる。
建設機械の概略構成例を示す図である。 建設機械の他の概略構成例を示す図である。 建設機械における周囲画像表示装置の第１の実施例を示す図である。 本実施形態における周囲画像表示処理手順の一例を示すフローチャートである。 第１の実施例におけるモニタ画面例を示す図である。 第１の実施例における他のモニタ画面例を示す図である。 建設機械における周囲画像表示装置の第２の実施例を示す図である。 第２の実施例におけるガイドラインの一例を示す図である。 建設機械における周囲画像表示装置の第３の実施例を示す図である。
　　＜本発明について＞
　本発明は、例えば建設機械の周囲画像（単に画像だけでなく、映像も含む）を表示する表示装置において、予め所定の場所に設置されたカメラ（撮像手段）等により、建設機械の所定の周囲の領域の画像を撮影して表示する際、その表示画面に対して、例えば色情報の異なる少なくとも２つの色を用いたガイドラインを生成して表示する。なお、生成されるガイドラインとしては、例えば白と黒のラインが交互に現れるような白黒ラインで表現することができる。
　　また、従来技術におけるカメラ画像上のガイドラインは、画像の上に重ねて表示するため、ガイドラインに隠れて見ることができない背景部分が存在する。そこで、本発明では、例えば、ガイドラインを形成する少なくとも２つの色情報（例えば、白、黒）のうちの少なくとも１つ（例えば、白色）を、そのガイドラインが表示される元画像の背景部分の輝度を上げて半透明にして白く表示させることができる。また、本発明では、黒色のラインについても同様に、そのガイドラインが表示される元画像の背景部分の輝度を下げて半透明にして黒く表示させることができる。これにより、本発明では、ガイドラインを表示することで、その下の背景画像を隠すことなく、元画像の視認性を向上させることができる。なお、上述したように半透明にする色情報は、１色でもよく複数色でもよい。
　　以下に、本発明における建設機械の周囲画像表示装置及び周囲画像表示方法を好適に実施した形態について、図面を用いて説明する。なお、以下の説明では、建設機械の一例として油圧ショベルの例を用いて説明するが、本発明においてはこれに限定されるものではなく、例えば油圧クレーン、ホイールローダ、ブルドーザ、フォークリフト等の各種建設機械等であってもよい。
　　＜建設機械の概略構成例＞
　まず、本実施形態における建設機械の概略構成例について図を用いて説明する。図１は、建設機械の概略構成例を示す図である。なお、本実施形態では、図１Ａに示すように、例えば建設機械１０の運転席１１から死角となる周囲領域を撮影して画像（単に画像だけでなく、映像も含む）を取得するカメラ（撮影手段）１２が少なくとも１つ設けられている。具体的には、図１Ｂに示すように、建設機械１０の後方（リア）と両側方（サイド）にカメラ１２－１～１２－３（以下、必要に応じて「カメラ１２」と総称する）が設けられているが、本発明においてはこれに限定されるものではない。例えば、カメラ１２は、後方に１台だけであってもよい。また、本実施形態では、カメラ１２を建設機械１０に設けずに、建設機械１０の死角を撮影できる外部の場所に設置されていてもよい。
　　ここで、各カメラ１２－１～１２－３は、例えば非同期のＮＴＳＣ（Ｎａｔｉｏｎａｌ　Ｔｅｌｅｖｉｓｉｏｎ　Ｓｙｓｔｅｍ　Ｃｏｍｍｉｔｔｅｅ）カラーカメラ等を用いることができるが、本発明においてはこれに限定されるものではない。また、カメラ１２は、撮影方向によって明るさが異なる環境になっても、ある程度の明るさの均一性を有するために、個別のオートゲインコントロールを有していてもよい。また、カメラ１２は、例えば薄暮や夜間等でも視界を確保するため、高感度のＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサを有していてもよい。
　　本実施形態では、各カメラ１２－１～１２－３から得られる画像を、それぞれのカメラ１２の設置位置と画角等の関係から図１Ｂに示すように建設機械１０の接地面に投影して合成する。そのため、各カメラ１２－１～１２－３は、例えば図１Ａに示すように、ＣＣＤ面を地面方向に所定の角度θだけ傾けて設置される。これにより、建設機械１０の接地面が、表示対象平面になる（図１Ａ）。
　　また、本実施形態では、画像合成時に、図１Ｂに示すように、カメラ１２－１から得られる画像とカメラ１２－２から得られる画像の重複領域、及び、カメラ１２－１から得られる画像とカメラ１２－３から得られる画像の重複領域が存在する。このような重複領域については、既知の手法を用いて重複領域に位置する物体（例えば、障害物等）が合成画像上から消失しないようにする画像境界処理を行う。
　　これにより、本実施形態では、建設機械１０の周囲状況を、画像を切り替えることなく、建設機械１０と上述した周囲作業者や障害物との位置関係を把握し易い映像で運転席１１内の周囲画像表示装置に表示させることができる。
　　なお、カメラ１２の設置方法としては、例えば建設機械１０にカメラ１２を設置する場合、カメラ１２本体が建設機械１０から突出することがないこと、作業中の振動や衝撃等で姿勢が変化しにくいこと、油圧ショベル等の機能性や外観を著しく損なわないこと等が条件となる。なお、本実施形態では、カメラ映像上での障害物等の見え方を均等にするため、可能な限り左右対象の配置とし、撮影方向の偏りなく設置する。
　　ここで、カメラ１２の設置時におけるカメラ姿勢の一例について説明する。まず、カメラ１２の仰角（上下首振り）は、カメラ１２直下の路面から、カメラ１２の高さ程度の大型障害物までを共に視野範囲内とするため、全てのカメラ１２－１～１２－３で鉛直下方より約５５度程度に設定した。なお、実際には、視野下端に建設機械１０の一部が映りこむため、路面上で建設機械１０の近傍の約３０～４０ｃｍ程度までは視野範囲外となる。
　　また、カメラ１２の方位角（左右首振り）は、撮影方向の対称性を重視し、全てのカメラ１２－１～１２－３を建設機械１０本体端面と直交させ、約９０度間隔での設置とした。なお、本発明においては、これに限定されるものではなく、例えば大型の建設機械１０で左右前方に死角が生じる場合には、側方カメラ１２－２，１２－３をやや前方に向けて設置することができる。
　　また、カメラ１２の回転角（光軸周りの回転）は、全てのカメラ１２－１～１２－３で常に０度とした。本実施形態では、周囲画像表示装置において、上述したようにカメラ１２から所定の時間間隔で得られる画像又は連続して得られる画像又は映像に対して、ガイドラインを合成して、例えばモニタ等の表示手段に表示する。
　　なお、本実施形態では、運転席１１の上部に、建設機械の周囲の照度を測定する照度センサ（照度検出手段）１３を設けていてもよい。本実施形態では、照度センサ１３を用いることで、カメラ１２により撮影された画像に合成するガイドラインの内容を調整することができる。また、上述した建設機械１０に対するカメラ１２や照度センサ１３の設置位置や数等については、本発明においてはこれに限定されるものではない。
　　＜周囲画像表示装置：機能構成例＞
　次に、上述した建設機械１０の周囲画像表示装置について、図を用いて具体的に説明する。
　　＜第１の実施例＞
　図２は、建設機械における周囲画像表示装置の第１の実施例を示す図である。図２に示す表示装置２０は、画像合成手段２１と、ガイドライン設定手段２２と、ガイドライン生成手段２３と、表示手段２４とを有するよう構成されている。
　　画像合成手段２１は、上述した図１に示すカメラ１２－１～１２－３から得られる画像を合成する。なお、本実施形態においては、これに限定されるものではなく、例えば各カメラ１２－１～１２－３から得られたそれぞれの画像を合成せずに後段の処理に出力してもよく、また全ての画像を合成せず、選択された２以上の画像のみを合成するようにしてもよい。画像合成手段２１は、合成された画像をガイドライン生成手段２３に出力する。
　　なお、画像合成手段２１は、各カメラ１２－１～１２－３から得られたそれぞれの画像の平均輝度を求め、求めたそれぞれの平均輝度の差に基づいて、合成後の各画像の明るさ（輝度）にばらつきがでないように調整することができる。これにより、本実施形態では、操作者がより見やすい合成画像を生成することができる。
　　ガイドライン設定手段２２は、画像合成手段２１により得られる画像に対して表示させるガイドラインの設定を行う。なお、ガイドラインは、例えば建設機械１０からの距離の基準となるラインや、安全区域と危険区域との境目となるライン等を意味するが、本発明においてはこれに限定されるものでない。
　　したがって、ガイドライン設定手段２２は、上述したガイドラインをどのような位置に表示させるかを設定する。具体的には、例えば建設機械１０の輪郭端部からの距離（例えば、５ｍ等）、又は、建設機械１０或いは運転席１１の中心から、建設機械の輪郭形状に相似させて拡大させたときの拡大率（例えば、２００％）等を設定することができる。
　　更に、ガイドライン設定手段２２は、機種毎にガイドラインを表示させる距離が予め設定されている場合には、その周囲画像表示装置２０が設置された建設機械の機種情報を設定する。これにより、本実施形態では、例えば機種Ａを設定すれば建設機械１０の輪郭端部から約１．５ｍが設定され、機種Ｂを設定すれば建設機械１０の輪郭端部から約３．０ｍが設定される。なお、ガイドラインをどのような位置に表示させるかの設定手法については、上述した内容に限定されるものではない。
　　また、ガイドライン設定手段２２は、例えばガイドラインに含まれる色として、例えば色情報の異なる少なくとも２つの色を設定する。なお、色情報としては、例えば輝度(コントラスト、画面の明るさ)、色相（色合い）、彩度（鮮やかさの度合い）、明度（明るさ）等があるが、本発明においてはこれに限定されるものではない。
　　また、ガイドライン設定手段２２は、例えば白と黒を含む色情報を設定し、その少なくとも２色を交互に配置した白黒ラインで表示したり、又は、少なくとも２色を隣接させたガイドラインを表示したり、少なくとも２色のラインを交互に複数隣接させてストライプ状（縞模様）に表示させるように設定する。これにより、本実施形態では、例えばカメラ画像が白っぽい（明るい）場合には、黒ラインでガイドラインを確認することができ、またカメラ画像黒っぽい（暗い）場合には、白ラインでガイドラインを確認することができる。
　　したがって、本実施形態によれば、建設機械１０がどのような状況下においても、操作者が表示手段２４の画面に表示されるガイドラインを容易に視認することができる。更に、本実施形態では、背景との色の差ではなく、白と黒とのコントラストの差で表現しているため、例えば操作者が色弱な場合であっても、ガイドラインの識別が可能となる。
　　なお、本実施形態では、上述した白と黒に限定されるものではなく、他の２色であってもよい。また、上述した色情報を設定する場合には、表示手段２４の画面に設定可能な全ての色情報等を表示し、操作者（運転者、作業員、オペレータ等も含む）に選択させることで、設定を行わせてもよい。
　　更に、ガイドライン設定手段２２は、ガイドラインの幅、模様、太さ（厚さ）、交互に配置される異なる色毎の長さ等を詳細設定情報として設定することができる。なお、これらの詳細設定情報は、操作者が任意に設定してもよく、また表示手段２４から画面サイズや解像度等の画面情報を取得し、取得した画面情報に対応させた値に自動で設定させてもよい。これにより、本実施形態では、例えばガイドラインが画面上で小さすぎたり、大きすぎたりすることなく適切に表示させることができる。
　　ガイドライン設定手段２２により設定された各種内容は、ガイドライン設定手段２２内に設けられたメモリ（記憶手段）等に記憶される。ここで、ガイドライン設定手段２２で設定される内容は、建設機械１０による実際の操作前や後に行われていてもよく、建設機械１０の操作中に設定することもできる。
　　ガイドライン生成手段２３は、ガイドライン設定手段２２により設定された内容に基づいて、ガイドラインを生成する。具体的には、ガイドライン生成手段２３は、例えば建設機械１０からの距離や安全区域と危険区域との境界等を示すガイドラインを生成する。また、ガイドライン生成手段２３は、生成されたガイドラインを画像合成手段２３により得られる画像上に合成し、ガイドラインが合成された画像を表示手段２４に出力する。
　　更に、ガイドライン生成手段２３は、ガイドライン設定手段２２により得られる設定情報に基づいて、ガイドラインの幅、及び／又は、交互に配置される色情報の異なる色毎の長さを調整することができる。
　　表示手段２４は、ガイドライン生成手段２３により生成された画像を表示する。また、表示手段２４は、ガイドライン設定手段２２により画面サイズや画面の解像度等の画面情報の取得要求があった場合に、対応する情報をガイドライン設定手段２２に出力する。なお、表示手段２４としては、例えば液晶カラーモニタ等を用いることができるが、本発明においてはこれに限定されるものではない。
　　＜周囲画像表示処理手順＞
　ここで、本実施形態における周囲画像表示処理手順について、フローチャートを用いて説明する。図３は、本実施形態における周囲画像表示処理手順の一例を示すフローチャートである。なお、図３の例では、予めガイドライン設定手段２２により各種情報が設定されているものとする。
　　図３に示す周囲画像表示処理は、建設機械１０に設けられたカメラ１２から建設機械１０の周囲の画像を取得し（Ｓ０１）、次に、その取得した画像を合成するか否かを判断する（Ｓ０２）。
　　つまり、本実施形態では、例えばカメラ１２が１台の場合には、画像を合成する必要がなく、また２台以上であっても予め設定された条件に基づき、得られた画像を合成せずにそれぞれ画面に表示させることもできる。なお、合成が必要であるかどうかは、例えば建設機械１０の操作者等により予め設定されていてもよく、予め固定値（合成する／合成しない）が設定されていてもよく、取得した画像の内容に応じて適宜設定されてもよい。
　　ここで、周囲画像表示処理は、Ｓ０２の処理において、合成が必要である場合（Ｓ０２において、ＹＥＳ）、得られた複数の画像を合成する（Ｓ０３）。また、周囲画像表示処理は、複数の画像の合成が必要ない場合（Ｓ０２において、ＮＯ）、又はＳ０３の処理が終了後、予め設定されたガイドライン設定情報に基づいてガイドラインを生成し（Ｓ０４）、生成したガイドラインにより、Ｓ０３の処理により得られる合成画像又はＳ０１の処理で取得したままの画像に合成する（Ｓ０５）。
　　また、周囲画像表示処理は、合成した画像をモニタ等の表示手段２４に表示する（Ｓ０６）。なお、上述した周囲画像表示処理は、操作者からの終了指示や、周囲画像表示装置２０又は建設機械１０の電源がＯＦＦになるまで繰り返し行われる。
　　＜モニタ画面例＞
　ここで、上述した表示手段２４で表示されるモニタ画面例について、図を用いて説明する。図４は、第１の実施例におけるモニタ画面例を示す図である。図４Ａと図４Ｂに示すモニタ画面３０には、周囲画像表示装置２０が設置されている建設機械１０の種類に対応させて、予め設定された建設機械１０のイメージ画像に対して、その周囲にカメラ１２－１～１２－３の合成画像３１が表示されており、更に合成画像３１上には、ガイドライン３２（図４Ａにおけるガイドライン３２－１、図４Ｂにおけるガイドライン３２－２）が表示されている。
　　本実施形態におけるガイドライン３２は、建設機械１０の輪郭の位置（端部）から所定の距離だけ離れた位置に設けられている。したがって、本実施形態では、各建設機械１０の種類や大きさ毎にそれぞれ対応する輪郭形状が設定される。なお、本発明におけるガイドライン３２の表示方法については、これに限定されるものではなく、例えば運転席１１からある程度見える領域と全く見えない領域とで、上述した建設機械１０の輪郭の位置からの所定の距離を部分的に調整してもよい。
　　モニタ画面３０について具体的に説明すると、図４Ａに示すガイドライン３２－１は、一例として白と黒の２色が所定の間隔で交互に配置されたラインである。なお、交互に配置される各色の間隔等については、特に限定されるものではないが、少なくとも交互に配置されている白又は黒のそれぞれの領域が画面上で視認できる程度の間隔以上であることが好ましい。
　　また、本実施形態では、ガイドライン３２－１全体における白と黒の比率も略同一となるように生成するのが好ましい。これにより、建設機械１０の操作者は、１つのガイドライン３２－１で、背景が明るい場合には、黒の点線としてガイドラインを視認することができ、背景が暗い場合には、白の点線としてガイドラインを視認することができる。なお、交互に配列される色については、白と黒に限定されるものではなく、白又は黒から選択される１色と他の異なる１色でもよく、白黒以外の異なる２色であってもよく、全色から選択される異なる３色以上であってもよい。
　　また、本実施形態では、例えば図４Ｂに示すように、２色のラインを並列に隣接させて１つのガイドライン３２－２を生成してもよい。これにより、図４Ａに示すような点線表示等にはならずに、背景色が変わっても何れかのライン（実線）を画面上から容易に視認することができる。なお、図４Ｂの例では、白ラインの外側に黒ラインを隣接させたラインを生成しているが、本発明においてはこれに限定されるものではなく、例えば黒ラインの外側に白ラインを隣接させたガイドラインを生成してもよく、また白ラインと黒ラインとを複数用いてストライプ状（縞模様）のガイドラインを生成してもよい。
　　上述したように、本実施形態では、例えば、２つの色情報を所定の幅で交互に複数配置したガイドライン、又は、２つの色情報のそれぞれを用いて生成された少なくとも２本のラインを並列に隣接させたガイドライン等を生成し、周囲画像に合成する。これにより、例えば黒っぽい（暗い）背景では、白ラインを認識することができ、白っぽい（明るい）背景では、黒ラインを認識することができる。
　　＜第２の実施例＞
　上述した第１の実施例に基づくガイドライン３２は、画像の上に重ねて表示するため、ガイドラインに隠れて見ることができない背景の部分が存在する。そこで、本発明では、ガイドラインを形成する少なくとも２つの色情報のうちの１つ（例えば、白色）を、その元画像である背景色の輝度を上げて半透明にして白く表示させるようにする。これにより、ガイドラインの下の背景画像を隠すことがなく、元画像の視認性を向上させることができる。
　　また、本発明では、上述とは逆に、黒色のガイドライン部分を元画像情報の輝度を下げて半透明にして黒く表示することで、ガイドラインの下の背景画像を隠すことがなく、元画像の視認性を向上させることができる。なお、半透明にする対象の色情報は、１色でもよく複数色でもよい。
　　上述した内容を第２の実施例として以下に説明する。図５は、建設機械における周囲画像表示装置の第２の実施例を示す図である。なお、上述した第２の実施例では、上述した第１の実施例と同様の機能を有するブロック構成については、同一の符号を付するものとし、ここでの具体的な説明は省略する。
　　図５に示す表示装置４０は、画像合成手段２１と、画像解析手段４１と、ガイドライン設定手段２２と、ガイドライン生成手段４２と、表示手段２４とを有するよう構成されている。
　　第２の実施例において、画像解析手段４１は、画像合成手段２１により得られる合成画像の画素毎の色情報を取得する。なお、図５の例では、色情報の一例として輝度情報を用いるが、本発明においてはこれに限定されるものではない。例えば、カメラ１２－１～１２－３により撮影された画像中に対し、ガイドラインを合成する位置の画像の色情報としては、例えば色相、彩度、明度、輝度等がある。そのため、ガイドライン生成手段４２は、上述した色相、彩度、明度、輝度のうち少なくとも１つの色情報を調整して、２つの色情報を有するガイドラインを生成することができる。
　　ガイドライン設定手段２２では、上述した設定の他に、ガイドラインを合成する部分の背景画素の解像度をどの程度上げるのか（上限値）又は下げるのか（下限値）を設定する。
　　具体的には、ガイドライン設定手段２２は、例えば画素の輝度の上下させる幅を設定する。例えば、本実施形態では、背景画素の輝度に対して５０上げた色と１００下げた色とを用いて、それらを交互に配置したガイドラインが生成されるように、上限値及び下限値を設定する。上述したように設定された情報は、ガイドライン生成手段４２に出力される。
　　ガイドライン生成手段４２は、ガイドライン設定手段２２により得られる設定情報に基づいて、画像解析手段４１により解析された各画素の色情報から、ガイドラインを表示する位置（座標）に対応する画素の輝度を取得し、取得した画像に対して設定情報で設定された上限値と下限値とにより輝度の上下の調整を行い、それぞれで得られた２つの色を所定の間隔で交互に配置してガイドラインを生成する。これにより、背景が半透明のガイドラインを生成することができる。
　　また、ガイドライン生成手段４２は、生成された画像を表示手段２４に出力し、表示手段２４からガイドライン付きの画像を表示する。
　　なお、上述した上限値及び下限値については、例えばカメラ１２から取得される画像の平均輝度を求め、求めた平均輝度に合わせて上限値及び下限値を設定してもよい。第２の実施例では、元画像の各画素の平均輝度を求めることにより、建設機械１０の周囲の明るさを把握することができ、それに応じて適切なガイドラインを生成して表示することができる。
　　例えば、平均輝度が８０の場合には、建設機械１０の周囲が全体的に暗いため、上限値を＋１００（つまり、輝度１８０）とし、下限値を－３０（つまり、輝度５０）としたラインを用いることができる。なお、これらの輝度の上限値、下限値は、輝度０が純黒、輝度２５５が純白を基準として設定される。また、本実施形態では、上限値と下限値を均一の値（例えば、±５０）としてもよい。
[規則91に基づく訂正 15.05.2013]　
　　更に、ガイドライン生成手段４２は、ガイドライン設定手段２２により得られる設定情報に基づいて、例えば周囲の画像の平均輝度に応じてガイドラインの幅、及び／又は、交互に配置される色情報の異なる色毎の長さを調整することができる。
　　ここで、図６は、第２の実施例におけるガイドラインの一例を示す図である。図６の例では、上述した図４に示す画面例のうち、ガイドライン付近を拡大して表示させたものである。なお、図６の例では、少なくとも２つの色が交互に配置されたガイドライン５１の例を示しているが、本発明においてはこれに限定されるものではない。
　　図６に示す例では、ガイドラインの領域５３－１では、元画像から輝度を予め設定された上限値に対応させて上げた領域が表示され、領域５３－２では、元画像から輝度を予め設定された下限値に対応させて下げた領域が表示される。このように、図６に示すガイドライン５１では、半透明に表示されているため、背景に木等の障害物５２や周囲作業者等がいる場合にも、ガイドラインで隠れることなく、容易に把握することができる。なお、本実施形態では、図６に示すように複数の色情報が交互に配置されたガイドラインに限定されるものではなく、例えば上述したように複数の色情報からなるラインを隣接させた縞模様のガイドラインを生成したものであってもよい。
　　＜第３の実施例＞
　第３の実施例では、例えば建設機械１０に上述した照度センサ（照度検出手段）１３が設けられている場合に、その照度センサ１３を用いることで、建設機械１０の周囲の明るさ（照度）を検出し、検出された照度に対応させてガイドラインの内容を調整する。
　　図７は、建設機械における周囲画像表示装置の第３の実施例を示す図である。なお、上述した第３の実施例では、上述した第１の実施例と同様の機能を有するブロック構成については、同一の符号を付するものとし、ここでの具体的な説明は省略する。
　　図７に示す表示装置６０は、画像合成手段２１と、ガイドライン設定手段２２と、ガイドライン生成手段６１と、表示手段２４とを有するよう構成されている。
　　第３の実施例において、照度センサ１３は、白熱電球や蛍光灯・太陽光といった各種発光源の明るさを検出する。なお、本実施形態で用いられる照度センサ１３は、例えば光源の種類が変わっても、明るさに対するセンサの出力値がほぼ同等に再現され、照度の大小に応じてセンサ出力の線形性が優れおり、更に受光感度が高く、低い照度でも検出することができる。
　　照度センサ１３は、得られた照度（明るさ）をガイドライン生成手段６１に出力する。また、ガイドライン設定手段２２では、上述した第１の実施例における設定の他に、例えばガイドラインを合成する部分の背景画素の解像度をどの程度上げるのか（上限値）又は下げるのか（下限値）を、照度センサ１３から得られる照度に基づいて設定する。
　　具体的には、ガイドライン設定手段２２は、照度センサ１３の照度に基づいて画素の輝度の上下させる幅を設定する。例えば、照度が所定値より少ない場合には、建設機械１０の周囲が全体的に暗いため、背景の画像の輝度（例えば、輝度８０）に対して、上限値を＋１００（つまり、輝度１８０）とし、下限値を－３０（つまり、輝度５０）としたラインを用いることができる。また、本実施形態では、上限値と下限値を均一の値（例えば、±５０）としてもよい。
　　なお、第３の実施例では、照度センサ１３からの照度に応じて、上述したガイドラインの上限値及び下限値を設定するだけでなく、画面全体の明るさを変更してもよい。また、第３の実施例では、建設機械１０の周囲の照度だけでなく、運転席１１内の照度を運転席内に設けた照度センサで検出し、その検出した運転席１１内の照度に対応させてガイドラインの輝度の上限値や下限値、又は画面全体の明るさ等を調整することもできる。なお、上述した調整は、ガイドライン生成手段６１の処理に含めることができ、また画像合成手段２１内に含めてもよい。上述の処理を画像合成手段２１に含める場合には、照度センサ１３により得られる照度を画像合成手段２１に出力する。
　　更に、ガイドライン生成手段６１は、ガイドライン設定手段２２により得られる設定情報に基づいて、例えば周囲の照度に応じてガイドラインの幅、及び／又は、交互に配置される色情報の異なる色毎の長さを調整することができる。
　　第３の実施例は、上述した処理を行うことにより、上述した図６に示すような半透明のガイドラインを生成することができる。つまり、第３の実施例においても、ガイドライン５１は、背景に木等の障害物５２や周囲作業者等がいる場合にも、ガイドラインで隠れることなく、容易に把握することができる。
　　なお、本実施形態では、上述した第１～第３の各実施例を適宜組み合わせることもできる。また、本実施形態において、表示手段２４の画面に表示されるガイドラインは、１本に限定されず、例えば建設機械１０からの所定距離間隔で複数のガイドラインを画面に表示させてもよく、更に障害物との距離、作業現場の状況（地面の状況、天候、日中、夜間等）、操作者の操作レベル等に応じて複数のガイドラインを画面に表示させてもよい。
　　上述したように本発明によれば、建設機械がどのような環境下においても、周囲の画像と共に表示されるガイドラインを容易に認識にさせることができる。また、本発明では、例えば白と黒に近似する色を用いることにより、例えばカメラ画像が白っぽい（明るい）場合には、黒ラインでガイドラインを確認することができ、またカメラ画像黒っぽい（暗い）場合には、白ラインでガイドラインを確認することができる。
　　したがって、本発明によれば、建設機械がどのような状況下においてもガイドラインを容易に画面で確認することができる。更に、本発明によれば、例えばモニタを確認する人（操作者等）が色弱である場合でも、背景との色の差ではなく、白と黒のコントラストの差で表現しているため、容易に識別することができる。
　　更に、本発明では、ガイドラインに含まれる少なくとも２つの色情報のうちの少なくとも１つを、その元画像である背景色の輝度を上げて半透明にして表示させるようにする。これにより、ガイドラインの下の背景画像を隠すことなく、元画像の視認性を向上させることができる。
　　以上、周囲画像表示装置と周囲画像表示方法の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
　本国際出願は、２０１１年１２月１３日に出願した日本国特許出願２０１１－２７２７４１号に基づく優先権を主張するものであり、２０１１－２７２７４１号の全内容をここに本国際出願に援用する。
　　１０　建設機械
　１１　運転席
　１２　カメラ（撮像手段）
　１３　照度センサ（照度検出手段）
　２０，４０，６０　表示装置
　２１　画像合成手段
　２２　ガイドライン設定手段
　２３，４２，６１　ガイドライン生成手段
　２４　表示手段
　３０　モニタ画面
　３１　合成画像
　３２，５１　ガイドライン
　４１　画像解析手段
　５２　障害物

Claims (11)

  1. 　少なくとも１つの撮像手段により撮影された建設機械の周囲の画像を表示する前記建設機械の周囲画像表示装置において、
    　前記撮像手段により撮影された前記建設機械の周囲の画像に対し、前記建設機械から所定の距離に少なくとも２つの色情報を有するガイドラインを設定するガイドライン設定手段と、
    　前記ガイドライン設定手段により得られた設定情報に基づいて、前記撮像手段から得られた周囲の画像上にガイドラインを生成するガイドライン生成手段と、
    　前記ガイドライン生成手段により得られるガイドラインを含む周囲の画像を画面に表示する表示手段とを有することを特徴とする周囲画像表示装置。
  2. 　前記色情報は、白及び黒を含むことを特徴とする請求項１に記載の周囲画像表示装置。
  3. 　前記ガイドライン生成手段は、
    　前記２つの色情報を所定の幅で交互に複数配置したガイドライン、又は、前記２つの色情報のそれぞれを用いて生成された少なくとも２本のラインを並列に隣接させたガイドラインを生成することを特徴とする請求項１に記載の周囲画像表示装置。
  4. 　前記ガイドライン生成手段は、
    　前記ガイドラインを前記建設機械の輪郭形状に相似する形状となるように生成することを特徴とする請求項１に記載の周囲画像表示装置。
  5. 　前記ガイドライン生成手段は、
    　前記撮像手段により撮影された画像中の前記ガイドラインを合成する位置の画像の色情報を調整して、前記２つの色情報を有するガイドラインを生成することを特徴とする請求項１に記載の周囲画像表示装置。
  6. 　前記撮像手段により撮影された画像中の前記ガイドラインを合成する位置の画像の色情報は、色相、彩度、明度、輝度の少なくとも１つを含み、
    　前記ガイドライン生成手段は、前記色相、彩度、明度、輝度の少なくとも１つの色情報を調整して、前記２つの色情報を有するガイドラインを生成することを特徴とする請求項５に記載の周囲画像表示装置。
  7. 　前記ガイドライン生成手段は、
    　前記撮像手段により得られる前記周囲の画像の平均輝度を取得し、取得された平均輝度に基づいて、前記ガイドラインを合成する位置の画像の輝度を調整して、前記２つの色情報を有するガイドラインを生成することを特徴とする請求項１に記載の周囲画像表示装置。
  8. 　前記建設機械の周囲の照度を検出する照度検出手段を有し、
    　前記ガイドライン生成手段は、
    　前記照度検出手段により得られる照度に対応させて、前記ガイドラインの色情報を設定することを特徴とする請求項１に記載の周囲画像表示装置。
  9. 　前記ガイドライン生成手段は、
    　前記周囲の画像の平均輝度に応じて前記ガイドラインの幅、及び／又は、交互に配置される前記色情報の異なる色毎の長さを調整することを特徴とする請求項７に記載の周囲画像表示装置。
  10. 　前記ガイドライン生成手段は、
    　前記照度に応じて前記ガイドラインの幅、及び／又は、交互に配置される前記色情報の異なる色毎の長さを調整することを特徴とする請求項８に記載の周囲画像表示装置。
  11. 　少なくとも１つの撮像手段により撮影された建設機械の周囲の画像を表示する前記建設機械の周囲画像表示方法において、
    　前記撮像手段により撮影された前記建設機械の周囲の画像を取得する画像取得ステップと、
    　前記画像取得ステップにより得られる前記周囲の画像上に、前記建設機械から所定の距離に少なくとも２つの色情報を有するガイドラインを生成するガイドライン生成ステップと、
    　前記ガイドライン生成ステップにより得られるガイドラインを含む周囲の画像を画面に表示する表示ステップとを有することを特徴とする周囲画像表示方法。
PCT/JP2012/081422 2011-12-13 2012-12-04 建設機械の周囲画像表示装置及び周囲画像表示方法 WO2013088995A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201280057996.9A CN103958790A (zh) 2011-12-13 2012-12-04 施工机械的周边图像显示装置及周边图像显示方法
KR1020147013970A KR101672862B1 (ko) 2011-12-13 2012-12-04 건설기계의 주위화상 표시장치 및 주위화상 표시방법
EP12858012.3A EP2792800B1 (en) 2011-12-13 2012-12-04 Shovel and peripheral image display method for a shovel
US14/289,800 US10017113B2 (en) 2011-12-13 2014-05-29 Peripheral image display device and method of displaying peripheral image for construction machine
US16/013,172 US10293751B2 (en) 2011-12-13 2018-06-20 Peripheral image display device and method of displaying peripheral image for construction machine

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011272741A JP5888956B2 (ja) 2011-12-13 2011-12-13 ショベル及び該ショベルの周囲画像表示方法
JP2011-272741 2011-12-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/289,800 Continuation US10017113B2 (en) 2011-12-13 2014-05-29 Peripheral image display device and method of displaying peripheral image for construction machine

Publications (2)

Publication Number Publication Date
WO2013088995A1 WO2013088995A1 (ja) 2013-06-20
WO2013088995A9 true WO2013088995A9 (ja) 2013-08-22

Family

ID=48612449

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/081422 WO2013088995A1 (ja) 2011-12-13 2012-12-04 建設機械の周囲画像表示装置及び周囲画像表示方法

Country Status (6)

Country Link
US (2) US10017113B2 (ja)
EP (1) EP2792800B1 (ja)
JP (1) JP5888956B2 (ja)
KR (1) KR101672862B1 (ja)
CN (2) CN107237366A (ja)
WO (1) WO2013088995A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6505356B2 (ja) * 2013-07-17 2019-04-24 住友建機株式会社 ショベル
JP6095592B2 (ja) * 2014-02-17 2017-03-15 日立建機株式会社 油圧ショベルの監視画像表示装置
AU2016219005B2 (en) * 2015-02-13 2020-07-02 Esco Group Llc Monitoring ground-engaging products for earth working equipment
JPWO2016157463A1 (ja) * 2015-03-31 2018-01-18 株式会社小松製作所 作業機械の周辺監視装置
US10486599B2 (en) 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
DE102015010011B4 (de) * 2015-08-05 2020-03-19 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
DE102015010009A1 (de) 2015-08-05 2017-02-09 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
WO2017047654A1 (ja) 2015-09-15 2017-03-23 住友建機株式会社 ショベル
DE112015001236B4 (de) 2015-09-30 2021-02-04 Komatsu Ltd. Vorrichtung zum Überwachen der Umgebung einer Raupenketten-Arbeitsmaschine
JP2017089139A (ja) * 2015-11-04 2017-05-25 住友建機株式会社 ショベル
DE112015000190B4 (de) * 2015-12-18 2021-06-17 Komatsu Ltd. Baukonstruktionsinformationsanzeigevorrichtung und Verfahren zum Anzeigen von Baukonstruktionsinformationen
KR102615981B1 (ko) 2016-01-29 2023-12-19 스미토모 겐키 가부시키가이샤 쇼벨 및 쇼벨의 주위를 비행하는 자율식 비행체
CN108699815B (zh) * 2016-02-09 2021-09-28 住友建机株式会社 挖土机
KR102484103B1 (ko) * 2016-02-23 2023-01-04 현대두산인프라코어(주) 표시 시스템
EP3483349A4 (en) 2016-07-05 2019-07-31 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. SHOVEL
JP6787729B2 (ja) * 2016-09-09 2020-11-18 株式会社タダノ 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP6306115B2 (ja) * 2016-09-21 2018-04-04 株式会社小松製作所 クローラ式作業機械の周辺監視装置
KR102256384B1 (ko) * 2016-11-01 2021-05-25 스미토모 겐키 가부시키가이샤 작업기계용 주변감시시스템
WO2018116577A1 (ja) * 2016-12-19 2018-06-28 富士フイルム株式会社 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
JP2018117320A (ja) 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
JP6346375B1 (ja) * 2017-02-09 2018-06-20 株式会社小松製作所 作業車両及び表示装置
WO2018164172A1 (ja) * 2017-03-07 2018-09-13 住友重機械工業株式会社 ショベル及び建設機械の作業支援システム
WO2018181534A1 (ja) * 2017-03-31 2018-10-04 住友建機株式会社 ショベル、ショベルの表示装置及びショベルにおける画像の表示方法
EP3779070A4 (en) * 2018-03-26 2021-11-17 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. EXCAVATOR
JP7147248B2 (ja) * 2018-04-27 2022-10-05 株式会社タダノ クレーン車
CN108951749B (zh) * 2018-07-03 2021-05-14 柳州柳工挖掘机有限公司 回转作业机械行走后方视频监控系统
JP7009327B2 (ja) * 2018-07-10 2022-01-25 住友建機株式会社 ショベル
EP4001513A4 (en) * 2019-07-17 2022-09-21 Sumitomo Construction Machinery Co., Ltd. CONSTRUCTION MACHINE AND ASSISTANCE DEVICE THAT ASSISTS WORK WITH THE AID OF CONSTRUCTION MACHINE
JP7027476B2 (ja) * 2020-04-06 2022-03-01 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
US11640715B2 (en) 2021-06-21 2023-05-02 Caterpillar Paving Products Inc. Birds eye view camera for an asphalt paver
US11680387B1 (en) 2022-04-21 2023-06-20 Deere & Company Work vehicle having multi-purpose camera for selective monitoring of an area of interest

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001295321A (ja) * 2000-04-17 2001-10-26 Hitachi Constr Mach Co Ltd 建設機械のモニタ装置
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP4196826B2 (ja) * 2003-12-26 2008-12-17 日立建機株式会社 旋回式作業車両の後方視野表示装置
AU2004222734B1 (en) * 2004-10-20 2006-01-19 Leica Geosystems Ag Method and apparatus for monitoring a load condition of a dragline
JP2008312004A (ja) * 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
JP2009197456A (ja) * 2008-02-20 2009-09-03 Nippon Seiki Co Ltd 監視装置
JP5178361B2 (ja) * 2008-07-09 2013-04-10 本田技研工業株式会社 運転支援装置
KR101078341B1 (ko) * 2009-02-12 2011-11-01 볼보 컨스트럭션 이큅먼트 에이비 후방 감시수단이 구비된 건설장비
CN201402413Y (zh) * 2009-03-30 2010-02-10 德尔福技术有限公司 车辆的操控辅助设备
JP5520688B2 (ja) * 2009-07-03 2014-06-11 株式会社竹中工務店 接触防止システム、建設機械およびプログラム
WO2011013813A1 (ja) * 2009-07-30 2011-02-03 クラリオン株式会社 車載装置および画像処理プログラム
KR101123738B1 (ko) * 2009-08-21 2012-03-16 고려대학교 산학협력단 중장비 동작 안전 모니터링 시스템 및 방법
JP2010076765A (ja) * 2009-12-25 2010-04-08 Fujitsu Ten Ltd 走行記録装置
JP5362639B2 (ja) * 2010-04-12 2013-12-11 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
JP5603899B2 (ja) * 2012-03-28 2014-10-08 日立建機株式会社 建設機械

Also Published As

Publication number Publication date
KR101672862B1 (ko) 2016-11-04
CN107237366A (zh) 2017-10-10
EP2792800A4 (en) 2015-06-17
WO2013088995A1 (ja) 2013-06-20
US10017113B2 (en) 2018-07-10
JP2013124467A (ja) 2013-06-24
EP2792800B1 (en) 2021-09-22
US10293751B2 (en) 2019-05-21
US20140267731A1 (en) 2014-09-18
KR20140094575A (ko) 2014-07-30
JP5888956B2 (ja) 2016-03-22
CN103958790A (zh) 2014-07-30
US20180297524A1 (en) 2018-10-18
EP2792800A1 (en) 2014-10-22

Similar Documents

Publication Publication Date Title
WO2013088995A9 (ja) 建設機械の周囲画像表示装置及び周囲画像表示方法
US9836938B2 (en) Shovel having audio output device installed in cab
US9715015B2 (en) Periphery-monitoring device for working machines
US9432634B2 (en) Image generation device and operation support system
US20150009329A1 (en) Device for monitoring surroundings of machinery
JP6386213B2 (ja) ショベル
JP5178361B2 (ja) 運転支援装置
JP6324665B2 (ja) 作業機械用周辺監視装置
JP6746303B2 (ja) ショベル
JP5805574B2 (ja) 作業機械用周辺監視装置
JP6257918B2 (ja) ショベル
JP7009327B2 (ja) ショベル
JP2023078305A (ja) ショベル
JP6257919B2 (ja) ショベル
JP7178334B2 (ja) ショベル及びショベルの表示装置
JP7237882B2 (ja) ショベル
JP7130547B2 (ja) ショベル及びショベル用周辺監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12858012

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20147013970

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012858012

Country of ref document: EP