WO2013172172A1 - 自走式産業機械の表示装置 - Google Patents

自走式産業機械の表示装置 Download PDF

Info

Publication number
WO2013172172A1
WO2013172172A1 PCT/JP2013/062204 JP2013062204W WO2013172172A1 WO 2013172172 A1 WO2013172172 A1 WO 2013172172A1 JP 2013062204 W JP2013062204 W JP 2013062204W WO 2013172172 A1 WO2013172172 A1 WO 2013172172A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
self
industrial machine
dump truck
unit
Prior art date
Application number
PCT/JP2013/062204
Other languages
English (en)
French (fr)
Inventor
古渡　陽一
小田　尚和
克彦 清水
慶仁 稲野辺
石本　英史
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Priority to AU2013260793A priority Critical patent/AU2013260793B2/en
Priority to US14/400,673 priority patent/US9845051B2/en
Priority to CN201380025423.2A priority patent/CN104303497B/zh
Priority to DE112013002543.4T priority patent/DE112013002543B4/de
Publication of WO2013172172A1 publication Critical patent/WO2013172172A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Definitions

  • the present invention relates to a display device of a self-propelled industrial machine that assists when traveling operation of a self-propelled industrial machine such as a transport vehicle that transports soil and the like, a hydraulic shovel, and the like.
  • a dump truck is one of the self-propelled industrial machines.
  • the dump truck is provided with a loadable bed (vessel) on the frame of the vehicle body, and the vessel is loaded with an object to be transported such as crushed stone and soil.
  • a dump truck conveys earth and sand etc. to a predetermined accumulation place and discharges it.
  • the dump truck is moved backward to the earth removal position and stopped. In this state, the vessel is inclined to remove earth and sand and the like. Then, when the discharge is finished, the vessel is returned to the original position, and the dump truck is advanced.
  • a hydraulic shovel is one of the self-propelled industrial machines.
  • the hydraulic shovel has a lower traveling body having traveling means of a crawler type or a wheel type and an upper revolving body which can be pivoted with respect to the lower revolving body.
  • the upper slewing body is provided with a cab (cab), and a boom is connected to the upper swinging body so as to be capable of suppressing movement, an arm pivotally connected to the tip of the boom so as to be vertically movable, and earth and sand
  • a bucket for performing work such as digging is provided as a working means on the upper revolving superstructure.
  • the self-propelled industrial machine For the operator who gets in the cab of a self-propelled industrial machine such as a dump truck or a hydraulic shovel, although a field of view in front is secured, a blind spot occurs in the rear and on the left and right sides. As a result, it is difficult for the operator to visually recognize. Therefore, in order to allow the operator to recognize the situation around the self-propelled industrial machine in an auxiliary manner, the self-propelled industrial machine is provided with a plurality of cameras, and the surroundings are photographed. Images taken by the camera are displayed on a monitor installed in the cab. As a result, the operator can be made to recognize the visual field in the direction in which it is difficult for the operator to visually recognize with the naked eye, and the operator can support the traveling operation (assist).
  • Patent Document 1 discloses this type of technology.
  • cameras are installed on the side and the rear of the construction machine, and after performing image processing so that images taken by these cameras are continuous, the images are displayed on the display. This makes the operator intuitively understand the movement of the object.
  • Patent Document 2 discloses a technique for displaying a rear view of a construction machine on a monitor.
  • a self-propelled industrial machine it is important to display an image of the surrounding area on a monitor in the cab to make the operator aware of the surrounding condition.
  • the part which becomes the blind spot of the operator becomes the blind spot not only around the self-propelled industrial machine but also the lower part thereof.
  • the traveling of the self-propelled industrial machine is regulated. For example, in the case of a dump truck, when there is an obstacle at the lower part of the dump truck, the traveling of the dump truck is restricted even though the loading operation of soil is completed.
  • Dump trucks are usually dump trucks and heavy dump trucks, but they are large anyway, and an extensive space is formed at the bottom of the dump truck.
  • the space at the bottom becomes large. Therefore, there is a good possibility that an obstacle gets into the lower part of the dump truck.
  • the traveling of the dump truck is restricted from the viewpoint of safety.
  • a self-propelled construction machine such as a hydraulic shovel having a lower traveling body. Therefore, in the self-propelled industrial machine, it is important for the operator to be aware of the surrounding condition, but it is also important for the operator to be aware of the lower situation as well.
  • an object of the present invention is to support traveling operation of a self-propelled industrial machine by displaying a lower part of the self-propelled industrial machine on a display device provided in a cab of the self-propelled industrial machine.
  • the display device of a self-propelled industrial machine is provided in a self-propelled industrial machine, and a photographing unit including the lower part of the self-propelled industrial machine in a field of view;
  • a symbol image holding unit that holds a symbol image obtained by symbolizing an industrial machine, and the lower region of the symbol image included in the field of view of the photographing unit is a transmission region, and this transmission region is transmitted at a predetermined transmittance
  • a superimposition processing unit that performs processing to superimpose an image corresponding to the transmission area among the images captured by the imaging unit as a lower image, and the operation processing unit of the self-propelled industrial machine, And a display device for displaying the superimposed symbol image.
  • the symbol image obtained by symbolizing the self-propelled industrial machine is displayed on the display device of the driver's cab.
  • the operator transmits the area corresponding to the lower area of the self-propelled industrial machine photographed by the imaging unit in the symbol image as the transparent area and superimposes the image of the lower area on the transparent area. It can be made to recognize the situation of the lower part of a self-propelled industrial machine.
  • a plurality of peripheral imaging units that capture at least one of the imaging units and that captures an image around the self-propelled industrial machine with the obliquely lower side as an optical axis, and an upper view point with respect to the images captured by the peripheral imaging unit
  • a viewpoint conversion unit that generates a bird's-eye view image that has been viewpoint-converted to become an image combining unit that combines the overhead image with the symbol image superimposed by the superposition processing unit as a center, and an image that is combined by the image combining unit
  • a display image generation unit configured to generate a display image to be displayed on the display device and output the display image to the display device.
  • a bird's-eye view image is generated to make the operator aware of the situation around the self-propelled industrial machine.
  • the peripheral imaging unit for generating the overhead image includes the above-described imaging unit, the overhead image of the periphery can be displayed centering on the symbol image, and the image of the lower part of the self-propelled industrial machine can be a symbol image Can be displayed. This enables the operator to recognize both the lower part and the periphery of the self-propelled industrial machine.
  • the superimposition processing unit superimposes the portion of the transmission area in the symbol image and the lower image so as to be displayed doubly when the transmittance is non-transmission and semi-transmission that is not total transmission. May be performed.
  • the outer shape and the lower image of the self-propelled industrial machine are doubly displayed by the symbol image.
  • the external shape of the self-propelled industrial machine can be recognized, and the situation of the lower part of the self-propelled industrial machine can be recognized.
  • the superimposition processing unit may display only the lower image in the transmission area and draw an outline of the transmission area when the transmittance is totally transmitted.
  • the lower image By totally transmitting the transmission region of the symbol image, the lower image can be clearly displayed. Thus, the operator can clearly recognize the lower situation of the self-propelled industrial machine. At this time, the shape of the self-propelled industrial machine can be recognized from the symbol image by drawing the outline of the transmission area.
  • the superimposition processing unit may draw the outline in the same manner as the symbol image.
  • the superimposition processing unit may control whether or not to transmit each of the plurality of transmission regions according to a travel operation unit that operates travel of the self-propelled industrial machine.
  • a symbol image obtained by symbolizing a self-propelled industrial machine is displayed on the display device of the cab.
  • the operator transmits the area corresponding to the lower area of the self-propelled industrial machine photographed by the imaging unit in the symbol image as the transparent area and superimposes the image of the lower area on the transparent area. It can be made to recognize the situation of the lower part of a self-propelled industrial machine.
  • FIG. 7 is a view for explaining an example in which a lower image is superimposed in FIG. 6; It is a figure which shows the state which the permeation
  • FIG. 8 is a diagram showing an example of drawing an outline when totally transmitting through a transmission region.
  • the dump truck is applied as a self-propelled industrial machine below, it is not limited to a dump truck. Although there is a hydraulic shovel as a self-propelled industrial machine, the hydraulic shovel will be described later. There are a rigid dump and an articulated dump as a dump truck, but any may be applied. In the following, “left” is the left side viewed from the driver's cab, and “right” is the right side viewed from the driver's cab.
  • FIG. 1 shows a left side view of the dump truck 1
  • FIG. 2 shows a plan view.
  • the dump truck 1 is configured to include a cab 2, a frame 3, a vessel 4, a front wheel 5, a rear wheel 6, a driving cylinder 7, and a link mechanism 8.
  • cameras 10 a front camera 10F, a rear camera 10B, a right camera 10R, and a left camera 10L as peripheral imaging units are provided on the front, rear, left, and right of the dump truck 1.
  • the front camera 10F is a camera having a front, a rear camera 10B a rear, a right camera 10R a right side, and a left camera 10L a left side as a field of view. That is, the optical axis direction is obliquely downward.
  • the number of cameras 10 provided in the dump truck 1 can be any number. However, it is preferable that the rear camera 10B, the rightward camera 10R, and the leftward camera 10L for capturing a direction in which the blind spot of the visual field of the operator is generated. Further, in the case of the articulate dump, more cameras may be provided.
  • the operator's cab 2 is provided for the operator to board and operate the dump truck 1 and is often disposed on the left side of the dump truck 1.
  • various operation means are provided in the cab 2.
  • the frame 3 constitutes a framework of the dump truck 1, and a front wheel 5 is provided in front of the frame 3 and a rear wheel 6 is provided behind.
  • the vessel 4 is a loading platform for loading earth, sand, minerals and the like.
  • a driving cylinder 7 and a link mechanism 8 are attached to the vessel 4 and can be tilted. Thereby, it is possible to discharge the earth and sand etc. loaded on the vessel 4.
  • FIG. 3 shows an example of the cab 2.
  • the operator's cab 2 is provided with a steering wheel 11 for operating the traveling direction, a console 12 for displaying instruments and the like of the dump truck 1 and a pillar 13.
  • the monitor 14 is attached to the pillar 13.
  • the monitor 14 is configured to include a screen unit 15 and an input unit 16.
  • the screen unit 15 is a screen for displaying predetermined information, and the input unit 16 is provided to appropriately operate the display contents of the screen unit 15.
  • the position of the monitor 14 may be provided at any position as long as it is inside the cab 2. Further, the input unit 16 may be omitted, and the screen unit 15 may be a touch sensor panel.
  • FIG. 4 shows a display controller 17 connected to the monitor 14 and a vehicle controller 18 connected to the display controller 17.
  • the display controller 17 includes an image correction unit 21, a viewpoint conversion unit 22, a lower image generation unit 23, a symbol image holding unit 24, a superimposition processing unit 25, an image combination unit 26, and a display image generation unit 27.
  • Each part of the display controller 17 can be realized by software, and the function of each part can be performed by the CPU.
  • the image correction unit 21 receives an image captured by the front camera 10F, the rear camera 10B, the right camera 10R, and the left camera 10L. Then, various types of image correction such as aberration correction, contrast correction, and color tone correction are performed on the input image based on camera optical system parameters and the like. This improves the image quality of the input image.
  • the corrected image input by the image correction unit 21 is output to the viewpoint conversion unit 22 as image data.
  • the viewpoint conversion unit 22 performs viewpoint conversion processing on the image data input from the image correction unit 21 to generate an overhead image (virtual viewpoint image).
  • each camera 10 has the obliquely lower side as the optical axis direction, and converts this into a virtual viewpoint from above.
  • the optical axis A of the objective lens of the camera 10 front camera 10F, rear camera 10B, right camera 10R, left camera 10L
  • the optical axis of the camera 10 is obliquely downward.
  • the viewpoint conversion unit 22 virtually sets the virtual camera 10V whose optical axis direction is the vertical direction to the height H, and performs coordinate conversion into image data of the virtual camera 10V looking down on the ground L.
  • the image converted into the viewpoint from above as described above becomes a virtual planar image (overview image).
  • the overhead view image subjected to the viewpoint conversion processing by the viewpoint conversion unit 22 is output to the lower image generation unit 23 and the image combining unit 26.
  • the lower image generation unit 23 acquires the lower part of the dump truck 1 in the overhead image and sets this as the lower image. Since the image data is a bird's eye image, the lower image is also a bird's eye image. Note that the lower part of the dump truck 1 is not necessarily included in the field of view for all the cameras 10. Therefore, the lower image of the camera 10 in which the lower portion of the dump truck 1 is not included in the field of view is not generated. In the present embodiment, it is assumed that the field of view of the front camera 10F does not include the lower part of the dump truck 1, and therefore the lower image by the front camera 10F is not generated.
  • the symbol image holding unit 24 holds a symbol image.
  • the symbol image is an image when the dump truck 1 is displayed on the screen unit 15 as a symbol (character). Accordingly, the symbol image is an image that reproduces the shape of the dump truck 1. If the reproducibility at this time is high, the operator can accurately recognize the shape of the dump truck 1. However, it does not have to be an image that faithfully reproduces the shape of the dump truck 1.
  • the superimposition processing unit 25 receives the lower image from the lower image generation unit 23, and receives the symbol image from the symbol image storage unit 24. Then, the superimposition processing unit 25 transmits an area corresponding to the lower image in the symbol image as a transmissive area at a predetermined transmittance, and performs image processing to superimpose the lower image on the transmissive area.
  • This image processing is superimposing processing (image superposition processing), and if the transmittance is not 100%, the symbol image and the lower image are doubly displayed at the same position.
  • the transmittance can be arbitrarily controlled. When the transmittance is 100%, it becomes total transmission, when it is 0%, it becomes non-transmission, and it becomes semi-transmission (or incomplete transmission) otherwise.
  • the image combining unit 26 receives the overhead view image converted by the viewpoint conversion unit 22 and the symbol image processed by the superimposition processing unit 25. Then, with the symbol image at the center, the bird's-eye view image is arranged around the symbol image for synthesis.
  • a front eyelid image is generated from the front camera 10F
  • a rear eyelid image is generated from the rear camera 10B
  • a right eyelid image is generated from the right camera 10R
  • a left eyelid image from the left camera 10L Is generated.
  • synthesis is performed in which a front eyelid image on the front side, a rear eyelid image on the rear side, a right side eyelid image on the right side, and a left side eyelid image on the left side are arranged.
  • the display image generation unit 27 generates an image synthesized by the image synthesis unit 26 as one display image. This display image is output to the monitor 14. A display image is displayed on the screen unit 15 of the monitor 14. The operator who gets into the cab 2 can visually recognize the display image displayed on the screen unit 15.
  • the display controller 17 is connected to the vehicle controller 18.
  • Various operation means for controlling the dump truck 1 are connected to the vehicle controller 18.
  • One of them is the shift lever 28.
  • the shift lever 28 is a travel operation unit that the operator operates the travel of the dump truck 1 and is displaced to three positions of the forward position, the neutral position, and the reverse position.
  • the shift lever 28 is in the forward position, the dump truck 1 moves forward, and when the shift lever 28 is in the reverse position, the dump truck 1 reverses.
  • the dump truck 1 is stopped when positioned at the neutral position.
  • shift lever position information on which position (forward position, neutral position, reverse position) is present is input to the vehicle controller 18.
  • the shift lever position information is then output to the display controller 17 as vehicle information.
  • the display controller 17 creates a display image displayed on the screen unit 15 of the monitor 14 using the above configuration.
  • FIG. 6 shows an example for explaining a display image. As shown to the same figure, the screen part 15 is divided
  • the symbol image 31 is displayed in the central area of the screen unit 15.
  • the symbol image 31 is a symbol (character) that reproduces the shape of the dump truck 1 as described above.
  • an area divided radially forward and backward and left and right around the symbol image 31 is provided.
  • a forward overhead image 32F is displayed in the front area of the symbol image 31
  • a backward overhead image 32B is displayed in the rear area
  • a right forward overhead image 32R is displayed in the right area. Shows the left-eyelid image 32L.
  • the bird's-eye view image 32F, the rear-eyelid image 32B, the right-side eyelid image 32R, and the left-eye eyelid image 32L are collectively referred to as an eyelid image 32.
  • each camera 10 in order to display at least each bird's-eye view image 32, each camera 10 must be photographing. For this purpose, the operator starts the engine or the like, whereby each camera 10 starts shooting. As described above, each camera 10 shoots obliquely downward, the front camera 10 F is forward obliquely downward, the rear camera 10 B is backward backward, the right camera 10 R is obliquely right downward, the left camera 10 L Is shooting the image diagonally below the left side.
  • each camera 10 outputs (transfers) the captured video to the display controller 17 as image data.
  • Each camera 10 shoots at a predetermined shooting cycle, and image data is transferred for each shooting cycle.
  • the screen unit 15 can display a moving image. A still image may be displayed.
  • the image correction unit 21 performs predetermined correction processing on image data output from each camera 10. This improves the image quality of the image data.
  • the image data subjected to the correction processing is subjected to viewpoint conversion by the viewpoint conversion unit 22.
  • the front bird's-eye view image 32F is generated from the image data shot by the front camera 10F
  • the rear bird's-eye view image 32B is generated from the image data shot by the rear camera 10B
  • the right-eye bird's eye image 32R is produced by the image data shot by the right camera 10R.
  • the generated overhead images 32 are output to the image combining unit 26.
  • each bird's-eye view image 32 centering on the symbol image 31 it is possible to display on the screen unit 15 an image of the dump truck 1 as viewed from above as shown in FIG.
  • the operator can well recognize the situation around the dump truck 1. For example, as shown in FIG. 6, when the service car is approaching as the obstacle S1, the operator can intuitively sense the distance between the dump truck 1 and the obstacle S1 by performing overhead image display. Can be recognized.
  • the bird's-eye view image display is effective when checking whether there is any obstacle in the vicinity when starting the dump truck 1.
  • it is effective because it can be confirmed whether or not an obstacle is in proximity in the direction from the operator to a blind spot. Therefore, each bird's-eye view image 32 relatively uses the short distance of the dump truck 1 as the display range. That is, the angle ⁇ between the optical axis of each camera 10 described in FIG. 5 and the ground L is set relatively large.
  • the overhead image display as shown in FIG. 6 the situation in the vicinity of the dump truck 1 can be favorably displayed.
  • the rear camera 10 ⁇ / b> B is attached to the lower position of the vessel 4. Then, the rear camera 10B takes an image of the rear of the dump truck 1 because the light axis is obliquely downward, but the lower part of the dump truck 1 (vessel 4) is also included in the visual field.
  • the wide area under the dump truck 1 is It is included in the field of vision.
  • the lower region is a bird's-eye view image subjected to viewpoint conversion processing, and the lower image generation unit 23 generates a wide lower image.
  • the right-hand camera 10R and the left-hand camera 10L are attached to the rear position of the cab 2, and are located at the rear position from the upper position of the front wheel 5.
  • the right-hand camera 10R and the left-hand camera 10L capture the left and right side views, but the lower part of the dump truck 1 may be included in the view as in the case of the rear camera 10B.
  • the field of view of the right camera 10R and the left camera 10L includes the lower part of the dump truck 1.
  • the area between the front wheel 5 and the rear wheel 6 is included in the field of view.
  • the lower image generation unit 23 acquires each overhead image 32 from the viewpoint conversion unit 22.
  • the front bird's-eye view image 32F is not acquired.
  • the lower image generation unit 23 generates, as a lower image, a portion that displays the lower portion of the dump truck 1 among the backward eyelid image 32B, the rightward eyelid image 32R, and the left directional eyelid image 32L. Therefore, the lower rear image (rear lower image), the lower right image (lower right image), and the lower left image (left lower image) are generated.
  • the symbol image holding unit 24 holds a symbol image 31 in which the shape of the dump truck 1 is reproduced.
  • the symbol image 31 displays the front wheel 5 and the rear wheel 6 and the like, and also displays the mounting position of each camera 10.
  • the symbol image holding unit 24 outputs the held symbol image 31 to the superimposition processing unit 25.
  • the superimposition processing unit 25 sets an area corresponding to the lower image in the symbol image 31 as a transmission area.
  • a rear transmission area 33B an area corresponding to the rear lower image is referred to as a rear transmission area 33B
  • an area corresponding to the right lower image is referred to as a right transmission area 33R
  • an area corresponding to the left lower image is referred to as a left transmission area 33L.
  • each transmission area is indicated by hatching.
  • the rear transmission area 33B, the right transmission area 33R, and the left transmission area 33L are collectively referred to as a transmission area 33.
  • each transmission region 33 corresponding to the lower image in the symbol image 31 is recognized in advance. Therefore, the position of each transmission area in the symbol image 31 is fixed.
  • the lower rear image (referred to as "34B") and the rear transparent area 33B coincide with each other, and the lower right image (referred to as "34R") and the right side transparent area 33R coincide with each other.
  • the left transmission region 33L matches (it is assumed that 34L).
  • the lower rear image 34B, the lower right image 34R, and the lower left image 34L are collectively referred to as a lower image 34.
  • the superimposition processing unit 25 transmits the rear transmission area 33B, the right transmission area 33R, and the left transmission area 33L with a predetermined transmittance, and the rear lower image 34B, the right lower image 34R, and the left lower image 34L.
  • FIG. 7 shows an example thereof.
  • the obstacle S2 is projected on the lower rear image 34B.
  • the operator can recognize that the obstacle S2 exists in the lower part of the dump truck 1, in this case, the lower part of the vessel 4, by visually recognizing the lower rear image 34B of the screen unit 15. Thereby, the operator can recognize that the rear wheel 6 interferes with the obstacle S2 when the dump truck 1 is moved backward by operating the shift lever 28. Thus, the operator can recognize that displacement of the shift lever 28 to the reverse position is restricted.
  • the overhead image display is performed by performing the viewpoint conversion process using the images captured by the cameras 10 (the rear camera 10B, the right camera 10R, and the left camera 10L).
  • the bird's-eye view image display is an image looking down on the ground L when the viewpoint is virtually set to the upper side. Therefore, in the bird's-eye view image display, the image of the lower part of the dump truck 1 is not displayed due to the structure of the vessel 4 and the cab 2 and the like.
  • each camera 10 described above may include the lower part of the dump truck 1.
  • the lower image generation unit 23 generates the lower image
  • the superimposition processing unit 25 transmits the symbol image 31 to combine the lower image, so that the symbol image 31 includes the lower portion of the dump truck 1. It is possible to have the information of the image.
  • the operator can recognize not only the situation around the dump truck 1 but also the situation under the dump truck 1 based on the lower image of the symbol image 31.
  • this originally uses each camera 10 for displaying a bird's-eye view image it is not necessary to specially provide a dedicated camera for photographing the lower part.
  • the direction icon 35 is disposed at the position where the driver's cab 2 of the symbol image 31 is reproduced.
  • the direction icon 35 indicates the direction of the operator.
  • the direction is indicated by a triangular arrow.
  • the direction icon 35 may be changed depending on the traveling direction of the dump truck 1. Information on the traveling direction is input to the display controller 17 from the vehicle controller 18 as vehicle information, and therefore the triangle may be rotated according to the traveling direction. For example, when the dump truck 1 is moved backward, the direction of the triangle in FIG. 6 is reversed.
  • the superimposition processing unit 25 transmits each transmission region 33 of the symbol image 31 with a predetermined transmittance, but in the example of FIG. 7, the transmittance is set to neither total transmission nor non-transmission (for example, , 50% transmittance). As a result, the superimposition processing unit 25 synthesizes the lower image in the transmission area, so that the situation in the lower part of the dump truck 1 can be recognized. At this time, as shown in FIG. 7, since the lower image is superimposed and displayed on the transmission region of the symbol image 31, the outer shape of the symbol image 31 is also displayed.
  • the aforementioned transmittance may be set in advance or may be appropriately controlled.
  • the transmittance may be set to an arbitrary value using the input unit 16 of the monitor 14.
  • the operator In the overhead image display, it is important for the operator to recognize the sense of distance between the dump truck 1 and the surroundings by displaying each overhead image centering on the symbol image 31. For example, in FIG. 7, the sense of distance between the dump truck 1 and the obstacle S1 (service car) can be accurately recognized. Therefore, it is important to display the outline of the symbol image 31 clearly. If the above-mentioned transmittance is increased, it becomes difficult to recognize the outer shape of the transmission region of the symbol image 31, and the operator can not clearly grasp the sense of distance between the dump truck 1 and the surroundings.
  • the transmission area of the symbol image 31 has completely disappeared (note that although the outline of the transmission area which has disappeared is shown by a virtual line for the sake of explanation, this virtual line is actually Is not displayed).
  • the sense of distance between the dump truck 1 and its surroundings can not be recognized.
  • the obstacle S3 is close enough to contact a portion corresponding to the transmission area of the dump truck 1. The operator can recognize the obstacle S3, but can not recognize that the obstacle 3 is in proximity to the extent of contact, since the transmission area is lost. For this reason, the original purpose of overhead view image display can not be achieved.
  • the image combining unit 26 draws an outline (outline) 26 on the outer periphery of the transmission region as shown in FIG. Thereby, the outer shape of the symbol image 31 is clearly displayed on the screen unit 15. Therefore, the sense of distance between the dump truck 1 and its surroundings can be recognized by the outer contour line 36.
  • the dump truck 1 is in close proximity to the extent that the obstacle S3 contacts.
  • the obstacle S2 present in the lower part of the vessel 4 is clearly displayed on the screen.
  • the operator can at first glance grasp that the obstacle S2 is present at the lower part of the dump truck 1 (vessel 4). Also, it can be recognized that the obstacle S3 is approaching to the extent that it contacts the dump truck 1.
  • the superimposition processing unit 25 draws the outline 36 in the same color, the same line type, or the like as the symbol image 31.
  • the operator can clearly recognize that the outline 36 indicates a part of the symbol image 31, that is, a part of the dump truck 1.
  • the shift lever 28 has a forward position, a neutral position and a reverse position, and the position of the shift lever 28 determines whether or not the dump truck 1 is to travel and, in the case of travel, the traveling direction. .
  • Information on which position the shift lever 28 is in is input to the vehicle controller 18, and the vehicle controller 18 outputs shift lever position information to the display controller 17 as vehicle information.
  • the superposition processing unit 25 inputs shift lever position information. Thereby, the superimposition processing unit 25 recognizes the traveling direction of the dump truck 1. The superimposition processing unit 25 controls whether to transmit each transmission area 33 according to shift lever position information, that is, the position of the shift lever 28.
  • the superimposition processing unit 25 sets the rear transmission region 33B as non-transmission (the transmittance is 0%). As a result, since the outer shape of the symbol image 31 is clearly displayed, the visibility of the operator is improved. In addition, it is not necessary for the superimposition processing unit 25 to perform image processing to transmit the lower rear image 33B by transmitting through the rear transmission region 33B.
  • the dump truck 1 reverses.
  • the obstacle S2 is present in the rear transmission area 33B, it interferes with the dump truck 1. Therefore, in this case, by recognizing that the dump truck 1 moves backward, the superimposition processing unit 25 performs image processing that transmits the rear transmission region 33B and combines the lower rear image 34B. Therefore, a screen as shown in FIG. 7 is displayed. Thereby, the operator can recognize the situation behind the lower part of the dump truck 1 by visually recognizing the lower rear image 34B at the time of reverse travel.
  • the superimposition processing unit 25 transmits the right lower transmission area 33R to synthesize the lower right image 34R, and transmits the left lower transmission area 33L to generate the left lower image. Synthesize 34L.
  • the rightward transmission area 33R and the left transmission area 33L can be either the front wheel 5 or the rear wheel 6 when the dump truck 1 moves forward or backward. It interferes with the heel. Therefore, when the shift lever 28 is in the forward position or the reverse position, the lower right image 34R and the lower left image 34L are displayed on the symbol image 31.
  • the shift lever 28 may enter a neutral position. In this case, the dump truck 1 is stopped. Therefore, all of the rear transmission area 33B, the right transmission area 33R, and the left transmission area 33L are made non-transparent. Thereby, the superimposition processing unit 25 outputs the symbol image 31 held by the symbol image holding unit 24 as it is to the image combining unit 26 without performing the transmission process.
  • the dump truck 1 is stopped, there is no particular problem even if the obstacle S2 exists in the lower part of the dump truck 1. Therefore, in this case, security is ensured even if the lower image 34 is not displayed.
  • the shift lever 28 is operated from the neutral position to the forward position or the reverse position by the operator, the dump truck 1 advances or reverses. Therefore, even when the dump truck 1 is stopped, the lower image 34 may be displayed in each transmissive area 33.
  • the superimposition processing unit 25 displays the necessary lower image 34 but does not display the lower image 34 that does not need to be displayed.
  • the superimposition processing unit 25 performs transmission processing to display the lower image 34. Thereby, the visibility of the outer shape of the symbol image 31 is reduced. Therefore, by not displaying the unnecessary lower image 34 according to the position of the shift lever 28, the symbol image 31 can be displayed simply, and the visibility of the operator can be improved.
  • the lower camera 10U shown in FIG. 11 is not a peripheral imaging unit but an imaging unit for imaging the lower part of the dump truck 1. Accordingly, the lower camera 10U views the inside of the lower part of the dump truck 1 as a field of view.
  • a front camera 10F, a rear camera 10B, a right camera 10R, and a left camera 10L are provided. Therefore, these cameras 10 have a field of view outside the dump truck 1. At this time, since the lower part of the dump truck 1 is a part of the field of view in each camera 10, it is used to transmit the symbol image 31 to display the lower image.
  • the rear camera 10B, the right camera 10R, and the left camera 10L function not only as the peripheral imaging unit but also as the imaging unit described above.
  • the dump truck 1 is provided with the lower camera 10 U, and the inside of the lower part of the dump truck 1 is photographed.
  • the lower camera 10U also has the optical axis directed obliquely downward, and after correction processing is performed by the image correction unit 21, the viewpoint conversion unit 22 converts it into an overhead image.
  • the lower camera 10 U is an imaging unit provided to project the lower part of the dump truck 1, and has a wide area in the lower part of the dump truck 1 as a field of view. Therefore, as shown in the figure, the wide area of the symbol image 31 is the inner transmission area 33U, and the superposition processing unit 25 superposes the inner lower image 34U corresponding to the wide inner transmission area 33U.
  • the rear camera 10B, the right camera 10R, and the left camera 10L are provided in order to display a bird's-eye view around the dump truck 1, whereby the rear lower image 34B, as described above, is provided.
  • the lower right image 34R and the lower left image 34L are displayed. Thereby, as shown in the figure, most of the lower part of the dump truck 1 is displayed in the symbol image 31.
  • the lower camera 10U with a view below the dump truck 1 and displaying the inner lower image 34U in the symbol image 31, the situation of the wide area of the dump truck 1 can be recognized by the operator.
  • the rear lower image 34B, the lower right image 34R, and the lower left image 34L are displayed by the rear camera 10B, the right camera 10R, and the left camera 10L, but only the lower camera 10U
  • the lower image of the dump truck 1 may be displayed on the symbol image 31 using Further, not only one lower camera but a plurality of lower cameras may be provided.
  • the hydraulic shovel 40 shown in FIG. 13 is also applicable as a self-propelled industrial machine.
  • the hydraulic shovel 40 is configured to have a lower traveling body 41 having a crawler traveling body and an upper revolving structure 42 pivotally connected to the lower traveling body 41.
  • the upper revolving superstructure 42 has a cab 43, working means 44, a building 45 and a counterweight 46.
  • the working means 44 comprises a boom 47, an arm 48 and a bucket 49.
  • the above is the configuration of a general hydraulic shovel 40.
  • a front camera 50F, a rear camera 50B, a right camera 50R, and a left camera 50L are attached to the hydraulic shovel 40. These cameras are attached for the same purpose as the front camera 10F, the rear camera 10B, the right camera 10R, and the left camera 10L described above, and are provided to display a state around the hydraulic shovel 40 as a bird's eye view. Further, the front camera 50F is attached near the cab 43, and the rear camera 50B is attached to the lower part of the counter weight 46. The right camera 50R and the left camera 50L are attached to the building 45.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Image Processing (AREA)

Abstract

　自走式産業機械の運転室に設けられる表示装置に自走式産業機械の下部を表示させて、自走式産業機械の走行操作の支援を行なうことを目的とする。　本発明の自走式産業機械の表示装置は、ダンプトラック１に備えられ、ダンプトラック１の下部を視野に含むカメラ１０と、ダンプトラック１をシンボル化したシンボル画像３１を保持するシンボル画像保持部２４と、シンボル画像３１のうち、カメラ１０の視野に含まれる下部の領域を透過領域３３として、この透過領域３３を所定の透過率で透過させ、カメラ１０が撮影した画像のうち透過領域３３に対応する画像を下部画像３４として重畳する処理を行う重畳処理部２５と、ダンプトラック１の運転室２に備えられ、重畳処理部２５が重畳したシンボル画像３１を表示する画面部１５と、を備えている。

Description

自走式産業機械の表示装置
　本発明は、土砂等を運搬する運搬車両や油圧ショベル等の自走式産業機械の走行操作を行うときにその支援を行う自走式産業機械の表示装置に関するものである。
　自走式産業機械が多様な作業現場で利用されている。自走式産業機械の１つにダンプトラックがある。ダンプトラックは、車体のフレーム上に起伏可能とした荷台（ベッセル）を備えており、このベッセルに砕石物や土砂等の運搬対象物を積載する。そして、ダンプトラックは所定の集積場に土砂等を運搬して排土する。ベッセルに積載された土砂等を排土するときには、ダンプトラックを排土位置まで後進させて、停止させる。この状態でベッセルを傾斜させて土砂等を排土する。そして、排土を終えるとベッセルを元の位置に戻して、ダンプトラックを前進させる。
　一方、自走式産業機械の１つに油圧ショベルがある。油圧ショベルは、クローラ式またはホイール式の走行手段を有する下部走行体と下部旋回体に対して旋回可能な上部旋回体とを有している。上部旋回体には運転室（キャブ）が設けられており、上部旋回体に対して俯抑動作可能に連結したブームと、ブームの先端に上下方向に回動可能に連結したアームと、土砂の掘削等の作業を行うバケットとが作業手段として上部旋回体に設けられている。
　ダンプトラックや油圧ショベル等の自走式産業機械の運転室に搭乗するオペレータにとって、前方の視野は確保されているものの、後方や左右側方には死角を生じる。このため、オペレータが肉眼で視認することが困難な方向が生じる。そこで、自走式産業機械の周辺の状況をオペレータに補助的に認識させるために、自走式産業機械に複数台のカメラを設けて、その周辺を撮影する。カメラが撮影した映像は運転室に備え付けられるモニタに表示される。これにより、オペレータが肉眼で視認することが困難な方向の視野についてもオペレータに認識をさせることができ、オペレータの走行操作の支援（アシスト）をすることができる。
　この種の技術が特許文献１に開示されている。特許文献１の技術では、建設機械の側方および後方にカメラを設置し、これらのカメラが撮影した画像が連続するように画像処理を行った後にディスプレイに表示している。これにより、オペレータに物体の移動を直感的に理解させている。また、建設機械の後方の視野をモニタに表示する技術が特許文献２に開示されている。
特開２００９－００７８６０号公報 特開２００５－１６３３７０号公報
　自走式産業機械において、その周辺の映像を運転室のモニタに表示して、オペレータに周辺の状況を認識させることは重要である。ただし、オペレータの死角となる部分は、自走式産業機械の周辺だけでなく、その下部についても死角となる。自走式産業機械の下部に何らかの障害物が存在するときには、自走式産業機械の走行は規制される。例えば、ダンプトラックの場合、ダンプトラックの下部に障害物が存在する場合には、土砂の積載作業が終了したにもかかわらず、ダンプトラックの走行が規制される。
　ダンプトラックとしては普通ダンプトラックや重ダンプトラックがあるが、いずれにしろ大型であり、ダンプトラックの下部に広範な空間が形成される。特に、積載重量が１００トンを超えるような重ダンプトラックにおいては、下部の空間は広大になる。従って、ダンプトラックの下部に障害物が入り込む可能性が十分にある。この場合には、安全性の観点から、ダンプトラックの走行は規制される。これは、下部走行体を有する油圧ショベル等の自走式建設機械においても同様である。従って、自走式産業機械において、その周辺の状況をオペレータが認識することは重要であるが、下部の状況についてもオペレータに認識させることも重要になる。
　そこで、本発明は、自走式産業機械の運転室に設けられる表示装置に自走式産業機械の下部を表示させて、自走式産業機械の走行操作の支援を行なうことを目的とする。
　以上の課題を解決するため、本発明の自走式産業機械の表示装置は、自走式産業機械に備えられ、前記自走式産業機械の下部を視野に含む撮影部と、前記自走式産業機械をシンボル化したシンボル画像を保持するシンボル画像保持部と、前記シンボル画像のうち、前記撮影部の視野に含まれる前記下部の領域を透過領域として、この透過領域を所定の透過率で透過させ、前記撮影部が撮影した画像のうち前記透過領域に対応する画像を下部画像として重畳する処理を行う重畳処理部と、前記自走式産業機械の運転室に備えられ、前記重畳処理部が重畳した前記シンボル画像を表示する表示装置と、を備えている。
　この発明によれば、自走式産業機械をシンボル化したシンボル画像を運転室の表示装置に表示している。このときに、シンボル画像のうち、撮影部が撮影した自走式産業機械の下部領域に対応する領域を透過させて透過領域として、この透過領域に下部領域の画像を重畳させることで、オペレータに自走式産業機械の下部の状況を認識させることができる。
　また、前記撮影部を少なくとも１つ含み、斜め下方を光軸として前記自走式産業機械の周辺の画像を撮影する複数の周辺撮影部と、前記周辺撮影部が撮影した画像に対して上方視点となるように視点変換した俯瞰画像を生成する視点変換部と、前記重畳処理部が重畳した前記シンボル画像を中心として前記俯瞰画像を合成する画像合成部と、前記画像合成部が合成した画像を前記表示装置に表示させる表示画像として生成して前記表示装置に出力する表示画像生成部と、を備えるようにしてもよい。
　自走式産業機械の周辺の状況をオペレータに認識させるために、俯瞰画像を生成する。俯瞰画像を生成するための周辺撮影部には前述した撮影部が含まれるため、シンボル画像を中心として周辺の俯瞰画像を表示することができると共に、自走式産業機械の下部の画像をシンボル画像に表示することができる。これにより、自走式産業機械の下部と周辺との両方をオペレータに認識させることができる。
　また、前記重畳処理部は、前記透過率が非透過および全透過でない半透過のときには、前記シンボル画像のうち前記透過領域の部分と前記下部画像とが二重に表示されるように重畳する処理を行うようにしてもよい。
　シンボル画像の透過領域を半透過させることで、シンボル画像により自走式産業機械の外形と下部画像とが二重に表示される。これにより、自走式産業機械の外形を認識することができると共に、自走式産業機械の下部の状況を認識することができる。
　また、前記重畳処理部は、前記透過率が全透過のときには、前記透過領域に前記下部画像のみを表示させ、前記透過領域の外郭線を描画するようにしてもよい。
　シンボル画像の透過領域を全透過することで、下部画像を鮮明に表示することができる。これにより、オペレータは自走式産業機械の下部の状況を明確に認識することができる。このとき、透過領域のアウトラインを描画することで、シンボル画像により自走式産業機械の形状を認識することができる。
　また、前記重畳処理部は、前記シンボル画像と同じ態様で前記外郭線を描画するようにしてもよい。
　シンボル画像と外郭線との表示態様を同じにすることで、全透過をしたときのシンボル画像の外形を良好に視認することができる。
　また、前記重畳処理部は、前記自走式産業機械の走行を操作する走行操作部に応じて、複数の前記透過領域のそれぞれについて透過させるか否かの制御を行うようにしてもよい。
　複数の透過領域が存在する場合、自走式産業機械の走行方向によって、表示が必要な透過領域と不要な透過領域とが存在することがある。この場合には、走行操作部の状態によって、不要な透過領域を非透過とすることで、シンプルにシンボル画像を表示でき、シンボル画像の外形を明確に認識することができる。
　本発明は、自走式産業機械をシンボル化したシンボル画像を運転室の表示装置に表示している。このときに、シンボル画像のうち、撮影部が撮影した自走式産業機械の下部領域に対応する領域を透過させて透過領域として、この透過領域に下部領域の画像を重畳させることで、オペレータに自走式産業機械の下部の状況を認識させることができる。
ダンプトラックの左側面図である。 ダンプトラックの平面図である。 運転室に取り付けられるモニタの一例を示した図である。 表示コントローラのブロック図である。 視点変換処理の原理を説明した図である。 画面部に表示される表示画像の一例を示す図である。 図６において、下部画像を重畳した例を説明した図である。 透過領域を全透過したときに、透過領域が消失した状態を示す図である。 透過領域を全透過したときに、外郭線を描画した例を示す図である。 シフトレバーに応じて、透過領域の表示または非表示を分けている状態を説明する図である。 ダンプトラックの下部を視野とする下部カメラを配置したときのダンプトラックの平面図である。 下部カメラの画像を用いたときの、シンボル画像の一例を示す図である。 油圧ショベルの左側面図である。
　以下、図面を参照して、本発明の実施形態について説明する。以下において、自走式産業機械としてダンプトラックを適用しているが、ダンプトラックには限定されない。自走式産業機械としては油圧ショベルもあるが、油圧ショベルについては後述する。ダンプトラックとしてはリジットダンプとアーティキュレートダンプとがあるが、何れを適用してもよい。なお、以下において、「左」とは運転室から見た左側であり、「右」とは運転室から見た右側になる。
　図１はダンプトラック１の左側面図を示しており、図２は平面図を示している。これらの図に示すように、ダンプトラック１は、運転室２とフレーム３とベッセル４と前輪５と後輪６と駆動用シリンダ７とリンク機構８とを備えて構成している。また、ダンプトラック１の前後左右に周辺撮影部としてのカメラ１０（前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌ）が設けられている。
　前方カメラ１０Ｆは前方、後方カメラ１０Ｂは後方、右方カメラ１０Ｒは右側方、左方カメラ１０Ｌは左側方を視野とするカメラであり、斜め下方を撮影している。つまり、光軸方向が斜め下方になっている。なお、ダンプトラック１に備えられるカメラ１０の個数は任意の数とすることができる。ただし、オペレータの視野の死角を生じる方向を撮影する後方カメラ１０Ｂと右方カメラ１０Ｒと左方カメラ１０Ｌとを備えることが望ましい。また、アーティキュレートダンプの場合には、さらに多くのカメラを設けてもよい。
　運転室２はオペレータが搭乗してダンプトラック１を操作するために設けられており、ダンプトラック１の左側に配置されているものが多い。また、各種の操作手段が運転室２に設けられている。フレーム３はダンプトラック１の枠組みを構成するものであり、フレーム３の前方には前輪５が設けられ、後方には後輪６が設けられている。ベッセル４は荷台であり、土砂や鉱物等を積載する。ベッセル４には駆動用シリンダ７およびリンク機構８が取り付けられており、傾動可能になっている。これにより、ベッセル４に積載された土砂等を排土することが可能になっている。
　図３は、運転室２の一例を示している。運転室２には、走行方向を操作するハンドル１１とダンプトラック１の計器類等を表示するコンソール１２とピラー１３とが設けられている。そして、ピラー１３にモニタ１４が取り付けられている。モニタ１４は画面部１５と入力部１６とを備えて構成している。画面部１５は所定の情報を表示する画面であり、入力部１６は画面部１５の表示内容を適宜に操作するために設けている。なお、モニタ１４の位置は運転室２の内部であれば任意の位置に設けてもよい。また、入力部１６を省略して、画面部１５をタッチセンサパネルとしてもよい。
　図４は、モニタ１４に接続される表示コントローラ１７および表示コントローラ１７に接続される車体コントローラ１８を示している。同図に示すように、表示コントローラ１７は画像補正部２１と視点変換部２２と下部画像生成部２３とシンボル画像保持部２４と重畳処理部２５と画像合成部２６と表示画像生成部２７とを備えている。表示コントローラ１７の各部はソフトウェアで実現することが可能であり、ＣＰＵにより各部の機能が行われるようにすることもできる。
　画像補正部２１は、前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌが撮影している画像を入力している。そして、入力した画像に対して、カメラ光学系パラメータ等に基づいて、収差補正やコントラスト補正、色調補正等の各種の画像補正を行う。これにより、入力した画像の画質を向上させる。画像補正部２１が入力した補正した画像は画像データとして視点変換部２２に出力される。
　視点変換部２２は、画像補正部２１から入力した画像データに対して視点変換処理を行って、俯瞰画像（仮想視点画像）を生成する。前述したように、各カメラ１０は斜め下方を光軸方向としており、これを上方からの仮想的な視点に変換する。図５に示すように、カメラ１０（前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌ）の対物レンズの光軸Ａは、地表Ｌに対して所定角度θを有しており、これにより、カメラ１０の光軸は斜め下方になっている。視点変換部２２では、光軸方向が垂直方向となるような仮想カメラ１０Ｖを高さＨに仮想的に設定し、この仮想カメラ１０Ｖが地表Ｌを見下ろした画像データに座標変換する。このように上方からの視点に変換した画像は仮想的な平面画像（俯瞰画像）となる。
　図４に示すように、視点変換部２２が視点変換処理を行った俯瞰画像は、下部画像生成部２３および画像合成部２６に出力される。下部画像生成部２３は、カメラ１０にダンプトラック１の下部が視野に含まれている場合には、俯瞰画像のうちダンプトラック１の下部の部分を取得して、これを下部画像とする。画像データが俯瞰画像であるため、下部画像も俯瞰画像になっている。なお、全てのカメラ１０にダンプトラック１の下部が視野に含まれているとは限らない。従って、ダンプトラック１の下部が視野に含まれていないカメラ１０についての下部画像は生成されない。本実施形態では、前方カメラ１０Ｆの視野にはダンプトラック１の下部は含まれていないものとし、従って前方カメラ１０Ｆによる下部画像は生成されない。
　シンボル画像保持部２４は、シンボル画像を保持する。シンボル画像はダンプトラック１をシンボル（キャラクタ）として画面部１５で表示するときの画像である。従って、シンボル画像はダンプトラック１の形状を再現した画像になる。このときの再現性が高ければ、オペレータはダンプトラック１の形状を正確に認識することができる。ただし、忠実にダンプトラック１の形状を再現した画像でなくてもよい。
　重畳処理部２５は、下部画像生成部２３から下部画像を入力し、シンボル画像保持部２４からシンボル画像を入力する。そして、重畳処理部２５は、シンボル画像のうち下部画像に対応する領域を透過領域として所定の透過率で透過させ、この透過領域に下部画像を重畳する画像処理を行う。この画像処理はスーパーインポーズ処理（画像の重ね合わせ処理）となり、透過率が１００％でなければ、シンボル画像と下部画像とが同じ位置に二重に表示される。透過率は任意にコントロールすることができる。透過率が１００％の場合は全透過になり、０％の場合は非透過になり、それ以外は半透過（或いは不完全透過）になる。
　画像合成部２６は、視点変換部２２が視点変換した俯瞰画像を入力し、重畳処理部２５が処理を行ったシンボル画像を入力する。そして、シンボル画像を中央にして、その周辺に俯瞰画像を配置して合成を行う。つまり、前方カメラ１０Ｆからは前方俯瞰画像が生成され、後方カメラ１０Ｂからは後方俯瞰画像が生成され、右方カメラ１０Ｒからは右方俯瞰画像が生成され、左方カメラ１０Ｌからは左方俯瞰画像が生成される。そして、シンボル画像を中心にして、前側に前方俯瞰画像を、後側に後方俯瞰画像を、右側に右方俯瞰画像を、左側に左方俯瞰画像を配置する合成を行う。
　表示画像生成部２７は、画像合成部２６が合成した画像を１つの表示画像として生成する。この表示画像はモニタ１４に出力される。モニタ１４の画面部１５には表示画像が表示される。運転室２に搭乗したオペレータは、画面部１５に表示された表示画像を視認することができる。
　図４に示すように、表示コントローラ１７は車体コントローラ１８と接続されている。車体コントローラ１８にはダンプトラック１をコントロールするための各種の操作手段が接続されている。そのうちの１つがシフトレバー２８である。シフトレバー２８はオペレータがダンプトラック１の走行を操作する走行操作部であり、前進位置、中立位置、後進位置の３つの位置に変位する。シフトレバー２８が前進位置に位置しているときには、ダンプトラック１は前進し、後進位置に位置しているときにはダンプトラック１は後進する。また、中立位置に位置しているときにはダンプトラック１は停止する。シフトレバー２８からは何れの位置（前進位置、中立位置、後進位置）にあるかのシフトレバー位置情報が車体コントローラ１８に入力される。そして、シフトレバー位置情報は車体情報として表示コントローラ１７に出力される。
　以上の構成を用いて、モニタ１４の画面部１５に表示される表示画像を表示コントローラ１７が作成する。図６は表示画像を説明するための一例を示している。同図に示すように、画面部１５は複数の領域に分割されており、ここでは５つの領域に分割されている。画面部１５の中央の領域にはシンボル画像３１が表示される。このシンボル画像３１は、前述したように、ダンプトラック１の形状を再現したシンボル（キャラクタ）である。
　また、シンボル画像３１を中心として放射状に前後左右に分割した領域が設けられる。シンボル画像３１の前方の領域には前方俯瞰画像３２Ｆが表示され、後方の領域には後方俯瞰画像３２Ｂが表示され、右方の領域には右方俯瞰画像３２Ｒが表示され、左方の領域には左方俯瞰画像３２Ｌが表示される。俯瞰画像３２Ｆと後方俯瞰画像３２Ｂと右方俯瞰画像３２Ｒと左方俯瞰画像３２Ｌとを総称して俯瞰画像３２とする。
　従って、少なくとも各俯瞰画像３２を表示するために、各カメラ１０が撮影を行っていなければならない。このために、オペレータはエンジンを始動させる等して、これにより各カメラ１０が撮影を開始する。前述したように、各カメラ１０は斜め下方を撮影しており、前方カメラ１０Ｆは前方の斜め下方、後方カメラ１０Ｂは後方の斜め下方、右方カメラ１０Ｒは右側方の斜め下方、左方カメラ１０Ｌは左側方の斜め下方の映像を撮影している。
　そして、各カメラ１０は撮影した映像を画像データとして表示コントローラ１７に出力（転送）する。各カメラ１０は所定の撮影周期で撮影を行っており、撮影周期ごとに画像データが転送される。これにより、画面部１５には動画を表示することができる。なお、静止画を表示するようにしてもよい。
　図４に示したように、画像補正部２１は各カメラ１０から出力される画像データに対して所定の補正処理を行う。これにより、画像データの画質が向上する。補正処理が行われた画像データは視点変換部２２で視点変換される。前方カメラ１０Ｆが撮影した画像データにより前方俯瞰画像３２Ｆが生成され、後方カメラ１０Ｂが撮影した画像データにより後方俯瞰画像３２Ｂが生成され、右方カメラ１０Ｒが撮影した画像データにより右方俯瞰画像３２Ｒが生成され、左方カメラ１０Ｌが撮影した画像データにより左方俯瞰画像３２Ｌが生成される。生成された各俯瞰画像３２は画像合成部２６に出力される。
　ところで、シンボル画像３１を中心に各俯瞰画像３２を表示することで、図６のように、ダンプトラック１を上方から見下ろした画像を画面部１５に表示することができる。これは、所謂、俯瞰画像表示である。このような俯瞰画像表示を行うことで、ダンプトラック１の周辺の状況を良好にオペレータが認識することができる。例えば、図６に示すように、サービスカーが障害物Ｓ１として接近している場合には、俯瞰画像表示を行うことで、オペレータはダンプトラック１と障害物Ｓ１との間の距離感を直感的に認識することができる。　
　例えば、俯瞰画像表示は、ダンプトラック１を発進させるときに、周辺に何かしらの障害物が存在しているか否かを確認するときに有効である。特に、オペレータから死角となる方向についても、障害物が近接しているか否かを確認することができるため、有効である。従って、各俯瞰画像３２は比較的ダンプトラック１の近距離を表示範囲としている。つまり、図５で説明した各カメラ１０の光軸と地表Ｌとの間の角度θは比較的大きく設定している。これにより、図６のような俯瞰画像表示を行うことにより、ダンプトラック１に近接した周辺の状況を良好に表示することができる。
　ここで、図１に示したように、後方カメラ１０Ｂはベッセル４の下部位置に取り付けられている。そして、後方カメラ１０Ｂは、斜め下方を光軸としているため、ダンプトラック１の後方を撮影しているが、ダンプトラック１（ベッセル４）の下部も視野に含まれる。特に、前述したように、後方カメラ１０の光軸と地表Ｌとの角度θが比較的大きい場合や、後方カメラ１０の画角が広角の場合には、ダンプトラック１の下部の広範な領域が視野に含まれる。下部領域は視点変換処理を行った俯瞰画像であり、下部画像生成部２３において広範な下部画像が生成される。
　同様に、右方カメラ１０Ｒおよび左方カメラ１０Ｌは運転室２の後方位置に取り付けられており、前輪５の上部位置から後方に偏在した位置となっている。右方カメラ１０Ｒおよび左方カメラ１０Ｌは、左右の側方の視野を撮影しているが、後方カメラ１０Ｂの場合と同様に、ダンプトラック１の下部が視野に含まれることがある。特に、前述した角度θが大きく、右方カメラ１０Ｒおよび左方カメラ１０Ｌの画角が広角の場合には、右方カメラ１０Ｒおよび左方カメラ１０Ｌの視野にダンプトラック１の下部が含まれる。特に、前輪５と後輪６の間の領域が視野に含まれる。
　従って、後方カメラ１０Ｂ、右方カメラ１０Ｒおよび左方カメラ１０Ｌの視野に含まれるダンプトラック１の下部画像をモニタ１４の画面部１５に表示することは可能である。そこで、本実施形態では、下部画像生成部２３は視点変換部２２から各俯瞰画像３２を取得する。ただし、図６の例では、前方俯瞰画像３２Ｆは取得されない。
　下部画像生成部２３は、後方俯瞰画像３２Ｂ、右方俯瞰画像３２Ｒ、左方俯瞰画像３２Ｌのうち、ダンプトラック１の下部を表示する部分を下部画像として生成する。従って、後方の下部画像（後方下部画像）と右方の下部画像（右方下部画像）と左方の下部画像（左方下部画像）とが生成される。
　シンボル画像保持部２４は、図６に示すように、ダンプトラック１の形状を再現したシンボル画像３１を保持している。同図の例では、シンボル画像３１は前輪５や後輪６等が表示されており、また各カメラ１０の取り付け位置も表示されている。シンボル画像保持部２４は保持しているシンボル画像３１を重畳処理部２５に出力する。
　重畳処理部２５はシンボル画像３１のうち、下部画像に対応する領域を透過領域とする。ここでは、後方下部画像に対応する領域を後方透過領域３３Ｂ、右方下部画像に対応する領域を右方透過領域３３Ｒ、左方下部画像に対応する領域を左方透過領域３３Ｌとする。図６において、各透過領域をハッチングで示している。なお、後方透過領域３３Ｂと右方透過領域３３Ｒと左方透過領域３３Ｌとを総称して透過領域３３とする。
　各カメラ１０の取り付け位置や画角、光軸方向等は予め設定されているものであり、シンボル画像３１のうち下部画像に対応する各透過領域３３は予め認識されている。従って、シンボル画像３１の中で各透過領域の位置は定まっている。そして、前述した後方下部画像（３４Ｂとする）と後方透過領域３３Ｂとは一致しており、右方下部画像（３４Ｒとする）と右方透過領域３３Ｒとは一致しており、左方下部画像（３４Ｌとする）と左方透過領域３３Ｌとは一致している。なお、後方下部画像３４Ｂと右方下部画像３４Ｒと左方下部画像３４Ｌとを総称して下部画像３４とする。
　従って、重畳処理部２５は、後方透過領域３３Ｂ、右方透過領域３３Ｒ、左方透過領域３３Ｌを所定の透過率で透過させて、後方下部画像３４Ｂ、右方下部画像３４Ｒ、左方下部画像３４Ｌを重畳（スーパーインポーズ）する。図７は、その一例を示している。同図では、後方下部画像３４Ｂに障害物Ｓ２が映し出されている。オペレータは、画面部１５の後方下部画像３４Ｂを視認することで、ダンプトラック１の下部、この場合はベッセル４の下部に障害物Ｓ２が存在することを認識することができる。これにより、オペレータは、シフトレバー２８を操作して、ダンプトラック１を後進すると、後輪６と障害物Ｓ２とが干渉することを認識することができる。これにより、シフトレバー２８を後進位置に変位させることが規制されることをオペレータは認識できる。
　前述したように、各カメラ１０（後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌ）が撮影した映像を用いて視点変換処理をすることで、俯瞰画像表示を行う。これにより、ダンプトラック１の周辺の状況を一見して認識することができる。俯瞰画像表示は、仮想的に視点を上方に設定したときに、地表Ｌを見下ろす画像になっている。従って、本来であればベッセル４や運転室２等の構造物により、俯瞰画像表示では、ダンプトラック１の下部の画像は表示されない。
　しかし、前述した各カメラ１０の視野にはダンプトラック１の下部が含まれていることがある。その場合には、下部画像生成部２３が下部画像を生成して、重畳処理部２５がシンボル画像３１を透過させて下部画像を合成することで、シンボル画像３１の中にダンプトラック１の下部の画像の情報を持たせることができる。これにより、オペレータはダンプトラック１の周辺の状況だけでなく、シンボル画像３１の下部画像に基づいて、ダンプトラック１の下部の状況についても認識することができる。しかも、これは、もともと俯瞰画像表示をするための各カメラ１０を利用しているため、格別に下部を撮影するための専用のカメラを設ける必要がない。
　なお、図６や図７に示すように、シンボル画像３１の運転室２を再現した位置に方向アイコン３５を配置している。方向アイコン３５はオペレータの向きを示している。ここでは、方向を三角形の矢印で示している。この方向アイコン３５はダンプトラック１の進行方向によって変化させるようにしてもよい。表示コントローラ１７には車体コントローラ１８から進行方向の情報が車体情報として入力されているため、進行方向に応じて三角形を回転させるようにしてもよい。例えば、ダンプトラック１を後進させる場合には、図６の三角形の向きとは逆向きになる。
　以上において、重畳処理部２５は所定の透過率でシンボル画像３１の各透過領域３３を透過させているが、図７の例では、全透過でも非透過でもない透過率に設定していた（例えば、５０％の透過率）。これにより、重畳処理部２５が透過領域に下部画像を合成することで、ダンプトラック１の下部の状況を認識することができる。このとき、図７に示すように、シンボル画像３１の透過領域に下部画像が重ね合わせられて表示されているため、シンボル画像３１の外形も表示されている。
　前述の透過率は予め設定されていてもよいし、適宜にコントロールしてもよい。例えば、モニタ１４の入力部１６を用いて透過率を任意の値に設定してもよい。透過率を低くすると、つまり０％（非透過）に近づけると、下部画像が不鮮明になる。従って、ダンプトラック１の下部の状況の視認性が低下する。これにより、ダンプトラック１の下部の障害物Ｓ２が明瞭に表示されなくなる。ただし、シンボル画像３１の外形は鮮明に表示されている。
　俯瞰画像表示においては、シンボル画像３１を中心として各俯瞰画像を表示することで、ダンプトラック１とその周囲との間の距離感をオペレータに認識させることが重要である。例えば、図７では、ダンプトラック１と障害物Ｓ１（サービスカー）との距離感を正確に認識することができる。従って、シンボル画像３１の外形を鮮明に表示することは重要である。前述の透過率を高くすると、シンボル画像３１の透過領域の外形を認識することが難しくなり、オペレータはダンプトラック１と周囲との距離感を明瞭に把握することができなくなる。
　一方、透過率を高くすると、つまり１００％（全透過）に近づけると、下部画像が鮮明になる。これにより、ダンプトラック１の下部の状況の視認性が向上する。最も視認性が良好になるのは、透過率を１００％に設定したとき、つまり全透過に設定したときである。図８は全透過の状態を示している。
　図８の表示態様では、シンボル画像３１のうち透過領域は完全に消失している（なお、説明のために、消失した透過領域の外形を仮想線で示しているが、実際にはこの仮想線は表示されていない）。これにより、ダンプトラック１とその周囲との間の距離感を認識することができなくなる。図８では、ダンプトラック１の透過領域に相当する部位と接触する程度に障害物Ｓ３が近接している。オペレータは障害物Ｓ３を認識することができるが、透過領域が消失しているため、接触する程度にまで障害物３が近接しているとは認識することができない。このため、俯瞰画像表示の本来的な目的が達成されない。
　そこで、透過率を１００％（全透過）と設定しているときには、画像合成部２６は、図９に示すように、透過領域の外周に外郭線（アウトライン）２６を描画する。これにより、シンボル画像３１の外形が明確に画面部１５に表示される。従って、外郭線３６によりダンプトラック１とその周囲との距離感を認識することができる。図９の例では、ダンプトラック１に障害物Ｓ３が接触する程度にまで近接していることが認識される。そして、透過領域は全透過になっているため、ベッセル４の下部に存在する障害物Ｓ２が画面上に鮮明に表示される。これにより、オペレータはダンプトラック１（ベッセル４）の下部に障害物Ｓ２が存在していることを一見して把握することができる。且つ、障害物Ｓ３がダンプトラック１に接触する程度にまで接近していることを認識することができる。
　このとき、シンボル画像３１の表示態様と同じ態様で外郭線３６を描画することが望ましい。例えば、重畳処理部２５は、シンボル画像３１と同じ色や同じ線種等で外郭線３６を描画する。これにより、外郭線３６はシンボル画像３１の一部、すなわちダンプトラック１の一部を示していることをオペレータに明瞭に認識させることができる。
　次に、ダンプトラック１の走行操作による画像合成部２６の処理について説明する。運転室２に搭乗したオペレータはシフトレバー２８を操作して、ダンプトラック１を走行させる。前述したように、シフトレバー２８は前進位置と中立位置と後進位置とがあり、シフトレバー２８の位置によって、ダンプトラック１を走行させるか否か、および走行させる場合には走行方向が決定される。シフトレバー２８がどの位置に入っているかの情報（シフトレバー位置情報）は車体コントローラ１８に入力され、車体コントローラ１８は車体情報としてシフトレバー位置情報を表示コントローラ１７に出力する。
　重畳処理部２５はシフトレバー位置情報を入力する。これにより、重畳処理部２５はダンプトラック１の走行方向を認識する。重畳処理部２５はシフトレバー位置情報、つまりシフトレバー２８の位置に応じて、各透過領域３３を透過させるか否かの制御を行う。
　つまり、シフトレバー２８が前進位置に入ったときには、ダンプトラック１は前進する。このときには、後方透過領域３３Ｂに障害物Ｓ２が存在していたとしても、つまりベッセル４の下部に障害物Ｓ２が存在してたとしても、ダンプトラック１と障害物Ｓ２とが干渉することはない。従って、ダンプトラック１を前進させるときには、後方透過領域３３Ｂの状況を格別に画面部１５に表示させる必要はない。このときには、図１０に示すように、重畳処理部２５は後方透過領域３３Ｂを非透過（透過率が０％）とする。これにより、シンボル画像３１の外形が明瞭に表示されるため、オペレータの視認性が向上する。また、重畳処理部２５が後方透過領域３３Ｂを透過させて、後方下部画像３４Ｂを合成させる画像処理を行う必要もなくなる。
　一方、シフトレバー２８が後進位置に入ったときには、ダンプトラック１は後進する。この場合には、後方透過領域３３Ｂに障害物Ｓ２が存在しているときには、ダンプトラック１と干渉する。従って、この場合は、重畳処理部２５は、ダンプトラック１が後進することを認識することにより、後方透過領域３３Ｂを透過させて、後方下部画像３４Ｂを合成させる画像処理を行う。従って、図７のような画面が表示される。これにより、オペレータは、後進時に後方下部画像３４Ｂを視認することにより、ダンプトラック１の下部後方の状況を認識することができる。
　なお、ダンプトラック１が前進および後進するときには、重畳処理部２５は、右方透過領域３３Ｒを透過させて右方下部画像３４Ｒを合成し、且つ左方透過領域３３Ｌを透過させて左方下部画像３４Ｌを合成する。図６乃至図１０に示したように、ダンプトラック１が前進するとき、および後進するときの何れの場合でも、右方透過領域３３Ｒおよび左方透過領域３３Ｌは、前輪５または後輪６の何れかに干渉する。よって、シフトレバー２８が前進位置または後進位置に入っているときには、右方下部画像３４Ｒおよび左方下部画像３４Ｌをシンボル画像３１に表示する。
　シフトレバー２８は中立位置に入ることもある。この場合には、ダンプトラック１は停止している。従って、後方透過領域３３Ｂ、右方透過領域３３Ｒ、左方透過領域３３Ｌの全てを非透過にする。これにより、重畳処理部２５は透過処理を行うことなく、シンボル画像保持部２４が保持しているシンボル画像３１をそのまま画像合成部２６に出力する。ダンプトラック１が停止しているときには、ダンプトラック１の下部に障害物Ｓ２が存在しているとしても、格別の問題はない。従って、この場合は、下部画像３４を表示しなくても、安全性は確保される。ただし、オペレータにより、シフトレバー２８は中立位置から前進位置または後進位置に操作されたときに、ダンプトラック１は前進または後進する。従って、ダンプトラック１が停止している状態でも、各透過領域３３にそれぞれの下部画像３４を表示するようにしてもよい。
　従って、シフトレバー２８の位置に応じて、重畳処理部２５は、必要な下部画像３４は表示するが、表示する必要のない下部画像３４を表示させない。重畳処理部２５は下部画像３４を表示させるために透過処理を行う。これにより、シンボル画像３１の外形の視認性が低下する。そこで、シフトレバー２８の位置に応じて不要な下部画像３４を表示させないことで、シンボル画像３１をシンプルに表示することができ、オペレータの視認性を向上させることができる。
　次に、ダンプトラック１の下部を撮影する専用のカメラを設けた場合について説明する。図１１に示す下部カメラ１０Ｕは周辺撮影部ではなく、ダンプトラック１の下部を撮影するための撮影部である。従って、下部カメラ１０Ｕはダンプトラック１の下部の内側を視野としている。
　ダンプトラック１の周辺の状況を俯瞰画像として表示するために、前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌを設けている。従って、これらのカメラ１０はダンプトラック１の外側を視野としている。このときに、各カメラ１０にダンプトラック１の下部が視野の一部となるため、それを利用して、シンボル画像３１を透過させて下部画像を表示していた。この点においては、後方カメラ１０Ｂ、右方カメラ１０Ｒおよび左方カメラ１０Ｌは、周辺撮影部であると同時に、前述の撮影部としても機能する。
　ダンプトラック１の下部の状況をシンボル画像３１に表示するという点においては、シンボル画像３１の周辺に俯瞰画像を表示しないことも可能である。つまり、図１２に示すように、シンボル画像３１のみを画面部１５に表示することも可能である。前述したように、ダンプトラック１には下部カメラ１０Ｕを設けており、ダンプトラック１の下部の内側を撮影している。下部カメラ１０Ｕも斜め下方に光軸を向けており、画像補正部２１で補正処理を行った後に、視点変換部２２において俯瞰画像に変換する。
　図１２に示すように、下部カメラ１０Ｕはダンプトラック１の下部を映すために設けた撮影部であり、ダンプトラック１の下部の広範な領域を視野としている。従って、同図に示すように、シンボル画像３１の広範な領域が内側透過領域３３Ｕとなり、重畳処理部２５は、広範な内側透過領域３３Ｕに対応した内側下部画像３４Ｕを重畳する。図１２の例では、ダンプトラック１の周囲の俯瞰画像表示を行うために、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌを設けており、これにより、前述したように後方下部画像３４Ｂ、右方下部画像３４Ｒ、左方下部画像３４Ｌが表示されている。これにより、同図に示すように、ダンプトラック１の下部の殆どがシンボル画像３１に表示される。
　従って、ダンプトラック１の下部を視野とする下部カメラ１０Ｕを設けて、シンボル画像３１に内側下部画像３４Ｕを表示することで、ダンプトラック１の広範な領域の状況をオペレータに認識させることができる。図１２の例では、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌにより、後方下部画像３４Ｂ、右方下部画像３４Ｒ、左方下部画像３４Ｌを表示するようにしているが、下部カメラ１０Ｕのみを用いて、ダンプトラック１の下部画像をシンボル画像３１に表示させるようにしてもよい。また、下部カメラは１台だけでなく、複数台を設けるようにしてもよい。
　以上は、自走式産業機械としてダンプトラック１を適用した例について説明したが、自走式産業機械としては、図１３に示す油圧ショベル４０を適用することもできる。油圧ショベル４０はクローラ式走行体を有する下部走行体４１と、下部走行体４１に対して旋回可能に連結した上部旋回体４２とを有して構成している。上部旋回体４２は、運転室４３と作業手段４４と建屋４５とカウンタウェイト４６とを有している。作業手段４４はブーム４７とアーム４８とバケット４９とにより構成される。以上は一般的な油圧ショベル４０の構成である。
　油圧ショベル４０には、前方カメラ５０Ｆ、後方カメラ５０Ｂ、右方カメラ５０Ｒ、左方カメラ５０Ｌ（図示せず）が取り付けられている。これらのカメラは、前述した前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌと同じ目的で取り付けており、油圧ショベル４０の周辺の状況を俯瞰表示するために設けている。また、前方カメラ５０Ｆは運転室４３の近傍に取り付けられており、後方カメラ５０Ｂはカウンタウェイト４６の下部に取り付けられている。右方カメラ５０Ｒおよび左方カメラ５０Ｌは建屋４５に取り付けられている。
　カウンタウェイト４６の下部に広範な空間が形成される。このとき、後方カメラ５０Ｂは後方を撮影しているが、光軸が斜め下方であるため、カウンタウェイト４６の下部が視野に含まれる。そこで、カウンタウェイト４６の下部画像をシンボル画像に表示することで、前述したダンプトラック１の場合と同じ効果を得ることができる。
１　　ダンプトラック
２　　運転室
１０　　カメラ
１４　　モニタ
１５　　画面部
１７　　表示コントローラ
２１　　画像補正部
２２　　視点変換部
２３　　下部画像生成部
２４　　シンボル画像保持部
２５　　重畳処理部
２６　　画像合成部
２７　　表示画像生成部
２８　　シフトレバー
３１　　シンボル画像
３２　　俯瞰画像
３３　　透過領域
３４　　下部画像
３３Ｕ　　内側透過領域
３４Ｕ　　内側下部画像

Claims (6)

  1. 　自走式産業機械に備えられ、前記自走式産業機械の下部を視野に含む撮影部と、
    　前記自走式産業機械をシンボル化したシンボル画像を保持するシンボル画像保持部と、
    　前記シンボル画像のうち、前記撮影部の視野に含まれる前記下部の領域を透過領域として、この透過領域を所定の透過率で透過させ、前記撮影部が撮影した画像のうち前記透過領域に対応する画像を下部画像として重畳する処理を行う重畳処理部と、
    　前記自走式産業機械の運転室に備えられ、前記重畳処理部が重畳した前記シンボル画像を表示する表示装置と、
    　を備えた自走式産業機械の表示装置。
  2. 　前記撮影部を少なくとも１つ含み、斜め下方を光軸として前記自走式産業機械の周辺の画像を撮影する複数の周辺撮影部と、
    　前記周辺撮影部が撮影した画像に対して上方視点となるように視点変換した俯瞰画像を生成する視点変換部と、
    　前記重畳処理部が重畳した前記シンボル画像を中心として前記俯瞰画像を合成する画像合成部と、
    　前記画像合成部が合成した画像を前記表示装置に表示させる表示画像として生成して前記表示装置に出力する表示画像生成部と、
    　を備えた請求項１記載の自走式産業機械の表示装置。
  3. 　前記重畳処理部は、前記透過率が非透過および全透過でない半透過のときには、前記シンボル画像のうち前記透過領域の部分と前記下部画像とが二重に表示されるように重畳する処理を行う
    　請求項１または２記載の自走式産業機械の表示装置。
  4. 　前記重畳処理部は、前記透過率が全透過のときには、前記透過領域に前記下部画像のみを表示させ、前記透過領域の外郭線を描画する
    　請求項１または２記載の自走式産業機械の表示装置。
  5. 　前記重畳処理部は、前記シンボル画像と同じ態様で前記外郭線を描画する
    　請求項４記載の自走式産業機械の表示装置。
  6. 　前記重畳処理部は、前記自走式産業機械の走行を操作する走行操作部に応じて、複数の前記透過領域のそれぞれについて透過させるか否かの制御を行う
    　請求項１または２記載の自走式産業機械の表示装置。
PCT/JP2013/062204 2012-05-15 2013-04-25 自走式産業機械の表示装置 WO2013172172A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
AU2013260793A AU2013260793B2 (en) 2012-05-15 2013-04-25 Display device for self-propelled industrial machine
US14/400,673 US9845051B2 (en) 2012-05-15 2013-04-25 Display device for self-propelled industrial machine
CN201380025423.2A CN104303497B (zh) 2012-05-15 2013-04-25 自行式工业机械的显示装置
DE112013002543.4T DE112013002543B4 (de) 2012-05-15 2013-04-25 Displayvorrichtung für Industriemaschine mit Eigenantrieb

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012111197A JP5988683B2 (ja) 2012-05-15 2012-05-15 自走式産業機械の表示装置
JP2012-111197 2012-05-15

Publications (1)

Publication Number Publication Date
WO2013172172A1 true WO2013172172A1 (ja) 2013-11-21

Family

ID=49583582

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/062204 WO2013172172A1 (ja) 2012-05-15 2013-04-25 自走式産業機械の表示装置

Country Status (6)

Country Link
US (1) US9845051B2 (ja)
JP (1) JP5988683B2 (ja)
CN (1) CN104303497B (ja)
AU (1) AU2013260793B2 (ja)
DE (1) DE112013002543B4 (ja)
WO (1) WO2013172172A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015154826A1 (en) * 2014-04-09 2015-10-15 Jaguar Land Rover Limited Apparatus and method for displaying information
WO2016013490A1 (ja) * 2014-07-25 2016-01-28 日立建機株式会社 旋回式作業機の周囲表示装置
CN105493503A (zh) * 2014-02-17 2016-04-13 日立建机株式会社 产业机械的监视图像显示装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6014664B2 (ja) * 2012-06-08 2016-10-25 日立建機株式会社 自走式産業機械の表示装置
JP5938292B2 (ja) * 2012-08-03 2016-06-22 日立建機株式会社 運搬車両の監視装置
JP5643272B2 (ja) 2012-09-21 2014-12-17 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP5990237B2 (ja) * 2014-10-29 2016-09-07 株式会社小松製作所 ダンプトラック用周辺監視システム及びダンプトラック
ES2880711T3 (es) * 2014-12-23 2021-11-25 Iveco Magirus Un vehículo de extinción de incendios que comprende una escalera extraíble y giratoria y soportes laterales extensibles, y un sistema de asistencia visual para colocar dicho vehículo y método para colocar tal vehículo de extinción de incendios
CN107406035B (zh) * 2015-03-31 2020-09-25 株式会社小松制作所 工程作业机械
JP2016211149A (ja) * 2015-04-29 2016-12-15 日立建機株式会社 建設機械
CN108432241B (zh) * 2015-12-28 2022-11-29 住友建机株式会社 挖土机
JP6259116B2 (ja) * 2016-03-29 2018-01-10 株式会社小松製作所 作業車両
WO2018084146A1 (ja) * 2016-11-01 2018-05-11 住友建機株式会社 作業機械用周辺監視システム
JP6778214B2 (ja) * 2017-06-30 2020-10-28 株式会社小松製作所 建設機械および撮像システム
DE102017115582A1 (de) * 2017-07-12 2019-01-17 Connaught Electronics Ltd. Kraftfahrzeug mit Erkennungsvorrichtung zum Erkennen von Objekten am Unterbau des Kraftfahrzeugs, sowie Verfahren zum Erkennen eines derartigen Objekts
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
US20220219954A1 (en) * 2019-05-17 2022-07-14 Kobelco Construction Machinery Co., Ltd. Work machine and video display control method for work machine
KR20210089039A (ko) * 2020-01-07 2021-07-15 두산인프라코어 주식회사 건설기계의 제어 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010093567A (ja) * 2008-10-08 2010-04-22 Panasonic Corp 画像処理装置
JP2011168163A (ja) * 2010-02-18 2011-09-01 Komatsu Ltd 建設機械の後方視界表示システムおよび方法
JP2012040907A (ja) * 2010-08-17 2012-03-01 Suzuki Motor Corp 車両周辺画像表示装置
JP2012074929A (ja) * 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58194640A (ja) * 1982-05-10 1983-11-12 Ichikoh Ind Ltd 車輛用後方死角視認装置
JPS6434202A (en) * 1987-07-30 1989-02-03 Kubota Ltd Working wagon of automatic conduct type
JPH023018A (ja) * 1988-06-17 1990-01-08 Sanyo Electric Co Ltd アクティブマトリックスカラー液晶表示パネル及びその製造方法
JPH0456547A (ja) * 1990-06-26 1992-02-24 Nec Corp 同報通信システム
JP3674473B2 (ja) * 2000-08-03 2005-07-20 いすゞ自動車株式会社 車両後方視界支援装置
EP1441528A4 (en) 2001-10-10 2005-01-12 Matsushita Electric Ind Co Ltd IMAGE PROCESSOR
JP2005163370A (ja) 2003-12-02 2005-06-23 Hitachi Constr Mach Co Ltd 建設機械の画像表示装置
JP4556742B2 (ja) 2005-03-30 2010-10-06 株式会社デンソー 車両直下画像表示制御装置および車両直下画像表示制御プログラム
JP2008062914A (ja) * 2006-08-08 2008-03-21 Ichikoh Ind Ltd 車両用監視カメラシステム
JP2008077628A (ja) * 2006-08-21 2008-04-03 Sanyo Electric Co Ltd 画像処理装置並びに車両周辺視界支援装置及び方法
JP2008312004A (ja) 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
JP4325705B2 (ja) 2007-06-15 2009-09-02 株式会社デンソー 表示システム及びプログラム
JP5143481B2 (ja) 2007-06-28 2013-02-13 住友建機株式会社 建設機械用モニター装置
JP5108837B2 (ja) 2009-07-13 2012-12-26 クラリオン株式会社 車両用死角映像表示システムと車両用死角映像表示方法
CN102163331A (zh) * 2010-02-12 2011-08-24 王炳立 采用标定方法的图像辅助系统
CN202038230U (zh) * 2011-03-24 2011-11-16 信亿科技股份有限公司 全景行车辅助监录器
CN202174989U (zh) * 2011-07-27 2012-03-28 郑州日产汽车有限公司 汽车360度全景泊车摄像系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010093567A (ja) * 2008-10-08 2010-04-22 Panasonic Corp 画像処理装置
JP2011168163A (ja) * 2010-02-18 2011-09-01 Komatsu Ltd 建設機械の後方視界表示システムおよび方法
JP2012040907A (ja) * 2010-08-17 2012-03-01 Suzuki Motor Corp 車両周辺画像表示装置
JP2012074929A (ja) * 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105493503A (zh) * 2014-02-17 2016-04-13 日立建机株式会社 产业机械的监视图像显示装置
EP3110142A4 (en) * 2014-02-17 2017-11-29 Hitachi Construction Machinery Co., Ltd. Monitoring image display device of industrial machine
US10650251B2 (en) 2014-02-17 2020-05-12 Hitachi Construction Machinery Co., Ltd. Monitoring image display device of industrial machine
WO2015154826A1 (en) * 2014-04-09 2015-10-15 Jaguar Land Rover Limited Apparatus and method for displaying information
CN106163872A (zh) * 2014-04-09 2016-11-23 捷豹路虎有限公司 用于显示信息的设备和方法
CN106163872B (zh) * 2014-04-09 2020-04-07 捷豹路虎有限公司 用于显示信息的设备和方法
US11597318B2 (en) 2014-04-09 2023-03-07 Jaguar Land Rover Limited Apparatus and method for displaying information
WO2016013490A1 (ja) * 2014-07-25 2016-01-28 日立建機株式会社 旋回式作業機の周囲表示装置
JP2016030891A (ja) * 2014-07-25 2016-03-07 日立建機株式会社 旋回式作業機の周囲表示装置
AU2015293229B2 (en) * 2014-07-25 2018-02-15 Hitachi Construction Machinery Co., Ltd. Surroundings display device for turning operation machine
US10145087B2 (en) 2014-07-25 2018-12-04 Hitachi Construction Machinery Co., Ltd. Surroundings display device for swing working machine

Also Published As

Publication number Publication date
DE112013002543B4 (de) 2023-12-21
US9845051B2 (en) 2017-12-19
AU2013260793B2 (en) 2016-05-12
US20150138360A1 (en) 2015-05-21
AU2013260793A1 (en) 2014-12-04
CN104303497A (zh) 2015-01-21
JP2013239873A (ja) 2013-11-28
CN104303497B (zh) 2017-09-12
DE112013002543T5 (de) 2015-02-19
JP5988683B2 (ja) 2016-09-07

Similar Documents

Publication Publication Date Title
WO2013172172A1 (ja) 自走式産業機械の表示装置
JP6014664B2 (ja) 自走式産業機械の表示装置
JP5814187B2 (ja) 自走式産業機械の表示装置
AU2015293229B2 (en) Surroundings display device for turning operation machine
JP5775283B2 (ja) 作業機械のモニタ装置
JP5938222B2 (ja) 運搬車両の周囲監視装置
CN104041018A (zh) 自行式工业机械的周围监视装置
US20140354813A1 (en) Surroundings Monitoring Device for Work Machine
EP2717570A1 (en) Device for monitoring area around working machine
KR20130138227A (ko) 작업 기계의 주위 감시 장치
JP2012112108A (ja) 作業機械の周囲監視装置
JP5066198B2 (ja) 作業機械のモニタ装置
JP5996879B2 (ja) 作業機械の周囲監視装置
WO2015008751A1 (ja) 作業機械の周囲監視装置
CN104509103A (zh) 搬运车辆的监视装置
JP6139740B2 (ja) 作業機械の周囲監視装置
JP6224770B2 (ja) ダンプトラックの表示装置
JP2016169595A (ja) 作業機械の周囲監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13791100

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14400673

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112013002543

Country of ref document: DE

Ref document number: 1120130025434

Country of ref document: DE

ENP Entry into the national phase

Ref document number: 2013260793

Country of ref document: AU

Date of ref document: 20130425

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 13791100

Country of ref document: EP

Kind code of ref document: A1