WO2019031318A1 - 道路機械 - Google Patents

道路機械 Download PDF

Info

Publication number
WO2019031318A1
WO2019031318A1 PCT/JP2018/028750 JP2018028750W WO2019031318A1 WO 2019031318 A1 WO2019031318 A1 WO 2019031318A1 JP 2018028750 W JP2018028750 W JP 2018028750W WO 2019031318 A1 WO2019031318 A1 WO 2019031318A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
screed
tractor
hopper
Prior art date
Application number
PCT/JP2018/028750
Other languages
English (en)
French (fr)
Inventor
馬場　信行
和明 萩原
Original Assignee
住友建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友建機株式会社 filed Critical 住友建機株式会社
Priority to JP2019535134A priority Critical patent/JP7146767B2/ja
Priority to EP18843681.0A priority patent/EP3666977B1/en
Priority to CN201880051368.7A priority patent/CN111032958B/zh
Publication of WO2019031318A1 publication Critical patent/WO2019031318A1/ja
Priority to JP2022093299A priority patent/JP2022111290A/ja
Priority to JP2024008974A priority patent/JP2024028606A/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C19/00—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving
    • E01C19/48—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving for laying-down the materials and consolidating them, or finishing the surface, e.g. slip forms therefor, forming kerbs or gutters in a continuous operation in situ
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C2301/00—Machine characteristics, parts or accessories not otherwise provided for
    • E01C2301/14—Extendable screeds
    • E01C2301/16—Laterally slidable screeds

Definitions

  • the present invention relates to a road machine provided with a screw for feeding paving material in the axial direction.
  • the space around the front end of the hopper wing has become a blind spot of the hopper wing as viewed from the front camera, the left camera and the right camera.
  • the above-mentioned composition is not suitable for the application which makes a driver confirm the situation of a predetermined local field, such as a field in front of a screed where pavement material is usually accumulated during construction. Therefore, the operator needs to directly visually check the presence or absence of an object in a space to be visually recognized, the amount of paving material in a predetermined local area, and the like.
  • a road machine is a road machine including a tractor and a screed disposed behind the tractor, the work machine for supplying a pavement material in front of the screed, and the road machine And a display device for displaying an ambient image which is an image in which the ambient image is captured, and highlighting a local image which is an image in which an area to which the paving material is supplied by the working device is reflected.
  • a road machine is provided which further reduces the range which is less visible in the image.
  • FIG. 13C illustrates the segmentation of the input image used to generate the image of FIG. 13A. It is a figure which shows another example of the image which the display system of FIG. 12 produces
  • FIG. 1A to 1C show an example of the construction of an asphalt finisher 100 as a road machine according to an embodiment of the present invention, FIG. 1A showing a side view, FIG. 1B showing a top view and FIG. 1C showing a rear view. .
  • the asphalt finisher 100 mainly includes a tractor 1, a hopper 2 and a screed 3.
  • the tractor 1 is a device for causing the asphalt finisher 100 to travel and pulls the screed 3.
  • the tractor 1 moves the asphalt finisher 100 by rotating two or four wheels using a traveling hydraulic motor.
  • the traveling hydraulic motor receives supply of hydraulic oil from a hydraulic pump driven by a motor such as a diesel engine and rotates.
  • a driver's seat 1S and an operation panel 65 are disposed at the top of the tractor 1.
  • An imaging device 51 (a right camera 51R, a left camera 51L, a front camera 51F, a right auxiliary camera 51V, a left auxiliary camera 51U) is attached to the right side, the left side, and the front of the tractor 1.
  • the display device 52 is installed at a position where the driver sitting on the driver's seat 1S can easily view.
  • the direction of the hopper 2 viewed from the tractor 1 is taken as the front (+ X direction)
  • the direction of the screed 3 viewed from the tractor 1 is taken as the rear ( ⁇ X direction).
  • the + Y direction corresponds to the left direction
  • the -Y direction corresponds to the right direction.
  • the hopper 2 which is an example of a working device is a mechanism for receiving a paving material (for example, asphalt mixture).
  • the work device is a device for supplying paving material in front of the screed 3.
  • the hydraulic cylinder is configured to be able to open and close in the vehicle width direction.
  • Asphalt finisher 100 normally receives the paving material from the dump truck bed with the hopper 2 fully open. Then, when the paving material in the hopper 2 decreases, the hopper 2 is closed and the paving material present near the inner wall of the hopper 2 is collected at the central portion of the hopper 2 so that the conveyor CV as an example of the working device screed the paving material. Allow feeding to 3.
  • the screed 3 is a mechanism for spreading the paving material.
  • the hydraulic cylinder is configured to be vertically movable in the vertical direction and extendable in the vehicle width direction.
  • the width of the screed 3 is larger than the width of the tractor 1 when extended in the vehicle width direction.
  • the screed 3 includes a front side screed 30, a left back side screed 31L, and a right back side screed 31R.
  • the left rear side screed 31L and the right rear side screed 31R are configured to be able to expand and contract in the vehicle width direction (Y-axis direction).
  • the left rear side screed 31L and the right rear side screed 31R which can be expanded and contracted in the vehicle width direction, are offset from each other in the traveling direction (X-axis direction). Therefore, it can have a longer width (length in the vehicle width direction) than when it is not offset, can extend longer in the vehicle width direction, and a wider new pavement can be constructed.
  • FIG. 2 schematically shows a configuration example of an image generation system SYS mounted on the asphalt finisher 100 of FIG. 1A.
  • the image generation system SYS generates an output image based on, for example, an input image captured by the imaging device 51 mounted on the asphalt finisher 100.
  • the image generation system SYS mainly includes a controller 50, an imaging device 51, a display device 52, a storage device 54, and an input device 55.
  • the controller 50 is, for example, a computer provided with a CPU, a volatile memory, a non-volatile memory, and the like.
  • the controller 50 causes, for example, the CPU to execute programs corresponding to the output image generation unit 50A and the emphasis display unit 50B, and implements functions corresponding to the output image generation unit 50A and the emphasis display unit 50B.
  • the imaging device 51 is a device that acquires an input image for generating an output image.
  • the camera is provided with an imaging device such as a CCD, CMOS or the like.
  • the imaging device 51 is attached to, for example, the tractor 1 so as to be able to image a blind spot of a driver sitting on the driver's seat 1S.
  • the dead angle includes, for example, the inner space of the hopper 2 (particularly, a portion near the tractor 1), the space outside the front end of the hopper 2, the space near the road surface near the side of the asphalt finisher 100, and the like.
  • the imaging device 51 may be attached to a position other than the right side portion, the left side portion, and the front portion of the tractor 1 (for example, the rear portion).
  • the imaging device 51 may be mounted with a wide-angle lens or a fisheye lens.
  • the imaging device 51 may be attached to the hopper 2 or may be attached to the screed 3.
  • the imaging device 51 includes a front camera 51F, a left camera 51L, a right camera 51R, a left auxiliary camera 51U, and a right auxiliary camera 51V.
  • the front camera 51F is attached to the front upper end of the tractor 1 as shown in FIGS. 1A and 1B, and its optical axis 51FX extends forward in the traveling direction and forms an angle ⁇ with the road surface in a side view It is attached to be.
  • the left camera 51L is attached to the upper end of the left side of the tractor 1, as shown in FIGS. 1A to 1C, and its optical axis 51LX forms an angle ⁇ with the left side of the tractor 1 in top view , And the road surface so as to form an angle ⁇ in a rear view.
  • the right camera 51R is attached in the same manner as the left camera 51L with the right and left reversed.
  • the left auxiliary camera 51U is attached to the upper end of the left side of the tractor 1, as shown in FIGS. 1A to 1C, and its optical axis 51UX forms an angle ⁇ in top view with the left side of the tractor 1, And, it is attached so as to form an angle ⁇ between the road surface and the rear view.
  • the right auxiliary camera 51V is attached in the same manner as the left auxiliary camera 51U with the right and left reversed.
  • an imaging range of the front camera 51F indicates an imaging range of the front camera 51F
  • an area 51LA surrounded by a dashed line indicates an imaging area of the left camera 51L
  • an area 51RA surrounded by dashed line indicates a right camera 51R.
  • Indicates the imaging range of An area 51UA surrounded by the two-dot chain line indicates the imaging range of the left auxiliary camera 51U
  • an area 51VA surrounded by the two-dot chain line indicates the imaging area of the right auxiliary camera 51V.
  • the left camera 51L and the left auxiliary camera 51U are attached to the tractor 1 such that the area 51UA indicating the imaging range of the left auxiliary camera 51U is completely included in the area 51LA indicating the imaging range of the left camera 51L. However, it may be attached to tractor 1 so that field 51LA and field 51UA may overlap partially, ie, field 51UA may extend from field 51LA.
  • the right camera 51R and the right auxiliary camera 51V are attached to the tractor 1 so that the area 51VA indicating the imaging range of the right auxiliary camera 51V is completely included in the area 51RA indicating the imaging range of the right camera 51R. . However, it may be attached to tractor 1 so that field 51RA and field 51VA may overlap partially, ie, field 51VA may be projected from field 51RA.
  • the left auxiliary camera 51U and the right auxiliary camera 51V may be omitted.
  • the imaging device 51 is attached to the asphalt finisher 100 via, for example, a bracket, a stay, a bar, and the like.
  • the imaging device 51 is attached to the tractor 1 via the attachment stay.
  • the imaging device 51 may be directly attached to the tractor 1 without passing through the attachment stay, or may be embedded in the tractor 1.
  • the imaging device 51 outputs the acquired input image to the controller 50.
  • the imaging device 51 outputs, to the controller 50, a corrected input image corrected for apparent distortion and tilt caused by using these lenses. May be Alternatively, an input image not corrected for its apparent distortion or tilt may be output to the controller 50 as it is. In this case, the apparent distortion or distortion is corrected by the controller 50.
  • the imaging device 51 is arranged such that a plurality of blind spots on the left and right sides of the asphalt finisher 100 and the inner and outer sides of the hopper 2 are included in the imaging range.
  • the input device 55 is a device for enabling the driver to input various information to the image generation system SYS, and is, for example, a touch panel, a button, a switch, or the like.
  • the input device 55 includes a display changeover switch and a screw dial.
  • the display switching switch is a switch for switching the configuration of the output image displayed on the display device 52.
  • the screw dial is a dial for adjusting the rotational speed of a screw SC which is an example of the working device.
  • the storage device 54 is a device for storing various information.
  • the storage device 54 is a non-volatile storage device and is integrated into the controller 50.
  • the storage device 54 may be disposed outside the controller 50 as a structure separate from the controller 50.
  • the display device 52 is a device for displaying various information.
  • a liquid crystal display installed on the operation panel 65 is used to display various images output by the controller 50.
  • the output image generation unit 50A is a functional element for generating an output image, and is configured of, for example, software, hardware, or a combination thereof.
  • the output image generation unit 50A refers to the input image / output image correspondence map 54a stored in the storage device 54, and coordinates on the input image plane where the input image captured by the imaging device 51 is located, It is associated with the coordinates on the output image plane where the output image is located. Then, the output image generation unit 50A associates the value of each pixel (for example, luminance value, hue value, saturation value, etc.) in the output image with the value of each pixel in the input image to generate an output image. .
  • the input image / output image correspondence map 54a stores the correspondence between the coordinates on the input image plane and the coordinates on the output image plane in a referenceable manner.
  • the correspondence relationship is set in advance based on various parameters such as, for example, the optical center of the imaging device 51, the focal length, the CCD size, the optical axis direction vector, the camera horizontal direction vector, and the projection method.
  • the correspondence relationship may be set so that the apparent distortion or distortion does not appear in the output image when the input image includes an apparent distortion or distortion.
  • a group of coordinates forming a non-rectangular area on the input image plane is associated with a group of coordinates forming a rectangular area on the output image plane.
  • the correspondence relationship is that, when apparent distortion or distortion in the input image has already been corrected when acquiring the input image, the coordinate group constituting the rectangular area on the input image plane directly constitutes the rectangular area on the output image plane. It may be set to correspond to a group of coordinates.
  • the highlight display unit 50B is a functional element for switching the content of the output image displayed on the display device 52, and is configured of, for example, software, hardware, or a combination thereof.
  • the highlighting unit 50B switches the output image displayed on the display device 52 between the first output image and the second output image when the display switching switch as the highlighting switch is pressed.
  • the first output image is switched to the second output image when the screw dial is operated, and thereafter, when the time when the screw dial is not operated (the non-operation time) reaches a predetermined time, the second output image is the first output image You may switch to Similarly, when the highlighting switch is operated, the first output image is switched to the second output image, and thereafter the time when the highlighting switch is not operated (the non-operation time) reaches a predetermined time. May be switched to the first output image.
  • the non-operation time is counted, for example, using the timer function of the controller 50.
  • the first output image includes the ambient image and does not include the local image.
  • the second output image includes an ambient image and a local image.
  • the surrounding image is an image in which the surrounding of the asphalt finisher 100 is shown.
  • the local image is an image showing a predetermined local area of the asphalt finisher 100, for example, an image showing an area where the paving material is supplied (extracted) by the screw SC.
  • the area to which the pavement material is supplied by the screw SC is, for example, an area in front of the screed 3 and a retaining plate 70 (see FIG. 1B), a side plate 71 (see FIG. 1B), and a mold. It is an area surrounded by the board 72 (see FIG. 1B).
  • the local image may be an image showing an area in the hopper 2.
  • the highlighting display unit 50B causes the display device 52 to highlight a local image so that the driver can distinguish between the surrounding image and the local image.
  • a local image is displayed in a display frame different from the display frame surrounding the surrounding image.
  • the local image may be displayed on the surrounding image so as to overlap with part of the surrounding image, or may be displayed at a different position from the surrounding image so as not to overlap the surrounding image.
  • an image portion corresponding to a local area in the surrounding image may be enlarged and displayed.
  • at least a part of the other image portion of the surrounding image may be displayed in a reduced size, and the display thereof may be omitted.
  • the display of the local image by another display frame may be omitted.
  • FIG. 3 is a display example of the first output image displayed on the display device 52. As shown in FIG. 3,
  • the first output image mainly includes a hopper image HG, a left surrounding image LG, a right surrounding image RG, and an illustration image 1 CG.
  • the hopper image HG, the left ambient image LG and the right ambient image RG constitute an ambient image.
  • the image generation system SYS allows the hopper image HG, the left surrounding image LG, the right surrounding image RG, and the illustration image to allow the driver to recognize that the front of the asphalt finisher 100 matches the upper side of the screen of the display device 52.
  • 1 CG is displayed at a predetermined position on the first output image with a predetermined size.
  • the driver By presenting the driver with the first output image as a bird's-eye view image showing a scene visible when looking down from above on the asphalt finisher 100 and the periphery thereof, the positional relationship between the asphalt finisher 100 and surrounding objects is obtained. This is to make the driver intuitively recognize.
  • the hopper image HG is generated based on the input image of the front camera 51F.
  • the hopper image HG is an image showing the inside of the hopper 2 seen when the hopper 2 is looked down from the tractor 1 and is generated by cutting out a part of the input image of the front camera 51F. , And at the top center of the first output image.
  • the left surrounding image LG is generated based on the input image of the left camera 51L.
  • the left surrounding image LG is an image in which the left surrounding area that is visible when the left surrounding area located on the left side in the traveling direction of the asphalt finisher 100 is viewed from the tractor 1 is viewed.
  • the left surrounding image LG is generated by extracting a part of the input image of the left camera 51L, performing distortion correction, and further performing image rotation processing, and is arranged at the left end of the first output image. Ru.
  • the left surrounding image LG also includes an image of the left end of the screed 3 and an image of the left end of the hopper 2.
  • the right surrounding image RG is generated based on the input image of the right camera 51R.
  • the right surrounding image RG is an image in which the state of the right surrounding area visible when the right surrounding area located on the right side in the traveling direction of the asphalt finisher 100 is viewed from the tractor 1 is viewed.
  • the right surrounding image RG is generated by extracting a part of the input image of the right camera 51R, performing distortion correction, and further performing image rotation processing, and is disposed at the right end of the first output image. Ru.
  • the right surrounding image RG also includes an image of the right end of the screed 3 and an image of the right end of the hopper 2.
  • Distortion correction is image processing for correcting apparent distortion and tilt caused by using a wide-angle lens or the like.
  • the image rotation processing is image processing for making the respective directions of the left surrounding image LG and the right surrounding image RG coincide with each other in the forward direction of the asphalt finisher 100 (above the screen of the display device 52).
  • the correspondence between the coordinates on the input image plane and the coordinates on the output image plane regarding the input image of each of the left camera 51L and the right camera 51R is a state in which the effects of distortion correction and image rotation processing are taken in advance Are stored in the input image / output image correspondence map 54a.
  • the distortion correction and the image rotation process may be performed on the hopper image HG.
  • the illustration image 1 CG is computer graphics of the tractor 1 and is displayed so that the driver can recognize the position of the tractor 1.
  • the illustration image 1 CG is disposed at the lower center of the first output image.
  • the display device 52 can display a first output image in which a scene viewed when looking down from above the asphalt finisher 100 and the vicinity thereof is displayed.
  • the hopper image HG, the left surrounding image LG, and the right surrounding image RG are arranged adjacent to each other as separate and independent images.
  • the three images may be combined to form one continuous image.
  • image processing may be performed to prevent disappearance of the image of the object in a range in which the imaging range of the front camera 51F and the imaging range of the left camera 51L or the right camera 51R overlap.
  • each of the hopper image HG, the left surrounding image LG, and the right surrounding image RG is generated based on the input image captured by one corresponding camera.
  • each of the hopper image HG, the left surrounding image LG, and the right surrounding image RG may be generated based on input images captured by two or more cameras.
  • the left surrounding image LG may be generated based on an input image captured by each of the left camera 51L and the left auxiliary camera 51U.
  • the right surrounding image RG may be generated based on an input image captured by each of the right camera 51R and the right auxiliary camera 51V.
  • FIGS. 4A to 4C are display examples of the second output image displayed on the display device 52.
  • FIG. 4A to 4C are display examples of the second output image displayed on the display device 52.
  • the second output image mainly includes a hopper image HG, a left surrounding image LG, a right surrounding image RG, an illustration image 1 CG, and a local image SG.
  • the local image SG is displayed superimposed on the illustration image 1 CG.
  • FIG. 4A is an area on the right side of the tractor 1, which is an area surrounded by the retaining plate 70 (see FIG. 1B), the side plate 71 (see FIG. 1B) and the mold board 72 (see FIG. 1B).
  • Fig. 6 shows a second output image comprising a right local image SGR in which a local region is shown.
  • FIG. 4B is an area on the left side of the tractor 1, which is an area surrounded by the retaining plate 70 (see FIG.
  • FIG. 6 shows a second output image comprising a left local image SGL in which a local region is visible.
  • FIG. 4C shows a second output image that includes the right local image SGR and the left local image SGL.
  • the right local image SGR is generated based on the input image of the right auxiliary camera 51V.
  • the right local image SGR is an image that shows the appearance of the right local region that is visible when looking down the right local region from the tractor 1.
  • the right local image SGR is generated by extracting a part of the input image of the right auxiliary camera 51V, performing distortion correction, and further performing image rotation processing, and an illustration image on the illustration image 1CG. It is arranged along the right edge of 1 CG.
  • the left local image SGL is generated based on the input image of the left auxiliary camera 51U.
  • the left local image SGL is an image that shows the appearance of the left local region that is visible when looking down the left local region from the tractor 1.
  • the left local image SGL is generated by extracting a part of the input image of the left auxiliary camera 51U, performing distortion correction, and further performing image rotation processing, and an illustration image on the illustration image 1CG. It is arranged along the left edge of 1 CG.
  • the display switching switch is a first switch for displaying a second output image (see FIG. 4A) including the right local image SGR, and a second output image (see FIG. 4B) including the left local image SGL. It may be configured to include a second switch for displaying. Alternatively, only the switch for displaying the second output image (see FIG. 4C) including the right local image SGR and the left local image SGL may be included. Alternatively, it may be configured to include these three switches.
  • the screw dial may be configured to include the right dial for adjusting the rotational speed of the right screw and the left dial for adjusting the rotational speed of the left screw, and the rotational speeds of the left and right screws may be simultaneously adjusted. It may be configured with only a common dial for adjustment. Alternatively, it may be configured to include those three dials.
  • the highlighting unit 50B displays, for example, the second output image (see FIG. 4A) including the right local image SGR when the right dial is operated, and the left local image SGL when the left dial is operated. And the second output image (see FIG. 4B) may be displayed. Alternatively, when the common dial is operated, a second output image (see FIG. 4C) including the right local image SGR and the left local image SGL may be displayed.
  • the display frame surrounding the local image SG may be displayed differently from the display frame surrounding each of the hopper image HG, the left surrounding image LG, the right surrounding image RG, and the illustration image 1 CG.
  • the color, the line type, the thickness, and the like may be displayed differently or may be blinked.
  • FIG. 5 is a flowchart of output image generation processing.
  • the output image includes a first output image and a second output image.
  • the image generation system SYS repeatedly executes this output image generation processing at a predetermined control cycle to alternatively generate one of the first output image and the second output image.
  • the image generation system SYS may generate both the first output image and the second output image.
  • the output image generation unit 50A of the controller 50 associates the value of the coordinates on the output image plane with the value of the coordinates on the input image plane (step S1).
  • the input image / output image correspondence map 54a is referred to, and the values (eg, luminance value, hue value, saturation value, etc.) of the coordinates on the input image plane corresponding to the respective coordinates on the output image plane are referred to. Acquisition) and set the acquired value as the value of each coordinate on the corresponding output image plane.
  • controller 50 determines whether the values of all the coordinates on the output image plane have been associated with the values of the coordinates on the input image plane (step S2).
  • step S2 when it is determined that the values of all the coordinates are not yet associated (NO in step S2), the output image generation unit 50A repeats the processes of step S1 and step S2.
  • the output image generation unit 50A ends the current output image generation process.
  • FIG. 6 is a flowchart of the output image switching process.
  • the image generation system SYS repeatedly executes this output image switching process at a predetermined control cycle.
  • the highlighting unit 50B of the controller 50 determines whether the highlighting has been turned on (step S11). For example, in a state where the first output image is displayed on the display device 52, the highlight display unit 50B determines that the highlight display is turned on when the display switching switch as the highlight display switch is pressed. It may be determined that the highlighting is turned on when the screw dial is operated.
  • the highlighting unit 50B highlights the local image (step S12).
  • the highlighting unit 50B switches the first output image (see FIG. 3) displayed on the display device 52 to the second output image (see FIGS. 4A to 4C), for example, and outputs the left local image SGL and the right At least one of the local images SGR is displayed together with the surrounding image.
  • the highlighting unit 50B When it is determined that the highlighting is not turned on (NO in step S11), the highlighting unit 50B performs the first output without switching the first output image displayed on the display device 52 to the second output image. Continue displaying the image.
  • the highlighting unit 50B determines whether the highlighting has been turned off (step S13). For example, when the second output image is displayed on the display device 52 and the display switching switch as the highlighting switch is pressed, the highlighting display unit 50B determines that the highlighting has been turned off. It may be determined that the highlighting has been turned off when a predetermined time has elapsed since the completion of the operation of the screw dial. Alternatively, it may be determined that the highlighting has been turned off when a predetermined time has elapsed since the pressing of the display switching switch.
  • the highlighting unit 50B cancels the highlighting of the local image (step S14). For example, the highlighting unit 50B switches the second output image displayed on the display device 52 to the first output image, and cancels the highlighting of the local image.
  • the highlight display unit 50B When it is determined that the highlight display is not turned off (NO in step S13), the highlight display unit 50B performs the second output without switching the second output image displayed on the display device 52 to the first output image. Continue displaying the image.
  • the image generation system SYS can display a local image on the display device 52 in response to the driver's request.
  • the driver does not move around on the tractor 1 to look into the local area or twist the body at the driver's seat 1S, while sitting on the driver's seat 1S in the local area You can check the amount of pavement material carried.
  • the asphalt finisher 100 equipped with the image generation system SYS can reduce driver's fatigue due to the operation of confirming the amount of holding. As a result, the safety of the asphalt finisher 100 can be improved.
  • FIG. 7 is another display example of the second output image displayed on the display device 52.
  • the second output image of FIG. 7 is different from the second output image of FIG. 4A in that the right local image SGR is superimposed and displayed on the right surrounding image RG instead of the illustration image 1CG, but is common in other points. Do. Therefore, the description of the common parts is omitted, and the different parts will be described in detail.
  • the following description relates to the right local image SGR, but applies equally to the left local image SGL.
  • the right local image SGR is generated based on the input image of the right camera 51R, similarly to the right surrounding image RG. Therefore, the right auxiliary camera 51V may be omitted. However, the right local image SGR may be an image generated based on the input image of the right auxiliary camera 51V.
  • Right local image SGR corresponds to a part of right surrounding image RG.
  • the right surrounding image RG is composed of the first image portion RG1 to the eleventh image portion RG11
  • the right local image SGR in FIG. 7 corresponds to the ninth image portion RG9.
  • the image generation system SYS is configured to display the right local image SGR, which is an image obtained by enlarging the ninth image portion RG9 in the vertical direction, in a place where the seventh image portion RG7 to the eleventh image portion RG11 are displayed. It is displayed superimposed. That is, the first image portion RG1 to the sixth image portion RG6 are displayed as they are, and the seventh image portion RG7 to the eleventh image portion RG11 are blocked by the right local image SGR and become invisible.
  • the image generation system SYS superimposes and displays the right local image SGR on the image portion in which the right local region in the right surrounding image RG is reflected. Therefore, the driver can intuitively recognize that the right local area is included in the right local image SGR. Further, by displaying the right local image SGR, the right local region can be enlarged and displayed more than when the right surrounding image RG is displayed. Therefore, the driver can easily present the situation of the right local area to which the pavement material is supplied by the right screw.
  • FIG. 8 shows still another display example of the second output image displayed on the display device 52.
  • the second output image of FIG. 8 is different from the second output image of FIG. 7 in that the right local image SGR is displayed so as to cover not the part of the right surrounding image RG but the whole but in other points. It is common. Therefore, the description of the common parts is omitted, and the different parts will be described in detail. The following description relates to the right local image SGR, but applies equally to the left local image SGL.
  • the right local image SGR corresponds to a part of the right surrounding image RG as in the case of FIG.
  • the right surrounding image RG includes the first image portion RG1 to the eleventh image portion RG11
  • the right local image SGR in FIG. 8 corresponds to the ninth image portion RG9.
  • the image generation system SYS is configured to display the right local image SGR, which is an image obtained by enlarging the ninth image portion RG9 in the vertical direction, in a place where the first image portion RG1 to the eleventh image portion RG11 are displayed. It is displayed superimposed. That is, the first image portion RG1 to the eleventh image portion RG11 are blocked by the right local image SGR and become invisible.
  • the image generation system SYS superimposes and displays the right local image SGR on the entire area of the right surrounding image RG including the image portion in which the right local area is captured. Therefore, the driver can intuitively recognize that the right local area is included in the right local image SGR.
  • the right local image SGR having a size over the entire length in the vertical direction of the display device 52, the right local region can be displayed larger than in the case of the second output image of FIG. Therefore, it is possible to present the situation of the right local area to which the paving material is supplied by the right screw to the driver in an easy-to-understand manner.
  • FIG. 9 shows still another display example of the second output image displayed on the display device 52.
  • the second output image of FIG. 9 is a second output image of FIG. 8 in that the right local image SGR is generated using not all but a part of the right surrounding image RG and an indicator BG. It differs from the output image but is otherwise common. Therefore, the description of the common parts is omitted, and the different parts will be described in detail.
  • the following description relates to the right local image SGR, but applies equally to the left local image SGL.
  • the right local image SGR corresponds to the entire right surrounding image RG.
  • the right surrounding image RG is composed of the first image portion RG1 to the eleventh image portion RG11
  • the right local image SGR in FIG. 9 is a longitudinal direction of each of the first image portion RG1 to the eleventh image portion RG11. Is generated by scaling up or down.
  • an image obtained by vertically reducing each of the first to sixth image portions RG1 to RG6 and the eleventh image portion RG11 and each of the seventh to tenth image portions RG7 to RG10 in the vertical direction It is composed of an enlarged image. That is, unlike in the case of FIGS. 7 and 8, the scene appearing in the right surrounding image RG can be continuously viewed even when the right local image SGR is displayed.
  • the indicator BG is a graphic image that represents the scaling state of the image portion that constitutes the local image SG with respect to the corresponding image portion that constitutes the ambient image.
  • the right indicator BGR represents the scaling state of the image portion constituting the right local image SGR with respect to the corresponding image portion constituting the right surrounding image RG.
  • the right indicator BGR is a rod-shaped indicator extending in the vertical direction, which is formed of eleven rectangular segments corresponding to each of the first image portion RG1 to the eleventh image portion RG11, and is displayed at the right end of the screen. ing. If a left indicator is displayed, the left indicator may be displayed at the left edge of the screen.
  • the left indicator represents the scaling state of the image portion making up the left local image SGL relative to the corresponding image portion making up the left surrounding image LG.
  • the bar-shaped indicator indicates that the longer the rectangular segment is, the larger the enlargement factor is, and the shorter the rectangular segment is, the larger the reduction factor is.
  • the display of the indicator BG may be omitted.
  • the image generation system SYS superimposes and displays the right local image SGR on the entire area of the right surrounding image RG including the image portion in which the right local area is captured. Therefore, the driver can intuitively recognize that the right local area is included in the right local image SGR. Further, as in the case of FIG. 8, by displaying the right local image SGR over the entire length in the vertical direction of the display device 52, the right local region can be displayed larger than in the case of the second output image of FIG. Therefore, the driver can easily present the situation of the right local area to which the pavement material is supplied by the right screw. Further, unlike in the case of FIG. 8, the driver can continuously view the sight shown in the right surrounding image RG while displaying the right local region large. Therefore, the driver can check the appearance of the right local area while monitoring the worker on the right side of the asphalt finisher 100, for example.
  • the image generation system SYS can make the driver intuitively recognize the positional relationship between the asphalt finisher 100 and a worker who works around the image based on input images acquired by a plurality of cameras. Output image can be generated.
  • the image generation system SYS can present the hopper image HG, the left surrounding image LG, the right surrounding image RG so that the driver can be presented with an image showing a scene viewed when the asphalt finisher 100 and the vicinity thereof are viewed from above. , And display the illustration image 1 CG.
  • the driver can visually recognize a blind spot around the asphalt finisher 100 without leaving the driver's seat 1S.
  • the image generation system SYS can improve the safety and operability of the asphalt finisher 100.
  • the image generation system SYS can present the driver with the remaining amount of pavement material in the hopper 2, the position of a feature (for example, a manhole) on the road surface to be paved, and the like.
  • the image generation system SYS can present the position of a worker or the like working around the asphalt finisher 100 to the driver. Therefore, the driver can perform various operations such as opening and closing of the hopper 2, extension and contraction of the screed 3, and lifting and lowering of the screed 3 after checking the position of the worker etc. by looking at the display device 52. In addition, the driver can stop various operations, stop the asphalt finisher, etc. when he / she senses a danger due to the positional relationship between the worker and the hopper, screed, or dump truck.
  • the image generation system SYS displays an ambient image which is an image in which the periphery of the asphalt finisher 100 is captured, and emphasizes a local image which is an image in which a region to which the paving material is supplied is captured by the screw SC. indicate.
  • Highlighting of a local image includes displaying the local image in another display frame, enlarging the local image, changing the display mode of the display frame of the local image, and the like.
  • the image generation system SYS can present the situation of the predetermined local area in an easy-to-understand manner to the driver in addition to the situation around the asphalt finisher 100.
  • the image generation system SYS includes a right camera 51R as a first camera for imaging an area on the right side of the asphalt finisher 100, and a right auxiliary camera 51V as a second camera for imaging an area to which a pavement material is supplied by the right screw. And may be provided.
  • the right surrounding image RG forming the surrounding image is generated based on the image captured by the right camera 51R
  • the right local image SGR configuring the local image is based on the image captured by the right auxiliary camera 51V. May be generated.
  • the image generation system SYS includes a left camera 51L as a first camera for imaging an area on the left side of the asphalt finisher 100 and a left auxiliary as a second camera for imaging an area to which the paving material is supplied by the left screw.
  • a camera 51U may be provided.
  • the left surrounding image LG forming the surrounding image is generated based on the image captured by the left camera 51L
  • the left local image SGL configuring the local image is based on the image captured by the left auxiliary camera 51U. May be generated.
  • the image generation system SYS may include a right camera 51R that images a region on the right side of the asphalt finisher 100 and a right local region to which the paving material is supplied by the right screw.
  • the right surrounding image RG and the right local image SGR may be generated based on the image captured by the right camera 51R.
  • the right auxiliary camera 51V may be omitted.
  • the image generation system SYS may include a left camera 51L that images a region on the left side of the asphalt finisher 100 and a left local region to which the paving material is supplied by the left screw.
  • the left surrounding image LG and the left local image SGL may be generated based on the image captured by the left camera 51L.
  • the left auxiliary camera 51U may be omitted.
  • the local image may be displayed so as not to overlap with the surrounding image as shown in FIGS. 4A to 4C, or may be displayed so as to overlap on the surrounding image as shown in FIG. 6 to FIG. 8 .
  • the display device 52 may display an indicator BG indicating the scaling state of the local image SG. By looking at the indicator BG, the driver can instantly grasp the state of scaling of each of the image parts constituting the local image SG.
  • an asphalt finisher in which images captured by a front camera, a left camera and a right camera are displayed side by side around computer graphics of a tractor (see Patent Document 1).
  • the front camera is mounted on the top front end of the tractor to image the interior of the hopper in front of the tractor.
  • the left camera is attached to the top end of the left side of the tractor to image the space on the left side of the asphalt finisher.
  • the right camera is attached to the top end of the right side of the tractor to image the space on the right side of the asphalt finisher.
  • the space around the front end of the hopper wing has become a blind spot of the hopper wing as viewed from the front camera, the left camera and the right camera. Therefore, the operator of the asphalt finisher can not grasp the state of the space around the front end of the hopper wing even when looking at the displayed image. For spaces that can not be viewed in an image, the operator needs to directly confirm safety by visual inspection.
  • FIG. 10 is a side view of an asphalt finisher 100 which is an example of a road machine according to an embodiment of the present invention.
  • FIG. 11 is a top view of the asphalt finisher 100.
  • the asphalt finisher 100 mainly includes a tractor 1, a hopper 2 and a screed 3.
  • the direction (+ X direction) of the hopper 2 viewed from the tractor 1 is taken as the front
  • the direction ( ⁇ X direction) of the screed 3 viewed from the tractor 1 is taken as the rear.
  • the tractor 1 is a vehicle for causing the asphalt finisher 100 to travel.
  • the tractor 1 rotates the rear wheel 5 using the rear wheel traveling hydraulic motor, and rotates the front wheel 6 using the front wheel traveling hydraulic motor to move the asphalt finisher 100.
  • the rear wheel traveling hydraulic motor and the front wheel traveling hydraulic motor receive supply of hydraulic fluid from a hydraulic pump and rotate.
  • the rear wheels 5 and the front wheels 6 may be replaced by crawlers.
  • the tractor 1 includes a canopy 1C.
  • the canopy 1C is attached to the top of the tractor 1.
  • the controller 50 is a control device that controls the asphalt finisher 100.
  • the controller 50 is configured by a microcomputer including a CPU, a volatile storage device, a non-volatile storage device, and the like, and is mounted on the tractor 1.
  • the various functions of the controller 50 are realized by the CPU executing a program stored in the non-volatile storage device.
  • the hopper 2 is a mechanism for receiving paving material, and mainly includes a hopper wing 20 and a hopper cylinder 24.
  • the hopper 2 is installed on the front side of the tractor 1 and receives paving material in the hopper wing 20.
  • the hopper wing 20 comprises a left hopper wing 20L that can be opened and closed in the Y-axis direction (vehicle width direction) by the left hopper cylinder 24L, and a right hopper wing 20R that can be opened and closed in the Y-axis direction (vehicle width direction) by the right hopper cylinder 24R.
  • Asphalt finisher 100 typically receives pavement material (eg, an asphalt mixture) from the dump truck bed with the hopper wing 20 fully open.
  • FIG. 11 shows that the hopper wing 20 is fully open.
  • the hopper wing 20 is closed, and the paving material near the inner wall of the hopper 2 is collected in the central portion of the hopper 2.
  • This is to allow the conveyor CV at the central portion of the hopper 2 to continuously feed the paving material to the rear side of the tractor 1. That is, it is for maintaining the state in which the pavement material has accumulated on the conveyor CV.
  • the paving material fed to the rear side of the tractor 1 is spread in the vehicle width direction on the rear side of the tractor 1 and the front side of the screed 3 by the screw SC.
  • the screw SC is in a state in which the extension screws are connected to the left and right.
  • the screed 3 is a mechanism for spreading the paving material.
  • the screed 3 includes a front side screed 30 and a back side screed 31.
  • the screed 3 is a floating screed pulled by the tractor 1 and connected to the tractor 1 via the leveling arm 3A.
  • the rear screed 31 includes a left rear screed 31L and a right rear screed 31R.
  • the left rear screed 31L is expanded and contracted in the vehicle width direction using the left screed expansion cylinder 26L
  • the right rear screed 31R is expanded and contracted in the vehicle width direction using the right screed expansion cylinder 26R.
  • the imaging device 51 is a device that acquires an image.
  • the imaging device 51 is a monocular camera, and is connected to the controller 50 wirelessly or by wire.
  • the controller 50 can generate an overhead image, for example, by performing viewpoint conversion processing on an image captured by the imaging device 51.
  • the overhead image is, for example, an image obtained by virtually seeing the space around the asphalt finisher 100 from almost directly above.
  • the imaging device 51 may be a stereo camera.
  • the imaging device 51 includes a front camera 51F, a left camera 51L, a right camera 51R, and a rear camera 51B.
  • the rear camera 51B may be omitted.
  • the front camera 51 ⁇ / b> F images a space in front of the asphalt finisher 100.
  • the front portion of the tractor 1 is configured to be able to capture an image inside the hopper 2 which is a blind spot at the viewpoint of the driver sitting on the driver's seat 1S (hereinafter referred to as "driver's seat viewpoint"). It is attached to the bonnet. It may be attached to the front edge of the top plate of the canopy 1C.
  • the gray area Z1 in FIG. 11 indicates the imaging range of the front camera 51F.
  • the left camera 51 ⁇ / b> L captures an image of the space on the left side of the asphalt finisher 100.
  • a rod member extending in the + Y direction (left) from the left edge of the top plate of the canopy 1C so that an image of the space in the vehicle width direction outside of the left hopper wing 20L which becomes a blind spot at the driver's seat viewpoint can be captured. It is attached to the tip of BL. It may be attached to the tip of a rod member BL extending in the + Y direction (left) from the right side of the tractor 1.
  • the left camera 51L is attached, for example, so as to project outward (leftward) in the vehicle width direction than the left end of the left hopper wing 20L in the fully open state.
  • the gray area Z2 in FIG. 11 indicates the imaging range of the left camera 51L.
  • the right camera 51R captures an image of the space on the right side of the asphalt finisher 100.
  • a rod extending in the -Y direction (rightward) from the right edge of the top plate of the canopy 1C so that an image of the space in the vehicle width direction outer side of the right hopper wing 20R which becomes a blind spot at the driver's seat viewpoint can be captured. It is attached to the tip of the member BR. It may be attached to the tip of the rod member BR extending in the -Y direction (right direction) from the right side of the tractor 1.
  • the right camera 51R is, for example, mounted so as to protrude outward (rightward) in the vehicle width direction than the right end of the fully opened right hopper wing 20R.
  • the gray area Z3 in FIG. 11 indicates the imaging range of the right camera 51R.
  • the rod members BL, BR are desirably configured to be removable. It may be configured to be stretchable. This is to cope with the case where the asphalt finisher 100 is transported by a trailer or the like.
  • the rear camera 51B captures an image of the space behind the asphalt finisher 100. In this embodiment, it is attached to the rear edge of the top plate of the canopy 1C so as to be able to image a space behind the screed 3 which is a blind spot at the driver's seat viewpoint.
  • the gray area Z4 in FIG. 11 indicates the imaging range of the rear camera 51B.
  • the imaging range of the front camera 1F and the imaging range of the left camera 1L may overlap. Further, the imaging range of the rear camera 1B and the imaging range of the left camera 1L may not overlap. The same applies to the imaging range of the right camera 1R.
  • the controller 50 viewpoint-converts and combines the images captured by the front camera 51F, the left camera 51L, the right camera 51R, and the rear camera 51B to generate an overhead image.
  • the bird's-eye view image is an image of the space inside the hopper 2, the space on the left of the left hopper wing 20L, the space on the right of the right hopper wing 20R, and the space behind the screed 3 viewed virtually from directly above
  • model image a computer graphics image of the asphalt finisher 100
  • the controller 50 may perform viewpoint conversion and synthesis on the images captured by each of the three cameras, the front camera 51F, the left camera 51L, and the right camera 51R, to generate an overhead image. That is, the overhead image may be generated without using the rear camera 51B.
  • the display device 52 is a device that displays various images.
  • the display device 52 is a liquid crystal display, and is connected to the controller 50 wirelessly or by wire.
  • the display device 52 can display an image captured by each of the plurality of imaging devices 51, and is disposed at a position where a driver sitting on the driver's seat 1S can easily view. It may be arranged at the rear controller.
  • the controller 50 displays, for example, an image generated by performing viewpoint conversion processing on an image captured by the imaging device 51 on the display device 52.
  • FIG. 12 is a block diagram showing a configuration example of the display system GS.
  • the display system GS mainly includes a controller 50, an imaging device 51, a display device 52, an information acquisition device 53, a storage device 54, and the like.
  • the display system GS generates an image for display (hereinafter, referred to as “output image”) based on an image (hereinafter, referred to as “input image”) captured by the imaging device 51, for example, and outputs the output image. It is displayed on the display device 52.
  • the information acquisition device 53 acquires information, and outputs the acquired information to the controller 50.
  • the information acquisition device 53 includes, for example, at least one of a hopper cylinder stroke sensor, a screed telescopic cylinder stroke sensor, a steering angle sensor, a traveling speed sensor, a positioning sensor, and the like.
  • the hopper cylinder stroke sensor detects the stroke amount of the hopper cylinder 24.
  • the screed telescopic cylinder stroke sensor detects the stroke amount of the screed telescopic cylinder 26.
  • the steering angle sensor detects the steering angle of the front wheel 6.
  • the traveling speed sensor detects the traveling speed of the asphalt finisher 100.
  • the positioning sensor is, for example, a GNSS compass, and detects the position (latitude, longitude, altitude) and orientation of the asphalt finisher 100.
  • the storage device 54 is a device for storing various information.
  • the storage device 54 is a non-volatile storage device that stores the input image / output image correspondence map 54a in a referenceable manner.
  • the input image / output image correspondence map 54a stores the correspondence between the coordinates on the input image plane and the coordinates on the output image plane.
  • the correspondence is set in advance based on various parameters such as the optical center of the imaging device 51, focal length, CCD size, optical axis direction vector, camera horizontal direction vector, projection method, etc., so as to realize desired viewpoint conversion. There is.
  • the correspondence is set so that apparent distortion or distortion does not appear in the output image.
  • the controller 50 includes a viewpoint conversion unit 50a and an auxiliary line creation unit 50b.
  • the viewpoint conversion unit 50a and the auxiliary line creation unit 50b are configured by software, hardware or firmware.
  • the viewpoint conversion unit 50a is a functional element that generates an output image.
  • the input image / output image correspondence map 54a stored in the storage device 54 is referred to, and the coordinates on the input image plane where the input image captured by the imaging device 51 is located and the overhead image as the output image Correspond with the coordinates on the output image plane to be located.
  • the viewpoint conversion unit 50a associates the value of each pixel (for example, luminance value, hue value, saturation value, etc.) in the input image with the value of each pixel in the output image, and outputs the output image.
  • the auxiliary line creation unit 50b is a functional element that creates an auxiliary line displayed superimposed on the output image.
  • the auxiliary line generation unit 50b generates an auxiliary line so as to be compatible with the overhead image generated by the viewpoint conversion unit 50a.
  • the auxiliary line includes, for example, an auxiliary line indicating a predicted pavement track which is a predicted track of an end of the screed 3, an auxiliary line indicating a predicted traveling track which is a predicted track of a wheel, and the like.
  • the controller 50 refers to the input image / output image correspondence map 54 a by the viewpoint conversion unit 50 a. Then, the values (for example, the luminance value, the hue value, the saturation value, etc.) of the coordinates on the input image plane corresponding to the respective coordinates on the output image plane are acquired, and the acquired values correspond to each other. Adopted as the value of each coordinate on the output image plane.
  • the controller 50 determines whether the values of all the coordinates on the output image plane have been associated with the values of the coordinates on the input image plane. If it is determined that the values of all the coordinates have not been associated yet, the above process is repeated.
  • the controller 50 causes the auxiliary line creation unit 50b to superimpose an auxiliary line indicating the expected pavement locus, an auxiliary line indicating the expected travel locus, etc. on the output image Do.
  • the position on the output image on which the auxiliary line is superimposed is preset, but may be derived dynamically.
  • the controller 50 may associate the coordinates on the input image plane with the coordinates on the output image plane.
  • FIGS. 13A and 13B an input image captured by each of the four imaging devices 51 (front camera 51F, left camera 51L, right camera 51R, and rear camera 51B) mounted on the asphalt finisher 100.
  • the bird's-eye view image generated using FIG. 13A and 13B are diagrams showing an example of a bird's-eye view image.
  • FIG. 13A illustrates an example of the overhead image displayed on the display device 52.
  • FIG. 13B shows the segmentation of the input image used to generate the overhead image of FIG. 13A.
  • the bird's-eye view image of FIG. 13A is an image of the space around the asphalt finisher 100 seen virtually from almost above.
  • the bird's-eye view image of FIG. 13A mainly includes an image G1 (see shaded area) generated by the viewpoint conversion unit 50a and a model image CG1.
  • the model image CG1 is an image representing the asphalt finisher 100, and includes a model image CGa of the hopper 2, a model image CGb of the tractor 1, and a model image CGc of the screed 3.
  • the model image CGa of the hopper 2 includes the model image WL of the left hopper wing 20L and the model image WR of the right hopper wing 20R.
  • the model images WL and WR change in shape according to the output of the hopper cylinder stroke sensor.
  • FIG. 13A shows a model image CGa when each of the left hopper wing 20L and the right hopper wing 20R is fully open.
  • a part of the bird's-eye view image an image obtained by virtually seeing the inside of the hopper 2 from almost directly above
  • the model image CGa of the hopper 2 may be omitted. In this case, a part of the overhead image based on the image captured by the front camera 1F is arranged.
  • the model image CGc of the screed 3 includes the model image SL of the left rear screed 31L and the model image SR of the right rear screed 31R.
  • the shape of the model images SL and SR changes in accordance with the output of the screed telescopic cylinder stroke sensor.
  • FIG. 13A shows a model image CGc when each of the left rear screed 31L and the right rear screed 31R is most stretched.
  • the model image CGc of the screed 3 may be omitted. In this case, a part of the overhead image based on the image captured by the rear camera 1B is arranged.
  • the image G1 is an image generated using an input image captured by each of the four imaging devices 51.
  • the image G1 includes an image Ga of a worker present on the left front of the asphalt finisher 100 and an image Gb of a manhole cover present on the right front of the asphalt finisher 100.
  • the controller 50 combines the front image R1, the left image R2, the right image R3, and the rear image R4 to generate an image G1.
  • the image Ga of the worker is included in the left image R2, and the image Gb of the manhole cover is included in the right image R3.
  • the front image R1 is an image generated based on the input image captured by the front camera 51F.
  • the front image R1 includes an image representing an aspect when looking down the inside of the hopper 2 from the tractor 1 side.
  • the controller 50 cuts out a part of the input image captured by the front camera 51F and performs viewpoint conversion processing to generate the front image R1.
  • the previous image R1 is arranged between and above the model image WL and the model image WR.
  • the shape of the previous image R1 may change according to the change of the shapes of the model images WL and WR.
  • the left image R2 is an image generated based on the input image captured by the left camera 51L.
  • the left image R2 includes an image of a space in the vehicle width direction outer side (left side) of the left hopper wing 20L.
  • the controller 50 extracts a part of the input image captured by the left camera 51L and performs viewpoint conversion processing by the viewpoint conversion unit 50a to generate the left image R2.
  • the left image R2 is disposed on the left side of the model image CG1.
  • the shape of the left image R2 may change in accordance with the change in the shape of the model images WL and SL.
  • the right image R3 is an image generated based on the input image captured by the right camera 51R.
  • the right image R3 includes an image of a space on the outer side (right side) of the right hopper wing 20R in the vehicle width direction.
  • the controller 50 cuts out part of the input image captured by the right camera 51R and performs viewpoint conversion processing by the viewpoint conversion unit 50a to generate the right image R3.
  • the right image R3 is disposed on the right side of the model image CG1.
  • the shape of the right image R3 may change in accordance with the change in the shape of the model images WR and SR.
  • the after image R4 is an image generated based on the input image captured by the after camera 51B.
  • the back image R4 includes an image showing a situation when the screed 3 is viewed from the tractor 1 side.
  • the controller 50 cuts out a part of the input image captured by the rear camera 51B and performs viewpoint conversion processing to generate the rear image R4.
  • the back image R4 is disposed below the model image CGc of the screed 3.
  • the shape of the post-image R4 may change according to the change of the shape of the model images SL and SR.
  • the controller 50 can associate the coordinates on the plurality of input image planes with the coordinates on the output image plane only by referring to the input image / output image correspondence map 54a. As a result, the controller 50 can generate and display an output image with relatively low computational load.
  • each of the front image R1, the left image R2, the right image R3, and the rear image R4 is generated based on an input image captured by one corresponding camera.
  • the present invention is not limited to this configuration.
  • each of the front image R1, the left image R2, the right image R3, and the rear image R4 may be generated based on input images captured by two or more cameras.
  • the asphalt finisher 100 includes a plurality of imaging devices 51 attached to the tractor 1 and a controller 50 that performs viewpoint conversion and combination of images captured by each of the plurality of imaging devices 51 to generate an overhead image. And a display device 52 for displaying the overhead view image on one screen.
  • the overhead image is configured to include an image of the space around the asphalt finisher 100 viewed virtually from substantially above. Therefore, it is possible to further reduce the dead angle which is an invisible range in the output image.
  • the state of the space around the front end of the hopper wing 20 can be presented to the operator of the asphalt finisher 100.
  • the operator can be notified of the state of the pavement inside the hopper 2, the state of the space behind the screed 3, and the like.
  • the asphalt finisher 100 can improve visibility, safety, operability, and workability by presenting an overhead image. Specifically, the asphalt finisher 100 can make the operator intuitively recognize the remaining amount of paving material in the hopper 2, the position of a feature (for example, a manhole) on the road surface to be paved, and the like. . In addition, the position of the worker who works around the hopper 2 can be intuitively recognized by the operator. Therefore, the operator can execute various operations such as opening and closing of the hopper wing 20 after confirming the position of the feature or the operator by looking at the bird's-eye view image.
  • FIGS. 14A and 14B show an example in which an auxiliary line is superimposed and displayed on the image G1 generated by the viewpoint conversion unit 50a.
  • FIG. 14A shows a bird's-eye image of the asphalt finisher 100 going straight on.
  • FIG. 14B shows an overhead image of the asphalt finisher 100 that is about to turn to the right.
  • the auxiliary line creation unit 50b creates the auxiliary lines L1 and L2 based on the outputs of the steering angle sensor and the traveling speed sensor.
  • the auxiliary line L1 is a predicted traveling locus of the left rear wheel 5L
  • the auxiliary line L2 is a predicted traveling locus of the right rear wheel 5R.
  • the auxiliary lines L1 and L2 are derived based on the current steering angle and the traveling speed. It may be derived based only on the steering angle.
  • the auxiliary lines L1 and L2 represent, for example, travel paths in a period until a predetermined time (for example, several tens of seconds) elapses from the present time.
  • the auxiliary line creation unit 50b creates the auxiliary lines L3 and L4 by additionally referring to the output of the screed telescopic cylinder stroke sensor.
  • the auxiliary line L3 is a predicted trajectory of the left end of the left rear screed 31L
  • the auxiliary line L4 is a predicted trajectory of the right end of the right rear screed 31R.
  • the auxiliary lines L3 and L4 are derived based on the current steering angle, the traveling speed, and the stroke amount of the screed telescopic cylinder 26.
  • the auxiliary lines L3 and L4 represent, for example, a locus of a period until a predetermined time (for example, several tens of seconds) elapses from the present time.
  • the auxiliary line creation unit 50b creates the auxiliary lines L5 and L6 based on the road design data and the output of the positioning sensor.
  • Road design data is data relating to a construction target road, and is stored in advance in, for example, a non-volatile storage device.
  • the road design data includes, for example, data on the position of the feature on the road surface to be paved.
  • the auxiliary line L5 represents the left edge of the construction target road
  • the auxiliary line L6 represents the right edge of the construction target road.
  • the controller 50 superimposes and displays an image of a feature such as a manhole on the overhead image based on the road design data and the output of the positioning sensor.
  • the controller 50 superimposes and displays the model image CG2 of the manhole cover on the overhead image.
  • the operator of the asphalt finisher 100 sees the bird's-eye view image on which the auxiliary lines and the like are superimposed and displayed as described above, so that the current steering angle of the asphalt finisher 100, the traveling speed, the expansion and contraction amount of the rear screed 31, etc. It can be judged whether there is any. For example, by looking at the bird's-eye view image of FIG. 14A, the operator can recognize that the right rear wheel 5R rides on the manhole cover when the asphalt finisher 100 is made to go straight and the road is not paved as designed. . On the other hand, by looking at the bird's-eye view image of FIG. 14B, the operator can avoid the right rear wheel 5R from riding on the manhole cover by maintaining the current steering state (the state where the steering wheel is turned to the right) and the traveling speed. And, it can be recognized that the road is paved as designed.
  • the controller 50 displays the predicted travel locus of the rear wheel 5, but may display the predicted travel locus of the front wheel 6, and the prediction of each of the rear wheel 5 and the front wheel 6 may be displayed.
  • a traveling track may be displayed.
  • the controller 50 can present in advance to the operator the motion of the asphalt finisher 100 in a period from the current time until the predetermined time passes. An additional effect can be realized.
  • the image portion constituting the local image SG is scaled only in the vertical direction, but may be scaled only in the horizontal direction, and scaled in the vertical and horizontal directions It is also good.
  • the indicator BG may be a laterally extending rod-like indicator.
  • the indicator BG may be a matrix-like indicator extending vertically and horizontally.
  • the asphalt finisher 100 may be a goose asphalt finisher using a goose asphalt mixture.
  • the image generation system SYS may be mounted on a goose asphalt finisher using a goose asphalt mixture.
  • Imaging equipment 51B Rear camera 51F: Front camera 51L: Left camera 51R: Right camera 51U: Left auxiliary camera 51V: Right auxiliary camera 52: Display device 53: Acquisition of information Device 54: Storage device 54a: Input image / output image correspondence map 55: Input device 65: Operation panel 70: Retaining plate 71: Side plate 72: Moldboard 100 ... Asphalt finisher BL, BR ... rod member CV ... conveyor SC ... screw SYS ... image generation system

Landscapes

  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Road Paving Machines (AREA)

Abstract

本発明の実施例に係る道路機械としてのアスファルトフィニッシャ（１００）は、トラクタ（１）と、トラクタ（１）の後方に配置されるスクリード（３）とを含む。アスファルトフィニッシャ（１００）は、スクリード（３）の前に舗装材を供給する作業装置と、アスファルトフィニッシャ（１００）の周囲が映っている画像である周囲画像を表示し、且つ、作業装置によって舗装材が供給される領域が映っている画像である局所的画像（ＳＧ）を強調表示する表示装置（５２）と、備える。

Description

道路機械
　本発明は、舗装材を軸方向に供給するスクリュを備えた道路機械に関する。
　従来、アスファルトフィニッシャ及びその周囲を上から見下ろしたときに見える光景が映っている画像を生成してアスファルトフィニッシャの運転者に提示する画像生成装置が知られている（特許文献１参照。）。この画像生成装置は、アスファルトフィニッシャの周囲全体が映っている画像を生成し且つ表示することで、アスファルトフィニッシャと周囲の物体との間の位置関係を運転者に直感的に認識させることができる。
特許第６０２９９４１号公報
　しかしながら、上述の構成では、ホッパウイングの前端周辺の空間は、前カメラ、左カメラ及び右カメラから見てホッパウイングの死角になってしまっている。また、上述の構成は、通常、施工中に舗装材が蓄積されるスクリードの前方の領域等の所定の局所的領域の状況を運転者に確認させる用途には適していない。そのため、操作者は、視認したい空間における物体の有無、及び、所定の局所的領域における舗装材の量等を直接目視で確認する必要がある。
　上述に鑑み、画像では視認しにくい範囲を更に減少させる道路機械の提供が望まれる。
　本発明の実施例に係る道路機械は、トラクタと、前記トラクタの後方に配置されるスクリードとを含む道路機械であって、前記スクリードの前に舗装材を供給する作業装置と、前記道路機械の周囲が映っている画像である周囲画像を表示し、且つ、前記作業装置によって舗装材が供給される領域が映っている画像である局所的画像を強調表示する表示装置と、備える。
　上述の手段により、画像では視認しにくい範囲を更に減少させる道路機械が提供される。
本発明の実施例に係るアスファルトフィニッシャの側面図である。 本発明の実施例に係るアスファルトフィニッシャの上面図である。 本発明の実施例に係るアスファルトフィニッシャの背面図である。 図１Ａのアスファルトフィニッシャに搭載される画像生成システムの構成例を示す図である。 第１出力画像の表示例である。 第２出力画像の表示例である。 第２出力画像の表示例である。 第２出力画像の表示例である。 出力画像生成処理のフローチャートである。 出力画像切換処理のフローチャートである。 第２出力画像の別の表示例である。 第２出力画像の更に別の表示例である。 第２出力画像の更に別の表示例である。 本発明の実施例に係るアスファルトフィニッシャの側面図である。 図１０のアスファルトフィニッシャの上面図である。 図１０のアスファルトフィニッシャに搭載される表示システムの構成例を示すブロック図である。 図１２の表示システムが生成する画像の一例を示す図である。 図１３Ａの画像を生成するために用いられる入力画像の区分を示す図である。 図１２の表示システムが生成する画像の別の一例を示す図である。 図１２の表示システムが生成する画像の更に別の一例を示す図である。
　以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
　図１Ａ～図１Ｃは、本発明の実施例に係る道路機械としてのアスファルトフィニッシャ１００の構成例を示し、図１Ａが側面図を示し、図１Ｂが上面図を示し、図１Ｃが背面図を示す。
　アスファルトフィニッシャ１００は、主に、トラクタ１、ホッパ２及びスクリード３で構成されている。
　トラクタ１は、アスファルトフィニッシャ１００を走行させるための装置であり、スクリード３を牽引する。本実施例では、トラクタ１は、走行用油圧モータを用いて２つ又は４つのホイールを回転させてアスファルトフィニッシャ１００を移動させる。走行用油圧モータは、ディーゼルエンジン等の原動機が駆動する油圧ポンプから作動油の供給を受けて回転する。トラクタ１の上部には運転席１Ｓ及び操作パネル６５が配置されている。
　トラクタ１には、右側部、左側部、及び前部に撮像装置５１（右カメラ５１Ｒ、左カメラ５１Ｌ、前カメラ５１Ｆ、右補助カメラ５１Ｖ、左補助カメラ５１Ｕ）が取り付けられている。運転席１Ｓに着座した運転者が視認し易い位置には表示装置５２が設置されている。本実施例では、トラクタ１から見たホッパ２の方向を前方（＋Ｘ方向）とし、トラクタ１から見たスクリード３の方向を後方（－Ｘ方向）とする。＋Ｙ方向は左方向に対応し、－Ｙ方向は右方向に対応する。
　作業装置の一例であるホッパ２は、舗装材（例えばアスファルト混合物である。）を受け入れるための機構である。作業装置は、スクリード３の前に舗装材を供給する装置である。本実施例では、油圧シリンダによって車幅方向に開閉可能に構成されている。アスファルトフィニッシャ１００は、通常、ホッパ２を全開状態にしてダンプカーの荷台から舗装材を受け入れる。そして、ホッパ２内の舗装材が減少するとホッパ２を閉じ、ホッパ２の内壁付近にあった舗装材をホッパ２の中央部に集めることで、作業装置の一例であるコンベアＣＶが舗装材をスクリード３に給送できるようにする。
　スクリード３は、舗装材を敷き均すための機構である。本実施例では、油圧シリンダによって、鉛直方向に昇降可能に、且つ、車幅方向に伸縮可能に構成されている。スクリード３の幅は、車幅方向に伸長された場合、トラクタ１の幅より大きい。本実施形態では、スクリード３は、前側スクリード３０、左後側スクリード３１Ｌ、及び、右後側スクリード３１Ｒを含む。左後側スクリード３１Ｌ及び右後側スクリード３１Ｒは、車幅方向（Ｙ軸方向）に伸縮できるように構成されている。そして、車幅方向に伸縮可能な左後側スクリード３１Ｌ及び右後側スクリード３１Ｒは進行方向（Ｘ軸方向）に互いにオフセットされて配置されている。そのため、オフセットされていないときよりも長い幅（車幅方向の長さ）を有することができ、車幅方向へより長く伸張でき、より広い新設舗装体を施工することができる。
　図２は、図１Ａのアスファルトフィニッシャ１００に搭載される画像生成システムＳＹＳの構成例を概略的に示す。画像生成システムＳＹＳは、例えば、アスファルトフィニッシャ１００に搭載された撮像装置５１が撮像した入力画像に基づいて出力画像を生成する。本実施例では、画像生成システムＳＹＳは、主に、コントローラ５０、撮像装置５１、表示装置５２、記憶装置５４及び入力装置５５で構成される。
　コントローラ５０は、例えば、ＣＰＵ、揮発性メモリ、不揮発性メモリ等を備えたコンピュータである。コントローラ５０は、例えば、出力画像生成部５０Ａ及び強調表示部５０Ｂのそれぞれに対応するプログラムをＣＰＵに実行させ、出力画像生成部５０Ａ及び強調表示部５０Ｂのそれぞれに対応する機能を実現する。
　撮像装置５１は、出力画像を生成するための入力画像を取得する装置である。本実施例では、ＣＣＤ、ＣＭＯＳ等の撮像素子を備えたカメラである。撮像装置５１は、例えば、運転席１Ｓに着座している運転者の死角を撮像できるようトラクタ１に取り付けられている。死角は、例えば、ホッパ２の内部空間（特に、トラクタ１に近い部分）、ホッパ２の前端の外側の空間、アスファルトフィニッシャ１００の側部近辺の路面に近い空間等を含む。
　撮像装置５１は、トラクタ１の右側部、左側部、及び前部以外の位置（例えば、後部である。）に取り付けられていてもよい。撮像装置５１は、広角レンズ又は魚眼レンズが装着されていてもよい。撮像装置５１は、ホッパ２に取り付けられていてもよく、スクリード３に取り付けられていてもよい。
　本実施例では、撮像装置５１は、前カメラ５１Ｆ、左カメラ５１Ｌ、右カメラ５１Ｒ、左補助カメラ５１Ｕ、及び、右補助カメラ５１Ｖを含む。前カメラ５１Ｆは、図１Ａ及び図１Ｂに示すように、トラクタ１の前部上端に取り付けられ、その光軸５１ＦＸが進行方向前方に延び、且つ、路面との間に側面視で角度αを形成するように取り付けられている。左カメラ５１Ｌは、図１Ａ～図１Ｃに示すように、トラクタ１の左側部上端に取り付けられ、その光軸５１ＬＸが、トラクタ１の左側面との間に上面視で角度βを形成し、且つ、路面との間に背面視で角度γを形成するように取り付けられている。右カメラ５１Ｒは、左右を逆にして、左カメラ５１Ｌと同様に取り付けられている。左補助カメラ５１Ｕは、図１Ａ～図１Ｃに示すように、トラクタ１の左側部上端に取り付けられ、その光軸５１ＵＸが、トラクタ１の左側面との間に上面視で角度δを形成し、且つ、路面との間に背面視で角度εを形成するように取り付けられている。右補助カメラ５１Ｖは、左右を逆にして、左補助カメラ５１Ｕと同様に取り付けられている。図１Ｂの破線で囲まれる領域５１ＦＡは、前カメラ５１Ｆの撮像範囲を示し、一点鎖線で囲まれる領域５１ＬＡは、左カメラ５１Ｌの撮像範囲を示し、一点鎖線で囲まれる領域５１ＲＡは、右カメラ５１Ｒの撮像範囲を示す。二点鎖線で囲まれる領域５１ＵＡは、左補助カメラ５１Ｕの撮像範囲を示し、二点鎖線で囲まれる領域５１ＶＡは、右補助カメラ５１Ｖの撮像範囲を示す。
　左カメラ５１Ｌ及び左補助カメラ５１Ｕは、左補助カメラ５１Ｕの撮像範囲を示す領域５１ＵＡが、左カメラ５１Ｌの撮像範囲を示す領域５１ＬＡに完全に含まれるようにトラクタ１に取り付けられている。但し、領域５１ＬＡと領域５１ＵＡが部分的に重複するように、すなわち、領域５１ＵＡが領域５１ＬＡからはみ出すようにトラクタ１に取り付けられていてもよい。同様に、右カメラ５１Ｒ及び右補助カメラ５１Ｖは、右補助カメラ５１Ｖの撮像範囲を示す領域５１ＶＡが、右カメラ５１Ｒの撮像範囲を示す領域５１ＲＡに完全に含まれるようにトラクタ１に取り付けられている。但し、領域５１ＲＡと領域５１ＶＡが部分的に重複するように、すなわち、領域５１ＶＡが領域５１ＲＡからはみ出すようにトラクタ１に取り付けられていてもよい。また、左補助カメラ５１Ｕ及び右補助カメラ５１Ｖは省略されてもよい。
　撮像装置５１は、例えば、ブラケット、ステー、バー等を介してアスファルトフィニッシャ１００に取り付けられる。本実施例では、撮像装置５１は、取り付け用ステーを介してトラクタ１に取り付けられている。但し、撮像装置５１は、取り付け用ステーを介さずにトラクタ１に直接的に取り付けられてもよく、トラクタ１に埋め込まれていてもよい。
　本実施例では、撮像装置５１は、取得した入力画像をコントローラ５０に対して出力する。撮像装置５１は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像をコントローラ５０に対して出力してもよい。或いは、その見掛け上の歪曲やアオリを補正していない入力画像をそのままコントローラ５０に対して出力してもよい。この場合、その見掛け上の歪曲やアオリは、コントローラ５０によって補正される。
　このように、撮像装置５１は、アスファルトフィニッシャ１００の左側及び右側並びにホッパ２の内側及び外側にある複数の死角がその撮像範囲に含まれるように配置されている。
　入力装置５５は、運転者が画像生成システムＳＹＳに対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタン、スイッチ等である。本実施例では、入力装置５５は、表示切換スイッチ及びスクリュダイヤルを含む。
　表示切換スイッチは、表示装置５２に表示される出力画像の構成を切り換えるためのスイッチである。スクリュダイヤルは、作業装置の一例であるスクリュＳＣの回転速度を調整するためのダイヤルである。
　記憶装置５４は、各種情報を記憶するための装置である。本実施例では、記憶装置５４は、不揮発性記憶装置であり、コントローラ５０に統合されている。但し、記憶装置５４は、コントローラ５０とは別の構造物としてコントローラ５０の外部に配置されていてもよい。
　表示装置５２は、各種情報を表示するための装置である。本実施例では、操作パネル６５に設置された液晶ディスプレイであり、コントローラ５０が出力する各種画像を表示する。
　出力画像生成部５０Ａは、出力画像を生成するための機能要素であり、例えば、ソフトウェア、ハードウェア、又はそれらの組み合わせで構成される。本実施例では、出力画像生成部５０Ａは、記憶装置５４に記憶された入力画像・出力画像対応マップ５４ａを参照し、撮像装置５１が撮像した入力画像が位置する入力画像平面上の座標と、出力画像が位置する出力画像平面上の座標とを対応付ける。そして、出力画像生成部５０Ａは、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。
　入力画像・出力画像対応マップ５４ａは、入力画像平面上の座標と出力画像平面上の座標との対応関係を参照可能に記憶している。対応関係は、例えば、撮像装置５１の光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等の各種パラメータに基づいて予め設定されている。対応関係は、入力画像が見掛け上の歪曲やアオリを含む場合には、その見掛け上の歪曲やアオリが出力画像に現れないように設定されていてもよい。この場合、入力画像平面上の非矩形領域を構成する座標群が出力画像平面上の矩形領域を構成する座標群に対応付けられる。対応関係は、入力画像における見掛け上の歪曲やアオリが入力画像取得時に既に補正されている場合には、入力画像平面上の矩形領域を構成する座標群がそのまま出力画像平面上の矩形領域を構成する座標群に対応するように設定されていてもよい。
　強調表示部５０Ｂは、表示装置５２に表示される出力画像の内容を切り換えるための機能要素であり、例えば、ソフトウェア、ハードウェア、又はそれらの組み合わせで構成される。本実施例では、強調表示部５０Ｂは、強調表示スイッチとしての表示切換スイッチが押下されたときに、表示装置５２に表示されている出力画像を第１出力画像と第２出力画像とで切り換える。スクリュダイヤルが操作されたときに第１出力画像を第２出力画像に切り換え、その後、スクリュダイヤルが操作されない時間（非操作時間）が所定時間に達したときに第２出力画像を第１出力画像に切り換えてもよい。同様に、強調表示スイッチが操作されたときに第１出力画像を第２出力画像に切り換え、その後、強調表示スイッチが操作されない時間（非操作時間）が所定時間に達したときに第２出力画像を第１出力画像に切り換えてもよい。非操作時間は、例えば、コントローラ５０のタイマ機能を用いてカウントされる。
　第１出力画像は、周囲画像を含み、局所的画像を含まない。第２出力画像は、周囲画像及び局所的画像を含む。周囲画像は、アスファルトフィニッシャ１００の周囲が映っている画像である。局所的画像は、アスファルトフィニッシャ１００に関する所定の局所的領域が映っている画像であり、例えば、スクリュＳＣによって舗装材が供給される（撒き出される）領域が映っている画像である。スクリュＳＣによって舗装材が供給される領域は、例えば、スクリード３の前にある領域であり、且つ、リテーニングプレート７０（図１Ｂ参照。）と、サイドプレート７１（図１Ｂ参照。）と、モールドボード７２（図１Ｂ参照。）とで囲まれた領域である。この局所的画像を見ることで、運転者は、局所的領域をのぞき込むためにトラクタ１上を動き回ったり或いは運転席１Ｓで体を捻ったりすることなく、運転席１Ｓに着座したまま局所的領域における舗装材の抱え込み量を確認できる。また、視線を大きく移動させることなく、周囲の状況と局所的領域における舗装材の抱え込み量とをほとんど同時に確認できる。このようにして、画像生成システムＳＹＳを搭載するアスファルトフィニッシャ１００は、抱え込み量を確認する作業による運転者の疲労を軽減させることができる。その結果、アスファルトフィニッシャ１００に関する安全性を向上させることができる。局所的画像は、ホッパ２内の領域が映っている画像であってもよい。
　また、強調表示部５０Ｂは、例えば、第２出力画像を表示装置５２に表示させる場合、運転者が周囲画像と局所的画像とを区別できるように局所的画像を表示装置５２で強調表示させる。例えば、周囲画像を囲む表示枠とは別の表示枠の中に局所的画像を表示させる。この場合、局所的画像は、周囲画像の一部と重なるように周囲画像の上に表示されてもよく、周囲画像と重ならないように周囲画像とは別の位置に表示されてもよい。或いは、周囲画像のうちの局所的領域に対応する画像部分を拡大表示してもよい。この場合、周囲画像のうちの他の画像部分は、少なくとも一部が縮小表示されてもよく、その表示が省略されてもよい。また、周囲画像のうちの局所的領域に対応する画像部分が拡大表示された場合には、別の表示枠による局所的画像の表示は省略されてもよい。
　次に、図３を参照し、左カメラ５１Ｌ、右カメラ５１Ｒ及び前カメラ５１Ｆのそれぞれの入力画像を用いて生成される第１出力画像について説明する。図３は、表示装置５２に表示される第１出力画像の表示例である。
　第１出力画像は、主に、ホッパ画像ＨＧ、左周囲画像ＬＧ、右周囲画像ＲＧ、及び、イラスト画像１ＣＧを含む。ホッパ画像ＨＧ、左周囲画像ＬＧ及び右周囲画像ＲＧは周囲画像を構成する。画像生成システムＳＹＳは、アスファルトフィニッシャ１００の前方が表示装置５２の画面の上方に一致することを運転者が認識できるように、ホッパ画像ＨＧ、左周囲画像ＬＧ、右周囲画像ＲＧ、及び、イラスト画像１ＣＧを第１出力画像上の所定位置に所定の大きさで表示する。アスファルトフィニッシャ１００及びその周囲を上から見下ろしたときに見える光景が映っている俯瞰画像としての第１出力画像を運転者に提示することで、アスファルトフィニッシャ１００と周囲の物体との間の位置関係を運転者に直感的に認識させるためである。
　ホッパ画像ＨＧは、前カメラ５１Ｆの入力画像に基づいて生成される。本実施例では、ホッパ画像ＨＧは、トラクタ１からホッパ２を見下ろしたときに見えるホッパ２の内部の様子が映っている画像であり、前カメラ５１Ｆの入力画像の一部を切り出すことによって生成され、第１出力画像の中央上部に配置される。
　左周囲画像ＬＧは、左カメラ５１Ｌの入力画像に基づいて生成される。本実施例では、左周囲画像ＬＧは、アスファルトフィニッシャ１００の進行方向左側にある左周囲領域をトラクタ１から見下ろしたときに見える左周囲領域の様子が映っている画像である。具体的には、左周囲画像ＬＧは、左カメラ５１Ｌの入力画像の一部を切り出して歪み補正を施し、更に画像回転処理を施すことにより生成され、第１出力画像の左側端部に配置される。また、左周囲画像ＬＧは、スクリード３の左側端部の画像、及び、ホッパ２の左側端部の画像を含む。
　右周囲画像ＲＧは、右カメラ５１Ｒの入力画像に基づいて生成される。本実施例では、右周囲画像ＲＧは、アスファルトフィニッシャ１００の進行方向右側にある右周囲領域をトラクタ１から見下ろしたときに見える右周囲領域の様子が映っている画像である。具体的には、右周囲画像ＲＧは、右カメラ５１Ｒの入力画像の一部を切り出して歪み補正を施し、更に画像回転処理を施すことにより生成され、第１出力画像の右側端部に配置される。また、右周囲画像ＲＧは、スクリード３の右側端部の画像、及び、ホッパ２の右側端部の画像を含む。
　歪み補正は、広角レンズ等を用いることによって生じる見掛け上の歪曲やアオリを補正するための画像処理である。画像回転処理は、アスファルトフィニッシャ１００の進行方向前方（表示装置５２の画面の上方）と左周囲画像ＬＧ及び右周囲画像ＲＧのそれぞれの向きを一致させるための画像処理である。本実施例では、左カメラ５１Ｌ及び右カメラ５１Ｒのそれぞれの入力画像に関する入力画像平面上の座標と出力画像平面上の座標との対応関係が、歪み補正及び画像回転処理による効果を予め取り入れた状態で、入力画像・出力画像対応マップ５４ａに記憶されている。なお、歪み補正及び画像回転処理は、ホッパ画像ＨＧに対して施されてもよい。
　イラスト画像１ＣＧは、トラクタ１のコンピュータグラフィクスであり、運転者がトラクタ１の位置を認識できるように表示される。本実施例では、イラスト画像１ＣＧは、第１出力画像の中央下部に配置されている。
　このようにして、表示装置５２は、アスファルトフィニッシャ１００及びその近傍を上空から見下ろしたときに見える光景が映っている第１出力画像を表示できる。
　なお、上述の実施例では、ホッパ画像ＨＧ、左周囲画像ＬＧ及び右周囲画像ＲＧの各画像は別個独立の画像として隣接して配置されている。但し、３つの画像は、連続する１つの画像となるように合成されてもよい。この場合、前カメラ５１Ｆの撮像範囲と左カメラ５１Ｌ又は右カメラ５１Ｒの撮像範囲とが重複する範囲における物体の画像が消失するのを防止するための画像処理が施されていてもよい。
　また、上述の実施例では、ホッパ画像ＨＧ、左周囲画像ＬＧ及び右周囲画像ＲＧのそれぞれは、対応する１つのカメラが撮像した入力画像に基づいて生成される。但し、ホッパ画像ＨＧ、左周囲画像ＬＧ及び右周囲画像ＲＧのそれぞれは、２つ以上のカメラが撮像した入力画像に基づいて生成されてもよい。例えば、左周囲画像ＬＧは、左カメラ５１Ｌ及び左補助カメラ５１Ｕのそれぞれが撮像した入力画像に基づいて生成されてもよい。また、右周囲画像ＲＧは、右カメラ５１Ｒ及び右補助カメラ５１Ｖのそれぞれが撮像した入力画像に基づいて生成されてもよい。
　次に、図４Ａ～図４Ｃを参照し、左カメラ５１Ｌ、右カメラ５１Ｒ、前カメラ５１Ｆ、左補助カメラ５１Ｕ及び右補助カメラ５１Ｖのそれぞれの入力画像を用いて生成される第２出力画像について説明する。図４Ａ～図４Ｃは、表示装置５２に表示される第２出力画像の表示例である。
　第２出力画像は、主に、ホッパ画像ＨＧ、左周囲画像ＬＧ、右周囲画像ＲＧ、イラスト画像１ＣＧ、及び、局所的画像ＳＧを含む。本実施例では、局所的画像ＳＧは、イラスト画像１ＣＧの上に重畳表示される。図４Ａは、トラクタ１の右側にある、リテーニングプレート７０（図１Ｂ参照。）とサイドプレート７１（図１Ｂ参照。）とモールドボード７２（図１Ｂ参照。）とで囲まれた領域である右局所的領域が映っている右局所的画像ＳＧＲを含む第２出力画像を示す。図４Ｂは、トラクタ１の左側にある、リテーニングプレート７０（図１Ｂ参照。）とサイドプレート７１（図１Ｂ参照。）とモールドボード７２（図１Ｂ参照。）とで囲まれた領域である左局所的領域が映っている左局所的画像ＳＧＬを含む第２出力画像を示す。図４Ｃは、右局所的画像ＳＧＲ及び左局所的画像ＳＧＬを含む第２出力画像を示す。
　右局所的画像ＳＧＲは、右補助カメラ５１Ｖの入力画像に基づいて生成される。本実施例では、右局所的画像ＳＧＲは、トラクタ１から右局所的領域を見下ろしたときに見える右局所的領域の様子が映っている画像である。具体的には、右局所的画像ＳＧＲは、右補助カメラ５１Ｖの入力画像の一部を切り出して歪み補正を施し、更に画像回転処理を施すことにより生成され、イラスト画像１ＣＧの上で、イラスト画像１ＣＧの右端に沿うように配置される。
　左局所的画像ＳＧＬは、左補助カメラ５１Ｕの入力画像に基づいて生成される。本実施例では、左局所的画像ＳＧＬは、トラクタ１から左局所的領域を見下ろしたときに見える左局所的領域の様子が映っている画像である。具体的には、左局所的画像ＳＧＬは、左補助カメラ５１Ｕの入力画像の一部を切り出して歪み補正を施し、更に画像回転処理を施すことにより生成され、イラスト画像１ＣＧの上で、イラスト画像１ＣＧの左端に沿うように配置される。
　表示切換スイッチは、右局所的画像ＳＧＲを含む第２出力画像（図４Ａ参照。）を表示させるための第１スイッチと、左局所的画像ＳＧＬを含む第２出力画像（図４Ｂ参照。）を表示させるための第２スイッチとを含むように構成されていてもよい。或いは、右局所的画像ＳＧＲ及び左局所的画像ＳＧＬを含む第２出力画像（図４Ｃ参照。）を表示させるためのスイッチのみで構成されていてもよい。或いは、それら３つのスイッチを含むように構成されていてもよい。
　スクリュダイヤルは、右スクリュの回転速度を調整するための右ダイヤルと、左スクリュの回転速度を調整するための左ダイヤルとを含むように構成されていてもよく、左右のスクリュの回転速度を同時に調整するための共通ダイヤルのみで構成されていてもよい。或いは、それら３つのダイヤルを含むように構成されていてもよい。強調表示部５０Ｂは、例えば、右ダイヤルが操作されたときに右局所的画像ＳＧＲを含む第２出力画像（図４Ａ参照。）を表示させ、左ダイヤルが操作されたときに左局所的画像ＳＧＬを含む第２出力画像（図４Ｂ参照。）を表示させてもよい。或いは、共通ダイヤルが操作されたときに右局所的画像ＳＧＲ及び左局所的画像ＳＧＬを含む第２出力画像（図４Ｃ参照。）を表示させてもよい。
　局所的画像ＳＧを囲む表示枠は、ホッパ画像ＨＧ、左周囲画像ＬＧ、右周囲画像ＲＧ及びイラスト画像１ＣＧのそれぞれを囲む表示枠とは異なるように表示されてもよい。例えば、色、線種、太さ等が異なるように表示されてもよく、点滅させられてもよい。
　次に、図５を参照し、画像生成システムＳＹＳが出力画像を生成する処理（以下、「出力画像生成処理」とする。）について説明する。図５は、出力画像生成処理のフローチャートである。出力画像は、第１出力画像及び第２出力画像を含む。画像生成システムＳＹＳは、所定の制御周期で繰り返しこの出力画像生成処理を実行し、第１出力画像及び第２出力画像のうちの一方を二者択一的に生成する。但し、画像生成システムＳＹＳは、第１出力画像及び第２出力画像の両方を生成してもよい。
　最初に、コントローラ５０の出力画像生成部５０Ａは、出力画像平面上の座標の値と入力画像平面上の座標の値とを関連付ける（ステップＳ１）。本実施例では、入力画像・出力画像対応マップ５４ａを参照し、出力画像平面上の各座標に対応する入力画像平面上の座標が有する値（例えば、輝度値、色相値、彩度値等である。）を取得し、その取得した値を、対応する出力画像平面上の各座標の値として設定する。
　その後、コントローラ５０は、出力画像平面上の全ての座標の値を入力画像平面上の座標の値に関連付けたか否かを判定する（ステップＳ２）。
　そして、未だ全ての座標の値を関連付けていないと判定した場合（ステップＳ２のＮＯ）、出力画像生成部５０Ａは、ステップＳ１及びステップＳ２の処理を繰り返す。
　全ての座標の値を関連付けたと判定した場合（ステップＳ２のＹＥＳ）、出力画像生成部５０Ａは、今回の出力画像生成処理を終了させる。
　次に、図６を参照し、画像生成システムＳＹＳが、表示装置５２に表示されている出力画像を第１出力画像と第２出力画像とで切り換える処理（以下、「出力画像切換処理」とする。）について説明する。図６は、出力画像切換処理のフローチャートである。画像生成システムＳＹＳは、所定の制御周期で繰り返しこの出力画像切換処理を実行する。
　最初に、コントローラ５０の強調表示部５０Ｂは、強調表示がオン操作されたか否かを判定する（ステップＳ１１）。強調表示部５０Ｂは、例えば、表示装置５２に第１出力画像が表示されている状態で、強調表示スイッチとしての表示切換スイッチが押下されたときに、強調表示がオン操作されたと判定する。スクリュダイヤルが操作されたときに強調表示がオン操作されたと判定してもよい。
　強調表示がオン操作されたと判定した場合（ステップＳ１１のＹＥＳ）、強調表示部５０Ｂは、局所的画像を強調表示する（ステップＳ１２）。強調表示部５０Ｂは、例えば、表示装置５２に表示されている第１出力画像（図３参照。）を第２出力画像（図４Ａ～図４Ｃ参照。）に切り換えて左局所的画像ＳＧＬ及び右局所的画像ＳＧＲの少なくとも一方を周囲画像と共に表示させる。
　強調表示がオン操作されていないと判定した場合（ステップＳ１１のＮＯ）、強調表示部５０Ｂは、表示装置５２に表示されている第１出力画像を第２出力画像に切り換えることなく、第１出力画像の表示を継続させる。
　その後、強調表示部５０Ｂは、強調表示がオフ操作されたか否かを判定する（ステップＳ１３）。強調表示部５０Ｂは、例えば、表示装置５２に第２出力画像が表示されている状態で、強調表示スイッチとしての表示切換スイッチが押下されたときに、強調表示がオフ操作されたと判定する。スクリュダイヤルの操作の完了から所定時間が経過したときに強調表示がオフ操作されたと判定してもよい。或いは、表示切換スイッチの押下から所定時間が経過したときに強調表示がオフ操作されたと判定してもよい。
　強調表示がオフ操作されたと判定した場合（ステップＳ１３のＹＥＳ）、強調表示部５０Ｂは、局所的画像の強調表示を中止する（ステップＳ１４）。強調表示部５０Ｂは、例えば、表示装置５２に表示されている第２出力画像を第１出力画像に切り換えて局所的画像の強調表示を中止する。
　強調表示がオフ操作されていないと判定した場合（ステップＳ１３のＮＯ）、強調表示部５０Ｂは、表示装置５２に表示されている第２出力画像を第１出力画像に切り換えることなく、第２出力画像の表示を継続させる。
　この構成により、画像生成システムＳＹＳは、運転者の要求に応じて局所的画像を表示装置５２に表示させることができる。この局所的画像を見ることで、運転者は、局所的領域をのぞき込むためにトラクタ１上を動き回ったり或いは運転席１Ｓで体を捻ったりすることなく、運転席１Ｓに着座したまま局所的領域における舗装材の抱え込み量を確認できる。また、視線を大きく移動させることなく、周囲の状況と局所的領域における舗装材の抱え込み量とをほとんど同時に確認できる。このようにして、画像生成システムＳＹＳを搭載するアスファルトフィニッシャ１００は、抱え込み量を確認する作業による運転者の疲労を軽減させることができる。その結果、アスファルトフィニッシャ１００に関する安全性を向上させることができる。
　次に、図７を参照し、第２出力画像の別の表示例について説明する。図７は、表示装置５２に表示される第２出力画像の別の表示例である。図７の第２出力画像は、右局所的画像ＳＧＲがイラスト画像１ＣＧではなく右周囲画像ＲＧの上に重畳表示されている点で、図４Ａの第２出力画像と異なるがその他の点で共通する。そのため、共通部分の説明を省略し、相違部分を詳説する。以下の説明は、右局所的画像ＳＧＲに関するが、左局所的画像ＳＧＬにも同様に適用される。
　図７の例では、右局所的画像ＳＧＲは、右周囲画像ＲＧと同様に、右カメラ５１Ｒの入力画像に基づいて生成される。そのため、右補助カメラ５１Ｖは省略されてもよい。但し、右局所的画像ＳＧＲは、右補助カメラ５１Ｖの入力画像に基づいて生成される画像であってもよい。
　右局所的画像ＳＧＲは右周囲画像ＲＧの一部に対応する。例えば、右周囲画像ＲＧが第１画像部分ＲＧ１～第１１画像部分ＲＧ１１で構成される場合、図７の右局所的画像ＳＧＲは、第９画像部分ＲＧ９に対応する。具体的には、画像生成システムＳＹＳは、第７画像部分ＲＧ７～第１１画像部分ＲＧ１１が表示されていたところに、第９画像部分ＲＧ９を縦方向に拡大した画像である右局所的画像ＳＧＲを重畳表示している。すなわち、第１画像部分ＲＧ１～第６画像部分ＲＧ６はそのまま表示され、第７画像部分ＲＧ７～第１１画像部分ＲＧ１１は右局所的画像ＳＧＲで遮られて不可視となる。
　このように、画像生成システムＳＹＳは、右周囲画像ＲＧにおける右局所的領域が映っていた画像部分の上に右局所的画像ＳＧＲを重畳表示する。そのため、運転者は、右局所的画像ＳＧＲに右局所的領域が映っていることを直感的に認識できる。また、右局所的画像ＳＧＲを表示することで、右周囲画像ＲＧを表示しているときよりも右局所的領域を拡大して表示できる。そのため、右スクリュによって舗装材が供給される右局所的領域の様子を運転者により分かり易く提示できる。
　次に、図８を参照し、第２出力画像の更に別の表示例について説明する。図８は、表示装置５２に表示される第２出力画像の更に別の表示例である。図８の第２出力画像は、右局所的画像ＳＧＲが右周囲画像ＲＧの一部ではなく全部を覆うように表示されている点で、図７の第２出力画像と異なるがその他の点で共通する。そのため、共通部分の説明を省略し、相違部分を詳説する。以下の説明は、右局所的画像ＳＧＲに関するが、左局所的画像ＳＧＬにも同様に適用される。
　右局所的画像ＳＧＲは、図７の場合と同様に、右周囲画像ＲＧの一部に対応する。例えば、右周囲画像ＲＧが第１画像部分ＲＧ１～第１１画像部分ＲＧ１１で構成される場合、図８の右局所的画像ＳＧＲは、第９画像部分ＲＧ９に対応する。具体的には、画像生成システムＳＹＳは、第１画像部分ＲＧ１～第１１画像部分ＲＧ１１が表示されていたところに、第９画像部分ＲＧ９を縦方向に拡大した画像である右局所的画像ＳＧＲを重畳表示している。すなわち、第１画像部分ＲＧ１～第１１画像部分ＲＧ１１は右局所的画像ＳＧＲで遮られて不可視となる。
　このように、画像生成システムＳＹＳは、右局所的領域が映っていた画像部分を含む右周囲画像ＲＧの全域に右局所的画像ＳＧＲを重畳表示する。そのため、運転者は、右局所的画像ＳＧＲに右局所的領域が映っていることを直感的に認識できる。また、表示装置５２の縦方向の全長にわたる大きさの右局所的画像ＳＧＲを表示することで、図７の第２出力画像の場合よりも右局所的領域を更に大きく表示できる。そのため、右スクリュによって舗装材が供給される右局所的領域の様子を運転者に更に分かり易く提示できる。
　次に、図９を参照し、第２出力画像の更に別の表示例について説明する。図９は、表示装置５２に表示される第２出力画像の更に別の表示例である。図９の第２出力画像は、右局所的画像ＳＧＲが右周囲画像ＲＧの一部ではなく全部を利用して生成されている点、及び、インジケータＢＧを表示する点で、図８の第２出力画像と異なるがその他の点で共通する。そのため、共通部分の説明を省略し、相違部分を詳説する。以下の説明は、右局所的画像ＳＧＲに関するが、左局所的画像ＳＧＬにも同様に適用される。
　右局所的画像ＳＧＲは、図８の場合と違い、右周囲画像ＲＧの全部に対応する。例えば、右周囲画像ＲＧが第１画像部分ＲＧ１～第１１画像部分ＲＧ１１で構成される場合、図９の右局所的画像ＳＧＲは、第１画像部分ＲＧ１～第１１画像部分ＲＧ１１のそれぞれを縦方向に拡大或いは縮小して生成される。具体的には、第１画像部分ＲＧ１～第６画像部分ＲＧ６及び第１１画像部分ＲＧ１１のそれぞれを縦方向に縮小した画像と、第７画像部分ＲＧ７～第１０画像部分ＲＧ１０のそれぞれを縦方向に拡大した画像とで構成されている。すなわち、図７及び図８の場合と違い、右周囲画像ＲＧに映っていた光景は、右局所的画像ＳＧＲが表示された場合にも継続的に視認され得る。
　インジケータＢＧは、局所的画像ＳＧを構成する画像部分の、周囲画像を構成する対応する画像部分に対する拡大縮小状態を表す図形画像である。図９の例では、右インジケータＢＧＲは、右局所的画像ＳＧＲを構成する画像部分の、右周囲画像ＲＧを構成する対応する画像部分に対する拡大縮小状態を表している。具体的には、右インジケータＢＧＲは、第１画像部分ＲＧ１～第１１画像部分ＲＧ１１のそれぞれに対応する１１個の矩形セグメントで構成される縦方向に延びる棒状インジケータであり、画面の右端に表示されている。左インジケータが表示される場合、左インジケータは、画面の左端に表示され得る。左インジケータは、左局所的画像ＳＧＬを構成する画像部分の、左周囲画像ＬＧを構成する対応する画像部分に対する拡大縮小状態を表す。何れの場合においても、棒状インジケータは、矩形セグメントが縦に長いほど拡大率が大きいことを表し、矩形セグメントが縦に短いほど縮小率が大きいことを表す。但し、インジケータＢＧの表示は省略されてもよい。
　このように、画像生成システムＳＹＳは、図８の場合と同様に、右局所的領域が映っていた画像部分を含む右周囲画像ＲＧの全域に右局所的画像ＳＧＲを重畳表示する。そのため、運転者は、右局所的画像ＳＧＲに右局所的領域が映っていることを直感的に認識できる。また、図８の場合と同様に、表示装置５２の縦方向の全長にわたって右局所的画像ＳＧＲを表示することで、図７の第２出力画像の場合よりも右局所的領域を大きく表示できる。そのため、右スクリュによって舗装材が供給される右局所的領域の様子を運転者により分かり易く提示できる。また、図８の場合と違い、右局所的領域を大きく表示しながらも、右周囲画像ＲＧに映っていた光景を運転者が継続的に視認できるようにする。そのため、運転者は、例えば、アスファルトフィニッシャ１００の右側にいる作業者を監視しながら、右局所的領域の様子を確認できる。
　以上の構成により、画像生成システムＳＹＳは、複数のカメラが取得する入力画像に基づき、アスファルトフィニッシャ１００とその周囲で作業する作業者等との位置関係を運転者に直感的に認識させることが可能な出力画像を生成できる。
　また、画像生成システムＳＹＳは、アスファルトフィニッシャ１００及びその近傍を上空から見下ろしたときに見える光景が映っている画像を運転者に提示できるように、ホッパ画像ＨＧ、左周囲画像ＬＧ、右周囲画像ＲＧ、及びイラスト画像１ＣＧを表示する。これにより、運転者は、運転席１Ｓから離れることなく、アスファルトフィニッシャ１００の周囲にある死角を視認できる。その結果、画像生成システムＳＹＳは、アスファルトフィニッシャ１００に関する安全性及び操作性を向上させることができる。具体的には、画像生成システムＳＹＳは、ホッパ２内の舗装材の残量、舗装予定の路面における地物（例えば、マンホールである。）の位置等を運転者に提示できる。また、画像生成システムＳＹＳは、アスファルトフィニッシャ１００の周囲で作業する作業者等の位置を運転者に提示できる。そのため、運転者は、表示装置５２を見て作業者等の位置を確認した上で、ホッパ２の開閉、スクリード３の伸縮、スクリード３の昇降等の各種操作を実行できる。また、運転者は、作業者とホッパ、スクリード、又はダンプカーとの位置関係で危険を察知した場合には、各種操作の中止、アスファルトフィニッシャの停止等を行うことができる。
　また、画像生成システムＳＹＳは、アスファルトフィニッシャ１００の周囲が映っている画像である周囲画像を表示し、且つ、スクリュＳＣによって舗装材が供給される領域が映っている画像である局所的画像を強調表示する。局所的画像の強調表示は、局所的画像を別の表示枠内に表示すること、局所的画像を拡大表示すること、局所的画像の表示枠の表示態様を変更すること等を含む。この処理により、画像生成システムＳＹＳは、アスファルトフィニッシャ１００の周囲の状況に加え、所定の局所的領域の状況を運転者に分かり易く提示できる。
　画像生成システムＳＹＳは、アスファルトフィニッシャ１００の右方にある領域を撮像する第１カメラとしての右カメラ５１Ｒと、右スクリュによって舗装材が供給される領域を撮像する第２カメラとしての右補助カメラ５１Ｖとを備えていてもよい。この場合、周囲画像を構成する右周囲画像ＲＧは、右カメラ５１Ｒが撮像した画像に基づいて生成され、局所的画像を構成する右局所的画像ＳＧＲは、右補助カメラ５１Ｖが撮像した画像に基づいて生成されてもよい。
　また、画像生成システムＳＹＳは、アスファルトフィニッシャ１００の左方にある領域を撮像する第１カメラとしての左カメラ５１Ｌと、左スクリュによって舗装材が供給される領域を撮像する第２カメラとしての左補助カメラ５１Ｕとを備えていてもよい。この場合、周囲画像を構成する左周囲画像ＬＧは、左カメラ５１Ｌが撮像した画像に基づいて生成され、局所的画像を構成する左局所的画像ＳＧＬは、左補助カメラ５１Ｕが撮像した画像に基づいて生成されてもよい。
　画像生成システムＳＹＳは、アスファルトフィニッシャ１００の右方にある領域と、右スクリュによって舗装材が供給される右局所的領域とを撮像する右カメラ５１Ｒを備えていてもよい。この場合、右周囲画像ＲＧ及び右局所的画像ＳＧＲは、右カメラ５１Ｒが撮像した画像に基づいて生成されてもよい。この場合、右補助カメラ５１Ｖは省略されてもよい。
　また、画像生成システムＳＹＳは、アスファルトフィニッシャ１００の左方にある領域と、左スクリュによって舗装材が供給される左局所的領域とを撮像する左カメラ５１Ｌを備えていてもよい。この場合、左周囲画像ＬＧ及び左局所的画像ＳＧＬは、左カメラ５１Ｌが撮像した画像に基づいて生成されてもよい。この場合、左補助カメラ５１Ｕは省略されてもよい。
　局所的画像は、例えば図４Ａ～図４Ｃに示すように周囲画像と重ならないように表示されてもよく、例えば図６～図８に示すように周囲画像上に重なるように表示されてもよい。
　表示装置５２は、局所的画像ＳＧの拡大縮小状態を表すインジケータＢＧを表示してもよい。インジケータＢＧを見ることで、運転者は、局所的画像ＳＧを構成する画像部分のそれぞれの拡大縮小状態を瞬時に把握できる。
　従来、前カメラ、左カメラ及び右カメラのそれぞれが撮像した画像をトラクタのコンピュータグラフィクスの周りに並べて表示するアスファルトフィニッシャが知られている（特許文献１参照。）。前カメラは、トラクタの前方にあるホッパの内部を撮像するためにトラクタの前部上端に取り付けられている。左カメラは、アスファルトフィニッシャの左側の空間を撮像するためにトラクタの左側部上端に取り付けられている。右カメラは、アスファルトフィニッシャの右側の空間を撮像するためにトラクタの右側部上端に取り付けられている。
　しかしながら、上述の構成では、ホッパウイングの前端周辺の空間は、前カメラ、左カメラ及び右カメラから見てホッパウイングの死角になってしまっている。そのため、アスファルトフィニッシャの操作者は、表示された画像を見ても、ホッパウイングの前端周辺の空間の様子を把握できない。画像では視認できない空間については、操作者は、直接目視で安全を確認する必要がある。
　上述に鑑み、画像では視認できない範囲を更に減少させる道路機械の提供が望まれる。
　図１０は、本発明の実施例に係る道路機械の一例であるアスファルトフィニッシャ１００の側面図である。図１１はアスファルトフィニッシャ１００の上面図である。アスファルトフィニッシャ１００は、主に、トラクタ１、ホッパ２及びスクリード３で構成されている。以下では、トラクタ１から見たホッパ２の方向（＋Ｘ方向）を前方とし、トラクタ１から見たスクリード３の方向（－Ｘ方向）を後方とする。
　トラクタ１は、アスファルトフィニッシャ１００を走行させるための車両である。本実施例では、トラクタ１は、後輪走行用油圧モータを用いて後輪５を回転させ、且つ、前輪走行用油圧モータを用いて前輪６を回転させてアスファルトフィニッシャ１００を移動させる。後輪走行用油圧モータ及び前輪走行用油圧モータは油圧ポンプから作動油の供給を受けて回転する。後輪５及び前輪６はクローラで置き換えられてもよい。また、トラクタ１は、キャノピー１Ｃを含む。キャノピー１Ｃは、トラクタ１の上部に取り付けられている。
　コントローラ５０は、アスファルトフィニッシャ１００を制御する制御装置である。本実施例では、コントローラ５０は、ＣＰＵ、揮発性記憶装置、不揮発性記憶装置等を含むマイクロコンピュータで構成され、トラクタ１に搭載されている。コントローラ５０の各種機能は、不揮発性記憶装置に格納されたプログラムをＣＰＵが実行することで実現される。
　ホッパ２は、舗装材を受け入れるための機構であり、主に、ホッパウイング２０及びホッパシリンダ２４を含む。本実施例では、ホッパ２は、トラクタ１の前側に設置され且つホッパウイング２０内に舗装材を受け入れる。ホッパウイング２０は、左ホッパシリンダ２４ＬによってＹ軸方向（車幅方向）に開閉可能な左ホッパウイング２０Ｌと、右ホッパシリンダ２４ＲによってＹ軸方向（車幅方向）に開閉可能な右ホッパウイング２０Ｒとを含む。アスファルトフィニッシャ１００は、通常、ホッパウイング２０を全開状態にしてダンプトラックの荷台から舗装材（例えばアスファルト混合物である。）を受け入れる。図１１はホッパウイング２０が全開状態であることを示す。ホッパ２内の舗装材が減少するとホッパウイング２０が閉じられ、ホッパ２の内壁付近にあった舗装材がホッパ２の中央部分に集められる。ホッパ２の中央部分にあるコンベアＣＶがトラクタ１の後側に舗装材を継続的に給送できるようにするためである。すなわち、コンベアＣＶ上に舗装材が溜まった状態を維持できるようにするためである。その後、トラクタ１の後側に給送された舗装材は、スクリュＳＣによってトラクタ１の後側且つスクリード３の前側で車幅方向に敷き拡げられる。本実施例では、スクリュＳＣは、エクステンションスクリュが左右に連結された状態にある。
　スクリード３は、舗装材を敷き均すための機構である。本実施例では、スクリード３は、前側スクリード３０及び後側スクリード３１を含む。スクリード３は、トラクタ１によって牽引される浮動スクリードであり、レベリングアーム３Ａを介してトラクタ１に連結されている。後側スクリード３１は左後側スクリード３１Ｌ及び右後側スクリード３１Ｒを含む。左後側スクリード３１Ｌは左スクリード伸縮シリンダ２６Ｌを用いて車幅方向に伸縮され、右後側スクリード３１Ｒは右スクリード伸縮シリンダ２６Ｒを用いて車幅方向に伸縮される。
　撮像装置５１は、画像を取得する装置である。本実施例では、撮像装置５１は、単眼カメラであり、無線又は有線でコントローラ５０に接続されている。コントローラ５０は、例えば、撮像装置５１が撮像した画像に視点変換処理を施すことで俯瞰画像を生成できる。俯瞰画像は、例えば、アスファルトフィニッシャ１００の周囲の空間を仮想的に略真上から見た画像である。撮像装置５１は、ステレオカメラであってもよい。本実施例では、撮像装置５１は、前カメラ５１Ｆ、左カメラ５１Ｌ、右カメラ５１Ｒ、及び、後カメラ５１Ｂを含む。後カメラ５１Ｂは省略されてもよい。
　前カメラ５１Ｆは、アスファルトフィニッシャ１００の前方の空間を撮像する。本実施例では、運転席１Ｓに着座する運転者の視点（以下、「運転席視点」とする。）で死角となるホッパ２の内側の画像を撮像できるよう、トラクタ１の前部を構成するボンネットに取り付けられている。キャノピー１Ｃの天板の前縁部に取り付けられていてもよい。図１１の灰色領域Ｚ１は、前カメラ５１Ｆの撮像範囲を示す。
　左カメラ５１Ｌは、アスファルトフィニッシャ１００の左方の空間を撮像する。本実施例では、運転席視点で死角となる左ホッパウイング２０Ｌの車幅方向外側の空間の画像を撮像できるよう、キャノピー１Ｃの天板の左縁部から＋Ｙ方向（左方）に延びる棒部材ＢＬの先端に取り付けられている。トラクタ１の右側部から＋Ｙ方向（左方）に延びる棒部材ＢＬの先端に取り付けられていてもよい。左カメラ５１Ｌは、例えば、全開状態の左ホッパウイング２０Ｌの左端よりも車幅方向外側（左側）に突出するように取り付けられている。図１１の灰色領域Ｚ２は、左カメラ５１Ｌの撮像範囲を示す。
　右カメラ５１Ｒは、アスファルトフィニッシャ１００の右方の空間を撮像する。本実施例では、運転席視点で死角となる右ホッパウイング２０Ｒの車幅方向外側の空間の画像を撮像できるよう、キャノピー１Ｃの天板の右縁部から－Ｙ方向（右方）に延びる棒部材ＢＲの先端に取り付けられている。トラクタ１の右側部から－Ｙ方向（右方）に延びる棒部材ＢＲの先端に取り付けられていてもよい。右カメラ５１Ｒは、例えば、全開状態の右ホッパウイング２０Ｒの右端よりも車幅方向外側（右側）に突出するように取り付けられている。図１１の灰色領域Ｚ３は、右カメラ５１Ｒの撮像範囲を示す。
　棒部材ＢＬ、ＢＲは、望ましくは、取り外し可能に構成されている。伸縮可能に構成されていてもよい。アスファルトフィニッシャ１００をトレーラ等で輸送する場合に対処するためである。
　後カメラ５１Ｂは、アスファルトフィニッシャ１００の後方の空間を撮像する。本実施例では、運転席視点で死角となるスクリード３の後方の空間を撮像できるよう、キャノピー１Ｃの天板の後縁部に取り付けられている。図１１の灰色領域Ｚ４は、後カメラ５１Ｂの撮像範囲を示す。
　前カメラ１Ｆの撮像範囲と左カメラ１Ｌの撮像範囲は重複していてもよい。また、後カメラ１Ｂの撮像範囲と左カメラ１Ｌの撮像範囲は重複していなくてもよい。右カメラ１Ｒの撮像範囲についても同様である。
　コントローラ５０は、前カメラ５１Ｆ、左カメラ５１Ｌ、右カメラ５１Ｒ、及び、後カメラ５１Ｂのそれぞれが撮像した画像を視点変換し且つ合成して俯瞰画像を生成する。俯瞰画像は、ホッパ２の内部の空間、左ホッパウイング２０Ｌの左方の空間、右ホッパウイング２０Ｒの右方の空間、及び、スクリード３の後方の空間を仮想的に略真上から見た画像と、アスファルトフィニッシャ１００のコンピュータグラフィクス画像（以下、「モデル画像」とする。）とを含む。コントローラ５０は、前カメラ５１Ｆ、左カメラ５１Ｌ、及び、右カメラ５１Ｒの３つのカメラのそれぞれが撮像した画像を視点変換し且つ合成して俯瞰画像を生成してもよい。すなわち、後カメラ５１Ｂを利用することなく、俯瞰画像を生成してもよい。
　表示装置５２は、各種画像を表示する装置である。本実施例では、表示装置５２は、液晶ディスプレイであり、無線又は有線でコントローラ５０に接続されている。表示装置５２は、複数の撮像装置５１のそれぞれが撮像した画像を表示可能であり、運転席１Ｓに着座する運転者が見易い位置に配置されている。リアコントローラのところに配置されていてもよい。コントローラ５０は、例えば、撮像装置５１が撮像した画像に視点変換処理を施して生成した画像を表示装置５２に表示する。
　次に、図１２を参照し、アスファルトフィニッシャ１００に搭載される表示システムＧＳについて説明する。図１２は、表示システムＧＳの構成例を示すブロック図である。表示システムＧＳは、主に、コントローラ５０、撮像装置５１、表示装置５２、情報取得装置５３、記憶装置５４等で構成されている。表示システムＧＳは、例えば、撮像装置５１が撮像した画像（以下、「入力画像」とする。）に基づいて表示用の画像（以下、「出力画像」とする。）を生成しその出力画像を表示装置５２に表示する。
　情報取得装置５３は、情報を取得し、取得した情報をコントローラ５０に対して出力する。情報取得装置５３は、例えば、ホッパシリンダストロークセンサ、スクリード伸縮シリンダストロークセンサ、操舵角センサ、走行速度センサ、測位センサ等の少なくとも１つを含む。ホッパシリンダストロークセンサは、ホッパシリンダ２４のストローク量を検出する。スクリード伸縮シリンダストロークセンサは、スクリード伸縮シリンダ２６のストローク量を検出する。操舵角センサは、前輪６の操舵角を検出する。走行速度センサは、アスファルトフィニッシャ１００の走行速度を検出する。測位センサは、例えばＧＮＳＳコンパスであり、アスファルトフィニッシャ１００の位置（緯度、経度、高度）及び向きを検出する。
　記憶装置５４は、各種情報を記憶するための装置である。本実施例では、記憶装置５４は、入力画像・出力画像対応マップ５４ａを参照可能に記憶する不揮発性記憶装置である。
　入力画像・出力画像対応マップ５４ａは、入力画像平面上の座標と出力画像平面上の座標との対応関係を記憶している。その対応関係は、所望の視点変換を実現できるよう、撮像装置５１の光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等の各種パラメータに基づいて予め設定されている。その対応関係は、見掛け上の歪曲やアオリが出力画像に現れないように設定されている。
　コントローラ５０は、視点変換部５０ａ及び補助線作成部５０ｂを含む。視点変換部５０ａ及び補助線作成部５０ｂは、ソフトウェア、ハードウェア又はファームウェアで構成される。
　視点変換部５０ａは、出力画像を生成する機能要素である。本実施例では、記憶装置５４に記憶された入力画像・出力画像対応マップ５４ａを参照し、撮像装置５１が撮像した入力画像が位置する入力画像平面上の座標と、出力画像としての俯瞰画像が位置する出力画像平面上の座標とを対応付ける。具体的には、視点変換部５０ａは、入力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）を出力画像における各画素の値に対応付けて出力画像を生成する。
　補助線作成部５０ｂは、出力画像上に重畳表示される補助線を作成する機能要素である。本実施例では、補助線作成部５０ｂは、視点変換部５０ａによって生成された俯瞰画像に適合するように補助線を作成する。補助線は、例えば、スクリード３の端部の予想軌跡である予想舗装軌跡を示す補助線、車輪の予想軌跡である予想走行軌跡を示す補助線等を含む。
　本実施例では、コントローラ５０は、視点変換部５０ａにより、入力画像・出力画像対応マップ５４ａを参照する。そして、出力画像平面上の各座標に対応する入力画像平面上の座標が有する値（例えば、輝度値、色相値、彩度値等である。）を取得し、その取得した値を、対応する出力画像平面上の各座標の値として採用する。
　その後、コントローラ５０は、出力画像平面上の全ての座標の値を入力画像平面上の座標の値に関連付けたか否かを判定する。未だ全ての座標の値を関連付けていないと判定した場合には、上述の処理を繰り返す。
　一方、全ての座標の値を関連付けたと判定した場合には、コントローラ５０は、補助線作成部５０ｂにより、予想舗装軌跡を示す補助線、予想走行軌跡を示す補助線等を出力画像上に重畳表示する。本実施例では、補助線を重畳させる出力画像上の位置は予め設定されているが、動的に導き出されてもよい。また、コントローラ５０は、補助線を表示した後で、入力画像平面上の座標と出力画像平面上の座標との対応付けを行ってもよい。
　次に、図１３Ａ及び１３Ｂを参照し、アスファルトフィニッシャ１００に搭載された４台の撮像装置５１（前カメラ５１Ｆ、左カメラ５１Ｌ、右カメラ５１Ｒ、及び、後カメラ５１Ｂ）のそれぞれが撮像した入力画像を用いて生成される俯瞰画像について説明する。図１３Ａ及び図１３Ｂは、俯瞰画像の一例を示す図である。具体的には、図１３Ａは、表示装置５２に表示された俯瞰画像の一例を示す。図１３Ｂは、図１３Ａの俯瞰画像を生成するために用いられる入力画像の区分を示す。
　図１３Ａの俯瞰画像は、アスファルトフィニッシャ１００の周囲の空間を仮想的に略真上から見た画像である。図１３Ａの俯瞰画像は、主に、視点変換部５０ａによって生成される画像Ｇ１（斜線領域参照。）と、モデル画像ＣＧ１とを含む。
　モデル画像ＣＧ１は、アスファルトフィニッシャ１００を表す画像であり、ホッパ２のモデル画像ＣＧａ、トラクタ１のモデル画像ＣＧｂ、及び、スクリード３のモデル画像ＣＧｃを含む。
　ホッパ２のモデル画像ＣＧａは、左ホッパウイング２０Ｌのモデル画像ＷＬと右ホッパウイング２０Ｒのモデル画像ＷＲを含む。モデル画像ＷＬ、ＷＲは、ホッパシリンダストロークセンサの出力に応じて形状が変化する。図１３Ａは、左ホッパウイング２０Ｌ及び右ホッパウイング２０Ｒのそれぞれが全開状態のときのモデル画像ＣＧａを示している。モデル画像ＷＬとモデル画像ＷＲとの間の斜線領域には、俯瞰画像の一部（ホッパ２の内側を仮想的に略真上から見た画像）が配置される。ホッパ２のモデル画像ＣＧａは省略されてもよい。この場合、前カメラ１Ｆが撮像した画像に基づく俯瞰画像の一部が配置される。
　スクリード３のモデル画像ＣＧｃは、左後側スクリード３１Ｌのモデル画像ＳＬと右後側スクリード３１Ｒのモデル画像ＳＲを含む。モデル画像ＳＬ、ＳＲは、スクリード伸縮シリンダストロークセンサの出力に応じて形状が変化する。図１３Ａは、左後側スクリード３１Ｌ及び右後側スクリード３１Ｒのそれぞれが最も伸張したときのモデル画像ＣＧｃを示している。スクリード３のモデル画像ＣＧｃは省略されてもよい。この場合、後カメラ１Ｂが撮像した画像に基づく俯瞰画像の一部が配置される。
　画像Ｇ１は、４台の撮像装置５１のそれぞれが撮像した入力画像を用いて生成される画像である。本実施例では、画像Ｇ１は、アスファルトフィニッシャ１００の左前方に存在する作業者の画像Ｇａと、アスファルトフィニッシャ１００の右前方に存在するマンホール蓋の画像Ｇｂを含む。コントローラ５０は、図１３Ｂに示すように、前画像Ｒ１、左画像Ｒ２、右画像Ｒ３、及び、後画像Ｒ４を合成して画像Ｇ１を生成している。作業者の画像Ｇａは左画像Ｒ２に含まれ、マンホール蓋の画像Ｇｂは右画像Ｒ３に含まれている。
　前画像Ｒ１は、前カメラ５１Ｆが撮像した入力画像に基づいて生成される画像である。本実施例では、前画像Ｒ１は、トラクタ１側からホッパ２の内側を見下ろしたときの様子を表す画像を含む。コントローラ５０は、前カメラ５１Ｆが撮像した入力画像の一部を切り出して視点変換処理を施すことで前画像Ｒ１を生成する。前画像Ｒ１は、モデル画像ＷＬとモデル画像ＷＲの間、及び、それらの上側に配置される。前画像Ｒ１の形状は、モデル画像ＷＬ、ＷＲの形状の変化に応じて変化してもよい。
　左画像Ｒ２は、左カメラ５１Ｌが撮像した入力画像に基づいて生成される画像である。本実施例では、左画像Ｒ２は、左ホッパウイング２０Ｌの車幅方向外側（左側）の空間の画像を含む。コントローラ５０は、左カメラ５１Ｌが撮像した入力画像の一部を切り出して視点変換部５０ａによる視点変換処理を施すことで左画像Ｒ２を生成する。左画像Ｒ２は、モデル画像ＣＧ１の左側に配置される。左画像Ｒ２の形状は、モデル画像ＷＬ、ＳＬの形状の変化に応じて変化してもよい。
　右画像Ｒ３は、右カメラ５１Ｒが撮像した入力画像に基づいて生成される画像である。本実施例では、右画像Ｒ３は、右ホッパウイング２０Ｒの車幅方向外側（右側）の空間の画像を含む。コントローラ５０は、右カメラ５１Ｒが撮像した入力画像の一部を切り出して視点変換部５０ａによる視点変換処理を施すことで右画像Ｒ３を生成する。右画像Ｒ３は、モデル画像ＣＧ１の右側に配置される。右画像Ｒ３の形状は、モデル画像ＷＲ、ＳＲの形状の変化に応じて変化してもよい。
　後画像Ｒ４は、後カメラ５１Ｂが撮像した入力画像に基づいて生成される画像である。本実施例では、後画像Ｒ４は、トラクタ１側からスクリード３を見下ろしたときの様子を表す画像を含む。コントローラ５０は、後カメラ５１Ｂが撮像した入力画像の一部を切り出して視点変換処理を施すことで後画像Ｒ４を生成する。後画像Ｒ４は、スクリード３のモデル画像ＣＧｃの下側に配置される。後画像Ｒ４の形状は、モデル画像ＳＬ、ＳＲの形状の変化に応じて変化してもよい。
　本実施例では、４つのカメラのそれぞれの入力画像平面上の座標と出力画像平面上の座標との対応関係は、視点変換処理による効果を予め取り込んだ状態で、入力画像・出力画像対応マップ５４ａに記憶されている。そのため、コントローラ５０は、入力画像・出力画像対応マップ５４ａを参照するだけで複数の入力画像平面上の座標を出力画像平面上の座標に対応付けることができる。その結果、コントローラ５０は、比較的低い演算負荷で出力画像を生成し且つ表示できる。
　また、本実施例では、前画像Ｒ１、左画像Ｒ２、右画像Ｒ３、及び、後画像Ｒ４のそれぞれは、対応する１つのカメラが撮像した入力画像に基づいて生成されている。しかしながら、本発明はこの構成に限定されるものではない。例えば、前画像Ｒ１、左画像Ｒ２、右画像Ｒ３、及び、後画像Ｒ４のそれぞれは、２つ以上のカメラが撮像した入力画像に基づいて生成されてもよい。
　上述のように、アスファルトフィニッシャ１００は、トラクタ１に取り付けられる複数の撮像装置５１と、複数の撮像装置５１のそれぞれが撮像した画像を視点変換し且つ合成して俯瞰画像を生成するコントローラ５０と、俯瞰画像を一画面上に表示する表示装置５２とを備える。そして、俯瞰画像がアスファルトフィニッシャ１００の周囲の空間を仮想的に略真上から見た画像を含むように構成されている。そのため、出力画像では視認できない範囲である死角を更に減少させることができる。その結果、例えば、ホッパウイング２０の前端周辺の空間の様子をアスファルトフィニッシャ１００の操作者に提示できる。或いは、ホッパ２の内側にある舗装材の様子、スクリード３の後方の空間の様子等を操作者に提示できる。
　また、アスファルトフィニッシャ１００は、俯瞰画像を提示することで、視認性、安全性、操作性及び作業性を向上させることができる。具体的には、アスファルトフィニッシャ１００は、ホッパ２内の舗装材の残量、舗装予定の路面における地物（例えば、マンホールである。）の位置等を操作者に直感的に認識させることができる。また、ホッパ２の周辺で作業する作業者の位置を操作者に直感的に認識させることができる。そのため、操作者は、俯瞰画像を見て地物や作業者の位置を確認した上で、ホッパウイング２０の開閉等の各種操作を実行できる。
　次に、図１４Ａ及び図１４Ｂを参照し、出力画像の別の一例について説明する。図１４Ａ及び図１４Ｂは、視点変換部５０ａによって生成される画像Ｇ１の上に補助線が重畳表示された例を示す。具体的には、図１４Ａは、直進しようとしているアスファルトフィニッシャ１００の俯瞰画像を示す。図１４Ｂは、右に曲がろうとしているアスファルトフィニッシャ１００の俯瞰画像を示す。
　図１４Ａ及び図１４Ｂの例では、補助線作成部５０ｂは、操舵角センサ及び走行速度センサのそれぞれの出力に基づいて補助線Ｌ１、Ｌ２を作成する。補助線Ｌ１は左後輪５Ｌの予想走行軌跡であり、補助線Ｌ２は右後輪５Ｒの予想走行軌跡である。本実施例では、補助線Ｌ１、Ｌ２は、現時点の操舵角及び走行速度に基づいて導き出される。操舵角のみに基づいて導き出されてもよい。補助線Ｌ１、Ｌ２は、例えば、現時点から所定時間（例えば数十秒間）が経過するまでの期間の走行軌跡を表す。
　また、補助線作成部５０ｂは、スクリード伸縮シリンダストロークセンサの出力を追加的に参照して補助線Ｌ３、Ｌ４を作成する。補助線Ｌ３は左後側スクリード３１Ｌの左端の予想軌跡であり、補助線Ｌ４は右後側スクリード３１Ｒの右端の予想軌跡である。本実施例では、補助線Ｌ３、Ｌ４は、現時点の操舵角、走行速度、及び、スクリード伸縮シリンダ２６のストローク量に基づいて導き出される。補助線Ｌ３、Ｌ４は、例えば、現時点から所定時間（例えば数十秒間）が経過するまでの期間の軌跡を表す。
　更に、補助線作成部５０ｂは、道路設計データと測位センサの出力とに基づいて補助線Ｌ５、Ｌ６を作成する。道路設計データは、施工対象道路に関するデータであり、例えば不揮発性記憶装置に予め記憶されている。道路設計データは、例えば、舗装予定の路面における地物の位置に関するデータを含む。補助線Ｌ５は施工対象道路の左縁を表し、補助線Ｌ６は施工対象道路の右縁を表す。
　更に、コントローラ５０は、道路設計データと測位センサの出力とに基づき、マンホール等の地物の画像を俯瞰画像に重畳表示する。図１４Ａ及び図１４Ｂの例では、コントローラ５０は、マンホール蓋のモデル画像ＣＧ２を俯瞰画像に重畳表示している。
　アスファルトフィニッシャ１００の操作者は、上述のように補助線等が重畳表示された俯瞰画像を見ることで、アスファルトフィニッシャ１００の現在の操舵角、走行速度、後側スクリード３１の伸縮量等が適切であるか否かを判断できる。例えば、図１４Ａの俯瞰画像を見ることで、操作者は、このままアスファルトフィニッシャ１００を直進させた場合には右後輪５Ｒがマンホール蓋に乗り上げ、且つ、設計通りに道路が舗装されないことを認識できる。一方、図１４Ｂの俯瞰画像を見ることで、操作者は、現在の操舵状態（ハンドルを右に切った状態）と走行速度を維持すれば、右後輪５Ｒがマンホール蓋に乗り上げるのを回避でき、且つ、設計通りに道路が舗装されることを認識できる。
　図１４Ａ及び図１４Ｂの例では、コントローラ５０は、後輪５の予想走行軌跡を表示しているが、前輪６の予想走行軌跡を表示してもよく、後輪５及び前輪６のそれぞれの予想走行軌跡を表示してもよい。
　上述の構成により、コントローラ５０は、図１３Ａ及び図１３Ｂを参照して説明した俯瞰画像による効果に加え、現時点から所定時間が経過するまでの期間におけるアスファルトフィニッシャ１００の動きを操作者に前もって提示できるという追加的な効果を実現できる。
　以上、本発明の好ましい実施例が説明された。しかしながら、本発明は、上述した実施例に限定されることはない。上述した実施例は、本発明の範囲を逸脱することなしに、種々の変形、置換等が適用され得る。また、上述の実施例を参照して説明された特徴のそれぞれは、技術的に矛盾しない限り、適宜に組み合わされてもよい。
　例えば、上述の実施例では、局所的画像ＳＧを構成する画像部分は縦方向にのみ拡大縮小されているが、横方向にのみ拡大縮小されてもよく、縦方向及び横方向に拡大縮小されてもよい。画像部分が横方向にのみ拡大縮小される場合、インジケータＢＧは、横方向に延びる棒状インジケータであってもよい。画像部分が縦方向及び横方向に拡大縮小される場合、インジケータＢＧは、縦方向及び横方向に延びるマトリクス状インジケータであってもよい。
　また、アスファルトフィニッシャ１００は、グースアスファルト合材を用いるグースアスファルトフィニッシャであってもよい。画像生成システムＳＹＳは、グースアスファルト合材を用いるグースアスファルトフィニッシャに搭載されてもよい。
　本願は、２０１７年８月８日に出願した日本国特許出願２０１７－１５３６６８号に基づく優先権と、２０１７年８月２９日に出願した日本国特許出願２０１７－１６４６８７号に基づく優先権とを主張するものであり、これらの日本国特許出願の全内容を本願に参照により援用する。
　１・・・トラクタ　１Ｓ・・・運転席　２・・・ホッパ　３・・・スクリード　３Ａ・・・レベリングアーム　５・・・後輪　６・・・前輪　２０・・・ホッパウイング　２０Ｌ・・・左ホッパウイング　２０Ｒ・・・右ホッパウイング　２４・・・ホッパシリンダ　２４Ｌ・・・左ホッパシリンダ　２４Ｒ・・・右ホッパシリンダ　２６・・・スクリード伸縮シリンダ　２６Ｌ・・・左スクリード伸縮シリンダ　２６Ｒ・・・右スクリード伸縮シリンダ　３０・・・前側スクリード　３１・・・後側スクリード　３１Ｌ・・・左後側スクリード　３１Ｒ・・・右後側スクリード　５０・・・コントローラ　５０Ａ・・・出力画像生成部　５０Ｂ・・・強調表示部　５０ａ・・・視点変換部　５０ｂ・・・補助線作成部　５１・・・撮像装置　５１Ｂ・・・後カメラ　５１Ｆ・・・前カメラ　５１Ｌ・・・左カメラ　５１Ｒ・・・右カメラ　５１Ｕ・・・左補助カメラ　５１Ｖ・・・右補助カメラ　５２・・・表示装置　５３・・・情報取得装置　５４・・・記憶装置　５４ａ・・・入力画像・出力画像対応マップ　５５・・・入力装置　６５・・・操作パネル　７０・・・リテーニングプレート　７１・・・サイドプレート　７２・・・モールドボード　１００・・・アスファルトフィニッシャ　ＢＬ、ＢＲ・・・棒部材　ＣＶ・・・コンベア　ＳＣ・・・スクリュ　ＳＹＳ・・・画像生成システム

Claims (14)

  1. 　トラクタと、前記トラクタの後方に配置されるスクリードとを含む道路機械であって、
    　前記スクリードの前に舗装材を供給する作業装置と、
    　前記道路機械の周囲が映っている画像である周囲画像を表示し、且つ、前記作業装置によって舗装材が供給される領域が映っている画像である局所的画像を強調表示する表示装置と、備える、
    　道路機械。
  2. 　前記道路機械の側方にある領域を撮像する第１カメラと、
    　前記作業装置によって舗装材が供給される領域を撮像する第２カメラと、を備え、
    　前記周囲画像は、前記第１カメラが撮像した画像に基づいて生成され、
    　前記局所的画像は、前記第２カメラが撮像した画像に基づいて生成される、
    　請求項１に記載の道路機械。
  3. 　前記道路機械の側方にある領域と、前記作業装置によって舗装材が供給される領域とを撮像するカメラを備え、
    　前記周囲画像及び前記局所的画像は、前記カメラが撮像した画像に基づいて生成される、
    　請求項１に記載の道路機械。
  4. 　前記局所的画像は、前記周囲画像と重ならないように表示される、
    　請求項１に記載の道路機械。
  5. 　前記局所的画像は、前記周囲画像上に重なるように表示される、
    　請求項１に記載の道路機械。
  6. 　前記表示装置は、前記局所的画像の拡大縮小状態を表すインジケータを表示する、
    　請求項１に記載の道路機械。
  7. 　前記スクリードは、車幅方向に伸縮可能な左後側スクリードと右後側スクリードを含み、
    　前記左後側スクリードと前記右後側スクリードとは進行方向に互いにオフセットされて配置されている、
    　請求項１に記載の道路機械。
  8. 　トラクタと、
    　前記トラクタの前側に設置され且つホッパウイング内に舗装材を受け入れるホッパと、
    　前記ホッパ内の舗装材を前記トラクタの後側へ給送するコンベアと、
    　前記コンベアにより給送された前記舗装材を前記トラクタの後側で敷き拡げるスクリュと、
    　前記スクリュにより敷き拡げられた前記舗装材を前記スクリュの後側で敷き均すスクリードと、
    　前記トラクタに取り付けられる複数の撮像装置と、
    　複数の前記撮像装置のそれぞれが撮像した画像を表示可能な表示装置と、を備え、
    　複数の前記撮像装置のうち少なくとも１つは、車幅方向における前記ホッパウイングの外側の空間を撮像可能な位置に配置されている、
    　道路機械。
  9. 　複数の前記撮像装置のうちの１つは、前記スクリードの後方の空間を仮想的に略真上から見た画像を撮像する、
    　請求項８に記載の道路機械。
  10. 　複数の前記撮像装置のそれぞれが撮像した画像を視点変換し且つ合成して俯瞰画像を生成する制御装置を備え、
    　前記表示装置は、前記俯瞰画像を一画面上に表示し、
    　前記俯瞰画像は、道路機械の周囲の空間を仮想的に略真上から見た画像を含む、
    　請求項８に記載の道路機械。
  11. 　前記俯瞰画像は、前記ホッパウイングの車幅方向外側の空間を仮想的に略真上から見た画像を含む、
    　請求項１０に記載の道路機械。
  12. 　前記撮像装置は、全開状態の前記ホッパウイングよりも車幅方向外側に突出するように前記トラクタに取り付けられている、
    　請求項８に記載の道路機械。
  13. 　前記トラクタにキャノピーが取り付けられ、
    　前記撮像装置は、前記キャノピーに取り付けられる、
    　請求項８に記載の道路機械。
  14. 　前記表示装置は、前記スクリードの端部の予想軌跡及び予想走行軌跡を表示する、
    　請求項８に記載の道路機械。
PCT/JP2018/028750 2017-08-08 2018-07-31 道路機械 WO2019031318A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019535134A JP7146767B2 (ja) 2017-08-08 2018-07-31 道路機械
EP18843681.0A EP3666977B1 (en) 2017-08-08 2018-07-31 Road machine
CN201880051368.7A CN111032958B (zh) 2017-08-08 2018-07-31 道路机械
JP2022093299A JP2022111290A (ja) 2017-08-08 2022-06-08 道路機械
JP2024008974A JP2024028606A (ja) 2017-08-08 2024-01-24 道路機械

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017-153668 2017-08-08
JP2017153668 2017-08-08
JP2017164687 2017-08-29
JP2017-164687 2017-08-29

Publications (1)

Publication Number Publication Date
WO2019031318A1 true WO2019031318A1 (ja) 2019-02-14

Family

ID=65271383

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/028750 WO2019031318A1 (ja) 2017-08-08 2018-07-31 道路機械

Country Status (4)

Country Link
EP (1) EP3666977B1 (ja)
JP (3) JP7146767B2 (ja)
CN (1) CN111032958B (ja)
WO (1) WO2019031318A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020196539A1 (ja) * 2019-03-25 2020-10-01 住友建機株式会社 アスファルトフィニッシャ
JPWO2020203489A1 (ja) * 2019-03-29 2020-10-08
JP2020199939A (ja) * 2019-06-11 2020-12-17 株式会社クボタ 作業車両の保護機構、及びこれを備える作業車両
WO2021193351A1 (ja) * 2020-03-26 2021-09-30 住友建機株式会社 アスファルトフィニッシャ
CN113924395A (zh) * 2019-03-29 2022-01-11 住友建机株式会社 沥青滚平机
EP4130384A4 (en) * 2020-03-27 2023-08-23 Sumitomo Construction Machinery Co., Ltd. AUTOMATIC ASPHALT SPREADER AND MACHINE LEARNING DEVICE
WO2024071046A1 (ja) * 2022-09-29 2024-04-04 住友建機株式会社 道路機械、及び路面舗装システム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7445591B2 (ja) * 2018-03-30 2024-03-07 住友建機株式会社 道路機械
EP3984822A4 (en) 2019-06-11 2023-07-05 Kubota Corporation PROTECTION MECHANISM FOR WORK VEHICLE, AND WORK VEHICLE EQUIPPED THEREOF
JP7155066B2 (ja) 2019-06-11 2022-10-18 株式会社クボタ 作業車両の保護機構、及びこれを備える作業車両
CN111809481B (zh) * 2020-07-21 2022-04-19 三一汽车制造有限公司 摊铺机输料车引导系统、摊铺机和摊铺机输料车引导方法
EP4244427A1 (de) * 2020-11-12 2023-09-20 MOBA Mobile Automation AG Bediensystem für eine baumaschine
KR20220102804A (ko) * 2021-01-14 2022-07-21 현대두산인프라코어(주) 건설기계의 제어 시스템 및 방법

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6029941B2 (ja) 1979-06-27 1985-07-13 株式会社日立製作所 複合型の電子写真板
JPH0477608U (ja) * 1990-11-13 1992-07-07
JPH11217853A (ja) * 1998-01-30 1999-08-10 Komatsu Ltd 建設機械の後方監視装置およびその後方監視方法
JP2009019353A (ja) * 2007-07-10 2009-01-29 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd 舗装機械の運転者支援装置
JP2012074929A (ja) * 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
WO2013136374A1 (ja) * 2012-03-16 2013-09-19 三菱電機株式会社 運転支援装置
JP2014095210A (ja) * 2012-11-08 2014-05-22 Sumitomo Heavy Ind Ltd 舗装機械用画像生成装置及び舗装機械用操作支援システム
JP2014214547A (ja) * 2013-04-26 2014-11-17 住友重機械工業株式会社 舗装機械用画像生成装置及び舗装機械用操作支援システム
JP2015045145A (ja) * 2013-08-27 2015-03-12 住友建機株式会社 ショベル用表示装置
JP2016139914A (ja) * 2015-01-27 2016-08-04 パイオニア株式会社 表示装置、携帯端末及び制御方法
WO2016174977A1 (ja) * 2015-04-28 2016-11-03 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP6029941B2 (ja) * 2012-11-08 2016-11-24 住友重機械工業株式会社 舗装機械用画像生成装置
WO2016198333A1 (en) * 2015-06-10 2016-12-15 Ca Konsult A method of determining the quality of a newly produced asphalt pavement
WO2017033769A1 (ja) * 2015-08-24 2017-03-02 株式会社小松製作所 ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
JP2017153668A (ja) 2016-03-01 2017-09-07 株式会社三共 スロットマシン
JP2017164687A (ja) 2016-03-16 2017-09-21 中間貯蔵・環境安全事業株式会社 Ｐｃｂ汚染機器解体方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089849B2 (ja) * 1993-04-09 1996-01-31 建設省東北地方建設局長 アスファルトフィニッシャの自動制御装置
JP2505210Y2 (ja) * 1993-04-09 1996-07-24 建設省東北地方建設局長 舗装作業車の自動操向装置
JP4907883B2 (ja) * 2005-03-09 2012-04-04 株式会社東芝 車両周辺画像表示装置および車両周辺画像表示方法
JP4776491B2 (ja) * 2006-10-06 2011-09-21 日立建機株式会社 作業機械の周囲監視装置
JP5809988B2 (ja) * 2012-01-10 2015-11-11 日立建機株式会社 作業機械の走行支援装置
JP2015104375A (ja) * 2013-12-02 2015-06-08 ヤンマー株式会社 コンバイン
CN104278616A (zh) * 2014-09-28 2015-01-14 广东惠利普路桥信息工程有限公司 无人驾驶的摊铺机
DE102015002692A1 (de) * 2015-03-04 2016-09-08 Dynapac Gmbh Straßenbaumaschine und Verfahren zum Betreiben einer selbstfahrenden Straßenbaumaschine
JP2017089325A (ja) * 2015-11-16 2017-05-25 住友建機株式会社 アスファルトフィニッシャ

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6029941B2 (ja) 1979-06-27 1985-07-13 株式会社日立製作所 複合型の電子写真板
JPH0477608U (ja) * 1990-11-13 1992-07-07
JPH11217853A (ja) * 1998-01-30 1999-08-10 Komatsu Ltd 建設機械の後方監視装置およびその後方監視方法
JP2009019353A (ja) * 2007-07-10 2009-01-29 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd 舗装機械の運転者支援装置
JP2012074929A (ja) * 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
WO2013136374A1 (ja) * 2012-03-16 2013-09-19 三菱電機株式会社 運転支援装置
JP6029941B2 (ja) * 2012-11-08 2016-11-24 住友重機械工業株式会社 舗装機械用画像生成装置
JP2014095210A (ja) * 2012-11-08 2014-05-22 Sumitomo Heavy Ind Ltd 舗装機械用画像生成装置及び舗装機械用操作支援システム
JP2014214547A (ja) * 2013-04-26 2014-11-17 住友重機械工業株式会社 舗装機械用画像生成装置及び舗装機械用操作支援システム
JP2015045145A (ja) * 2013-08-27 2015-03-12 住友建機株式会社 ショベル用表示装置
JP2016139914A (ja) * 2015-01-27 2016-08-04 パイオニア株式会社 表示装置、携帯端末及び制御方法
WO2016174977A1 (ja) * 2015-04-28 2016-11-03 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
WO2016198333A1 (en) * 2015-06-10 2016-12-15 Ca Konsult A method of determining the quality of a newly produced asphalt pavement
WO2017033769A1 (ja) * 2015-08-24 2017-03-02 株式会社小松製作所 ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
JP2017153668A (ja) 2016-03-01 2017-09-07 株式会社三共 スロットマシン
JP2017164687A (ja) 2016-03-16 2017-09-21 中間貯蔵・環境安全事業株式会社 Ｐｃｂ汚染機器解体方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020196539A1 (ja) * 2019-03-25 2020-10-01 住友建機株式会社 アスファルトフィニッシャ
JPWO2020196539A1 (ja) * 2019-03-25 2020-10-01
JP7317946B2 (ja) 2019-03-25 2023-07-31 住友建機株式会社 アスファルトフィニッシャ
CN113597489A (zh) * 2019-03-29 2021-11-02 住友建机株式会社 沥青滚平机
WO2020203489A1 (ja) * 2019-03-29 2020-10-08 住友建機株式会社 アスファルトフィニッシャ
CN113924395A (zh) * 2019-03-29 2022-01-11 住友建机株式会社 沥青滚平机
EP3951062A4 (en) * 2019-03-29 2022-05-11 Sumitomo Construction Machinery Co., Ltd. ASPHALT PAVER
EP3951061A4 (en) * 2019-03-29 2022-06-01 Sumitomo Construction Machinery Co., Ltd. ASPHALT FINISHING DEVICE
JP7275254B2 (ja) 2019-03-29 2023-05-17 住友建機株式会社 アスファルトフィニッシャ
JPWO2020203489A1 (ja) * 2019-03-29 2020-10-08
JP2020199939A (ja) * 2019-06-11 2020-12-17 株式会社クボタ 作業車両の保護機構、及びこれを備える作業車両
JP7187389B2 (ja) 2019-06-11 2022-12-12 株式会社クボタ 作業車両の保護機構、及びこれを備える作業車両
WO2021193351A1 (ja) * 2020-03-26 2021-09-30 住友建機株式会社 アスファルトフィニッシャ
EP4130384A4 (en) * 2020-03-27 2023-08-23 Sumitomo Construction Machinery Co., Ltd. AUTOMATIC ASPHALT SPREADER AND MACHINE LEARNING DEVICE
WO2024071046A1 (ja) * 2022-09-29 2024-04-04 住友建機株式会社 道路機械、及び路面舗装システム

Also Published As

Publication number Publication date
EP3666977A1 (en) 2020-06-17
JP2024028606A (ja) 2024-03-04
JP7146767B2 (ja) 2022-10-04
EP3666977A4 (en) 2021-01-27
JPWO2019031318A1 (ja) 2020-09-24
CN111032958B (zh) 2023-03-10
JP2022111290A (ja) 2022-07-29
CN111032958A (zh) 2020-04-17
EP3666977B1 (en) 2023-12-13

Similar Documents

Publication Publication Date Title
JP7146767B2 (ja) 道路機械
EP2918726B1 (en) Paving machine with an image generation device
AU2013293921B2 (en) Environment monitoring device for operating machinery
WO2014073282A1 (ja) 舗装機械用画像生成装置及び舗装機械用操作支援システム
JP5814187B2 (ja) 自走式産業機械の表示装置
EP3505398B1 (en) Image display apparatus
JP7445591B2 (ja) 道路機械
JP6896525B2 (ja) アスファルトフィニッシャ
EP2476588A1 (en) Vehicle surrounding monitor apparatus
JP6073182B2 (ja) 舗装機械用画像生成装置及び舗装機械用操作支援システム
JP5752631B2 (ja) 画像生成方法、画像生成装置、及び操作支援システム
JP5638494B2 (ja) 画像生成方法、画像生成装置、及び操作支援システム
CN111942391A (zh) 铰接式工程机械、全景环视系统及其标定方法
JP6284980B2 (ja) 主ミラーおよび広角ミラーの法的に定められた視野を表示するための商用車用の視覚システム
JP5917371B2 (ja) 舗装機械用画像生成装置及び舗装機械用操作支援システム
WO2023136070A1 (ja) 遠隔操作支援システムおよび遠隔操作支援方法
JP5808679B2 (ja) 画像生成装置及び操作支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18843681

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018843681

Country of ref document: EP

Effective date: 20200309

ENP Entry into the national phase

Ref document number: 2019535134

Country of ref document: JP

Kind code of ref document: A