WO2021010258A1 - 作業車両の表示システムおよび作業車両の表示方法 - Google Patents

作業車両の表示システムおよび作業車両の表示方法 Download PDF

Info

Publication number
WO2021010258A1
WO2021010258A1 PCT/JP2020/026718 JP2020026718W WO2021010258A1 WO 2021010258 A1 WO2021010258 A1 WO 2021010258A1 JP 2020026718 W JP2020026718 W JP 2020026718W WO 2021010258 A1 WO2021010258 A1 WO 2021010258A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
work vehicle
marker
display
obstacle
Prior art date
Application number
PCT/JP2020/026718
Other languages
English (en)
French (fr)
Inventor
太郎 江口
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to US17/596,599 priority Critical patent/US20220298756A1/en
Priority to DE112020002788.0T priority patent/DE112020002788T5/de
Priority to CN202080046673.4A priority patent/CN114051725A/zh
Publication of WO2021010258A1 publication Critical patent/WO2021010258A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/16—Cabins, platforms, or the like, for drivers
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection

Definitions

  • the present disclosure relates to a work vehicle display system and a work vehicle display method.
  • the present application claims priority with respect to Japanese Patent Application No. 2019-133073 filed in Japan on July 18, 2019, the contents of which are incorporated herein by reference.
  • Patent Document 1 discloses a technique related to a peripheral monitoring system that detects a person in the vicinity of a work vehicle. According to the technique described in Patent Document 1, the peripheral monitoring system identifies whether or not a person is included in the image by image processing.
  • Patent Document 1 it is known that the process of detecting an obstacle such as a person in an image requires a relatively large amount of calculation. Therefore, when the position of the obstacle is displayed on the screen as a marker based on the detection result, the update interval of the marker is longer than the update interval of the frame of the captured image. Therefore, when an obstacle such as a person moves during the marker update interval, the position of the obstacle and the position of the marker in the captured image are deviated. Therefore, the operator of the work vehicle may feel uncomfortable about the display of the marker.
  • An object of the present disclosure is to provide a work vehicle display system and a work vehicle display method that can alleviate a sense of discomfort regarding the display of markers.
  • the display system of the work vehicle includes an image acquisition unit that acquires an captured image of the surroundings of the work vehicle, a detection unit that detects an obstacle around the work vehicle, and the obstacle.
  • a display control unit that generates a signal for displaying a marker image at a position corresponding to the obstacle and a signal for changing the form of the marker image over time based on the detection result of the object is provided.
  • the display system of the work vehicle changes the shape of the marker over time to alleviate the discomfort regarding the display of the marker regardless of whether or not the obstacle detection process takes time. Can be done.
  • FIG. 1 is a schematic view showing a configuration of a work vehicle according to the first embodiment.
  • the work vehicle 100 operates at the construction site and constructs a construction target such as earth and sand.
  • the work vehicle 100 according to the first embodiment is, for example, a hydraulic excavator.
  • the work vehicle 100 includes a traveling body 110, a turning body 120, a working machine 130, and a driver's cab 140.
  • the traveling body 110 supports the work vehicle 100 so as to be able to travel.
  • the traveling body 110 is, for example, a pair of left and right tracks.
  • the turning body 120 is supported by the traveling body 110 so as to be able to turn around the turning center.
  • the work machine 130 is driven by flood control.
  • the work machine 130 is supported by the front portion of the swivel body 120 so as to be driveable in the vertical direction.
  • the driver's cab 140 is a space for the operator to board and operate the work vehicle 100.
  • the driver's cab 140 is provided on the left front portion of the swivel body 120.
  • the portion of the swivel body 120 to which the working machine 130 is attached is referred to as a front portion.
  • the portion on the opposite side is referred to as the rear portion
  • the portion on the left side is referred to as the left portion
  • the portion on the right side is referred to as the right portion with respect to the front portion.
  • the swivel body 120 is provided with a plurality of cameras 121 that image the surroundings of the work vehicle 100.
  • FIG. 2 is a diagram showing imaging ranges of a plurality of cameras included in the work vehicle according to the first embodiment.
  • the swivel body 120 includes a left rear camera 121A that images the left rear range Ra around the swivel body 120, a rear camera 121B that images the rear range Rb around the swivel body 120, and the swivel body 120.
  • a right rear camera 121C that images the right rear range Rc and a right front camera 121D that images the right front range Rd around the swivel body 120 are provided.
  • the imaging range of the plurality of cameras 121 covers the entire circumference of the work vehicle 100, excluding the left front range Re that can be seen from the driver's cab 140.
  • the camera 121 according to the first embodiment images the left rear, rear, right rear, and right front of the swivel body 120, but is not limited to this in other embodiments.
  • the number of cameras 121 and the imaging range according to other embodiments may differ from the examples shown in FIGS. 1 and 2.
  • the left rear camera 121A captures the left rear region and the left rear region of the swivel body 120, and images one of the regions. It may be a thing.
  • the right rear camera 121C captures the right rear region and the right rear region of the swivel body 120 as shown in the right rear region Rc of FIG. 2, but one of the regions is captured. It may be an image.
  • the right front camera 121D captures the right front region and the right region of the swivel body 120 as shown in the right front range Rd of FIG. 2, but one of the two regions is captured. It may be an image.
  • the working machine 130 includes a boom 131, an arm 132, a bucket 133, a boom cylinder 134, an arm cylinder 135, and a bucket cylinder 136.
  • the base end portion of the boom 131 is attached to the swivel body 120 via the boom pin P1.
  • the arm 132 connects the boom 131 and the bucket 133.
  • the base end portion of the arm 132 is attached to the tip end portion of the boom 131 via the arm pin P2.
  • the bucket 133 includes a blade for excavating earth and sand and a storage portion for accommodating the excavated earth and sand.
  • the base end portion of the bucket 133 is attached to the tip end portion of the arm 132 via the bucket pin P3.
  • the boom cylinder 134 is a hydraulic cylinder for operating the boom 131.
  • the base end portion of the boom cylinder 134 is attached to the swivel body 120.
  • the tip of the boom cylinder 134 is attached to the boom 131.
  • the arm cylinder 135 is a hydraulic cylinder for driving the arm 132.
  • the base end of the arm cylinder 135 is attached to the boom 131.
  • the tip of the arm cylinder 135 is attached to the arm 132.
  • the bucket cylinder 136 is a hydraulic cylinder for driving the bucket 133.
  • the base end of the bucket cylinder 136 is attached to the arm 132.
  • the tip of the bucket cylinder 136 is attached to a link member connected to the bucket 133.
  • FIG. 3 is a diagram showing an internal configuration of the driver's cab according to the first embodiment.
  • a driver's seat 141, an operation device 142, and a control device 143 are provided in the driver's cab 140.
  • the operating device 142 is an interface for driving the traveling body 110, the turning body 120, and the working machine 130 by the manual operation of the operator.
  • the operating device 142 includes a left operating lever 1421, a right operating lever 1422, a left foot pedal 1423, a right foot pedal 1424, a left traveling lever 1425, and a right traveling lever 1426.
  • the left operating lever 1421 is provided on the left side of the driver's seat 141.
  • the right operating lever 1422 is provided on the right side of the driver's seat 141.
  • the left operation lever 1421 is an operation mechanism for performing the turning operation of the turning body 120 and the pulling / pushing operation of the arm 132. Specifically, when the operator of the work vehicle 100 tilts the left operation lever 1421 forward, the arm 132 pushes and operates. Further, when the operator of the work vehicle 100 tilts the left operation lever 1421 rearward, the arm 132 pulls. Further, when the operator of the work vehicle 100 tilts the left operation lever 1421 to the right, the swivel body 120 turns to the right. Further, when the operator of the work vehicle 100 tilts the left operation lever 1421 to the left, the swivel body 120 turns to the left.
  • the swivel body 120 turns right or left, and when the left operating lever 1421 is tilted in the left-right direction, the arm 132 dumps or operates. Excavation operation may be performed.
  • the right operating lever 1422 is an operating mechanism for excavating / dumping the bucket 133 and raising / lowering the boom 131. Specifically, when the operator of the work vehicle 100 tilts the right operating lever 1422 forward, the boom 131 is lowered. Further, when the operator of the work vehicle 100 tilts the right operating lever 1422 rearward, the boom 131 is raised. Further, when the operator of the work vehicle 100 tilts the right operation lever 1422 to the right, the bucket 133 is dumped. Further, when the operator of the work vehicle 100 tilts the right operation lever 1422 to the left, the bucket 133 is excavated.
  • the left foot pedal 1423 is arranged on the left side of the floor surface in front of the driver's seat 141.
  • the right foot pedal 1424 is arranged on the left side of the floor surface in front of the driver's seat 141.
  • the left travel lever 1425 is pivotally supported by the left foot pedal 1423, and is configured so that the inclination of the left travel lever 1425 and the push-down of the left foot pedal 1423 are linked.
  • the right traveling lever 1426 is pivotally supported by the right foot pedal 1424, and is configured so that the inclination of the right traveling lever 1426 and the pressing and lowering of the right foot pedal 1424 are interlocked.
  • the left foot pedal 1423 and the left travel lever 1425 correspond to the rotational drive of the left track of the traveling body 110. Specifically, when the operator of the work vehicle 100 tilts the left foot pedal 1423 or the left traveling lever 1425 forward, the left track rotates in the forward direction. Further, when the operator of the work vehicle 100 tilts the left foot pedal 1423 or the left traveling lever 1425 backward, the left track rotates in the reverse direction.
  • the right foot pedal 1424 and the right traveling lever 1426 correspond to the rotational drive of the right track of the traveling body 110. Specifically, when the operator of the work vehicle 100 tilts the right foot pedal 1424 or the right traveling lever 1426 forward, the right track rotates in the forward direction. Further, when the operator of the work vehicle 100 tilts the right foot pedal 1424 or the right traveling lever 1426 rearward, the right crawler belt rotates in the reverse direction.
  • the control device 143 is an input / output device, and for example, the surrounding situation of the work vehicle 100 acquired by a plurality of cameras 121 can be displayed as a bird's-eye view image.
  • the input means of the control device 143 according to the first embodiment is a hard key. In other embodiments, a touch panel, mouse, keyboard, or the like may be used as the input means.
  • FIG. 4 is a schematic block diagram showing a configuration of a computer according to at least one embodiment.
  • the control device 143 is a computer including a processor 210, a main memory 230, a storage 250, and an interface 270.
  • the storage 250 is a non-temporary tangible storage medium. Examples of the storage 250 include HDD (Hard Disk Drive), SSD (Solid State Drive), magnetic disk, optical magnetic disk, CD-ROM (Compact Disc Read Only Memory), DVD-ROM (Digital Versatile Disc Read Only Memory). , Semiconductor memory and the like.
  • the storage 250 may be internal media directly connected to the bus of control device 143, or external media connected to control device 143 via interface 270 or a communication line.
  • the storage 250 stores a program for realizing ambient monitoring of the work vehicle 100.
  • the program may be for realizing a part of the functions exerted by the control device 143.
  • the program may exert its function in combination with another program already stored in the storage 250, or in combination with another program mounted on another device.
  • the control device 143 may include a custom LSI (Large Scale Integrated Circuit) such as a PLD (Programmable Logic Device) in addition to or in place of the above configuration.
  • PLDs include PAL (Programmable Array Logic), GAL (Generic Array Logic), CPLD (Complex Programmable Logic Device), and FPGA (Field Programmable Gate Array).
  • PLDs Programmable Logic Device
  • PAL Programmable Array Logic
  • GAL Generic Array Logic
  • CPLD Complex Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • the storage 250 stores the person dictionary data D1 for detecting a person.
  • the person dictionary data D1 is, for example, dictionary data of a feature amount extracted from each of a plurality of known images in which a person is captured.
  • the feature amount HOG (Histograms of Oriented Gradients) or CoHOG (Co-occurrence HOG) can be used.
  • the processor 210 executes an image acquisition unit 211, a feature amount extraction unit 212, a detection unit 213, a marker arrangement unit 214, a marker update unit 215, an image generation unit 216, an existence determination unit 217, and a display control unit 218. Functions as. Further, by executing the program, the storage area of the marker storage unit 231 is secured in the main memory 230.
  • the image acquisition unit 211 acquires images from a plurality of cameras 121.
  • the image acquired from each camera 121 is a frame image updated at a predetermined frame rate.
  • the feature amount extraction unit 212 extracts the feature amount from the frame image acquired by the image acquisition unit 211. Examples of the feature amount extracted by the feature amount extraction unit 212 include a HOG feature amount and a CoHOG feature amount.
  • the detection unit 213 detects a person in the frame image based on the feature amount extracted by the feature amount extraction unit 212 and the person dictionary data D1 stored in the storage 250. Examples of the person detection method include pattern matching, object detection processing based on machine learning, and the like. A person is an example of an obstacle.
  • the detection unit 213 detects a person by using the feature amount of the image, but the present invention is not limited to this. For example, in another embodiment, the detection unit 213 may detect a person based on the measured value of the infrared sensor or the like.
  • the image generation unit 216 transforms and synthesizes a plurality of frame images acquired by the image acquisition unit 211 to generate a bird's-eye view image of the site as a plan view from above, centering on the work vehicle 100. That is, the image generation unit 216 generates a bird's-eye view image by transforming each of the plurality of frame images into a bird's-eye view coordinate system and synthesizing the deformed frame images. The image generation unit 216 may generate a bird's-eye view image by cutting out a part of each of the deformed frame images and synthesizing the cut out frame images. An image of the work vehicle 100 viewed from above in a plan view is attached in advance to the center of the bird's-eye view image generated by the image generation unit 216.
  • the marker arranging unit 214 superimposes on the bird's-eye view image generated by the image generation unit 216, and arranges a marker indicating the position of the person at a position corresponding to the detection position of the person.
  • the marker arranging unit 214 may arrange the marker within a predetermined range from the detection position. Examples of the shape of the marker include a circle, an ellipse, a regular polygon, and a polygon.
  • the marker arranging unit 214 records the position of the arranged marker and the initial size of the marker in the marker storage unit 231.
  • the marker storage unit 231 stores the position and size of the markers arranged in the bird's-eye view image in association with each other.
  • the marker arranging unit 214 changes the color of the marker according to the positional relationship between the detection position and the warning range set around the work vehicle 100. For example, the marker arranging unit 214 changes the color of the marker to red when the detection position is within the warning range, and changes the color of the marker to yellow when the detection position is outside the warning range.
  • the warning range may be set as, for example, a circle centered on the turning center of the work vehicle 100.
  • the marker arranging unit 214 may set a color other than red and yellow for the marker. Further, the marker arranging unit 214 according to another embodiment changes the color of the marker to red when the detection position is within the warning range, and changes the color of the marker when the detection position is outside the warning range and within the caution range. May be yellow and the marker color may be gray if the detection position is outside the attention range. Further, when the detection position is within the warning range or the caution range, the color of the marker may be red. Further, the color of the marker may be red regardless of the detection position.
  • the caution range is, for example, a circle centered on the turning center of the work vehicle 100, and may be set as a range outside the warning range.
  • the marker arrangement unit 214 may highlight the area including the position where the person is detected together with the arrangement of the markers in the bird's-eye view image.
  • the region is determined by the imaging range of the plurality of cameras 121.
  • An example of highlighting is to display the frame of the area with a thick red frame.
  • the example of highlighting is not limited to this, and may be a color other than red. Further, the highlighting may be made by blinking the frame of the area.
  • the marker placement unit 214 may highlight the area including the detection position only when the detection position is within the warning range or the caution range. In this case, the marker is placed on the detected person and the area corresponding to the detected position is highlighted so that the operator can easily understand the person and the direction to be noted. That is, the control device 143 can call attention to the operator.
  • the marker update unit 215 enlarges the size of the markers arranged in the bird's-eye view image over time.
  • the marker update unit 215 updates the size of the marker stored in the marker storage unit 231.
  • the enlargement speed of the marker is determined, for example, based on the speed assumed as the moving speed of a person in the bird's-eye view image. For example, by setting the enlargement speed of the marker to the maximum speed assumed as the moving speed of a person in the bird's-eye view image, it is possible to ensure that the moving person is always within the range of the marker in the bird's-eye view image.
  • the expansion speed of the marker is not limited to the maximum speed, and may be set to another speed such as an average speed or an individual speed of a person.
  • the existence determination unit 217 determines whether or not the person is inside the caution range or the warning range set around the work vehicle 100 based on the detection position of the bird's-eye view coordinate system.
  • the display control unit 218 generates a monitoring image by attaching an icon corresponding to the determination result of the existence determination unit 217 to the bird's-eye view image in which the marker is arranged.
  • the display control unit 218 outputs the generated monitoring image to the touch panel.
  • the icon has different modes depending on whether the person is not within the caution range, is within the caution range and outside the warning range, or is within the warning range. Examples of aspects of the icon include color, transparency, size and the like.
  • FIG. 5 is a flowchart showing the operation of the control device according to the first embodiment.
  • the control device 143 starts the ambient monitoring process
  • the image acquisition unit 211 acquires a frame image from the plurality of cameras 121 (step S1).
  • the control device 143 executes the person detection process P1 and the display control process P2 in parallel based on the acquired frame image.
  • the person detection process P1 and the display control process P2 may be executed in series.
  • the person detection process P1 is the process of steps S2 to S3 below.
  • the feature amount extraction unit 212 extracts the feature amount from the frame image acquired in step S1 (step S2).
  • the detection unit 213 reads the person dictionary data D1 from the storage 250 and collates the extracted feature amount with the person dictionary data D1 to identify the detection position where the person exists in the frame image (step S3). ).
  • the display control process P2 is the process from step S4 to step S11 below.
  • the image generation unit 216 generates a bird's-eye view image based on the frame image acquired in step S1 (step S4).
  • the marker updating unit 215 refers to the marker storage unit 231 and determines whether or not there is a marker arranged in the bird's-eye view image (step S5). When the arranged markers are present (step S5: YES), the marker updating unit 215 updates the size of each marker stored in the marker storage unit 231 to a size expanded by a predetermined amount (step S6). In another embodiment, the marker update unit 215 may expand the arranged marker for a certain period of time without performing the determination in step S5.
  • the presence determination unit 217 warns the person of the attention range or warning based on the position of the marker stored in the marker storage unit 231. It is determined whether or not it exists inside the range (step S7).
  • the display control unit 218 draws a marker of the position and size stored by the marker storage unit 231 on the bird's-eye view image generated in step S4, and further, at a position corresponding to the left front range Re in the bird's-eye view image, step S7.
  • a monitoring image is generated by attaching an icon according to the determination result of (step S8).
  • the display control unit 218 can prevent the icon from blocking a part of the frame image by attaching an icon to the left front range Re.
  • the display control unit 218 according to another embodiment may attach an icon to another place.
  • the display control unit 218 outputs the generated monitoring image to the touch panel (step S9).
  • step S10 determines whether or not the person detection process P1 is completed.
  • step S10 NO
  • the image acquisition unit 211 acquires the next frame image from the plurality of cameras 121 (step S11), and returns the process to step S4.
  • the marker arranging unit 214 arranges the marker of the initial size at a position corresponding to the detection position related to the result of the detection process in step S3. That is, the marker arranging unit 214 records the information of the marker of the initial size and the position corresponding to the detection position in the marker storage unit 231 (step S12), and the control device 143 ends the peripheral monitoring process.
  • the marker disappears after a certain period of time has passed since it was placed. That is, the marker placement unit 214 deletes the information of the corresponding marker from the marker storage unit 231 when a certain time has elapsed from the placement of the marker.
  • the marker arranging unit 214 may delete the marker when the marker becomes larger than a predetermined size. Further, at this time, the marker arranging unit 214 may determine the color of the marker based on the relationship between the detection position and the warning range.
  • the person detection process P1 may be executed in parallel for the frame images captured by each of the plurality of cameras 121, or may be executed for each frame image in order. Further, when the marker related to the person extracted from the other frame image is already in the detection position, the marker placement unit 214 does not have to place the marker at the detection position. As a result, it is possible to prevent the markers from being arranged in an overlapping manner and becoming difficult to see. Alternatively, if the marker related to the person extracted from the other frame image is already within a predetermined distance from the detection position, the marker placement unit 214 deletes the existing marker and places the marker at the detection position. You may. As a result, the marker can be placed at the latest detection position.
  • step S2 step S5, and steps S7 to S11 may not be executed.
  • FIG. 6 is a transition example of the display image according to the first embodiment. Specifically, FIG. 6 illustrates the transition of the display image displayed from the time T1 when the person is detected to the time T4 after a predetermined time.
  • the surveillance images G1 generated by the display control unit 218 and the single camera image G2 are displayed on the display images D1-D4 at each time.
  • the display images D1-D4 include a work mode indicator G32, an SMR (service meter reading) indicator G33, a fuel level indicator G34, a hydraulic oil temperature indicator G35, and an engine water temperature indicator G36.
  • the monitoring image G1 includes a bird's-eye view image G11, an area frame G12 indicating a caution range, an area frame G13 indicating a warning range, a plurality of markers G14, and an icon G15.
  • the single camera image G2 is a frame image captured by one of the plurality of cameras 121.
  • the frame image captured by the rear camera 121B is displayed as the single camera image G2.
  • the single camera image G2 can be switched to a frame image captured by another camera 121 by the input means of the control device 143.
  • the frame image captured by the camera 121 other than the rear camera 121B may be used as the single camera image G2 displayed when the key is turned on.
  • the single camera image G2 may be automatically switched to the frame image of the camera 121 in which the person is captured.
  • FIG. 6 is an example of a single camera image G2 displaying a frame image captured by the right rear camera 121C.
  • the bird's-eye view image G11 and the single camera image G2 are updated as time elapses from the time T1, and the position of the person is moving. That is, the position of the person is different in each of the display image D1 at the time T1, the display image D2 at the time T2, the display image D3 at the time T3, and the display image D4 at the time T4. This is because the display control process P2 is repeatedly executed during the execution of the person detection process P1 as shown in the flowchart shown in FIG.
  • the marker G14 expands while maintaining the arrangement position as time elapses from the time T1. That is, the size of the marker G14 increases in the order of display image D1, display image D2, and display image D3. Therefore, even if the center position of the marker G14 deviates slightly from the position of the person due to the movement of the person, the amount of deviation between the person and the marker G14 becomes smaller due to the expansion of the marker G14, which gives the operator a sense of discomfort. It can be reduced.
  • the marker G14 is deleted from the display image D4 when a certain period of time has elapsed since the marker G14 was placed at the position of a person existing in front of the right front of the work vehicle 100. After that, when a person existing in the right front of the work vehicle 100 is detected, the marker G14 is repositioned at the position of the person existing in the right front.
  • the control device 143 detects a person in the captured image of the surroundings of the work vehicle 100, and displays a marker at a position corresponding to the obstacle based on the detection result. And a signal for changing the morphology of the marker over time. As a result, the control device 143 expands the marker over time, so that even if the person moves during the detection process of the person, the marker is made to follow the person, thereby alleviating the discomfort regarding the display of the marker. Can be done.
  • control device 143 expands the marker with time, but the other embodiments are not limited to this.
  • the control device 143 according to another embodiment may change the color or transparency of the marker over time, rotate or reduce the marker, and change the thickness or line type of the contour line over time. It may be different. Even when the marker is not enlarged, the discomfort of switching the marker display can be alleviated. Further, by changing the mode of the marker with time, the presence of the marker can be easily noticed by the operator.
  • control device 143 can notify the existence of a person on the bird's-eye view image in which the person is actually captured by attaching a marker to the bird's-eye view image.
  • control device 143 according to another embodiment is not limited to this, and a marker may be displayed on the plane coordinates that do not include the bird's-eye view image.
  • control device 143 according to the first embodiment superimposes and displays an icon indicating a determination result of whether or not a person exists in the caution range or the warning range centered on the work vehicle 100 on the bird's-eye view image. To do. As a result, the control device 143 can make the presence of the person more noticeable to the operator. Further, according to the first embodiment, the icon is arranged in the area related to the left front range Re, which is a range visible from the driver's seat 141 of the work vehicle 100 in the bird's-eye view image.
  • the icon As a result, by arranging the icon at a position where the need for monitoring by the control device 143 is low because it is visible from the driver's seat 141, the icon shields a person who exists at a position where the need for monitoring by the control device 143 is high. You can prevent that.
  • the work vehicle 100 has been described as a hydraulic excavator, but in other embodiments, it can be applied to various work vehicles such as a dump truck and a wheel loader. For example, it can be applied to a display system for dump trucks, wheel loaders and other work vehicles.
  • one control device 143 is installed in the work vehicle, but in other embodiments, a part of the configuration of the control device 143 is arranged in another control device. It may be realized by a display system consisting of two or more control devices.
  • the one control device 143 shown in the above-described embodiment is also an example of the display system.
  • control device 143 has been described as being installed in the work vehicle, in other embodiments, a part or all of the configuration of the control device 143 is installed outside the work vehicle. May be done.
  • control device 143 detects a person
  • an obstacle other than the person may be detected.
  • the control device 143 according to the above-described embodiment does not include a left front camera that captures the left front range Re, but may include a left front camera that captures the left front range Re in other embodiments.
  • the control device 143 can generate a bird's-eye view image showing the entire circumference of the work vehicle 100.
  • the control device 143 does not have to detect the person from the frame image of the left front camera for the person detection process P1. This is because since the amount of calculation of the person detection process P1 is large, the person detection process P1 is not performed in the range where the need for monitoring by the control device 143 is low, so that the increase in the overall calculation load is prevented.
  • the control device 143 has a display and displays a display image on the display, but is not limited to this in other embodiments.
  • the control device 143 may not include a display and may transmit a signal for displaying a display image on a display separate from the control device 143.
  • the signal is a signal for displaying a display image in which a marker is arranged at a position corresponding to an obstacle, and is a signal for changing the form of the marker with time. It may be realized by a display system including a display separate from the control device 143 and two or more control devices including a part of the configuration of the control device 143 described above.
  • the display is installed on the work vehicle 100, but in other embodiments, the display may be installed outside the work vehicle 100.
  • a display may be provided at a point away from the work site, and the control device 143 may transmit a signal for displaying a display image on the display via a network such as the Internet.
  • the warning range and the caution range are set, but in the other embodiments, one of the warning range and the caution range is set. May be good. Further, three or more ranges may be set.
  • the marker G14 is attached to the bird's-eye view image G11, but the present invention is not limited to this.
  • the marker G14 may be attached to both the bird's-eye view image G11 and the single camera image G2, or the marker G14 may be attached only to the single camera image G2.
  • the display image may include only one of the bird's-eye view image G11 and the single camera image G2.
  • the marker G14 is attached to the bird's-eye view image G11 or the single camera image G2 included in the display image.
  • the single camera images G2 by the plurality of cameras 121 may be displayed side by side. In this case, the marker G14 may be attached to one single camera image G2 or may be attached to two or more single camera images.
  • the alarm range and the caution range are described as a circle centered on the turning center of the work vehicle, but in other embodiments, the circle other than the circle centered on the turning center of the work vehicle 100 is used. It may be in the range of.
  • the circle centered on the turning center of the work vehicle 100 may be expanded by a predetermined distance in the directions of a part of the front part, the rear part, the left part, and the right part. Further, it may be a circle centered on a portion other than the turning center of the work vehicle 100. Further, it may be a range obtained from the operating range of the working machine 130. It may also be a range formed of ellipses, polygons, straight lines and curves.
  • FIG. 7 is a flowchart showing the operation of the control device according to another embodiment.
  • the control device 143 performs steps S104, S108 and S112 in place of the first embodiment and steps S4, S8 and S13.
  • step S104 the image generation unit 216 of the control device 143 generates a single camera image based on the frame image acquired in step S1.
  • step S108 the display control unit 218 of the control device 143 draws a marker of the position and size stored by the marker storage unit 231 on the single camera image generated in step S104, and further draws a marker of the position and size stored in the single camera image on the single camera image in step S7.
  • a display image is generated by attaching an icon according to the judgment result of. The icon is placed at a position in the single camera image where there is little need for monitoring, such as an area where a part of the work vehicle 100 is shown, so that the icon is at a position where there is a high need for monitoring by the control device 143. It is possible to prevent blocking the person existing in.
  • step S112 the marker arranging unit 214 of the control device 143 arranges the marker of the initial size at the detection position related to the result of the detection process in step S3. That is, the marker arranging unit 214 records the detection position and the initial size marker information in the marker storage unit 231.
  • the display system of the work vehicle changes the form of the marker over time to alleviate the discomfort regarding the display of the marker regardless of whether or not the obstacle detection process takes time. Can be done.

Abstract

表示システムは、作業車両の周囲を撮像した撮像画像を取得する画像取得部と、前記作業車両の周囲の障害物を検出する検出部と、前記障害物の検出結果に基づいて、前記障害物に対応する位置にマーカ画像を表示するための信号と、前記マーカ画像の形態を経時的に変化させるための信号を生成する表示制御部とを備える。

Description

作業車両の表示システムおよび作業車両の表示方法
　本開示は、作業車両の表示システムおよび作業車両の表示方法に関する。
　本願は、２０１９年７月１８日に日本に出願された特願２０１９－１３３０７３号について優先権を主張し、その内容をここに援用する。
　特許文献１には、作業車両の周辺の人を検知する周辺監視システムに係る技術が開示されている。特許文献１に記載の技術によれば、周辺監視システムは、画像処理によって画像に人が含まれるか否かを識別する。
特開２０１７－１５１８１５号公報
　ところで、特許文献１にも記載されているように、画像における人などの障害物の検出処理は、比較的計算量が多いことが知られている。そのため、検出結果に基づいて障害物の位置をマーカとして画面に表示させる場合、当該マーカの更新間隔が、撮像画像のフレームの更新間隔と比べて長くなる。したがって、マーカの更新間隔の間に人などの障害物が移動した場合、撮像画像に写る障害物の位置とマーカの位置にずれが生じる。そのため、作業車両のオペレータは、マーカの表示について違和感を持つ可能性がある。
　本開示の目的は、マーカの表示に関する違和感を緩和することができる作業車両の表示システムおよび作業車両の表示方法を提供することにある。
　本開示の一態様によれば、作業車両の表示システムは、作業車両の周囲を撮像した撮像画像を取得する画像取得部と、前記作業車両の周囲の障害物を検出する検出部と、前記障害物の検出結果に基づいて、前記障害物に対応する位置にマーカ画像を表示するための信号と、前記マーカ画像の形態を経時的に変化させるための信号を生成する表示制御部とを備える。
　上記態様によれば、作業車両の表示システムは、マーカの形態を経時的に変化させることで、障害物の検出処理に時間がかかるか否かに関わらず、マーカの表示に関する違和感を緩和することができる。
第１の実施形態に係る作業車両の構成を示す概略図である。 第１の実施形態に係る作業車両が備える複数のカメラの撮像範囲を示す図である。 第１の実施形態に係る運転室の内部の構成を示す図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。 第１の実施形態に係る制御装置の動作を示すフローチャートである。 人物を検出した時点において表示される表示画像の例である。 他の実施形態に係る制御装置の動作を示すフローチャートである。
〈第１の実施形態〉
　以下、図面を参照しながら実施形態について詳しく説明する。
《作業車両の構成》
　図１は、第１の実施形態に係る作業車両の構成を示す概略図である。
　作業車両１００は、施工現場にて稼働し、土砂などの施工対象を施工する。第１の実施形態に係る作業車両１００は、例えば油圧ショベルである。作業車両１００は、走行体１１０、旋回体１２０、作業機１３０および運転室１４０を備える。
　走行体１１０は、作業車両１００を走行可能に支持する。走行体１１０は、例えば左右１対の無限軌道である。
　旋回体１２０は、走行体１１０に旋回中心回りに旋回可能に支持される。
　作業機１３０は、油圧により駆動する。作業機１３０は、旋回体１２０の前部に上下方向に駆動可能に支持される。運転室１４０は、オペレータが搭乗し、作業車両１００の操作を行うためのスペースである。運転室１４０は、旋回体１２０の左前部に設けられる。
　ここで、旋回体１２０のうち作業機１３０が取り付けられる部分を前部という。また、旋回体１２０について、前部を基準に、反対側の部分を後部、左側の部分を左部、右側の部分を右部という。
《旋回体の構成》
　旋回体１２０には、作業車両１００の周囲を撮像する複数のカメラ１２１が設けられる。図２は、第１の実施形態に係る作業車両が備える複数のカメラの撮像範囲を示す図である。
　具体的には、旋回体１２０には、旋回体１２０の周囲のうち左後方範囲Ｒａを撮像する左後方カメラ１２１Ａ、旋回体１２０の周囲のうち後方範囲Ｒｂを撮像する後方カメラ１２１Ｂ、旋回体１２０の周囲のうち右後方範囲Ｒｃを撮像する右後方カメラ１２１Ｃ、旋回体１２０の周囲の右前方範囲Ｒｄを撮像する右前方カメラ１２１Ｄが設けられる。なお、複数のカメラ１２１の撮像範囲の一部は、互いに重複していてもよい。
　複数のカメラ１２１の撮像範囲は、作業車両１００の全周のうち、運転室１４０から視認可能な左前方範囲Ｒｅを除く範囲をカバーする。なお、第１の実施形態に係るカメラ１２１は、旋回体１２０の左後方、後方、右後方、および右前方を撮像するが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係るカメラ１２１の数および撮像範囲は、図１および図２に示す例と異なっていてよい。
　なお、左後方カメラ１２１Ａは、図２の後方範囲Ｒｂに示すように、旋回体１２０の左側方領域、及び左後方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。同様に、右後方カメラ１２１Ｃは、図２の右後方範囲Ｒｃに示すように、旋回体１２０の右側方領域、及び右後方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。同様に、右前方カメラ１２１Ｄは、図２の右前方範囲Ｒｄに示すように、旋回体１２０の右前方領域、及び右側方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。
《作業機の構成》
　作業機１３０は、ブーム１３１、アーム１３２、バケット１３３、ブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６を備える。
　ブーム１３１の基端部は、旋回体１２０にブームピンＰ１を介して取り付けられる。
　アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にアームピンＰ２を介して取り付けられる。
　バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための収容部とを備える。バケット１３３の基端部は、アーム１３２の先端部にバケットピンＰ３を介して取り付けられる。
　ブームシリンダ１３４は、ブーム１３１を作動させるための油圧シリンダである。ブームシリンダ１３４の基端部は、旋回体１２０に取り付けられる。ブームシリンダ１３４の先端部は、ブーム１３１に取り付けられる。
　アームシリンダ１３５は、アーム１３２を駆動するための油圧シリンダである。アームシリンダ１３５の基端部は、ブーム１３１に取り付けられる。アームシリンダ１３５の先端部は、アーム１３２に取り付けられる。
　バケットシリンダ１３６は、バケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３６の基端部は、アーム１３２に取り付けられる。バケットシリンダ１３６の先端部は、バケット１３３に接続されるリンク部材に取り付けられる。
《運転室の構成》
　図３は、第１の実施形態に係る運転室の内部の構成を示す図である。
　運転室１４０内には、運転席１４１、操作装置１４２および制御装置１４３が設けられる。
　操作装置１４２は、オペレータの手動操作によって走行体１１０、旋回体１２０および作業機１３０を駆動させるためのインタフェースである。操作装置１４２は、左操作レバー１４２１、右操作レバー１４２２、左フットペダル１４２３、右フットペダル１４２４、左走行レバー１４２５、右走行レバー１４２６を備える。
　左操作レバー１４２１は、運転席１４１の左側に設けられる。右操作レバー１４２２は、運転席１４１の右側に設けられる。
　左操作レバー１４２１は、旋回体１２０の旋回動作、及び、アーム１３２の引き／押し動作を行うための操作機構である。具体的には、作業車両１００のオペレータが左操作レバー１４２１を前方に倒すと、アーム１３２が押し動作する。また、作業車両１００のオペレータが左操作レバー１４２１を後方に倒すと、アーム１３２が引き動作する。また、作業車両１００のオペレータが左操作レバー１４２１を右方向に倒すと、旋回体１２０が右旋回する。また、作業車両１００のオペレータが左操作レバー１４２１を左方向に倒すと、旋回体１２０が左旋回する。なお、他の実施形態においては、左操作レバー１４２１を前後方向に倒した場合に旋回体１２０が右旋回または左旋回し、左操作レバー１４２１が左右方向に倒した場合にアーム１３２がダンプ動作または掘削動作してもよい。
　右操作レバー１４２２は、バケット１３３の掘削／ダンプ動作、及び、ブーム１３１の上げ／下げ動作を行うための操作機構である。具体的には、作業車両１００のオペレータが右操作レバー１４２２を前方に倒すと、ブーム１３１の下げ動作が実行される。また、作業車両１００のオペレータが右操作レバー１４２２を後方に倒すと、ブーム１３１の上げ動作が実行される。また、作業車両１００のオペレータが右操作レバー１４２２を右方向に倒すと、バケット１３３のダンプ動作が行われる。また、作業車両１００のオペレータが右操作レバー１４２２を左方向に倒すと、バケット１３３の掘削動作が行われる。
　左フットペダル１４２３は、運転席１４１の前方の床面の左側に配置される。右フットペダル１４２４は、運転席１４１の前方の床面の左側に配置される。左走行レバー１４２５は、左フットペダル１４２３に軸支され、左走行レバー１４２５の傾斜と左フットペダル１４２３の押し下げが連動するように構成される。右走行レバー１４２６は、右フットペダル１４２４に軸支され、右走行レバー１４２６の傾斜と右フットペダル１４２４の押し下げが連動するように構成される。
　左フットペダル１４２３および左走行レバー１４２５は、走行体１１０の左側履帯の回転駆動に対応する。具体的には、作業車両１００のオペレータが左フットペダル１４２３または左走行レバー１４２５を前方に倒すと、左側履帯は前進方向に回転する。また、作業車両１００のオペレータが左フットペダル１４２３または左走行レバー１４２５を後方に倒すと、左側履帯は後進方向に回転する。
　右フットペダル１４２４および右走行レバー１４２６は、走行体１１０の右側履帯の回転駆動に対応する。具体的には、作業車両１００のオペレータが右フットペダル１４２４または右走行レバー１４２６を前方に倒すと、右側履帯は前進方向に回転する。また、作業車両１００のオペレータが右フットペダル１４２４または右走行レバー１４２６を後方に倒すと、右側履帯は後進方向に回転する。
　制御装置１４３は、入出力装置であり、例えば、複数のカメラ１２１によって取得された作業車両１００の周囲状況を俯瞰画像として表示することができる。第１の実施形態に係る制御装置１４３の入力手段は、ハードキーである。なお、他の実施形態においては、タッチパネル、マウス、またはキーボード等を入力手段として用いてもよい。
《制御装置の構成》
　図４は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
　制御装置１４３は、プロセッサ２１０、メインメモリ２３０、ストレージ２５０、インタフェース２７０を備えるコンピュータである。
　ストレージ２５０は、一時的でない有形の記憶媒体である。ストレージ２５０の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ２５０は、制御装置１４３のバスに直接接続された内部メディアであってもよいし、インタフェース２７０または通信回線を介して制御装置１４３に接続される外部メディアであってもよい。ストレージ２５０は、作業車両１００の周囲監視を実現するためのプログラムを記憶する。
　プログラムは、制御装置１４３に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ２５０に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、制御装置１４３は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。
　また、ストレージ２５０は、人物を検知するための人物辞書データＤ１を記憶する。人物辞書データＤ１は、例えば人物が写る複数の既知の画像それぞれから抽出された特徴量の辞書データである。特徴量の例としては、ＨＯＧ（Histograms of Oriented Gradients）やＣｏＨＯＧ（Co-occurrence HOG）を用いることができる。
　プロセッサ２１０は、プログラムを実行することで、画像取得部２１１、特徴量抽出部２１２、検出部２１３、マーカ配置部２１４、マーカ更新部２１５、画像生成部２１６、存在判定部２１７、表示制御部２１８として機能する。また、プログラムの実行により、メインメモリ２３０には、マーカ記憶部２３１の記憶領域が確保される。
　画像取得部２１１は、複数のカメラ１２１から画像を取得する。各カメラ１２１から取得する画像は、所定のフレームレートで更新されるフレーム画像である。
　特徴量抽出部２１２は、画像取得部２１１が取得したフレーム画像から特徴量を抽出する。特徴量抽出部２１２が抽出する特徴量の例としては、ＨＯＧ特徴量やＣｏＨＯＧ特徴量などが挙げられる。
　検出部２１３は、特徴量抽出部２１２が抽出した特徴量とストレージ２５０に記憶される人物辞書データＤ１とに基づいて、フレーム画像における人物を検出する。人物の検出方法の例としては、パターンマッチング、機械学習に基づく物体検出処理などが挙げられる。人物は、障害物の一例である。なお、第１の実施形態においては、検出部２１３は、画像の特徴量を用いて人物の検出を行うが、これに限られない。例えば、他の実施形態においては、検出部２１３は、赤外線センサの計測値などに基づいて人物の検出を行ってもよい。
　画像生成部２１６は、画像取得部２１１が取得した複数のフレーム画像を変形し、合成することで、作業車両１００を中心として、現場を上方から平面視した俯瞰画像を生成する。すなわち、画像生成部２１６は、複数のフレーム画像それぞれを俯瞰座標系に変形し、変形後のフレーム画像を合成することで、俯瞰画像を生成する。なお、画像生成部２１６は、変形後のそれぞれのフレーム画像の一部を切り出して、切り出したフレーム画像を合成することで、俯瞰画像を生成してもよい。画像生成部２１６が生成する俯瞰画像の中央には、作業車両１００を上方から平面視した画像が予め貼り付けられている。
　マーカ配置部２１４は、画像生成部２１６が生成した俯瞰画像に重畳させて、人物の検出位置に対応する位置に人物の位置を示すマーカを配置する。なお、他の実施形態に係るマーカ配置部２１４は、検出位置から所定の範囲内にマーカを配置してもよい。マーカの形状は、例えば、円、楕円、正多角形、多角形などが挙げられる。マーカ配置部２１４は、配置したマーカの位置と、マーカの初期サイズをマーカ記憶部２３１に記録する。マーカ記憶部２３１は、俯瞰画像に配置されたマーカの位置と大きさとを関連付けて記憶する。
　マーカ配置部２１４は、検出位置と、作業車両１００を中心として設定された警告範囲との位置関係に応じて、マーカの色を異ならせる。例えば、マーカ配置部２１４は、検出位置が警告範囲内である場合に、マーカの色を赤にし、検出位置が警告範囲外である場合に、マーカの色を黄色にする。警告範囲は、例えば作業車両１００の旋回中心を中心とする円として設定されてよい。
　なお、マーカの色およびマーカの位置と色の関係は、これに限られない。例えば、他の実施形態に係るマーカ配置部２１４は、赤および黄色以外の色をマーカに設定してもよい。また、他の実施形態に係るマーカ配置部２１４は、検出位置が警告範囲内である場合に、マーカの色を赤にし、検出位置が警告範囲外かつ注意範囲内である場合に、マーカの色を黄色にし、検出位置が注意範囲外である場合に、マーカの色を灰色にしてもよい。また、検出位置が警告範囲内、または注意範囲内である場合に、マーカの色を赤にしてもよい。また、検出位置にかかわらず、マーカの色を赤にしてもよい。注意範囲は、例えば作業車両１００の旋回中心を中心とする円であって、警告範囲の外側の範囲として設定されてよい。
　また、マーカ配置部２１４は、俯瞰画像において、マーカの配置とともに人物を検出した位置を含む領域を強調表示するようにしてもよい。領域は、複数のカメラ１２１の撮像範囲によって決定される。強調表示の例としては、領域の枠を赤い太枠で表示することなどが挙げられる。なお、強調表示の例は、これに限られず、赤色以外の色によるものであってもよい。また、強調表示は、領域の枠の点滅によってなされるものであってもよい。
　また、マーカ配置部２１４は、検出位置が警告範囲内、または注意範囲内である場合にのみ、その位置を含む領域を強調表示するようにしてもよい。この場合、検出された人物にマーカが配置されるとともに、検出した位置に対応する領域が強調表示されることで、オペレータは、注意すべき人物および方向を容易に理解できる。すなわち、制御装置１４３は、オペレータに注意を促すことが出来る。
　マーカ更新部２１５は、俯瞰画像に配置されたマーカの大きさを経時的に拡大させる。マーカ更新部２１５は、マーカ記憶部２３１が記憶するマーカの大きさを更新する。マーカの拡大速度は、例えば、俯瞰画像における人の移動速度として想定される速度に基づいて決定する。例えば、マーカの拡大速度を俯瞰画像における人の移動速度として想定される最大速度に設定することで、俯瞰画像において、移動する人が常にマーカの範囲内に位置するようにすることができる。なお、マーカの拡大速度は最大速度に限られず、平均速度や人の個別の速度などの他の速度に設定されてもよい。
　存在判定部２１７は、俯瞰座標系の検出位置に基づいて、人物が作業車両１００を中心として設定された注意範囲または警告範囲の内側に存在するか否かを判定する。
　表示制御部２１８は、マーカが配置された俯瞰画像に、存在判定部２１７の判定結果に応じたアイコンを付すことで監視画像を生成する。表示制御部２１８は、生成した監視画像をタッチパネルに出力する。アイコンは、例えば人物が注意範囲内に存在しない場合、注意範囲内かつ警告範囲外に存在する場合、警告範囲内に存在する場合で、それぞれ態様を異ならせる。アイコンの態様の例としては、色、透明度、大きさなどが挙げられる。
《制御装置の動作》
　図５は、第１の実施形態に係る制御装置の動作を示すフローチャートである。
　制御装置１４３は、周囲監視処理を開始すると、画像取得部２１１は、複数のカメラ１２１からフレーム画像を取得する（ステップＳ１）。次に、制御装置１４３は、取得したフレーム画像に基づいて人物検出処理Ｐ１と表示制御処理Ｐ２とを並列で実行する。なお、他の実施形態においては、人物検出処理Ｐ１と表示制御処理Ｐ２とが直列で実行されてもよい。
　人物検出処理Ｐ１は、以下のステップＳ２からステップＳ３の処理である。
　特徴量抽出部２１２は、ステップＳ１で取得したフレーム画像から特徴量を抽出する（ステップＳ２）。次に、検出部２１３は、ストレージ２５０から人物辞書データＤ１を読み出し、抽出された特徴量と人物辞書データＤ１とを照合することにより、フレーム画像において人物が存在する検出位置を特定する（ステップＳ３）。
　表示制御処理Ｐ２は、以下のステップＳ４からステップＳ１１の処理である。
　画像生成部２１６は、ステップＳ１で取得したフレーム画像に基づいて、俯瞰画像を生成する（ステップＳ４）。マーカ更新部２１５は、マーカ記憶部２３１を参照し、俯瞰画像に配置されたマーカが存在するか否かを判定する（ステップＳ５）。配置されたマーカが存在する場合（ステップＳ５：ＹＥＳ）、マーカ更新部２１５は、マーカ記憶部２３１が記憶する各マーカの大きさを所定量だけ拡大した大きさに更新する（ステップＳ６）。なお、他の実施形態においては、マーカ更新部２１５は、ステップＳ５の判定を行わずに、配置したマーカを一定時間拡大させてもよい。
　配置されたマーカがない場合（ステップＳ５：ＮＯ）、またはマーカの大きさを更新した場合、存在判定部２１７は、マーカ記憶部２３１が記憶するマーカの位置に基づいて、人物が注意範囲または警告範囲の内側に存在するか否かを判定する（ステップＳ７）。
　表示制御部２１８は、ステップＳ４で生成した俯瞰画像上に、マーカ記憶部２３１が記憶する位置および大きさのマーカを描画し、さらに俯瞰画像のうち左前方範囲Ｒｅに相当する位置に、ステップＳ７の判定結果に応じたアイコンを付すことで監視画像を生成する（ステップＳ８）。表示制御部２１８は、左前方範囲Ｒｅにアイコンを付すことで、アイコンがフレーム画像の一部を遮蔽することを防ぐことができる。なお、他の実施形態に係る表示制御部２１８は、他の場所にアイコンを付してもよい。表示制御部２１８は、生成した監視画像をタッチパネルに出力する（ステップＳ９）。
　次に、表示制御部２１８は、人物検出処理Ｐ１が完了したか否かを判定する（ステップＳ１０）。人物検出処理Ｐ１が完了していない場合（ステップＳ１０：ＮＯ）、画像取得部２１１は、複数のカメラ１２１から次のフレーム画像を取得し（ステップＳ１１）、処理をステップＳ４に戻す。
　人物検出処理Ｐ１および表示制御処理Ｐ２が完了すると、マーカ配置部２１４は、ステップＳ３の検出処理の結果に係る検出位置に対応する位置に初期サイズのマーカを配置する。すなわちマーカ配置部２１４は、マーカ記憶部２３１に、検出位置に対応する位置、かつ初期サイズのマーカの情報を記録して（ステップＳ１２）制御装置１４３は周辺監視処理を終了する。
　なお、マーカは、配置されてから一定時間が経過すると消える。すなわち、マーカ配置部２１４は、マーカの配置から一定時間が経過したときに、マーカ記憶部２３１から該当するマーカの情報を削除する。なお、他の実施形態に係るマーカ配置部２１４は、マーカが所定サイズ以上になった場合に、マーカを削除してもよい。また、このときマーカ配置部２１４は、検出位置と警告範囲との関係に基づいてマーカの色を決定してもよい。
　なお、人物検出処理Ｐ１は、複数のカメラ１２１それぞれが撮像したフレーム画像について並列に実行されてもよいし、各フレーム画像について順に実行されてもよい。また、マーカ配置部２１４は、他のフレーム画像から抽出された人物に係るマーカが検出位置に既にある場合、その検出位置にマーカを配置しなくてもよい。これにより、マーカが重複して配置され、見づらくなるのを防止することができる。若しくは、マーカ配置部２１４は、他のフレーム画像から抽出された人物に係るマーカが検出位置から所定の距離内に既にある場合、既にあるマーカを削除して、検出位置にマーカを配置するようにしてもよい。これにより、最新の検出位置にマーカを配置することができる。
　なお、図５に示すフローチャートは一例であり、他の実施形態においては必ずしもすべてのステップを実行しなくてもよい。例えば、他の実施形態においては、ステップＳ２、ステップＳ５、ステップＳ７からステップＳ１１の何れかが実行されなくてもよい。
《表示画像の例》
　図６は、第１の実施形態に係る表示画像の遷移例である。具体的には、図６には、人物を検出した時点である時刻Ｔ１から所定時間後の時刻Ｔ４までに表示される表示画像の遷移が例示される。
　図６によれば、各時刻における表示画像Ｄ１－Ｄ４には、表示制御部２１８が生成した監視画像Ｇ１と、単カメラ画像Ｇ２とが表示される。また、表示画像Ｄ１－Ｄ４には、作業モードインジケータＧ３２、ＳＭＲ（service meter reading）インジケータＧ３３、燃料レベルインジケータＧ３４、作動油温インジケータＧ３５、およびエンジン水温インジケータＧ３６が含まれる。監視画像Ｇ１には、俯瞰画像Ｇ１１と、注意範囲を示す領域枠Ｇ１２と、警告範囲を示す領域枠Ｇ１３と、複数のマーカＧ１４とアイコンＧ１５とが含まれる。単カメラ画像Ｇ２は、複数のカメラ１２１のうち１つが撮像したフレーム画像である。
　作業車両のキーオン時には、単カメラ画像Ｇ２として、後方カメラ１２１Ｂが撮像したフレーム画像が表示される。単カメラ画像Ｇ２は、制御装置１４３の入力手段によって、他のカメラ１２１が撮像したフレーム画像に切り替えることができる。なお、後方カメラ１２１Ｂ以外のカメラ１２１が撮像したフレーム画像を、キーオン時に表示される単カメラ画像Ｇ２としても良い。また、人物を検出した場合、単カメラ画像Ｇ２が、人物が撮像されたカメラ１２１のフレーム画像に自動的に切り替えるようにしても良い。なお、図６は、右後方カメラ１２１Ｃが撮像したフレーム画像を表示している単カメラ画像Ｇ２の例である。
　図６を参照すると、時刻Ｔ１から時間が経過するに従って、俯瞰画像Ｇ１１および単カメラ画像Ｇ２が更新され、人物の位置が移動していることがわかる。すなわち時刻Ｔ１における表示画像Ｄ１、時刻Ｔ２における表示画像Ｄ２、時刻Ｔ３における表示画像Ｄ３、および時刻Ｔ４における表示画像Ｄ４のそれぞれにおいて、人物の位置が異なる。これは、図５に示すフローチャートのとおり、人物検出処理Ｐ１の実行中、表示制御処理Ｐ２が繰り返し実行されるためである。
　他方、図６を参照すると、時刻Ｔ１から時間が経過するに従って、マーカＧ１４が配置位置を維持しながら拡大していることがわかる。すなわち、マーカＧ１４の大きさは、表示画像Ｄ１、表示画像Ｄ２、表示画像Ｄ３の順に大きくなる。このため、人物の移動に伴ってマーカＧ１４の中心位置が人物の位置と多少ずれたとしても、マーカＧ１４が拡大することにより人物とマーカＧ１４とのずれ量が小さくなるため、オペレータが持つ違和感を低減させることができる。なお、時刻Ｔ４において、作業車両１００の右前方に存在する人物の位置にマーカＧ１４が配置されてから一定時間が経過されると表示画像Ｄ４からマーカＧ１４が削除される。なお、その後、作業車両１００の右前方に存在する人物が検出されると、マーカＧ１４が右前方に存在する人物の位置に再び配置される。
《作用・効果》
　このように、第１の実施形態に係る制御装置１４３は、作業車両１００の周囲を撮像した撮像画像に写った人物を検出し、検出結果に基づいて障害物に対応する位置にマーカを表示するための信号と、当該マーカの形態を経時的に変化させるための信号を生成する。これにより、制御装置１４３は、マーカを経時的に拡大させることで、人物の検出処理の間に人物が移動したとしても、マーカを人物に追従させることで、マーカの表示に関する違和感を緩和することができる。
　なお、第１の実施形態に係る制御装置１４３は、マーカを経時的に拡大させるが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係る制御装置１４３は、マーカの色または透明度を経時的に変化させてもよいし、マーカを回転または縮小させてもよいし、輪郭線の太さまたは線種を経時的に異ならせてもよい。マーカを拡大させない場合にも、マーカの表示が切り替わることに対する違和感を緩和することができる。また、マーカの態様を経時的に変化させることで、マーカの存在をオペレータに気付かれやすくすることができる。
　また、第１の実施形態に係る制御装置１４３は、俯瞰画像にマーカを付すことで、実際に人物が写った俯瞰画像上で人物の存在を通知することができる。他方、他の実施形態に係る制御装置１４３はこれに限られず、俯瞰画像を含まない平面座標上にマーカを付したものを表示してもよい。
　また、第１の実施形態に係る制御装置１４３は、作業車両１００を中心とした注意範囲または警告範囲内に人物が存在するか否かの判定結果を示すアイコンを、俯瞰画像に重畳して表示する。これにより、制御装置１４３は、人物の存在をオペレータに気付かれやすくすることができる。また、第１の実施形態によれば、当該アイコンは俯瞰画像のうち、作業車両１００の運転席１４１から視認可能な範囲である左前方範囲Ｒｅに係る領域に配置される。これにより、運転席１４１から視認可能なため制御装置１４３による監視の必要性が低い位置にアイコンを配置することで、アイコンが制御装置１４３による監視の必要性が高い位置に存在する人物を遮蔽することを防ぐことができる。
〈他の実施形態〉
　以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
　上述した実施形態では、作業車両１００は、油圧ショベルとして説明したが、他の実施形態においては、ダンプトラック、ホイールローダなど種々の作業車両に適用可能である。例えば、ダンプトラックや、ホイールローダや他の作業車両用の表示システムに適用可能である。
　また、上述した実施形態では、１台の制御装置１４３が作業車両に設置されるものとして説明したが、他の実施形態においては、制御装置１４３の一部の構成を他の制御装置に配置し、２台以上の制御装置からなる表示システムによって実現されてもよい。なお、上述の実施形態に示す１台の制御装置１４３も、表示システムの一例である。
　また、上述した実施形態に係る制御装置１４３は、作業車両に設置されるものとして説明したが、他の実施形態においては、制御装置１４３の一部、または全部の構成が作業車両の外部に設置されてもよい。
　また、上述した実施形態に係る制御装置１４３は、人物を検出するが、人物以外の障害物を検出してもよい。
　また上述した実施形態に係る制御装置１４３は、左前方範囲Ｒｅを撮像する左前方カメラを備えないが、他の実施形態においては左前方範囲Ｒｅを撮像する左前方カメラを備えてもよい。この場合、制御装置１４３は、作業車両１００の周囲の全周が写る俯瞰画像を生成することができる。他方、この場合においても、制御装置１４３は、人物検出処理Ｐ１については、左前方カメラのフレーム画像から人物を検出しなくてもよい。これは、人物検出処理Ｐ１の計算量が多いため、制御装置１４３による監視の必要性が低い範囲について人物検出処理Ｐ１を行わないことで、全体の計算負荷の増加を防ぐためである。
　上述した実施形態に係る制御装置１４３はディスプレイを有し、当該ディスプレイに表示画像を表示させるが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係る制御装置１４３は、ディスプレイを備えないものであって、制御装置１４３と別体のディスプレイに表示画像を表示させる信号を送信するものであってよい。当該信号は、障害物に対応する位置にマーカを配置した表示画像を表示するための信号であって、マーカの形態を経時的に変化させるための信号である。なお、制御装置１４３とは別体のディスプレイと、上述した制御装置１４３の構成の一部ずつを備える２台以上の制御装置とからなる表示システムから実現されてもよい。
　また、上述した実施形態では、ディスプレイが作業車両１００に設置されるものとして説明したが、他の実施形態においては、ディスプレイが作業車両１００の外に設置されるものであってもよい。例えば、作業現場から離れた地点にディスプレイを設け、制御装置１４３は、ディスプレイに表示画像を表示させる信号をインターネットなどのネットワークを介して送信するものであってよい。
　また、上述した実施形態では、警告範囲と注意範囲が設定されるものとして説明したが、他の実施形態においては、警告範囲と注意範囲のうち、いずれかの範囲が設定されるものであってもよい。また、３つ以上の範囲が設定されるものであってもよい。
　また、上述した実施形態においては、マーカＧ１４が俯瞰画像Ｇ１１に付されるが、これに限られない。例えば、他の実施形態においては、マーカＧ１４が俯瞰画像Ｇ１１と単カメラ画像Ｇ２の両方に付されてもよいし、マーカＧ１４が単カメラ画像Ｇ２のみに付されてもよい。また、他の実施形態においては、表示画像に俯瞰画像Ｇ１１および単カメラ画像Ｇ２のいずれか一方のみが含まれてもよい。この場合、マーカＧ１４は、表示画像に含まれる俯瞰画像Ｇ１１または単カメラ画像Ｇ２に付される。また、他の実施形態においては、複数のカメラ１２１による単カメラ画像Ｇ２が並べて表示されてもよい。この場合、マーカＧ１４は、１つの単カメラ画像Ｇ２に付されてもよいし、２つ以上の単カメラ画像に付されてもよい。
　また、上述した実施形態においては、警報範囲、注意範囲は、作業車両の旋回中心を中心とする円として説明したが、他の実施形態においては、作業車両１００の旋回中心を中心とする円以外の範囲であってもよい。例えば、作業車両１００の旋回中心を中心とする円を、前部、後部、左部、右部の一部の方向に所定の距離拡大した範囲であってもよい。また、作業車両１００の旋回中心以外の部分を中心とする円であってもよい。また、作業機１３０の作動範囲から求まる範囲としてもよい。また、楕円、多角形、直線と曲線から形成される範囲であってもよい。
　ここで、制御装置１４３が、マーカＧ１４が付された単カメラ画像Ｇ２を含む表示画像を生成する例について説明する。
　図７は、他の実施形態に係る制御装置の動作を示すフローチャートである。他の実施形態においては、制御装置１４３は、第１の実施形態とステップＳ４、ステップＳ８およびステップＳ１３に代えて、ステップＳ１０４、ステップＳ１０８およびステップＳ１１２を実行する。
　制御装置１４３の画像生成部２１６は、ステップＳ１０４において、ステップＳ１で取得したフレーム画像に基づいて、単カメラ画像を生成する。
　制御装置１４３の表示制御部２１８は、ステップＳ１０８において、ステップＳ１０４で生成した単カメラ画像上に、マーカ記憶部２３１が記憶する位置および大きさのマーカを描画し、さらに単カメラ画像に、ステップＳ７の判定結果に応じたアイコンを付すことで、表示画像を生成する。当該アイコンは、単カメラ画像のうち、作業車両１００の一部が映っている領域などの監視の必要性が低い位置に配置されることで、アイコンが制御装置１４３による監視の必要性が高い位置に存在する人物を遮蔽することを防ぐことができる。
　制御装置１４３のマーカ配置部２１４は、ステップＳ１１２において、ステップＳ３の検出処理の結果に係る検出位置に初期サイズのマーカを配置する。すなわちマーカ配置部２１４は、マーカ記憶部２３１に、検出位置、かつ初期サイズのマーカの情報を記録する。
　上記開示によれば、作業車両の表示システムは、マーカの形態を経時的に変化させることで、障害物の検出処理に時間がかかるか否かに関わらず、マーカの表示に関する違和感を緩和することができる。
　１００…作業車両　１１０…走行体　１２０…旋回体　１２１…カメラ　１３０…作業機　１４０…運転室　１４１…運転席　１４３…制御装置　２１１…画像取得部　２１２…特徴量抽出部　２１３…検出部　２１４…マーカ配置部　２１５…マーカ更新部　２１６…画像生成部　２１７…存在判定部　２１８…表示制御部

Claims (8)

  1. 　作業車両の周囲を撮像した撮像画像を取得する画像取得部と、
    　前記作業車両の周囲の障害物を検出する検出部と、
    　前記障害物の検出結果に基づいて、前記障害物に対応する位置にマーカ画像を表示するための信号と、前記マーカ画像の形態を経時的に変化させるための信号を生成する表示制御部と
    　を備える作業車両の表示システム。
  2. 　前記マーカ画像の形態は、前記マーカ画像の形状である
    　請求項１に記載の作業車両の表示システム。
  3. 　前記表示制御部は、前記マーカ画像の形状を経時的に拡大させる
    　請求項２に記載の作業車両の表示システム。
  4. 　前記撮像画像に基づいて、前記作業車両の周囲の俯瞰画像を生成する画像生成部を備え、
    　前記表示制御部は、前記俯瞰画像上の前記障害物に対応する位置に前記マーカ画像を表示させ、前記マーカ画像の形態を経時的に変化させるための信号を生成する
    　請求項１から請求項３の何れか１項に記載の作業車両の表示システム。
  5. 　前記撮像画像に基づいて、前記作業車両の周囲の画像である単カメラ画像を生成する画像生成部を備え、
    　前記表示制御部は、前記単カメラ画像上の前記障害物に対応する位置に前記マーカ画像を表示させ、前記マーカ画像の形態を経時的に変化させるための信号を生成する
    　請求項１から請求項４の何れか１項に記載の作業車両の表示システム。
  6. 　前記作業車両を中心とした所定範囲内に前記障害物が存在するか否かを判定する存在判定部を備え、
    　前記表示制御部は、前記所定範囲内に前記障害物が存在するか否かの判定結果を示すアイコンを含む表示画像を表示させる信号を生成する
    　請求項１から請求項５の何れか１項に記載の作業車両の表示システム。
  7. 　前記アイコンは、前記表示画像のうち前記作業車両の運転席から視認可能な範囲に係る領域に配置される
    　請求項６に記載の作業車両の表示システム。
  8. 　作業車両の周囲を撮像した撮像画像を取得するステップと、
    　前記作業車両の周囲の障害物を検出するステップと、
    　前記障害物の検出結果に基づいて、前記障害物に対応する位置にマーカ画像を表示するための信号と、前記マーカ画像の形態を経時的に変化させるための信号を生成するステップと
    　を備える作業車両の表示方法。
PCT/JP2020/026718 2019-07-18 2020-07-08 作業車両の表示システムおよび作業車両の表示方法 WO2021010258A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/596,599 US20220298756A1 (en) 2019-07-18 2020-07-08 Display system for work vehicle, and method for displaying work vehicle
DE112020002788.0T DE112020002788T5 (de) 2019-07-18 2020-07-08 Anzeigesystem für ein Arbeitsfahrzeug und Verfahren zum Anzeigen von einem Arbeitsfahrzeug
CN202080046673.4A CN114051725A (zh) 2019-07-18 2020-07-08 作业车辆的显示系统以及作业车辆的显示方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-133073 2019-07-18
JP2019133073A JP7308089B2 (ja) 2019-07-18 2019-07-18 作業車両の表示システムおよび作業車両の表示方法

Publications (1)

Publication Number Publication Date
WO2021010258A1 true WO2021010258A1 (ja) 2021-01-21

Family

ID=74210746

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/026718 WO2021010258A1 (ja) 2019-07-18 2020-07-08 作業車両の表示システムおよび作業車両の表示方法

Country Status (5)

Country Link
US (1) US20220298756A1 (ja)
JP (1) JP7308089B2 (ja)
CN (1) CN114051725A (ja)
DE (1) DE112020002788T5 (ja)
WO (1) WO2021010258A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4286611A1 (en) * 2022-06-01 2023-12-06 Yanmar Holdings Co., Ltd. Work machine control method, work machine control program, work machine control system, and work machine

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7255454B2 (ja) * 2019-11-07 2023-04-11 コベルコ建機株式会社 作業機械の周囲監視装置
JP7174389B1 (ja) 2022-02-18 2022-11-17 株式会社ヒューマンサポートテクノロジー 物体位置推定表示装置、方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018042567A1 (ja) * 2016-08-31 2018-03-08 日立建機株式会社 周辺監視システム及び周辺監視装置
WO2018151280A1 (ja) * 2017-02-17 2018-08-23 住友重機械工業株式会社 作業機械用周辺監視システム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7899211B2 (en) * 2005-12-07 2011-03-01 Nissan Motor Co., Ltd. Object detecting system and object detecting method
JP2011118482A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
JP2012001126A (ja) * 2010-06-18 2012-01-05 Clarion Co Ltd 車両用周辺監視装置
KR20140035440A (ko) * 2011-06-02 2014-03-21 히다찌 겐끼 가부시키가이샤 작업 기계의 주위 감시 장치
JP5692403B2 (ja) * 2011-11-01 2015-04-01 アイシン精機株式会社 障害物警報装置
JP5916541B2 (ja) * 2012-07-03 2016-05-11 アルパイン株式会社 車載システム
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP6481846B2 (ja) * 2014-03-27 2019-03-13 日本精機株式会社 車両用警報装置
CN112866566B (zh) * 2014-05-29 2023-05-09 株式会社尼康 驾驶辅助装置及驾驶辅助装置搭载车辆
US20160027218A1 (en) * 2014-07-25 2016-01-28 Tom Salter Multi-user gaze projection using head mounted display devices
US20160092727A1 (en) * 2014-09-30 2016-03-31 Alcatel-Lucent Usa Inc. Tracking humans in video images
US9457718B2 (en) * 2014-12-19 2016-10-04 Caterpillar Inc. Obstacle detection system
JP6443559B2 (ja) * 2015-09-18 2019-01-09 日産自動車株式会社 車両用表示装置及び車両用表示方法
JP6401141B2 (ja) * 2015-10-15 2018-10-03 日立建機株式会社 車両周囲障害物検出装置
JP2017074871A (ja) * 2015-10-15 2017-04-20 日立建機株式会社 車両周囲障害物検出装置
JP6996115B2 (ja) * 2017-05-29 2022-01-17 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP6466899B2 (ja) * 2016-12-01 2019-02-06 株式会社Ｓｕｂａｒｕ 車両用表示装置
CN106643781A (zh) * 2016-12-14 2017-05-10 英业达科技有限公司 车辆导航显示系统及其方法
US10776930B2 (en) * 2017-05-05 2020-09-15 John W. Perry Mobile device, system, and computerized method for tracking flying objects and displaying tracked flying objects on the mobile device
US11214248B2 (en) * 2017-05-11 2022-01-04 Mitsubishi Electric Corporation In-vehicle monitoring camera device
JP6878221B2 (ja) * 2017-09-12 2021-05-26 日立建機株式会社 作業機械の障害物検知システム
JP7062982B2 (ja) 2018-02-02 2022-05-09 コニカミノルタ株式会社 画像形成装置及びプログラム
DE102018208278A1 (de) * 2018-05-25 2019-11-28 Robert Bosch Gmbh Betriebsassistenzverfahren, Steuereinheit, Betriebsassistenzsystem und Arbeitsvorrichtung

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018042567A1 (ja) * 2016-08-31 2018-03-08 日立建機株式会社 周辺監視システム及び周辺監視装置
WO2018151280A1 (ja) * 2017-02-17 2018-08-23 住友重機械工業株式会社 作業機械用周辺監視システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4286611A1 (en) * 2022-06-01 2023-12-06 Yanmar Holdings Co., Ltd. Work machine control method, work machine control program, work machine control system, and work machine

Also Published As

Publication number Publication date
JP7308089B2 (ja) 2023-07-13
US20220298756A1 (en) 2022-09-22
DE112020002788T5 (de) 2022-07-07
JP2021019253A (ja) 2021-02-15
CN114051725A (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
WO2021010258A1 (ja) 作業車両の表示システムおよび作業車両の表示方法
JP6096980B2 (ja) 施工情報表示装置および施工情報の表示方法
JP7058569B2 (ja) 作業機械
WO2016158265A1 (ja) 作業機械
JP6886258B2 (ja) ホイールローダおよびホイールローダの制御方法
JPWO2016174754A1 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
US20220317842A1 (en) Control device, work machine, and control method
CN107407077A (zh) 挖土机
WO2021200798A1 (ja) 検出システムおよび検出方法
WO2021010467A1 (ja) 作業車両の表示システムおよび作業車両の表示方法
US11941313B2 (en) Working machine control device, working machine, and working machine control method for performing screen control based on identified position
US20210312721A1 (en) Reproduction device, analysis assistance system, and reproduction method
KR20230035397A (ko) 작업 기계의 장애물 통지 시스템 및 작업 기계의 장애물 통지 방법
WO2021187082A1 (ja) 作業機械および作業機械の制御方法
WO2021215198A1 (ja) 作業機械の障害物報知システムおよび作業機械の障害物報知方法
WO2022038923A1 (ja) 作業機械の障害物報知システムおよび作業機械の障害物報知方法
WO2020170527A1 (ja) 作業機械用周辺監視装置
JP6826643B1 (ja) 作業機械
CN115698438A (zh) 实机状态监视系统以及实机状态监视方法
KR20230047395A (ko) 표시 장치, 및 그것을 구비하는 작업 기계
JP2023176830A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20839577

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20839577

Country of ref document: EP

Kind code of ref document: A1