WO2018084146A1 - 作業機械用周辺監視システム - Google Patents

作業機械用周辺監視システム Download PDF

Info

Publication number
WO2018084146A1
WO2018084146A1 PCT/JP2017/039339 JP2017039339W WO2018084146A1 WO 2018084146 A1 WO2018084146 A1 WO 2018084146A1 JP 2017039339 W JP2017039339 W JP 2017039339W WO 2018084146 A1 WO2018084146 A1 WO 2018084146A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
person
display
work machine
monitoring
Prior art date
Application number
PCT/JP2017/039339
Other languages
English (en)
French (fr)
Inventor
泉川　岳哉
Original Assignee
住友建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友建機株式会社 filed Critical 住友建機株式会社
Priority to JP2018549017A priority Critical patent/JP7171436B2/ja
Priority to KR1020187035110A priority patent/KR102256384B1/ko
Priority to CN201780036721.XA priority patent/CN109314769B/zh
Priority to EP17866645.9A priority patent/EP3537713B1/en
Publication of WO2018084146A1 publication Critical patent/WO2018084146A1/ja
Priority to US16/363,194 priority patent/US11047113B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/81—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection

Definitions

  • the present invention relates to a peripheral monitoring system for work machines.
  • Perimeter monitoring for displaying a monitoring image for example, a bird's-eye view viewed from directly above the work machine
  • a monitoring image for example, a bird's-eye view viewed from directly above the work machine
  • an imaging device camera
  • An apparatus is known (for example, refer to Patent Document 1).
  • Patent Document 1 when a person is detected in a predetermined area around the work machine, the monitoring image is enlarged from the wide area display to the vicinity display.
  • Patent Document 1 the monitoring image is enlarged from the wide area display to the near area display around the image that simply represents the work machine. For this reason, the operator may not be able to immediately grasp the state of the detected person displayed around the image imitating the central work machine in the monitoring image.
  • an object of the present invention is to provide a work machine periphery monitoring system that allows an operator to quickly grasp the state of a detected person when a person is detected around the work machine. To do.
  • a display device provided in the cabin of the work machine; An imaging device for imaging the periphery of the work machine; An image generating unit that generates a peripheral image of the work machine based on a captured image of the imaging device; For monitoring including a work machine image schematically representing the work machine, and the surrounding image arranged around the work machine image in accordance with a relative positional relationship between the work machine and an imaging range of the imaging device
  • a display control unit for displaying an image on the display device;
  • a human detection unit for detecting a person in a predetermined area around the work machine, The display control unit is a partial region of the peripheral image in the monitoring image and is included in the peripheral image rather than the work machine image when a person is detected in the predetermined region by the human detection unit. Centered on a position close to the person, the display device displays an enlarged monitoring image in which a partial area including the person is enlarged,
  • a work machine peripheral monitoring system is provided.
  • FIG. 1 is a diagram illustrating an example of a work machine on which the periphery monitoring system 100 according to the present embodiment is mounted, and more specifically, a side view of an excavator.
  • the periphery monitoring system 100 may be mounted on a work machine other than an excavator, for example, a wheel loader, an asphalt finisher, or the like.
  • the shovel according to the present embodiment includes a lower traveling body 1, an upper revolving body 3 that is mounted on the lower traveling body 1 so as to be able to swivel via a turning mechanism 2, a boom 4, an arm 5, and a bucket 6 as working devices. And a cabin 10 on which the operator is boarded.
  • the lower traveling body 1 includes, for example, a pair of left and right crawlers, and each crawler is hydraulically driven by a traveling hydraulic motor (not shown) to cause the excavator to travel.
  • the upper swing body 3 rotates with respect to the lower traveling body 1 by being driven by a swing hydraulic motor, an electric motor (both not shown) or the like.
  • the boom 4 is pivotally attached to the center of the front part of the upper swing body 3 so that the boom 4 can be raised and lowered.
  • An arm 5 is pivotally attached to the tip of the boom 4 and a bucket 6 is vertically attached to the tip of the arm 5. It is pivotally attached so that it can rotate.
  • the boom 4, the arm 5, and the bucket 6 are hydraulically driven by a boom cylinder 7, an arm cylinder 8, and a bucket cylinder 9, respectively.
  • the cabin 10 is a cockpit where an operator boardes, and is mounted on the front left side of the upper swing body 3.
  • the excavator includes a controller 30, an imaging device 40, an object detection sensor 42, and a display device 50.
  • the controller 30 is a control device that performs drive control of the excavator.
  • the controller 30 is mounted in the cabin 10.
  • the imaging device 40 is attached to the upper part of the upper swing body 3 and images the periphery of the excavator.
  • the imaging device 40 includes a rear camera 40B, a left side camera 40L, and a right side camera 40R.
  • the rear camera 40B is attached to the upper part of the rear end of the upper swing body 3, and images the rear of the upper swing body 3.
  • the left side camera 40L is attached to the upper left end of the upper swing body 3 and images the left side of the upper swing body 3.
  • the right side camera 40R is attached to the upper right end of the upper swing body 3 and images the right side of the upper swing body 3.
  • the object detection sensor 42 is attached to the outer surface or the like of the upper swing body 3 and detects an object (obstacle) around the excavator, specifically, the rear, left side, and right side of the upper swing body 3. To do.
  • the object that can be detected by the object detection sensor 42 may include a person.
  • the object detection sensor 42 detects a sensor behind the upper swing body 3, a sensor that detects an object on the left side of the upper swing body 3, and an object on the right side of the upper swing body 3. It may be an embodiment including three sensors to be detected.
  • the object detection sensor 42 for example, an ultrasonic sensor or a millimeter wave that can detect an object by outputting a detection wave or a laser to the periphery of the excavator (upper rotating body 3) and receiving the reflected wave or reflected light. Radar, LIDAR (Light Detection and Ranging), etc. can be included.
  • the object detection sensor 42 can determine whether the detected object is a person or an object other than a person based on the intensity of a reflected wave or reflected light.
  • the object detection sensor 42 may be a stereo camera, for example.
  • the display device 50 is provided around the cockpit in the cabin 10 and displays various image information notified to the operator under the control of the controller 30 (a display control unit 302 described later).
  • FIG. 2A is a block diagram showing an example of the configuration of the periphery monitoring system 100 according to the present embodiment.
  • the periphery monitoring system 100 includes a controller 30, an imaging device 40, and a display device 50.
  • the controller 30 performs main control processing in the periphery monitoring system 100.
  • the controller 30 may be realized by arbitrary hardware, software, or a combination thereof.
  • the controller 30 is mainly configured by a microcomputer including a CPU, RAM, ROM, I / O, and the like.
  • the controller 30 includes a human detection unit 301 and a display control unit 302 as functional units realized by executing various programs stored in the ROM on the CPU.
  • the imaging device 40 includes the rear camera 40B, the left side camera 40L, and the right side camera 40R as described above.
  • the rear camera 40B, the left side camera 40L, and the right side camera 40R are mounted on the upper part of the upper revolving unit 3 so that the optical axis is obliquely downward, and includes an image in the vertical direction including the ground in the vicinity of the shovel to the far side of the shovel. It has a range (angle of view).
  • the rear camera 40B, the left side camera 40L, and the right side camera 40R output a captured image to the controller 30 at predetermined intervals (for example, 1/30 seconds) during operation of the excavator, and the captured image is captured by the controller 30. It is.
  • the object detection sensor 42 outputs the detection results of the periphery of the upper swing body 3 (specifically, the back, left side, and right side detection results of the upper swing body 3 to the controller 30 at predetermined intervals during the operation of the shovel.
  • the detection result is captured by the controller 30.
  • the display device 50 displays a captured image (through image) of the imaging device 40, a peripheral image (for example, a viewpoint conversion image described later) generated by the controller 30 (display control unit 302) based on the captured image of the imaging device 40, and the like. To do.
  • the person detection unit 301 detects a person within a predetermined area around the shovel, for example, a person within a predetermined distance D1 (for example, 5 meters) from the shovel, based on the captured image captured by the imaging device 40.
  • the human detection unit 301 recognizes a person in the captured image by arbitrarily applying various known image processing methods, machine learning-based classifiers, and the like, and recognizes the actual position of the recognized person (recognized from the shovel).
  • the distance D to the person who has done this can be specified.
  • the human detection unit 301 is based on the detection result of the object detection sensor 42 and determines a predetermined area around the shovel. A person in the area may be detected. At this time, the human detection unit 301 can determine whether or not the detected object is a person based on characteristics such as the intensity or pattern of the reflected wave or reflected light included in the detection result of the object detection sensor 42. it can. The human detection unit 301 may detect a person who is a monitoring target based on both a captured image captured by the imaging device 40 and a detection result by the object detection sensor 42 by so-called sensor fusion.
  • the display control unit 302 displays various information images on the display device 50.
  • the display control unit 302 generates a peripheral image based on the captured image of the imaging device 40 and causes the display device 50 to display the peripheral image.
  • the display control unit 302 performs a known viewpoint conversion process based on the captured images of the rear camera 40B, the left camera 40L, and the right camera 40R as the peripheral images, thereby generating a viewpoint converted image (virtual viewpoint).
  • the image viewed from the above is generated and displayed on the display device 50.
  • the display control unit 302 clearly shows the relative positional relationship with respect to the shovel of the imaging range of the imaging device 40 that appears in the peripheral image.
  • An example of a machine image is also displayed on the display device 50. That is, the display control unit 302 generates and displays a monitoring image including a shovel image and a peripheral image arranged around the shovel image in accordance with the relative positional relationship between the shovel and the imaging range of the imaging device 40. It is displayed on the device 50.
  • the monitoring image displayed on the display device 50 will be described together with the details of the display device 50 with reference to FIG. 3.
  • FIG. 3 is a diagram illustrating an example of a monitoring image displayed on the display device 50.
  • the display device 50 includes a display unit 50 ⁇ / b> A on which various information images are displayed and a hardware operation that operates an operation target (for example, an operation button icon or a cursor) displayed on the various information images. Part 50B.
  • an operation target for example, an operation button icon or a cursor
  • the display unit 50A displays not only the monitoring image MP but also the driving information image IP that presents various information related to the excavator driving. Specifically, the monitoring image MP is displayed on the upper half of the display unit 50A, and the driving information image IP is displayed on the lower half.
  • the driving information image IP includes a date / time display area IPa, a travel mode display area IPb, an end attachment display area IPc, an engine control state display area IPe, an engine operating time display area IPf, a cooling water temperature display area IPg, a remaining fuel amount display area IPh, A rotation speed mode display area IPi, a hydraulic oil temperature display area IPk, a camera image display area IPm, an alarm display area IPp, and a direction display icon IPx are included.
  • the date / time display area IPa is an area for displaying an image of the current date and time.
  • digital display is adopted, the date is February 19, 2013, and the time is 23:59.
  • the traveling mode display area IPb is an area for displaying an image of the current traveling mode.
  • the traveling mode represents a set state of the traveling hydraulic motor using the variable displacement pump. Specifically, the traveling mode has a low speed mode and a high speed mode.
  • the low-speed mode is displayed with a mark imitating “turtle”, and the high-speed mode is displayed with a mark imitating “ ⁇ ”.
  • a mark representing a “turtle” is displayed, and the operator can recognize that the low speed mode is set.
  • the end attachment display area IPc is an area for displaying an image representing the currently attached end attachment.
  • the end attachment attached to the shovel includes various end attachments such as a rock drill, grapple, and lifting magnet in addition to the bucket 6.
  • the end attachment display area IPc displays, for example, marks that represent these end attachments. In this example, a mark representing a rock drill is displayed, and the operator can recognize that the rock drill is attached as an end attachment.
  • Engine control state display area IPe is an area for displaying an image of the engine control state.
  • the operator can recognize that “automatic deceleration / automatic stop mode” is selected as the engine control state.
  • the “automatic deceleration / automatic stop mode” means a control state in which the engine speed is automatically reduced and the engine is automatically stopped according to the duration of the state where the engine load is low.
  • the engine control state includes “automatic deceleration mode”, “automatic stop mode”, “manual deceleration mode”, and the like.
  • the engine operating time display area IPf is an area for displaying an image of the accumulated operating time of the engine. In this example, a value using the unit “hr (hour)” is displayed.
  • the cooling water temperature display area IPg is an area for displaying an image of the current temperature state of the engine cooling water.
  • a bar graph representing the temperature state of the engine coolant is displayed.
  • the engine coolant temperature is displayed based on data output from a water temperature sensor attached to the engine.
  • the cooling water temperature display area IPg includes an abnormal range display IPg1, a caution range display IPg2, a normal range display IPg3, a segment display IPg4, and an icon display IPg5.
  • the abnormal range display IPg1, the caution range display IPg2, and the normal range display IPg3 are displays for notifying the operator that the temperature of the engine coolant is in an abnormally high temperature state, a state requiring attention, and a normal state, respectively.
  • the segment display IPg4 is a display for notifying the operator of the temperature level of the engine coolant.
  • the icon display IPg5 is an icon such as a symbol figure indicating that the abnormal range display IPg1, the caution range display IPg2, the normal range display IPg3, and the segment display IPg4 are displays related to the engine coolant temperature.
  • the icon display IPg5 may be character information indicating that the display is related to the temperature of the engine coolant.
  • the segment display IPg4 is composed of eight segments whose lighting / extinguishing states are individually controlled, and the number of lighting segments increases as the cooling water temperature increases. In this example, four segments are lit.
  • the segment display IPg4 forms a part (arc) of a predetermined circle, and is displayed so that the length of the arc expands and contracts according to the vertical movement of the engine coolant temperature.
  • the temperature range represented by each segment is the same, but the temperature range may be changed for each segment.
  • the abnormal range display IPg1, the caution range display IPg2, and the normal range display IPg3 are arcuate figures arranged side by side along the expansion / contraction direction (circumferential direction of a predetermined circle) of the segment display IPg4. It is displayed in red, yellow and green.
  • the segment display IPg4 the first (lowest) to sixth segments belong to the normal range, the seventh segment belongs to the caution range, and the eighth (highest) segment belongs to the abnormal range.
  • the abnormal range display IPg1, the caution range display IPg2, and the normal range display IPg3 are displayed as arcuate figures, but characters, symbols representing the abnormal level, the caution level, and the normal level are displayed. Etc. may be displayed at each boundary portion.
  • the above-described configuration including the abnormal range display, the caution range display, the normal range display, the segment display, and the icon display can be similarly adopted in the remaining fuel amount display area IPh and the hydraulic oil temperature display area IPk.
  • the remaining fuel amount display area IPh instead of displaying arc-shaped figures representing the abnormal range, the caution range, and the normal range, the letter “F” or black circle (filled) indicating “Full (full tank)” is displayed. (Circle)), the letter “E” representing “Empty (empty state)”, a white circle (unfilled circle), or the like may be displayed at each boundary portion.
  • Fuel remaining amount display area IPh is an area for displaying an image of the remaining amount of fuel stored in the fuel tank.
  • a bar graph representing the current remaining fuel level is displayed.
  • the remaining amount of fuel in the remaining fuel amount display area IPh is displayed based on data output by the remaining fuel amount sensor in the fuel tank.
  • the rotation speed mode display area IPi is an area for displaying an image of the current rotation speed mode.
  • the rotation speed mode includes, for example, the above-described four modes of SP mode, H mode, A mode, and idling mode.
  • the symbol “SP” representing the SP mode is displayed.
  • the hydraulic oil temperature display area IPk is an area for displaying an image of the temperature state of the hydraulic oil in the hydraulic oil tank. In this example, a bar graph representing the temperature state of the hydraulic oil is displayed. The temperature of the hydraulic oil in the hydraulic oil temperature display area IPk is displayed based on data output from the oil temperature sensor in the hydraulic oil tank.
  • a needle display may be employed instead of the bar graph display.
  • the camera image display area IPm is an area for displaying at least one captured image (through image) of the rear camera 40B, the left camera 40L, and the right camera 40R as it is. Thereby, the operator can visually recognize the captured image (through image) captured by the imaging device 40 in addition to the monitoring image MP in the driving information image IP.
  • a captured image that is always captured by the rear camera 40B may be displayed while the excavator is operating.
  • the captured image (through image) of the rear camera 40B in the camera image display area IPm is preferably displayed as a mirror image.
  • the camera image display area IPm occupies an area of about two-thirds on the right side of the driving information image IP.
  • the remaining fuel amount display area IPh and the like are displayed on the side close to the driver's seat (operator), and the camera image display area IPm on the side far from the driver's seat (operator). This is because the overall visibility is improved.
  • the size and arrangement of each display area in the driving information image IP may be changed as necessary.
  • the captured image displayed in the camera image display area IPm is switched from the imaging device 40 that is the imaging source of the displayed captured image according to a touch operation or the like on the touch panel display unit 50A or an operation on the operation unit 50B.
  • the captured image may be enlarged or reduced.
  • the operator performs an operation of designating the left / right direction with the cross button 50Ba of the operation unit 50B, whereby the imaging device 40 (rear camera 40B) that is the imaging source of the captured image (through image) displayed in the camera image display area IPm.
  • the left camera 40L and the right camera 40R) can be switched.
  • the operator can enlarge or reduce the captured image by pressing each of the button for designating the upward direction and the button for designating the downward direction of the enlargement / reduction button 50Bb. Good.
  • the operator can specify a position by touching an arbitrary position of the camera image display area IPm on the touch panel type display unit 50A, and can perform enlargement / reduction around the specified position.
  • the operator may move the cursor with the cross button 50Ba so that the operator can perform enlargement / reduction about the cursor position.
  • the alarm display area IPp is an area for displaying an alarm.
  • a warning message indicating that an electrical system abnormality has occurred is displayed superimposed on the through image.
  • an alarm is displayed in the alarm display area IPp to warn that if a lever operation is performed without the captured image captured by the rear camera 40B being displayed in the camera image display area IPm.
  • the In the alarm display area IPp when there is no alarm to be displayed, the through image is displayed as it is.
  • the orientation display icon IPx is an icon that represents a relative relationship between the orientation of the imaging device 40 that captured the captured image (through image) displayed in the driving information image IP and the orientation of the excavator (attachment of the upper swing body 3). .
  • an orientation display icon IPx indicating that the imaging device 40 that captures the camera image displayed in the camera image display area IPm is the rear camera 40B is displayed in the lower right corner of the camera image display area IPm.
  • the orientation display icon IPx may be displayed at a position other than the lower right corner, such as the lower center, lower left corner, upper right corner, upper left corner, etc. of the camera image display area IPm, and is displayed outside the camera image display area IPm. Also good.
  • the driving information image IP may omit a part of the above-described display areas IPa to IPk, or may include display areas other than those described above.
  • the operation information image IP may include an exhaust gas filter state display area for displaying a clogging degree of an exhaust gas filter (for example, a diesel particulate filter (DPF: Diesel Particulate Filter) or the like).
  • the exhaust gas filter state display area may display a bar graph indicating the ratio of the current usage time to the allowable maximum usage time of the exhaust gas filter.
  • the display of the temperature state of the hydraulic oil may be omitted, and the display of the temperature state of the hydraulic oil and the temperature state of the cooling water may be omitted.
  • the lower part of the camera image display area IPm includes a cover image IPq as a vehicle body image that is an image of the upper edge of the rear end of the cover 3a of the upper swing body 3.
  • the display device 50 allows the operator to more easily grasp the sense of distance between the object displayed in the camera image display area IPm and the excavator.
  • the orientation display icon IPx is displayed superimposed on the cover image IPq. This is because the orientation color of the orientation display icon IPx is always the same so as to improve the visibility. Another reason is to prevent the display icon IPx from hiding the part of the camera image that the user wants to see. However, the orientation display icon IPx may be displayed outside the camera image display area IPm.
  • the shovel image CG and the shovel image are displayed in the upper half of the horizontally long rectangular area (for example, a screen with an aspect ratio of 4: 3) in the display unit 50A of the display device 50.
  • a monitoring image MP including a peripheral image EP arranged around the CG is displayed. Accordingly, the operator can appropriately grasp the positional relationship between the object including the person shown in the peripheral image EP and the excavator.
  • the peripheral image EP in this example is a viewpoint conversion image that combines a road surface image of the excavator periphery viewed from directly above and a horizontal image that is arranged around the road surface image and viewed in the horizontal direction of the excavator periphery.
  • Peripheral images are obtained by projecting captured images of the rear camera 40B, the left camera 40L, and the right camera 40R onto a spatial model, and then projecting the projection image projected onto the spatial model into another two images. It is obtained by reprojecting on a dimensional plane.
  • the space model is a projection target of the captured image in the virtual space, and is configured by one or a plurality of planes or curved surfaces including a plane or a curved surface other than the plane on which the captured image is located.
  • the peripheral image in the present embodiment is a viewpoint conversion image obtained by combining the road surface image and the horizontal image.
  • a line segment L representing a position where the distance D from the excavator is constant may be superimposed and displayed on the monitoring image.
  • the line segment L represents the position of the predetermined distance D2 whose distance from the excavator is smaller than the predetermined distance D1, for example.
  • the monitoring image MP is enlarged or monitored according to a touch operation on the touch panel type display unit 50A or an operation on the operation unit 50B, like the camera image display area IPm of the driving information image IP described above. Reduction may be performed.
  • the operator can enlarge or reduce the monitoring image by pressing each of the button for designating the upward direction and the button for designating the downward direction of the enlargement / reduction button 50Bb. It's okay.
  • the operator can designate a position by touching an arbitrary position of the monitoring image MP on the touch panel display unit 50A, and can perform enlargement / reduction around the designated position.
  • the operator may move the cursor with the cross button 50Ba so that the operator can perform enlargement / reduction about the cursor position.
  • the display control unit 302 changes the display mode of the monitoring image so that the detected person can be easily seen by the operator. Specifically, when a person is detected in a predetermined area around the shovel by the person detection unit 301, the display control unit 302 displays the monitoring image, and the position of the detected person in the monitoring image is The display mode is changed to emphasize (emphasize) more than other positions.
  • the display control unit 302 enlarges a partial area of a peripheral image including the detected person (hereinafter referred to as “enlargement”).
  • a monitor image ”) and generated on the display device 50 is referred to as “enlargement”.
  • the monitoring image when no person is detected in the predetermined area around the shovel by the human detection unit 301 is referred to as a “normal monitoring image”.
  • the display control unit 302 is a partial region of the peripheral image in the normal monitoring image, and includes the person who is centered on a position closer to the detected person included in the peripheral image than the shovel image.
  • An enlarged monitoring image in which the partial area is enlarged is generated.
  • the display control unit 302 generates an enlarged monitoring image in which the excavator image is enlarged in accordance with a partial region of the peripheral image. Accordingly, the display control unit 302 arranges the monitoring image with a position close to the detected person as a center, and enlarges a partial area including the detected person's position, thereby detecting the detected person. It is possible to cause the display device 50 to display a monitoring image in a display mode in which the position of is more important than other positions.
  • the display control unit 302 may generate an enlarged monitoring image by cutting out and enlarging a partial area of the normal monitoring image. Further, the display control unit 302 generates a peripheral image (viewpoint conversion image) corresponding to the partial area based on the captured image of the imaging device 40, and generates an enlarged monitoring image by combining with the shovel image. Also good.
  • the display control unit 302 may change the specification for changing the display mode of the monitoring image according to the distance D between the person and the shovel detected by the human detection unit 301.
  • the display control unit 302 may increase the enlargement ratio of the enlargement monitoring image with respect to the normal monitoring image as the distance D between the person detected by the person detection unit 301 and the shovel becomes smaller.
  • the display control unit 302 determines that the distance D is less than or equal to a predetermined distance D2 (D1> D2) when the distance D between the person and the shovel detected by the human detection unit 301 within a predetermined region around the shovel.
  • the enlargement ratio may be larger than when the distance is not less than the predetermined distance D2.
  • the enlarged monitoring image may include a larger area of the peripheral image. It becomes possible to grasp the condition, and it becomes easier to take future safe actions.
  • the display control unit 302 enlarges a partial area including the person whose monitoring image is detected, but the position close to the detected person in the normal monitoring image is the center of the screen.
  • the arrangement of the normal monitoring image on the screen may be changed.
  • the display control unit 302 may switch from the image before switching to the image after switching.
  • the image before switching may be continuously changed from the image before switching using a technique such as morphing.
  • the display control unit 302 when a person is detected in a predetermined area around the shovel by the person detecting unit 301, the display control unit 302 includes a peripheral image around the shovel viewed from a virtual viewpoint where the detected person is easily visible. A monitoring image is generated and displayed on the display device 50. That is, when the human detection unit 301 detects a person in a predetermined area around the shovel, the display control unit 302 converts the viewpoint from a virtual viewpoint different from the normal monitoring image based on the captured image of the imaging device 40. A monitoring image including an image (peripheral image) is generated and displayed on the display device 50.
  • the display control unit 302 displays a shovel image viewed from the same virtual viewpoint and a peripheral image arranged around the shovel image in accordance with the relative positional relationship between the shovel and the imaging range of the imaging device 40.
  • a monitoring image may be generated.
  • the monitoring image is referred to as “another viewpoint monitoring image”.
  • the display control unit 302 has another viewpoint corresponding to a partial area including the person in the peripheral image of the normal monitoring image.
  • a monitoring image (hereinafter referred to as “partial viewpoint monitoring image”) may be generated and displayed on the display device 50.
  • the partial viewpoint monitoring image may include a peripheral image including the detected person and at least a part of the excavator image arranged in a size and positional relationship corresponding to the peripheral image. .
  • the function of changing the display mode of the monitoring image may be a mode that can be turned ON / OFF by an operation by the operator.
  • the operator turns on / off the function by operating the operation target (predetermined icon button or the like) displayed on the touch panel type display unit 50A of the display unit 50A described above or the operation unit 50B using hardware. It may be possible.
  • FIG. 4 is a diagram for explaining a first example of an enlarged monitoring image displayed on the display device 50.
  • FIG. 4A is a normal monitoring image displayed on the display device 50
  • FIG. 4B is an enlarged monitoring image displayed on the display device 50 when a person is detected by the human detection unit 301. This is a first example.
  • the peripheral image EP in the monitoring image MP (normal monitoring image) has a position closer to the shovel than the line segment L behind the shovel, that is, an area within a predetermined distance D2 from the shovel behind the shovel.
  • the worker W1 is shown.
  • the person detection unit 301 when detecting the worker W1, the person detection unit 301 notifies the display control unit 302 that a person has been detected. Thereby, the display control unit 302 changes the display mode of the monitoring image as described above.
  • the display control unit 302 is closer to the worker W1 included in the peripheral image EP than the excavator image CG in the monitoring image MP (normal monitoring image) in FIG.
  • a monitoring image MP enlarged monitoring image
  • the display control unit 302 generates an enlargement monitoring image in which the excavator image CG is enlarged at the same enlargement rate in accordance with the partial area A1 of the peripheral image EP. That is, the display control unit 302 generates an enlarged monitoring image in which the partial area A1 is enlarged with the position of the worker W1 in the normal monitoring image as the center, and causes the display device 50 to display the enlarged monitoring image.
  • the worker W1 is located in the approximate center of the enlarged monitoring image displayed on the display device 50 in this example. Therefore, when a person (worker W1) is detected in a predetermined area around the shovel by the human detection unit 301, the operator looks at the display content (enlarged monitoring image) on the display device 50 and detects it. It is possible to easily grasp what action a person (worker W1) is performing. Therefore, the safety at the time of operation of the shovel by the operator can be improved. In this example, since at least a part of the shovel image is included in the enlarged monitoring image, the relative positional relationship between the person (worker W1) detected by the human detection unit 301 and the shovel can be easily grasped. be able to.
  • the change specification of the display mode from the normal monitoring image to the enlarged monitoring image is such that the center of the enlarged monitoring image is close to the person detected from the shovel image, and the touch panel type display unit 50A of the display device 50 or the like. It may be adjusted as appropriate by an operator's operation using the operation unit 50B by hardware. For example, the operator operates the touch panel type display unit 50A and the operation unit 50B to shift the enlargement ratio and the center of the enlargement monitoring image from the shovel image CG (shift amounts in the X axis direction and the Y axis direction on the display unit 50A). ) Etc. may be adjustable.
  • the operator enlarges the normal monitoring image at a favorite center position by operating the touch panel display unit 50A or the operation unit 50B in a state where the normal monitoring image is displayed on the display unit 50A. It is possible to set the center position and the enlargement rate of the enlarged image for monitoring by performing a predetermined confirmation operation after enlarging the rate to the area where the person is detected (back, left side, or right side). For each method, a plurality of specifications may be settable.
  • the operator operates the touch panel type display unit 50A and the operation unit 50B while the enlarged monitoring image is displayed on the display unit 50A, and sets the range of the peripheral image EP included in the enlarged monitoring image. The adjustment may be made as appropriate as long as the detected person is included. Thereby, the periphery monitoring system 100 can display on the display device 50 an enlarged monitoring image that suits the preference of the operator. The same applies to the cases of FIGS. 5 to 7 and FIG.
  • FIG. 5 is a diagram for explaining a second example of the enlargement monitoring image displayed on the display device 50.
  • FIG. 5A is a normal monitoring image displayed on the display device 50
  • FIG. 5B is an enlarged monitoring image displayed on the display device 50 when a person is detected by the human detection unit 301. This is a second example.
  • FIG. 5 the display unit 50A, the operation unit 50B, and the like of the display device 50 displayed in FIG. 4 are omitted, but as in the case of FIGS.
  • the images (the normal monitoring image and the enlarged monitoring image) may be displayed on the display unit 50A of the display device 50 together with the driving information image IP. The same applies to the cases of FIGS.
  • the peripheral image in the normal monitoring image shows the worker W1 in a position closer to the shovel than the line segment L behind the shovel, that is, in a region within a predetermined distance D2 from the shovel behind the shovel.
  • the worker W2 is shown in the vicinity of the line segment L on the right rear side of the excavator, that is, in the region near the predetermined distance D2 from the shovel on the rear side of the excavator.
  • the person detection unit 301 notifies the display control unit 302 that a person has been detected.
  • the display control unit 302 changes the display mode of the monitoring image as described above.
  • the display control unit 302 in the normal monitoring image is closer to the workers W1 and W2 included in the peripheral image EP than the excavator image CG (in this example, the worker Of the peripheral image EP including the workers W1 and W2 centered on the schematic centroid position of the figure defined by the positions of W1 and W2, that is, the substantially midpoint position of the line segment connecting the positions of the workers W1 and W2.
  • An enlarged monitoring image obtained by enlarging the partial area A2 is generated and displayed on the display device 50.
  • the display control unit 302 generates an enlargement monitoring image in which the excavator image CG is enlarged at the same enlargement rate in accordance with the partial area A2 of the peripheral image EP. That is, the display control unit 302 generates an enlarged monitoring image in which the partial area A2 is enlarged as it is centered on a substantially middle position of a line segment connecting the positions of the workers W1 and W2 in the normal monitoring image, It is displayed on the display device 50.
  • the enlarged monitoring image displayed on the display device 50 is displayed.
  • the workers W1 and W2 included are located closer to the center than the shovel image. Therefore, when two or more people (workers W1, W2) are detected by the human detection unit 301 within a predetermined area around the excavator, the operator includes the content displayed on the display device 50 (enlarged monitoring image). It is possible to easily recognize the detected person (workers W1, W2) arranged closer to the center. And an operator can grasp
  • an enlarged monitoring image is generated so that all the detected two or more people (workers W1, W2) are included, all the actions of the detected two or more people are grasped. can do.
  • the relative relationship between the person (workers W1, W2) detected by the human detection unit 301 and the shovel is relatively high. It is possible to easily grasp the positional relationship.
  • the shovel image enlarged at the same magnification as the peripheral image is included in the enlarged monitoring image with respect to the normal monitoring image, it is detected by the human detection unit 301. The relative positional relationship between the person (workers W1, W2) and the excavator can be grasped more accurately.
  • the display control unit 302 has a partial area A2 of the peripheral image EP including the workers W1 and W2 centered on the schematic centroid position of the figure defined by the positions of the workers W1 and W2 (see FIG.
  • An enlarged monitoring image is generated by enlarging (see 5A), but is not limited to this mode. That is, the enlargement monitoring image (partial area A2) may be centered at a position closer to the schematic centroid position of the figure defined by the positions of the workers W1 and W2 than the excavator image CG.
  • FIG. 6 is a diagram for explaining a third example of the enlarged monitoring image displayed on the display device 50.
  • FIG. 6A is a normal monitoring image displayed on the display device 50
  • FIG. 6B is an enlarged monitoring image displayed on the display device 50 when a person is detected by the human detection unit 301. This is a third example.
  • FIG. 6A is the same as FIG. 5A except for the arrangement of the part (partial area A3) surrounded by the alternate long and short dash line, and therefore, the description will focus on the part different from FIG. 5A.
  • workers W1 and W2 are shown in a predetermined area around the shovel of the normal monitoring image, as in FIG. 5A.
  • the person detection unit 301 when detecting the workers W1 and W2, the person detection unit 301 notifies the display control unit 302 that a person has been detected. Thereby, the display control unit 302 changes the display mode of the monitoring image as described above.
  • the display control unit 302 in the normal monitoring image is closer to the workers W1 and W2 included in the peripheral image EP than the excavator image CG (in this example, the worker A magnified monitoring image obtained by enlarging a partial area A3 (see FIG. 6A) of the peripheral image EP including the workers W1 and W2, centered on the worker W1) closest to the excavator among W1 and W2.
  • the display control unit 302 generates an enlarged monitoring image in which the excavator image CG is enlarged at the same enlargement rate in accordance with the partial area A3 of the peripheral image EP. That is, the display control unit 302 generates an enlarged monitoring image in which the partial area A3 is enlarged as it is centered on the position of the worker W1 in the normal monitoring image, and causes the display device 50 to display the enlarged monitoring image.
  • the worker W1 closest to the shovel among the two or more people (workers W1, W2) detected by the human detection unit 301 is displayed.
  • the operator confirms the display content (enlarged monitoring image) on the display device 50 when two or more people (workers W1, W2) are detected within a predetermined area around the shovel by the human detection unit 301.
  • the enlarged monitoring image is generated so that all of the detected two or more people are included, so that all the behaviors of the detected two or more people are grasped. be able to.
  • at least a part of the shovel image is included in the enlarged monitoring image, so the person (workers W1, W2) detected by the human detection unit 301 and the shovel are relative to each other. It is possible to easily grasp the positional relationship.
  • the shovel image enlarged at the same enlargement rate as the peripheral image is included in the enlarged monitoring image with respect to the normal monitoring image, it is detected by the human detection unit 301. The relative positional relationship between the person (workers W1, W2) and the excavator can be grasped more accurately.
  • FIG. 7 is a diagram for explaining a fourth example of the enlarged monitoring image displayed on the display device 50.
  • FIG. 7A is a normal monitoring image displayed on the display device 50
  • FIG. 7B is an enlarged monitoring image displayed on the display device 50 when a person is detected by the human detection unit 301. This is a fourth example.
  • the display device 50 has a vertically long rectangular screen (for example, a screen with an aspect ratio of 9:16).
  • 7A is the same as FIG. 4A except that the display device 50 is a vertically long rectangular screen and the arrangement of a portion (partial region A4) surrounded by a one-dot chain line is different from FIG. 4A.
  • the explanation will focus on the part.
  • the peripheral image in the normal monitoring image shows the worker W1 in the predetermined area around the excavator (backward) as in FIG. 4A.
  • the person detection unit 301 when detecting the worker W1, the person detection unit 301 notifies the display control unit 302 that a person has been detected. Thereby, the display control unit 302 changes the display mode of the monitoring image as described above.
  • the display control unit 302 in the normal monitoring image is closer to the worker W1 included in the peripheral image EP than the excavator image CG (in this example, the worker W1's
  • An enlarged monitoring image is generated by enlarging a partial area A4 of the peripheral image EP including the worker W1 centering on the position) and displayed on the display device 50.
  • the display control unit 302 includes a partial area A4 of the peripheral image EP that includes all the neighboring areas closer to the excavator (excavator image) than the line segment L, that is, all neighboring areas within the predetermined distance D2 from the shovel.
  • An enlarged monitoring image is generated by enlarging (see FIG. 7A).
  • the display control unit 302 generates an enlargement monitoring image in which the excavator image CG is enlarged at the same enlargement rate in accordance with the partial area A4 of the peripheral image EP. That is, the display control unit 302 enlarges the partial area A4 as it is, including the entire vicinity area within the predetermined distance D2 from the excavator in the peripheral image EP with the position of the worker W1 in the normal monitoring image as the center.
  • a monitoring image is generated and displayed on the display device 50.
  • the worker W1 is located in the approximate center of the enlarged monitoring image displayed on the display device 50 in this example, as in the first example. Therefore, when a person (worker W1) is detected in a predetermined area around the shovel by the human detection unit 301, the operator looks at the display content (enlarged monitoring image) on the display device 50 and detects it. It is possible to easily grasp what action a person (worker W1) is performing. Further, in this example, as in the first example and the like, since at least a part of the shovel image is included in the enlarged monitoring image, the person (worker W1) detected by the human detection unit 301 and the shovel are relatively relative. The positional relationship can be easily grasped.
  • the shovel image enlarged at the same enlargement rate as the peripheral image is included in the enlarged monitoring image with respect to the normal monitoring image, it is detected by the human detection unit 301.
  • the relative positional relationship between the person (worker W1) and the excavator can be grasped more accurately.
  • the operator since all of the neighboring areas within the predetermined distance D2 from the shovel are included in the enlarged monitoring image, the operator can detect the behavior of the detected person while checking the situation of the neighboring area near the shovel. Can be grasped. Therefore, the safety at the time of operation of the shovel by the operator can be further enhanced.
  • FIG. 8 is a diagram illustrating an example of another viewpoint monitoring image displayed on the display device 50.
  • description will be given on the assumption that FIG. 8 is a different viewpoint monitoring image switched from the normal monitoring image of FIG. 4A.
  • the person detection unit 301 detects the worker W1.
  • the display control unit 302 is notified that a person has been detected. Thereby, the display control unit 302 changes the display mode of the monitoring image as described above.
  • the display control unit 302 is based on the captured image of the imaging device 40 and is obliquely above the rear of the shovel (in this example, an angular direction 45 degrees above the horizontal plane behind the shovel.
  • the peripheral image EP is generated as a viewpoint conversion image viewed from the virtual viewpoint (the same applies to FIG. 9).
  • the display control unit 302 displays the shovel image CG together with the excavator image CG viewed from a virtual viewpoint obliquely above and behind the shovel similar to the surrounding image, and the relative positional relationship between the shovel and the imaging range of the imaging device 40.
  • Another viewpoint monitoring image including the peripheral image EP arranged around is displayed on the display device 50.
  • the operator can virtually realize the state in which the operator and the excavator are viewed obliquely from above the excavator, the operator can determine the positional relationship between the person (worker W1) detected behind the excavator and the excavator. It becomes easy to grasp (feeling of distance).
  • the display control unit 302 may generate another viewpoint monitoring image including a peripheral image as a viewpoint conversion image viewed from a virtual viewpoint diagonally forward of the excavator and display the generated image on the display device 50.
  • a viewpoint monitoring image including a peripheral image as a viewpoint conversion image viewed from a virtual viewpoint diagonally forward of the excavator and display the generated image on the display device 50.
  • the display control unit 302 when the person detection unit 301 detects a person relatively behind the shovel, detects an obliquely upward direction in which the angle direction of the virtual viewpoint with respect to the horizontal plane is shifted from directly above to the front or back.
  • Another viewpoint monitoring image including a peripheral image as a viewpoint conversion image viewed from the above may be generated and displayed on the display device 50.
  • the periphery monitoring system 100 can prompt the operator to grasp the person (worker W1) detected in the monitoring image.
  • the periphery monitoring system 100 shifts the angle direction of the virtual viewpoint with respect to the horizontal plane relative to the side where the person is present as viewed from the shovel (in the case of this example), as described above.
  • the periphery monitoring system 100 shifts the angle direction of the virtual viewpoint with respect to the horizontal plane to the side where the person is present relative to the shovel (in the case of this example, the rear), so that the area behind the shovel including the worker And the operator's situation is easily grasped by the operator.
  • the display control unit 302 changes the angular direction of the virtual viewpoint with respect to the horizontal plane from right above to right.
  • another viewpoint monitoring image including a peripheral image as a viewpoint conversion image viewed from an obliquely upward direction shifted to the left may be generated and displayed on the display device 50.
  • the periphery monitoring system 100 prompts the operator to grasp the detected person (worker W1) in the monitoring image, as in the case where a person who is relatively behind when detected from the shovel is detected. be able to.
  • the imaging device 40 may include a camera (front camera) that images the front of the excavator (upper revolving unit 3), and the human detection unit 301 also detects a person in a predetermined area including the front of the shovel. May be detected.
  • the display control unit 302 may generate a normal monitoring image including a peripheral image obtained by combining a bird's-eye image obtained by viewing a horizontal 360 ° range around the shovel from directly above and a horizontal image. Then, the display control unit 302 determines the angle direction of the virtual viewpoint with respect to the horizontal plane when the person detection unit 301 detects a person who is relatively forward when viewed from the shovel, as in the case where the person behind is detected.
  • Another viewpoint monitoring image including a peripheral image as a viewpoint conversion image viewed from an obliquely upward direction shifted from directly above to the front or rear may be generated and displayed on the display device 50.
  • the periphery monitoring system 100 prompts the operator to grasp the detected person (worker W1) in the monitoring image, as in the case where a person who is relatively behind when detected from the shovel is detected. be able to. The same applies to the case of partial viewpoint monitoring images.
  • FIG. 9 is a diagram illustrating an example of the partial viewpoint monitoring image displayed on the display device 50.
  • description will be given on the assumption that FIG. 8 is a different viewpoint monitoring image switched from the normal monitoring image of FIG. 4A.
  • the person detection unit 301 detects the worker W1.
  • the display control unit 302 is notified that a person has been detected. Thereby, the display control unit 302 changes the display mode of the monitoring image as described above.
  • the display control unit 302 detects a normal monitoring image, which is a viewpoint conversion image from a virtual viewpoint obliquely rearward of the excavator, based on a captured image of the imaging device 40.
  • a peripheral image is generated as a viewpoint conversion image corresponding to a partial region including a portion where a person is present. Then, the display control unit 302 matches the relative position relationship between the part of the shovel image CG viewed from a virtual viewpoint obliquely above the shovel rearward and the image pickup range of the image pickup device 40 as with the surrounding image.
  • a partial viewpoint monitoring image including a peripheral image EP arranged around (a part of) CG is displayed on the display device 50.
  • the operator can virtually realize the state where the operator and the excavator are seen from diagonally above the excavator, so that the operator can detect the person ( It becomes easy to grasp the positional relationship (sense of distance) between the worker W1) and the excavator. Further, in this example, since only a partial area including the detected person in the normal monitoring image is displayed on the display device 50 as the partial viewpoint monitoring image, the operator can display the status of the detected person. It becomes easier to grasp.
  • the display control unit 302 displays a partial viewpoint monitoring image including a peripheral image as a viewpoint conversion image obtained by viewing a partial region including a person from which a normal monitoring image is detected from a virtual viewpoint diagonally forward of the shovel. It may be generated and displayed on the display device 50.
  • a partial viewpoint monitoring image including a peripheral image as a viewpoint conversion image obtained by viewing a partial region including a person from which a normal monitoring image is detected from a virtual viewpoint diagonally forward of the shovel. It may be generated and displayed on the display device 50.
  • the display control unit 302 when the person detection unit 301 detects a person relatively behind the shovel, detects an obliquely upward direction in which the angle direction of the virtual viewpoint with respect to the horizontal plane is shifted from directly above to the front or back. Generating and displaying a partial viewpoint monitoring image including a peripheral image as a viewpoint conversion image corresponding to a partial area including a portion where the detected person of the normal monitoring image is present. You may display on the apparatus 50. FIG. Thereby, the periphery monitoring system 100 can further prompt the operator to grasp the person (worker W1) detected in the monitoring image.
  • the display control unit 302 changes the angular direction of the virtual viewpoint with respect to the horizontal plane from right above to right.
  • it is a viewpoint conversion image viewed from an obliquely upward direction shifted to the left, and includes a peripheral image as a viewpoint conversion image corresponding to a partial area including a portion where a person is detected in the normal monitoring image
  • a viewpoint monitoring image may be generated and displayed on the display device 50.
  • the periphery monitoring system 100 further grasps the detected person (worker W1) in the monitoring image with respect to the operator, as in the case where a person who is relatively behind when detected from the shovel is detected. Can be urged.
  • the partial viewpoint monitoring image shown in FIG. 9 corresponds to a partial area A2 of the different viewpoint monitoring image of FIG. Therefore, the display control unit 302 generates a different viewpoint monitoring image based on the captured image of the imaging device 40, and then cuts out and enlarges a partial area A2 of the generated different viewpoint conversion image for partial viewpoint monitoring. An image may be generated.
  • FIG. 10 is a flowchart schematically showing an example of display processing by the periphery monitoring system 100 (display control unit 302) according to the present embodiment.
  • the processing according to this flowchart is performed when, for example, the display of the normal monitoring image or the human detection monitoring image on the display device 50 is started in accordance with a predetermined start operation or a predetermined start condition by the operator. And is repeatedly executed at predetermined time intervals. Further, the processing according to this flowchart is, for example, the display of the monitoring image (the normal monitoring image or the human detection monitoring image) on the display device 50 is terminated in accordance with a predetermined end operation or a predetermined end condition by the operator. When it is done, the process is terminated.
  • step S101 the display control unit 302 determines whether or not the function for changing the display mode of the monitoring image at the time of human detection is turned on. If the function is turned on, the display control unit 302 proceeds to step S102, and otherwise, ends the current process.
  • step S102 the display control unit 302 determines whether the human detection unit 301 has detected a person within a predetermined area around the shovel. If the human detection unit 301 has not detected a person, the display control unit 302 proceeds to step S104. If the human detection unit 301 has detected a person, the display control unit 302 proceeds to step S106.
  • step S104 the display control unit 302 causes the display device 50 to display a normal monitoring image.
  • step S106 the display control unit 302 causes the display device 50 to display a monitoring image for human detection.
  • the display control unit 302 uses an operator or the like in advance from two or more human detection monitoring images among the enlargement monitoring image, the different viewpoint monitoring image, and the partial viewpoint monitoring image by the processing in this step.
  • One person detection monitoring image selected in accordance with the selection operation may be displayed.
  • the display control unit 302 displays only one of the monitoring images for human detection among the enlargement monitoring image, the different viewpoint monitoring image, and the partial viewpoint monitoring image by the processing of this step. 50 may be displayed.
  • step S108 the display control unit 302 switches the previous image on the display device 50 (image switching from the normal monitoring image to the human detection monitoring image, or from the human detection monitoring image to the normal monitoring image). It is determined whether or not a predetermined time has elapsed since the image switching.
  • the display control unit 302 repeats the process of this step when the predetermined time or more has not elapsed since the previous image switching in the display device 50, and when the predetermined time or more has elapsed since the previous screen switching (or according to this flowchart). When the screen is not switched after the start of the process), the process returns to step S102 to repeat the process according to this flowchart.
  • the display control unit 302 is a partial region of the peripheral image in the normal monitoring image when the human detection unit 301 detects a person within a predetermined region, and is more than the shovel image.
  • the display device 50 is caused to display an enlarged monitoring image in which a partial region including a person is enlarged with a position near the person included in the peripheral image as a center. Accordingly, when a person is detected around the shovel by the person detection unit 301, an enlarged monitoring image in which a portion including the detected person is arranged closer to the center is displayed on the display device 50.
  • the operator can easily confirm the detected person displayed near the center of the screen of the display device 50 and can easily grasp the state of the detected person's action content and the like. Therefore, the periphery monitoring system 100 can further enhance the safety when the shovel is operated by the operator.
  • the display control unit 302 approaches the person who has detected the angle direction with respect to the horizontal plane of the virtual viewpoint from the top with respect to the shovel.
  • Another viewpoint monitoring image including a peripheral image as a viewpoint conversion image viewed from an obliquely upward direction shifted in the direction or away from the camera is generated and displayed on the display device 50.
  • the periphery monitoring system 100 can prompt the operator to grasp the person detected by the monitoring image as described above. Therefore, the periphery monitoring system 100 can further enhance the safety when the shovel is operated by the operator.
  • the display control unit 302 approaches the person who has detected the angle direction with respect to the horizontal plane of the virtual viewpoint from the top with respect to the shovel.
  • a viewpoint conversion image viewed from an obliquely upward direction shifted in a direction or away from the image, and includes a peripheral image as a viewpoint conversion image corresponding to a partial region including a detected person portion in the normal monitoring image
  • a partial viewpoint monitoring image is generated and displayed on the display device 50.
  • the display control unit 302 displays the enlarged image as the enlarged monitoring image.
  • the center of the partial area including the person in the normal monitoring image may be changed.
  • the display control unit 302 is a partial region of the peripheral image in the normal monitoring image, and the shovel
  • the display device 50 displays an enlargement monitoring image in which a partial region including a person is enlarged, centering on a position closer to the person included in the peripheral image than the image.
  • the display control unit 302 includes a person who is centered on the shovel image in the normal monitoring image. An enlargement monitoring image in which the partial area is enlarged is displayed on the display device 50.
  • the operator can more easily understand the state of the detected person, and the safety of the detected person can be reliably ensured.
  • the operator can grasp the state of the detected person while grasping the entire state of the excavator, and can easily take future safety actions. Become.
  • an enlargement monitoring image is generated in which the excavator image is also enlarged in accordance with a partial region of the peripheral image.
  • the excavator image is also enlarged in accordance with a partial region of the peripheral image.
  • An image may be generated.
  • an enlarged monitoring image including at least a part of the shovel image is generated.
  • an enlarged monitoring image not including the shovel image may be generated.
  • the display control unit 302 includes the rear camera 40B on the left side in an area that does not include the detected person in the normal monitoring image.
  • a monitoring image in which a captured image (through image) showing a detected person in the captured images of the camera 40L and the right-side camera 40R is superimposed and generated as it is is generated and displayed on the display device 50. You may let them.
  • the operator can easily grasp the situation of the detected person and can also visually recognize the through image in which the detected person is reflected. This makes it easier for the operator to grasp the detected person's situation.
  • the controller 30 (periphery monitoring system 100) detects a person as a monitoring target, but includes a person or an object other than a person (for example, another work machine or vehicle around a shovel) , Temporarily placed construction materials, etc.) may be detected.
  • the controller 30 (display control unit 302) changes the display mode of the monitoring image in the same manner as described above depending on whether or not the object to be monitored is detected.

Abstract

作業機械の周辺で人が検知された場合に、オペレータに検知された人の状態をより早く把握させることが可能な作業機械用周辺監視システムを提供する。そのため、一実施形態に係る作業機械用周辺監視システムは、作業機械画像と、作業機械画像の周囲に配置される周囲画像とを含む監視用画像を表示装置に表示させる表示制御部と、作業機械の周辺の所定領域内で人を検知する人検知部と、を備え、表示制御部は、人検知部により所定領域内で人が検知された場合、監視用画像における周辺画像の一部領域であって、作業機械画像よりも周辺画像に含まれる人に近い位置を中心とする、人が含まれる一部領域を拡大した拡大監視用画像を表示装置に表示させる。

Description

作業機械用周辺監視システム
　本発明は、作業機械用周辺監視システムに関する。
　作業機械に取り付けられる周辺を撮像する撮像装置（カメラ）の撮像画像に基づき生成された監視用画像（例えば、作業機械の真上から見た俯瞰画像）を操縦席周辺のモニタに表示させる周辺監視装置が知られている（例えば、特許文献１参照）
　特許文献１では、作業機械の周辺の所定領域内で人が検知された場合、監視用画像を広域表示から近傍表示に拡大表示させている。
特許第５３９５２６６号公報
　しかしながら、特許文献１では、単純に作業機械を模式的に表した画像を中心として監視用画像を広域表示から近傍表示に拡大する。そのため、オペレータは、監視用画像における中央部の作業機械を模した画像の周辺に表示される、検知された人の状態を即座に把握できない可能性がある。
　そこで、上記課題に鑑み、作業機械の周辺で人が検知された場合に、オペレータに検知された人の状態をより早く把握させることが可能な作業機械用周辺監視システムを提供することを目的とする。
　上記目的を達成するため、本発明の一実施形態では、
　作業機械のキャビン内に設けられる表示装置と、
　前記作業機械の周辺を撮像する撮像装置と、
　前記撮像装置の撮像画像に基づき前記作業機械の周辺画像を生成する画像生成部と、
　前記作業機械を模式的に表す作業機械画像と、前記作業機械と前記撮像装置の撮像範囲との相対位置関係に合わせて、前記作業機械画像の周囲に配置される前記周囲画像とを含む監視用画像を前記表示装置に表示させる表示制御部と、
　前記作業機械の周辺の所定領域内で人を検知する人検知部と、を備え、
　前記表示制御部は、前記人検知部により前記所定領域内で人が検知された場合、前記監視用画像における前記周辺画像の一部領域であって、前記作業機械画像よりも前記周辺画像に含まれる前記人に近い位置を中心とし、前記人が含まれる一部領域を拡大した拡大監視用画像を前記表示装置に表示させる、
　作業機械用周辺監視システムが提供される。
　上述の実施形態によれば、作業機械の周辺で人が検知された場合に、オペレータに検知された人の状態をより早く把握させることが可能な作業機械用周辺監視システムを提供することができる。
本実施形態に係る周辺監視システムが搭載される作業機械の一例を示す図である。 本実施形態に係る周辺監視システムの構成の一例を示す図である。 本実施形態に係る周辺監視システムの構成の他の例を示す図である。 表示装置に表示される監視用画像の一例を示す図である。 表示装置に表示される拡大監視用画像の第１例を説明する図である。 表示装置に表示される拡大監視用画像の第１例を説明する図である。 表示装置に表示される拡大監視用画像の第２例を説明する図である。 表示装置に表示される拡大監視用画像の第２例を説明する図である。 表示装置に表示される拡大監視用画像の第３例を説明する図である。 表示装置に表示される拡大監視用画像の第３例を説明する図である。 表示装置に表示される拡大監視用画像の第４例を説明する図である。 表示装置に表示される拡大監視用画像の第４例を説明する図である。 表示装置に表示される別視点監視用画像の一例を説明する図である。 表示装置に表示される部分別視点監視用画像の一例を説明する図である。 周辺監視システム（表示制御部）による処理の一例を概略的に示すフローチャートである。
　以下、図面を参照して発明を実施するための形態について説明する。
　［作業機械の構成］
　まず、図１を参照して、本実施形態に係る周辺監視システム１００（図２参照）が搭載される作業機械について説明をする。
　図１は、本実施形態に係る周辺監視システム１００が搭載される作業機械の一例を示す図であり、具体的には、ショベルの側面図である。
　尚、本実施形態に係る周辺監視システム１００は、当然の如く、ショベル以外の作業機械、例えば、ホイールローダ、アスファルトフィニッシャ等に搭載されてもよい。
　本実施形態に係るショベルは、下部走行体１と、旋回機構２を介して旋回可能に下部走行体１に搭載される上部旋回体３と、作業装置としてのブーム４、アーム５、及びバケット６と、オペレータが搭乗するキャビン１０を備える。
　下部走行体１は、例えば、左右１対のクローラを含み、それぞれのクローラが走行油圧モータ（不図示）で油圧駆動されることにより、ショベルを走行させる。
　上部旋回体３は、旋回油圧モータ、或いは、電動機（共に不図示）等で駆動されることにより、下部走行体１に対して旋回する。
　ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５、及びバケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。
　キャビン１０は、オペレータが搭乗する操縦室であり、上部旋回体３の前部左側に搭載される。
　また、本実施形態に係るショベルは、コントローラ３０と、撮像装置４０と、物体検知センサ４２と、表示装置５０を備える。
　コントローラ３０は、ショベルの駆動制御を行う制御装置である。コントローラ３０は、キャビン１０内に搭載される。
　撮像装置４０は、上部旋回体３の上部に取り付けられ、ショベルの周辺を撮像する。撮像装置４０は、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒを含む。
　後方カメラ４０Ｂは、上部旋回体３の後端上部に取り付けられ、上部旋回体３の後方を撮像する。
　左側方カメラ４０Ｌは、上部旋回体３の左端上部に取り付けられ、上部旋回体３の左側方を撮像する。
　右側方カメラ４０Ｒは、上部旋回体３の右端上部に取り付けられ、上部旋回体３の右側方を撮像する。
　物体検知センサ４２は、上部旋回体３の外側面等に取り付けられ、ショベルの周辺、具体的には、上部旋回体３の後方、左側方、及び、右側方にいる物体（障害物）を検知する。物体検知センサ４２により検知されうる物体には、人が含まれうる。具体的には、物体検知センサ４２は、上部旋回体３の後方の物体を検知するセンサと、上部旋回体３の左側方の物体を検知するセンサと、上部旋回体３の右側方の物体を検知するセンサの三つのセンサを含む態様であってよい。物体検知センサ４２には、例えば、検知波やレーザーをショベル（上部旋回体３）の周辺に出力し、その反射波や反射光を受信することにより、物体を検知可能な超音波センサ、ミリ波レーダ、ＬＩＤＡＲ（Light Detection and Ranging）等が含まれうる。物体検知センサ４２は、例えば、反射波や反射光の強度に基づき、検知された物体が人であるのか人以外の物体であるのかを判断することが可能である。また、物体検知センサ４２は、例えば、ステレオカメラであってもよい。
　表示装置５０は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０（後述する表示制御部３０２）による制御の下、オペレータに通知する各種画像情報を表示する。
　［周辺監視システムの構成］
　次に、図２Ａ，図２Ｂを参照して、周辺監視システム１００の構成について説明する。
　図２Ａは、本実施形態に係る周辺監視システム１００の構成の一例を示すブロック図である。
　本実施形態に係る周辺監視システム１００は、コントローラ３０、撮像装置４０、表示装置５０を含む。
　コントローラ３０は、周辺監視システム１００における主たる制御処理を行う。コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、ＣＰＵ，ＲＡＭ，ＲＯＭ，Ｉ／Ｏ等を含むマイクロコンピュータを中心に構成される。コントローラ３０は、ＲＯＭに格納される各種プログラムをＣＰＵ上で実行することにより実現される機能部として、人検知部３０１、表示制御部３０２を含む。
　撮像装置４０は、上述の如く、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒを含む。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、上部旋回体３の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む上下方向の撮像範囲（画角）を有する。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、ショベルの運転中、所定周期（例えば、１／３０秒）毎に、撮像画像をコントローラ３０に出力し、撮像画像は、コントローラ３０に取り込まれる。
　物体検知センサ４２は、ショベルの運転中、所定周期ごとに、上部旋回体３の周辺（具体的には、上部旋回体３の後方、左側方、及び、右側方の検知結果をコントローラ３０に出力し、検知結果は、コントローラ３０に取り込まれる。
　表示装置５０は、撮像装置４０の撮像画像（スルー画像）や、コントローラ３０（表示制御部３０２）が撮像装置４０の撮像画像に基づき生成する周辺画像（例えば、後述する視点変換画像）等を表示する。
　人検知部３０１は、撮像装置４０により撮像された撮像画像に基づき、ショベルの周辺の所定領域内、例えば、ショベルから所定距離Ｄ１（例えば、５メートル）以内の人を検知する。例えば、人検知部３０１は、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像画像内の人を認識すると共に、認識した人の実在位置（ショベルから認識した人までの距離Ｄ等）を特定することができる。
　尚、図２Ｂ（本実施形態に係る周辺監視システム１００の構成の他の例を示すブロック図）に示すように、人検知部３０１は、物体検知センサ４２の検知結果に基づき、ショベル周辺の所定領域内の人を検知してもよい。このとき、人検知部３０１は、物体検知センサ４２の検知結果に含まれる反射波や反射光の強度やパターン等の特性に基づき、検知された物体が人であるか否かを判定することができる。また、人検知部３０１は、いわゆるセンサフュージョンによって、撮像装置４０により撮像された撮像画像と、物体検知センサ４２による検知結果の双方に基づき、監視対象である人を検知してもよい。
　表示制御部３０２は、表示装置５０に各種情報画像を表示させる。例えば、表示制御部３０２は、撮像装置４０の撮像画像に基づき周辺画像を生成し、表示装置５０に表示させる。具体的には、表示制御部３０２は、周辺画像として、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒの撮像画像に基づき、既知の視点変換処理を行うことにより、視点変換画像（仮想視点から見た画像）を生成し、表示装置５０に表示させる。また、表示制御部３０２は、周辺画像を表示装置５０に表示させる際、周辺画像に写る撮像装置４０の撮像範囲のショベルに対する相対位置関係を明示するため、ショベルを模式的に表すショベル画像（作業機械画像の一例）を併せて表示装置５０に表示させる。即ち、表示制御部３０２は、ショベル画像と、ショベルと撮像装置４０の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視用画像を生成し、表示装置５０に表示させる。以下、図３を参照して、表示装置５０の詳細と併せて、表示装置５０に表示される監視用画像について説明をする。
　図３は、表示装置５０に表示される監視用画像の一例を示す図である。
　図３に示すように、表示装置５０は、各種情報画像が表示される表示部５０Ａと、各種情報画像に表示される操作対象（例えば、操作ボタンアイコンやカーソル等）を操作するハードウェアによる操作部５０Ｂを含む。
　本例では、表示部５０Ａには、監視用画像ＭＰだけでなく、ショベルの運転に関連する各種情報を提示する運転情報画像ＩＰが表示される。具体的には、表示部５０Ａの上半分には、監視用画像ＭＰが表示され、下半分には、運転情報画像ＩＰが表示される。
　運転情報画像ＩＰは、日時表示領域ＩＰａ、走行モード表示領域ＩＰｂ、エンドアタッチメント表示領域ＩＰｃ、エンジン制御状態表示領域ＩＰｅ、エンジン作動時間表示領域ＩＰｆ、冷却水温表示領域ＩＰｇ、燃料残量表示領域ＩＰｈ、回転数モード表示領域ＩＰｉ、作動油温表示領域ＩＰｋ、カメラ画像表示領域ＩＰｍ、アラーム表示領域ＩＰｐ、及び向き表示アイコンＩＰｘを含む。
　日時表示領域ＩＰａは、現在の日時を画像表示する領域である。本例では、デジタル表示が採用され、日付が２０１３年２月１９日であり、時刻が２３時５９分であることを示している。
　走行モード表示領域ＩＰｂは、現在の走行モードを画像表示する領域である。走行モードは、可変容量ポンプを用いた走行用油圧モータの設定状態を表す。具体的には、走行モードは、低速モード及び高速モードを有する。低速モードは、「亀」を象ったマークで表示され、高速モードは「兎」を象ったマークで表示される。本例では、「亀」を象ったマークが表示されており、オペレータは、低速モードが設定されていることを認識できる。
　エンドアタッチメント表示領域ＩＰｃは、現在装着されているエンドアタッチメントを表す画像を画像表示する領域である。ショベルに装着されるエンドアタッチメントには、バケット６の他、削岩機、グラップル、リフティングマグネットなど様々なエンドアタッチメントが含まれる。エンドアタッチメント表示領域ＩＰｃは、例えば、これらのエンドアタッチメントを象ったマークを表示する。本例では、削岩機を象ったマークが表示されており、オペレータは、削岩機がエンドアタッチメントとして取り付けられていることを認識できる。
　エンジン制御状態表示領域ＩＰｅは、エンジンの制御状態を画像表示する領域である。本例では、オペレータは、エンジンの制御状態として「自動減速・自動停止モード」が選択されていることを認識できる。なお、「自動減速・自動停止モード」は、エンジン負荷が小さい状態の継続時間に応じて、エンジン回転数を自動的に低減し、さらにはエンジンを自動的に停止させる制御状態を意味する。その他、エンジンの制御状態には、「自動減速モード」、「自動停止モード」、「手動減速モード」等がある。
　エンジン作動時間表示領域ＩＰｆは、エンジンの累積作動時間を画像表示する領域である。本例では、単位「ｈｒ（時）」を用いた値が表示される。
　冷却水温表示領域ＩＰｇは、現在のエンジン冷却水の温度状態を画像表示する領域である。本例では、エンジン冷却水の温度状態を表すバーグラフが表示されている。なお、エンジン冷却水の温度は、エンジンに取り付けられる水温センサが出力するデータに基づき表示される。
　具体的には、冷却水温表示領域ＩＰｇは、異常範囲表示ＩＰｇ１、注意範囲表示ＩＰｇ２、正常範囲表示ＩＰｇ３、セグメント表示ＩＰｇ４、及びアイコン表示ＩＰｇ５を含む。
　異常範囲表示ＩＰｇ１、注意範囲表示ＩＰｇ２、正常範囲表示ＩＰｇ３は、それぞれ、エンジン冷却水の温度が異常高温状態、注意を要する状態、正常状態にあることをオペレータに知らせるための表示である。また、セグメント表示ＩＰｇ４は、エンジン冷却水の温度の高低をオペレータに知らせるための表示である。また、アイコン表示ＩＰｇ５は、異常範囲表示ＩＰｇ１、注意範囲表示ＩＰｇ２、正常範囲表示ＩＰｇ３、及びセグメント表示ＩＰｇ４がエンジン冷却水の温度に関する表示であることを表すシンボル図形等のアイコンである。
　尚、アイコン表示ＩＰｇ５は、エンジン冷却水の温度に関する表示であることを表す文字情報であってもよい。
　本例では、セグメント表示ＩＰｇ４は、点灯・消灯状態が個別に制御される８つのセグメントで構成され、冷却水温が高くなるほど点灯状態のセグメントの数が増加する。本例では、４つのセグメントが点灯状態となっている。また、セグメント表示ＩＰｇ４は、所定円の一部（円弧）を構成し、エンジン冷却水の温度の上下動に応じてその円弧の長さが伸縮するように表示される。また、本例では、それぞれのセグメントが表す温度の幅は同じであるが、セグメントごとに温度の幅を変えてもよい。
　また、本例では、異常範囲表示ＩＰｇ１、注意範囲表示ＩＰｇ２、正常範囲表示ＩＰｇ３は、それぞれ、セグメント表示ＩＰｇ４の伸縮方向（所定円の円周方向）に沿うように並べて配置される円弧状の図形であり、赤色、黄色、緑色で表示される。また、セグメント表示ＩＰｇ４は、１番目（最下位）から６番目のセグメントが正常範囲に属し、７番目のセグメントが注意範囲に属し、８番目（最上位）のセグメントが異常範囲に属する。
　尚、冷却水温表示領域ＩＰｇには、異常範囲表示ＩＰｇ１、注意範囲表示ＩＰｇ２、及び正常範囲表示ＩＰｇ３が円弧状の図形として表示される代わりに、異常レベル、注意レベル、正常レベルを表す文字、記号等がそれぞれの境界部分に表示してもよい。
　また、異常範囲表示、注意範囲表示、正常範囲表示、セグメント表示、及び、アイコン表示を含む上述の構成は、燃料残量表示領域ＩＰｈ及び作動油温表示領域ＩＰｋにおいても同様に採用されうる。また、燃料残量表示領域ＩＰｈでは、異常範囲、注意範囲、及び正常範囲を表す円弧状の図形を表示する代わりに、「Ｆｕｌｌ（満タン状態）」を表す文字「Ｆ」又は黒丸（塗りつぶされた丸印）、「Ｅｍｐｔｙ（空状態）」を表す文字「Ｅ」又は白丸（塗りつぶされていない丸印）等がそれぞれの境界部分に表示されてもよい。
　燃料残量表示領域ＩＰｈは、燃料タンクに貯蔵されている燃料の残量状態を画像表示する領域である。本例では、現在の燃料の残量状態を表すバーグラフが表示される。燃料残量表示領域ＩＰｈの燃料の残量は、燃料タンク内の燃料残量センサにより出力されるデータに基づき表示される。
　回転数モード表示領域ＩＰｉは、現在の回転数モードを画像表示する領域である。回転数モードは、例えば、上述のＳＰモード、Ｈモード、Ａモード、及び、アイドリングモードの４つを含む。本例では、ＳＰモードを表す記号「ＳＰ」が表示されている。
　作動油温表示領域ＩＰｋは、作動油タンク内の作動油の温度状態を画像表示する領域である。本例では、作動油の温度状態を表すバーグラフが表示されている。作動油温表示領域ＩＰｋの作動油の温度は、作動油タンク内の油温センサにより出力されるデータに基づき表示される。
　尚、冷却水温表示領域ＩＰｇ、燃料残量表示領域ＩＰｈ、及び、作動油温表示領域ＩＰｋでは、バーグラフ表示の代わりに針表示が採用されてもよい。
　カメラ画像表示領域ＩＰｍは、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び、右側方カメラ４０Ｒのうちの少なくとも一つの撮像画像（スルー画像）をそのまま表示する領域である。これにより、オペレータは、監視用画像ＭＰの他、撮像装置４０により撮像された撮像画像（スルー画像）をそのまま運転情報画像ＩＰ内で視認することができる。
　例えば、カメラ画像表示領域ＩＰｍには、ショベルが稼働している間、常に後方カメラ４０Ｂにより撮像された撮像画像が表示されてよい。このとき、カメラ画像表示領域ＩＰｍの後方カメラ４０Ｂの撮像画像（スルー画像）は、望ましくは、鏡像で表示されるとよい。
　また、本例では、カメラ画像表示領域ＩＰｍは、運転情報画像ＩＰの右側の３分の２程度の領域を占める。表示装置５０が運転席の右側前方に設置される環境において、運転席（オペレータ）に近い側に燃料残量表示領域ＩＰｈ等が表示され、運転席（オペレータ）から遠い側にカメラ画像表示領域ＩＰｍが表示されるようにして、全体的な視認性を高めるためである。但し、運転情報画像ＩＰにおける各表示領域のサイズ及び配置は、必要に応じて変更されてもよい。
　また、カメラ画像表示領域ＩＰｍに表示される撮像画像は、タッチパネル式の表示部５０Ａに対するタッチ操作等や操作部５０Ｂに対する操作に応じて、表示される撮像画像の撮像元の撮像装置４０が切り替えられたり、撮像画像の拡大或いは縮小が行われたりしてもよい。例えば、オペレータは、操作部５０Ｂの十字ボタン５０Ｂａにより左右方向を指定する操作を行うことにより、カメラ画像表示領域ＩＰｍに表示される撮像画像（スルー画像）の撮像元の撮像装置４０（後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒ）を切り替え可能な態様であってよい。また、オペレータは、拡縮ボタン５０Ｂｂの上方向を指定するボタン及び下方向を指定するボタンのそれぞれを押圧操作することより、撮像画像を拡大させたり、縮小させたりすることが可能な態様であってよい。このとき、オペレータは、タッチパネル式の表示部５０Ａ上のカメラ画像表示領域ＩＰｍの任意の位置をタッチすることにより、位置を指定し、当該指定位置を中心として、拡大縮小を行うことができる。また、オペレータは、十字ボタン５０Ｂａによって、カーソルを動かし、カーソル位置を中心として、拡大縮小を行うことが可能な態様であってもよい。
　アラーム表示領域ＩＰｐは、アラームを表示する領域である。本例では、電気系統異常が発生したことを表す警告メッセージがスルー画像上に重畳表示されている。また、本例では、アラーム表示領域ＩＰｐには、後方カメラ４０Ｂにより撮像された撮像画像がカメラ画像表示領域ＩＰｍに表示されないままレバー操作が行われた場合に、その旨を警告するアラームが表示される。また、アラーム表示領域ＩＰｐには、表示すべきアラームが存在しない場合、スルー画像がそのまま表示される。
　向き表示アイコンＩＰｘは、運転情報画像ＩＰに表示される撮像画像（スルー画像）を撮像した撮像装置４０の向きとショベル（上部旋回体３のアタッチメント）の向きとの相対的関係を表すアイコンである。本例では、カメラ画像表示領域ＩＰｍに表示されるカメラ画像を撮像する撮像装置４０が後方カメラ４０Ｂであることを表す向き表示アイコンＩＰｘがカメラ画像表示領域ＩＰｍの右下隅に表示されている。
　尚、向き表示アイコンＩＰｘは、カメラ画像表示領域ＩＰｍの下部中央、左下隅、右上隅、左上隅等、右下隅以外の位置に表示されてもよく、カメラ画像表示領域ＩＰｍの外部に表示されてもよい。
　また、運転情報画像ＩＰは、上述の表示領域ＩＰａ～ＩＰｋの一部を省略してもよいし、上述以外の表示領域を含んでもよい。例えば、運転情報画像ＩＰは、排ガスフィルタ（例えば、ディーゼル微粒子除去装置（ＤＰＦ：Diesel Particulate Filter）等）の詰まり具合を表示する排ガスフィルタ状態表示領域を含んでいてもよい。具体的には、排ガスフィルタ状態表示領域は、排ガスフィルタの許容最大使用時間に対する現在の使用時間の割合を表すバーグラフを表示してもよい。また、運転情報画像ＩＰは、作動油の温度状態の表示を省略してもよく、作動油の温度状態及び冷却水の温度状態の表示を省略してもよい。
　また、カメラ画像表示領域ＩＰｍの下部には、上部旋回体３のカバー３ａの後端上縁の画像である車体画像としてのカバー画像ＩＰｑが含まれる。これにより、表示装置５０は、カメラ画像表示領域ＩＰｍに表示される物体とショベルとの間の距離感をオペレータがより容易に掴めるようにする。また、本実施例では、向き表示アイコンＩＰｘは、カバー画像ＩＰｑ上に重畳表示される。向き表示アイコンＩＰｘの背景色が常に同じになるようにしてその視認性を高めるためである。また、カメラ画像の見たい部分を表示アイコンＩＰｘが隠してしまうのを防止するためである。但し、向き表示アイコンＩＰｘは、カメラ画像表示領域ＩＰｍの外部に表示されてもよい。
　また、図３に示すように、表示装置５０の表示部５０Ａの上半分の横長の長方形の領域（例えば、アスペクト比４：３の画面）には、上述の如く、ショベル画像ＣＧと、ショベル画像ＣＧの周囲に配置される周辺画像ＥＰとを含む監視用画像ＭＰが表示されている。これにより、オペレータは、周辺画像ＥＰに写っている人を含む物体と、ショベルとの位置関係を適切に把握することができる。
　本例における周辺画像ＥＰは、ショベル周辺を真上から見た路面画像と、その路面画像の周りに配置される、ショベル周辺を水平方向に見た水平画像とを組み合わせた視点変換画像である。周辺画像（視点変換画像）は、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面若しくは曲面を含む一又は複数の平面若しくは曲面で構成される。以下、本実施形態における周辺画像は、上記路面画像と上記水平画像とを組み合わせた視点変換画像である前提で説明を続ける。
　また、監視用画像には、ショベルからの距離Ｄが一定の位置を表す線分Ｌが重畳表示されてもよい。線分Ｌは、例えば、ショベルからの距離が所定距離Ｄ１よりも小さい所定距離Ｄ２の位置を表す。これにより、周辺画像に人を含む物体が写っている場合、ショベルからどの程度離れた位置にいるかを把握することができる。
　また、監視用画像ＭＰは、上述した運転情報画像ＩＰのカメラ画像表示領域ＩＰｍと同様、タッチパネル式の表示部５０Ａに対するタッチ操作等や操作部５０Ｂに対する操作に応じて、監視用画像ＭＰの拡大或いは縮小が行われたりしてもよい。例えば、オペレータは、拡縮ボタン５０Ｂｂの上方向を指定するボタン及び下方向を指定するボタンのそれぞれを押圧操作することより、監視用画像を拡大させたり、縮小させたりすることが可能な態様であってよい。このとき、オペレータは、タッチパネル式の表示部５０Ａ上の監視用画像ＭＰの任意の位置をタッチすることにより、位置を指定し、当該指定位置を中心として、拡大縮小を行うことができる。また、オペレータは、十字ボタン５０Ｂａによって、カーソルを動かし、カーソル位置を中心として、拡大縮小を行うことが可能な態様であってもよい。
　［監視用画像の表示態様の概要］
　次に、表示制御部３０２の特徴的な機能について説明をする。
　表示制御部３０２は、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合、検知された人がオペレータにより視認され易くなるように、監視用画像の表示態様を変更する。具体的には、表示制御部３０２は、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合、監視用画像を、該監視用画像内における検知された人の位置が、他の位置よりも重視（強調）される表示態様に変更する。
　例えば、表示制御部３０２は、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合、検知された人が含まれる周辺画像の一部領域を拡大した画像（以下、「拡大監視用画像」と称する）を生成し、表示装置５０に表示させる。以下、拡大監視用画像と区別するため、人検知部３０１によりショベルの周辺の所定領域内で人が検知されていない場合の監視用画像（図３参照）を「通常監視用画像」と称する。例えば、表示制御部３０２は、通常監視用画像における周辺画像の一部領域であって、ショベル画像よりも周辺画像に含まれる検知された人に近い位置を中心とする、当該人が含まれる一部領域を拡大した拡大監視用画像を生成する。また、例えば、表示制御部３０２は、上記周辺画像の一部領域に合わせて、ショベル画像も拡大した拡大監視用画像を生成する。これにより、表示制御部３０２は、監視用画像において、検知された人に近い位置を中心として配置し、且つ、検知された人の位置を含む一部領域を拡大することで、検知された人の位置が他の位置よりも重視される表示態様の監視用画像を表示装置５０に表示させることができる。
　尚、表示制御部３０２は、通常監視用画像の一部領域を切り出して拡大することにより、拡大監視用画像を生成してよい。また、表示制御部３０２は、撮像装置４０の撮像画像に基づき上記一部領域に対応する周辺画像（視点変換画像）を生成し、ショベル画像と結合することにより、拡大監視用画像を生成してもよい。
　また、本例において、表示制御部３０２は、人検知部３０１により検知された人とショベルとの距離Ｄに応じて、監視用画像の表示態様の変更の仕様を変化させてもよい。例えば、表示制御部３０２は、人検知部３０１により検知された人とショベルとの距離Ｄが小さくなるほど、拡大監視用画像の通常監視用画像に対する拡大率を大きくしてよい。具体的には、表示制御部３０２は、人検知部３０１によりショベル周辺の所定領域内で検知された人とショベルとの距離Ｄが所定距離Ｄ２（Ｄ１＞Ｄ２）以下である場合、距離Ｄが所定距離Ｄ２以下でない場合よりも上記拡大率を大きくしてよい。これにより、検知された人がショベルに比較的接近している状況では、オペレータは、検知された人の状態をより把握し易くなり、検知された人の安全性を確実に確保することができる。一方、検知された人がショベルから比較的離れている状況では、拡大監視用画像に周辺画像のより多くの領域が含まれうるため、ショベル周辺全体の状態を把握しつつ、検知された人の状態を把握することが可能となり、今後の安全行動をとりやすくなる。
　尚、本例において、表示制御部３０２は、監視用画像の検知された人を含む一部領域を拡大するが、通常監視用画像における検知された人に近い位置が画面の中心となるように、通常監視用画像の画面上における配置を変更するだけでもよい。また、本例において、表示制御部３０２は、表示装置５０の表示内容を通常監視用画像と拡大監視用画像との間で切り替える際、切替前の画像から切替後の画像に一気に切り替えてもよいし、モーフィング等の手法を用いて、切替前の画像から切替後の画像に連続的に変化させてもよい。
　拡大監視用画像の詳細については、後述する（図４～図７参照）。
　また、例えば、表示制御部３０２は、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合、検知された人を視認し易い仮想視点から見たショベル周辺の周辺画像を含む監視用画像を生成し、表示装置５０に表示させる。つまり、表示制御部３０２は、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合、撮像装置４０の撮像画像に基づき、通常監視用画像と異なる仮想視点から見た視点変換画像（周辺画像）を含む監視用画像を生成し、表示装置５０に表示させる。具体的には、表示制御部３０２は、同じ仮想視点から見たショベル画像と、ショベルと撮像装置４０の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視用画像を生成してよい。以下、通常監視用画像と区別するため、当該監視用画像を「別視点監視用画像」と称する。
　別視点監視用画像の詳細については、後述する（図８参照）。
　また、例えば、表示制御部３０２は、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合、通常監視用画像の周辺画像のうちの人が含まれる一部領域に対応する別視点監視用画像（以下、「部分別視点監視用画像」と称する）を生成し、表示装置５０に表示させてもよい。このとき、部分別視点監視用画像には、検知された人とを含む周辺画像と、当該周辺画像に対応する大きさ及び位置関係で配置されるショベル画像の少なくとも一部とが含まれてよい。
　部分別視点監視用画像の詳細については、後述する（図９参照）。
　尚、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合に、監視用画像の表示態様が変更される機能は、オペレータによる操作によりＯＮ／ＯＦＦされうる態様であってよい。例えば、オペレータは、上述した表示部５０Ａのタッチパネル式の表示部５０Ａに表示されるソフトウェアによる操作対象（所定のアイコンボタン等）やハードウェアによる操作部５０Ｂ等に対する操作により、当該機能をＯＮ／ＯＦＦ可能であってよい。
　［監視用画像の表示態様の詳細］
　以下、図４～図９を参照して、表示装置５０に表示される監視用画像の表示態様の変更の詳細について説明をする。
　まず、図４は、表示装置５０に表示される拡大監視用画像の第１例を説明する図である。具体的には、図４Ａは、表示装置５０に表示される通常監視用画像であり、図４Ｂは、人検知部３０１により人が検知されることにより表示装置５０に表示される拡大監視用画像の第１例である。
　図４Ａに示すように、監視用画像ＭＰ（通常監視用画像）における周辺画像ＥＰには、ショベル後方の線分Ｌよりショベルに近い位置、即ち、ショベル後方のショベルから所定距離Ｄ２以内の領域に、作業者Ｗ１が写っている。このような状況において、人検知部３０１は、当該作業者Ｗ１を検知すると、表示制御部３０２に人が検知された旨を通知する。これにより、表示制御部３０２は、上述の如く、監視用画像の表示態様を変化させる。
　具体的には、図４Ｂに示すように、表示制御部３０２は、図４の監視用画像ＭＰ（通常監視用画像）において、ショベル画像ＣＧよりも周辺画像ＥＰに含まれる作業者Ｗ１に近い位置（本例では、作業者Ｗ１の位置）を中心とする、作業者Ｗ１を含む周辺画像ＥＰの一部領域Ａ１（図４Ａ参照）を拡大した監視用画像ＭＰ（拡大監視用画像）を生成し、表示装置５０に表示させる。また、本例では、表示制御部３０２は、周辺画像ＥＰの上記一部領域Ａ１に合わせて、ショベル画像ＣＧも同じ拡大率で拡大した拡大監視用画像を生成する。即ち、表示制御部３０２は、通常監視用画像における作業者Ｗ１の位置を中心とする、一部領域Ａ１を拡大した拡大監視用画像を生成し、表示装置５０に表示させる。
　本例における表示装置５０に表示される拡大監視用画像の略中央には、作業者Ｗ１が位置する。そのため、オペレータは、人検知部３０１によりショベルの周辺の所定領域内で人（作業者Ｗ１）が検知された場合に、表示装置５０の表示内容（拡大監視用画像）を見て、検知された人（作業者Ｗ１）がどのような行動を行っているか等を容易に把握することができる。よって、オペレータによるショベルの操作時における安全性を高めることができる。また、本例では、ショベル画像の少なくとも一部が拡大監視用画像に含まれるため、人検知部３０１により検知された人（作業者Ｗ１）とショベルとの相対的な位置関係を容易に把握することができる。また、本例では、通常監視用画像に対して、周辺画像と同じ拡大率で拡大されたショベル画像が拡大監視用画像に含まれるため、人検知部３０１により検知された人（作業者Ｗ１）とショベルとの相対的な位置関係をより正確に把握することができる。
　尚、通常監視用画像から拡大監視用画像への表示態様の変更仕様は、拡大監視用画像の中心がショベル画像より検知された人に近づく範囲で、表示装置５０のタッチパネル式の表示部５０Ａやハードウェアによる操作部５０Ｂを用いたオペレータの操作によって、適宜調整可能であってもよい。例えば、オペレータは、タッチパネル式の表示部５０Ａや操作部５０Ｂに対する操作により、拡大率や拡大監視用画像の中心をショベル画像ＣＧからずらし量（表示部５０ＡにおけるＸ軸方向及びＹ軸方向のずらし量）等の設定値を調整可能であってよい。また、例えば、オペレータは、表示部５０Ａに通常監視用画像が表示されている状態で、タッチパネル式の表示部５０Ａや操作部５０Ｂに対する操作によって、通常監視用画像を好みの中心位置で好みの拡大率に拡大させた上で、所定の確定操作を行うことにより、監視用拡大画像の中心位置及び拡大率を設定可能であってよく、人が検知されたエリア（後方、左側方、或いは、右側方）ごとに、複数の仕様を設定可能であってもよい。また、例えば、オペレータは、表示部５０Ａに拡大監視用画像が表示されている状態で、タッチパネル式の表示部５０Ａや操作部５０Ｂに対する操作により、拡大監視用画像に含まれる周辺画像ＥＰの範囲を、検知された人が含まれる範囲で適宜調整可能であってもよい。これにより、周辺監視システム１００は、オペレータによる好みにあった拡大監視用画像を表示装置５０に表示させることができる。以下、図５～図７、図９の場合についても同様である。
　続いて、図５は、表示装置５０に表示される拡大監視用画像の第２例を説明する図である。具体的には、図５Ａは、表示装置５０に表示される通常監視用画像であり、図５Ｂは、人検知部３０１により人が検知されることにより表示装置５０に表示される拡大監視用画像の第２例である。
　尚、図５（図５Ａ，図５Ｂ）では、図４に表示される表示装置５０の表示部５０Ａ及び操作部５０Ｂ等は省略されているが、図３、図４の場合と同様、監視用画像（通常監視用画像及び拡大監視用画像）は、表示装置５０の表示部５０Ａに運転情報画像ＩＰと共に表示される態様であってよい。以下、図６～図９の場合についても同様である。
　図５Ａに示すように、通常監視用画像における周辺画像には、ショベル後方の線分Ｌよりショベルに近い位置、即ち、ショベル後方のショベルから所定距離Ｄ２以内の領域に、作業者Ｗ１が写っている。また、監視用画像における周辺画像には、ショベル右後側方の線分Ｌ付近、即ち、ショベル後側方のショベルから所定距離Ｄ２付近の領域に、作業者Ｗ２が写っている。このような状況において、人検知部３０１は、当該作業者Ｗ１，Ｗ２を検知すると、表示制御部３０２に人が検知された旨を通知する。これにより、表示制御部３０２は、上述の如く、監視用画像の表示態様を変化させる。
　具体的には、図５Ｂに示すように、表示制御部３０２は、通常監視用画像において、ショベル画像ＣＧよりも周辺画像ＥＰに含まれる作業者Ｗ１，Ｗ２に近い位置（本例では、作業者Ｗ１，Ｗ２の位置で規定される図形の略図心位置、即ち、作業者Ｗ１，Ｗ２の位置を繋ぐ線分の略中点位置）を中心とする、作業者Ｗ１、Ｗ２を含む周辺画像ＥＰの一部領域Ａ２（図５Ａ参照）を拡大した拡大監視用画像を生成し、表示装置５０に表示させる。また、本例では、表示制御部３０２は、第１例と同様、周辺画像ＥＰの上記一部領域Ａ２に合わせて、ショベル画像ＣＧも同じ拡大率で拡大した拡大監視用画像を生成する。即ち、表示制御部３０２は、通常監視用画像における作業者Ｗ１，Ｗ２の位置を繋ぐ線分の略中点位置を中心とする、一部領域Ａ２をそのまま拡大した拡大監視用画像を生成し、表示装置５０に表示させる。
　人検知部３０１により検知された２以上の人（作業者Ｗ１，Ｗ２）がショベルの後方寄りにいる場合や相互に近い位置にいる場合等において、表示装置５０に表示される拡大監視用画像に含まれる作業者Ｗ１，Ｗ２は、ショベル画像よりも中央寄りに位置する。そのため、オペレータは、人検知部３０１によりショベルの周辺の所定領域内で２以上の人（作業者Ｗ１，Ｗ２）が検知された場合に、表示装置５０の表示内容（拡大監視用画像）の中から中央寄りに配置される、検知された人（作業者Ｗ１，Ｗ２）を容易に認識できる。そして、オペレータは、検知された人（作業者Ｗ１，Ｗ２）がどのような行動を行っているか等を容易に把握することができる。また、本例では、検知された２以上の人（作業者Ｗ１，Ｗ２）が全て含まれるように拡大監視用画像が生成されるため、検知された２以上の人の全ての行動等を把握することができる。また、本例では、第１例と同様、ショベル画像の少なくとも一部が拡大監視用画像に含まれるため、人検知部３０１により検知された人（作業者Ｗ１，Ｗ２）とショベルとの相対的な位置関係を容易に把握することができる。また、本例では、第１例と同様、通常監視用画像に対して、周辺画像と同じ拡大率で拡大されたショベル画像が拡大監視用画像に含まれるため、人検知部３０１により検知された人（作業者Ｗ１，Ｗ２）とショベルとの相対的な位置関係をより正確に把握することができる。
　尚、本例では、表示制御部３０２は、作業者Ｗ１，Ｗ２の位置で規定される図形の略図心位置を中心とする、作業者Ｗ１、Ｗ２を含む周辺画像ＥＰの一部領域Ａ２（図５Ａ参照）を拡大した拡大監視用画像を生成するが、当該態様に限定されない。即ち、拡大監視用画像（一部領域Ａ２）は、ショベル画像ＣＧよりも作業者Ｗ１，Ｗ２の位置で規定される図形の略図心位置に近い位置を中心とすればよい。
　続いて、図６は、表示装置５０に表示される拡大監視用画像の第３例を説明する図である。具体的には、図６Ａは、表示装置５０に表示される通常監視用画像であり、図６Ｂは、人検知部３０１により人が検知されることにより表示装置５０に表示される拡大監視用画像の第３例である。
　尚、図６Ａは、一点鎖線で囲まれる部分（一部領域Ａ３）の配置を除き、図５Ａと同様であるため、図５Ａと異なる部分を中心に説明を行う。
　図６Ａに示すように、通常監視用画像のショベルの周辺の所定領域内に、図５Ａと同様、作業者Ｗ１，Ｗ２が写っている。このような状況において、人検知部３０１は、当該作業者Ｗ１，Ｗ２を検知すると、表示制御部３０２に人が検知された旨を通知する。これにより、表示制御部３０２は、上述の如く、監視用画像の表示態様を変化させる。
　具体的には、図６Ｂに示すように、表示制御部３０２は、通常監視用画像において、ショベル画像ＣＧよりも周辺画像ＥＰに含まれる作業者Ｗ１，Ｗ２に近い位置（本例では、作業者Ｗ１，Ｗ２のうち、ショベルに最も近い位置にいる作業者Ｗ１）を中心とする、作業者Ｗ１、Ｗ２を含む周辺画像ＥＰの一部領域Ａ３（図６Ａ参照）を拡大した拡大監視用画像を生成し、表示装置５０に表示させる。また、本例では、表示制御部３０２は、第１例等と同様、周辺画像ＥＰの上記一部領域Ａ３に合わせて、ショベル画像ＣＧも同じ拡大率で拡大した拡大監視用画像を生成する。即ち、表示制御部３０２は、通常監視用画像における作業者Ｗ１の位置を中心とする、一部領域Ａ３をそのまま拡大した拡大監視用画像を生成し、表示装置５０に表示させる。
　本例における表示装置５０に表示される拡大監視用画像の略中央には、人検知部３０１により検知された２以上の人（作業者Ｗ１，Ｗ２）のうちのショベルに最も近い作業者Ｗ１が位置する。そのため、オペレータは、人検知部３０１によりショベルの周辺の所定領域内で２以上の人（作業者Ｗ１，Ｗ２）が検知された場合に、表示装置５０の表示内容（拡大監視用画像）を確認することで、検知された２以上の人（作業者Ｗ１，Ｗ２）のうちの最もショベルの近くにいる人（作業者Ｗ１）を容易に認識できる。そして、オペレータは、最もショベルの近くにいる人（作業者Ｗ１）がどのような行動を行っているか等を容易に把握することができる。また、本例では、第２例と同様、検知された２以上の人が全て含まれるように拡大監視用画像が生成されるため、検知された２以上の人の全ての行動等を把握することができる。また、本例では、第１例等と同様、ショベル画像の少なくとも一部が拡大監視用画像に含まれるため、人検知部３０１により検知された人（作業者Ｗ１，Ｗ２）とショベルとの相対的な位置関係を容易に把握することができる。また、本例では、第１例等と同様、通常監視用画像に対して、周辺画像と同じ拡大率で拡大されたショベル画像が拡大監視用画像に含まれるため、人検知部３０１により検知された人（作業者Ｗ１，Ｗ２）とショベルとの相対的な位置関係をより正確に把握することができる。
　続いて、図７は、表示装置５０に表示される拡大監視用画像の第４例を説明する図である。具体的には、図７Ａは、表示装置５０に表示される通常監視用画像であり、図７Ｂは、人検知部３０１により人が検知されることにより表示装置５０に表示される拡大監視用画像の第４例である。
　尚、本例では、図７Ａ，７Ｂに示すように、表示装置５０は、縦長の長方形の画面（例えば、アスペクト比９：１６の画面）を有する。また、図７Ａは、表示装置５０が縦長の長方形の画面である点と、一点鎖線で囲まれる部分（一部領域Ａ４）の配置とを除き、図４Ａと同様であるため、図４Ａと異なる部分を中心に説明をする。
　図７Ａに示すように、通常監視用画像における周辺画像には、図４Ａと同様、ショベルの周辺（後方）の所定領域内にいる作業者Ｗ１が写っている。このような状況において、人検知部３０１は、当該作業者Ｗ１を検知すると、表示制御部３０２に人が検知された旨を通知する。これにより、表示制御部３０２は、上述の如く、監視用画像の表示態様を変化させる。
　具体的には、図７Ｂに示すように、表示制御部３０２は、通常監視用画像において、ショベル画像ＣＧよりも周辺画像ＥＰに含まれる作業者Ｗ１に近い位置（本例では、作業者Ｗ１の位置）を中心とする、作業者Ｗ１を含む周辺画像ＥＰの一部領域Ａ４を拡大した拡大監視用画像を生成し、表示装置５０に表示させる。また、本例では、表示制御部３０２は、線分Ｌよりショベル（ショベル画像）に近い近傍領域、即ち、ショベルから所定距離Ｄ２以内の近傍領域の全てが含まれる周辺画像ＥＰの一部領域Ａ４（図７Ａ参照）を拡大した拡大監視用画像を生成する。また、本例では、表示制御部３０２は、周辺画像ＥＰの上記一部領域Ａ４に合わせて、ショベル画像ＣＧも同じ拡大率で拡大した拡大監視用画像を生成する。即ち、表示制御部３０２は、通常監視用画像における作業者Ｗ１の位置を中心とし、周辺画像ＥＰにおけるショベルから所定距離Ｄ２以内の近傍領域の全てが含まれる、一部領域Ａ４をそのまま拡大した拡大監視用画像を生成し、表示装置５０に表示させる。
　本例における表示装置５０に表示される拡大監視用画像の略中央には、第１例と同様、作業者Ｗ１が位置する。そのため、オペレータは、人検知部３０１によりショベルの周辺の所定領域内で人（作業者Ｗ１）が検知された場合に、表示装置５０の表示内容（拡大監視用画像）を見て、検知された人（作業者Ｗ１）がどのような行動を行っているか等を容易に把握することができる。また、本例では、第１例等と同様、ショベル画像の少なくとも一部が拡大監視用画像に含まれるため、人検知部３０１により検知された人（作業者Ｗ１）とショベルとの相対的な位置関係を容易に把握することができる。また、本例では、第１例等と同様、通常監視用画像に対して、周辺画像と同じ拡大率で拡大されたショベル画像が拡大監視用画像に含まれるため、人検知部３０１により検知された人（作業者Ｗ１）とショベルとの相対的な位置関係をより正確に把握することができる。また、本例では、ショベルから所定距離Ｄ２以内の近傍領域の全てが拡大監視用画像に含まれるため、オペレータは、ショベルに近接する近傍領域の状況を確認しつつ、検知された人の行動等を把握することができる。よって、オペレータによるショベルの操作時における安全性を更に高めることができる。
　続いて、図８は、表示装置５０に表示される別視点監視用画像の一例を示す図である。以下、図８は、図４Ａの通常監視用画像から切り替えられた別視点監視用画像である前提で説明を進める。
　図４Ａに示すように、通常監視用画像内の周辺画像のショベル（上部旋回体３）の後方に作業者Ｗ１が写っている状況において、人検知部３０１は、当該作業者Ｗ１を検知すると、表示制御部３０２に人が検知された旨を通知する。これにより、表示制御部３０２は、上述の如く、監視用画像の表示態様を変化させる。
　具体的には、図８に示すように、表示制御部３０２は、撮像装置４０の撮像画像に基づき、ショベルの後方斜め上（本例の場合、ショベルの後方の水平面から４５度上方の角度方向。以下、図９についても同様）の仮想視点から見た視点変換画像としての周辺画像ＥＰを生成する。そして、表示制御部３０２は、当該周辺画像と同様のショベルの後方斜め上の仮想視点から見たショベル画像ＣＧと、ショベルと撮像装置４０の撮像範囲との相対位置関係と合わせてショベル画像ＣＧの周囲に配置される周辺画像ＥＰを含む別視点監視用画像を表示装置５０に表示させる。これにより、オペレータがショベルの後方斜め上から作業者とショベルを見た状態を仮想的に実現でできるため、オペレータは、ショベルの後方の検知された人（作業者Ｗ１）とショベルとの位置関係（距離感）を把握し易くなる。
　また、表示制御部３０２は、ショベルの前方斜め上の仮想視点から見た視点変換画像としての周辺画像を含む別視点監視用画像を生成し、表示装置５０に表示させてもよい。これにより、オペレータがショベルの前方斜め上から検知された人（作業者Ｗ１）とショベルを見た状態を仮想的に実現でできるため、オペレータは、検知された人を含むショベルの後方の領域の視野が広がり、作業者の状況を把握し易くなる。
　つまり、表示制御部３０２は、人検知部３０１によりショベルから見て相対的に後方にいる人が検知された場合、仮想視点の水平面に対する角度方向を真上から前方或いは後方にずらした斜め上方向から見た視点変換画像としての周辺画像を含む別視点監視用画像を生成し、表示装置５０に表示させてよい。これにより、周辺監視システム１００は、オペレータに対して、監視用画像における検知された人（作業者Ｗ１）の把握を促すことができる。具体的には、周辺監視システム１００は、仮想視点の水平面に対する角度方向をショベルから見て相対的に人が存在する側（本例の場合、後方）にずらすことにより、上述の如く、ショベルの後方の作業者とショベルとの位置関係（距離感）をオペレータに把握させ易くなる。また、周辺監視システム１００は、仮想視点の水平面に対する角度方向をショベルから見て相対的に人が存在する側（本例の場合、後方）にずらすことにより、作業者を含むショベルの後方の領域の視野が広がり、オペレータに検知された人の状況を把握させ易くなる。
　また、同様に、表示制御部３０２は、人検知部３０１によりショベルから見て相対的に右方向或いは左方向にいる人が検知された場合、仮想視点の水平面に対する角度方向を真上から右方向或いは左方向にずらした斜め上方向から見た視点変換画像としての周辺画像を含む別視点監視用画像を生成し、表示装置５０に表示させてよい。これにより、周辺監視システム１００は、ショベルから見て相対的に後方にいる人が検知された場合と同様、オペレータに対して、監視用画像における検知された人（作業者Ｗ１）の把握を促すことができる。
　尚、撮像装置４０は、ショベル（上部旋回体３）の前方を撮像するカメラ（前方カメラ）を含んでもよく、併せて、人検知部３０１は、ショベルの前方を含む所定領域内の人をｋ検知してよい。この場合、表示制御部３０２は、ショベルの周囲の水平方向３６０°の範囲を真上から見た俯瞰画像と水平画像とを組み合わせた周辺画像を含む通常監視用画像を生成してよい。そして、表示制御部３０２は、人検知部３０１によりショベルから見て相対的に前方にいる人が検知された場合、後方にいる人が検知された場合と同様、仮想視点の水平面に対する角度方向を真上から前方或いは後方にずらした斜め上方向から見た視点変換画像としての周辺画像を含む別視点監視用画像を生成し、表示装置５０に表示させてよい。これにより、周辺監視システム１００は、ショベルから見て相対的に後方にいる人が検知された場合と同様、オペレータに対して、監視用画像における検知された人（作業者Ｗ１）の把握を促すことができる。以下、部分別視点監視用画像の場合についても同様である。
　続いて、図９は、表示装置５０に表示される部分別視点監視用画像の一例を示す図である。以下、図８は、図４Ａの通常監視用画像から切り替えられた別視点監視用画像である前提で説明を進める。
　図４Ａに示すように、通常監視用画像内の周辺画像のショベル（上部旋回体３）の後方に作業者Ｗ１が写っている状況において、人検知部３０１は、当該作業者Ｗ１を検知すると、表示制御部３０２に人が検知された旨を通知する。これにより、表示制御部３０２は、上述の如く、監視用画像の表示態様を変化させる。
　具体的には、図９に示すように、表示制御部３０２は、撮像装置４０の撮像画像に基づき、ショベルの後方斜め上の仮想視点から視点変換画像であって、通常監視用画像の検知された人のいる部分を含む一部領域に対応する視点変換画像としての周辺画像を生成する。そして、表示制御部３０２は、当該周辺画像と同様のショベル後方斜め上の仮想視点から見たショベル画像ＣＧの一部と、ショベルと撮像装置４０の撮像範囲との相対位置関係を合わせてショベル画像ＣＧ（の一部）の周囲に配置される周辺画像ＥＰを含む部分別視点監視用画像を表示装置５０に表示させる。これにより、別視点監視用画像の場合と同様、オペレータがショベルの後方斜め上から作業者とショベルを見た状態を仮想的に実現でできるため、オペレータは、ショベルの後方の検知された人（作業者Ｗ１）とショベルとの位置関係（距離感）を把握し易くなる。また、本例では、通常監視用画像内の検知された人が含まれる一部領域だけが部分別視点監視用画像として表示装置５０に表示されるため、オペレータは、検知された人の状況を更に把握し易くなる。
　また、表示制御部３０２は、通常監視用画像の検知された人を含む一部領域をショベルの前方斜め上の仮想視点から見た視点変換画像としての周辺画像を含む部分別視点監視用画像を生成し、表示装置５０に表示させてもよい。これにより、別視点監視用画像の場合と同様、オペレータがショベルの前方斜め上から検知された人（作業者Ｗ１）とショベルを見た状態を仮想的に実現でできるため、検知された人を含むショベルの後方の領域の視野が広がり、オペレータは、作業者の状況を把握し易くなる。
　つまり、表示制御部３０２は、人検知部３０１によりショベルから見て相対的に後方にいる人が検知された場合、仮想視点の水平面に対する角度方向を真上から前方或いは後方にずらした斜め上方向から見た視点変換画像であって、通常監視用画像の検知された人のいる部分を含む一部領域に対応する視点変換画像としての周辺画像を含む部分別視点監視用画像を生成し、表示装置５０に表示させてよい。これにより、周辺監視システム１００は、オペレータに対して、監視用画像における検知された人（作業者Ｗ１）の把握を更に促すことができる。
　また、同様に、表示制御部３０２は、人検知部３０１によりショベルから見て相対的に右方向或いは左方向にいる人が検知された場合、仮想視点の水平面に対する角度方向を真上から右方向或いは左方向にずらした斜め上方向から見た視点変換画像であって、通常監視用画像の検知された人のいる部分を含む一部領域に対応する視点変換画像としての周辺画像を含む部分別視点監視用画像を生成し、表示装置５０に表示させてよい。これにより、周辺監視システム１００は、ショベルから見て相対的に後方にいる人が検知された場合と同様、オペレータに対して、監視用画像における検知された人（作業者Ｗ１）の把握を更に促すことができる。
　尚、図９に示す部分別視点監視用画像は、図８の別視点監視用画像の一部領域Ａ２に対応する。そのため、表示制御部３０２は、撮像装置４０の撮像画像に基づき、別視点監視用画像を生成した後、生成した別視点変換画像の一部領域Ａ２を切り出して拡大することにより部分別視点監視用画像を生成してもよい。
　［監視用画像の表示処理の詳細］
　次に、図１０を参照して、本実施形態に係る周辺監視システム１００（表示制御部３０２）による監視用画像を表示装置５０に表示させる処理（表示処理）の処理フローについて説明をする。以下、拡大監視用画像、別視点監視用画像、及び、部分別視点監視用画像を総括的に「人検知時監視用画像」と称する場合がある。
　図１０は、本実施形態に係る周辺監視システム１００（表示制御部３０２）による表示処理の一例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、オペレータによる所定の開始操作や所定の開始条件に応じて、表示装置５０への通常監視用画像、或いは、人検知時監視用画像の表示が開始されると、併せて開始され、所定時間間隔で繰り返し実行される。また、本フローチャートによる処理は、例えば、オペレータによる所定の終了操作や所定の終了条件に応じて、表示装置５０への監視用画像（通常監視用画像或いは人検知時監視用画像）の表示が終了されると、併せて、終了される。
　ステップＳ１０１にて、表示制御部３０２は、人検知時に監視用画像の表示態様が変更される機能がＯＮされているか否かを判定する。表示制御部３０２は、当該機能がＯＮされている場合、ステップＳ１０２に進み、それ以外の場合、今回の処理を終了する。
　ステップＳ１０２にて、表示制御部３０２は、人検知部３０１がショベルの周辺の所定領域内で人を検知したか否かを判定する。表示制御部３０２は、人検知部３０１が人を検知していない場合、ステップＳ１０４に進み、人を検知している場合、ステップＳ１０６に進む。
　ステップＳ１０４にて、表示制御部３０２は、表示装置５０に通常監視用画像を表示させる。
　一方、ステップＳ１０６にて、表示制御部３０２は、表示装置５０に人検知時監視用画像を表示させる。
　尚、表示制御部３０２は、本ステップにおける処理により、拡大監視用画像、別視点監視用画像、及び、部分別視点監視用画像のうちの二以上の人検知時監視用画像からオペレータ等による前もっての選択操作に応じて選択される一の人検知時監視用画像を表示可能であってよい。また、表示制御部３０２は、本ステップの処理により、拡大監視用画像、別視点監視用画像、及び、部分別視点監視用画像のうちの何れか一つの人検知時監視用画像だけを表示装置５０に表示可能な態様であってもよい。
　ステップＳ１０８にて、表示制御部３０２は、表示装置５０における前回の画像切替（通常監視用画像から人検知時監視用画像への画像切替、或いは、人検知時監視用画像から通常監視用画像への画像切替）から所定時間以上経過したかを判定する。表示制御部３０２は、表示装置５０における前回の画像切替から所定時間以上経過していない場合、本ステップの処理を繰り返し、前回の画面切替から所定時間以上経過している場合（或いは、本フローチャートによる処理の開始後、画面切替が行われていない場合）、ステップＳ１０２に戻り、本フローチャートによる処理を繰り返す。これにより、例えば、人がショベルの周辺の所定領域（ショベルから所定距離Ｄ１以内の領域）の境界部分に位置する場合等において、通常監視用画像と拡大監視用画像等との間で画面の内容が頻繁に切り替わるハンチングの発生を防止することができる。
　［作用］
　このように、本実施形態では、表示制御部３０２は、人検知部３０１により所定領域内で人が検知された場合、通常監視用画像における周辺画像の一部領域であって、ショベル画像よりも周辺画像に含まれる人に近い位置を中心とする、人が含まれる一部領域を拡大した拡大監視用画像を表示装置５０に表示させる。これにより、人検知部３０１によりショベルの周辺に人が検知された場合に、検知された人が含まれる部分が中央寄りに配置された拡大監視用画像が表示装置５０に表示される。そのため、オペレータは、表示装置５０の画面の中央寄りに表示される検知された人を容易に確認できると共に、検知された人の行動内容等の状態を容易に把握することができる。よって、周辺監視システム１００は、オペレータによるショベルの操作時における安全性を更に高めることができる。
　また、本実施形態では、表示制御部３０２は、人検知部３０１により所定領域内で人が検知された場合、仮想視点の水平面に対する角度方向を真上からショベルに対して検知された人に近づく方向或いは離れる方向にずらした斜め上方向から見た視点変換画像としての周辺画像を含む別視点監視用画像を生成し、表示装置５０に表示させる。これにより、周辺監視システム１００は、上述の如く、オペレータに対して、監視用画像による検知された人の把握を促すことができる。よって、周辺監視システム１００は、オペレータによるショベルの操作時における安全性を更に高めることができる。
　また、本実施形態では、表示制御部３０２は、人検知部３０１により所定領域内で人が検知された場合、仮想視点の水平面に対する角度方向を真上からショベルに対して検知された人に近づく方向或いは離れる方向にずらした斜め上方向から見た視点変換画像であって、通常監視用画像内の検知された人のいる部分を含む一部領域に対応する視点変換画像としての周辺画像を含む部分別視点監視用画像を生成し、表示装置５０に表示させる。これにより、周辺監視システム１００は、上述の如く、オペレータに対して、監視用画像による検知された人の把握を更に促すことができる。よって、周辺監視システム１００は、オペレータによるショベルの操作時における安全性を更に高めることができる。
　尚、上述した、検知された人とショベルとの距離Ｄに応じて、監視用画像の表示態様の変更の仕様を変化させる他の態様として、表示制御部３０２は、拡大監視用画像として拡大表示させる、通常監視用画像の人を含む一部領域の中心を変化させてもよい。例えば、表示制御部３０２は、人とショベルとの距離Ｄが比較的小さい（例えば、距離Ｄが所定距離Ｄ２以下である）場合、通常監視用画像における周辺画像の一部領域であって、ショベル画像よりも周辺画像に含まれる人に近い位置を中心とする、人が含まれる一部領域を拡大した拡大監視用画像を表示装置５０に表示させる。一方、表示制御部３０２は、人とショベルとの距離Ｄが比較的大きい（例えば、距離Ｄが所定距離Ｄ２以下でない）場合、通常監視用画像におけるショベル画像を中心とする、人が含まれる一部領域を拡大した拡大監視用画像を表示装置５０に表示させる。これにより、検知された人がショベルと比較的接近している状況では、オペレータは、検知された人の状態をより把握し易くなり、検知された人の安全性を確実に確保することができる。一方、検知された人がショベルから比較的離れた状況では、オペレータは、ショベル周辺全体の状態を把握しつつ、検知された人の状態を把握することが可能となり、今後の安全行動をとりやすくなる。
　また、本実施形態では、ショベル画像も周辺画像の一部領域に合わせて拡大した拡大監視用画像が生成されるが、周辺画像の一部領域だけを拡大し、ショベル画像を拡大しない拡大監視用画像が生成されてもよい。
　また、本実施形態では、ショベル画像の少なくとも一部を含む拡大監視画像が生成されるが、例えば、ショベル画像を含まない拡大監視用画像が生成されてもよい。
　以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
　例えば、上述した実施形態では、監視用画像内における検知された人の位置が、他の位置よりも重視（強調）される表示態様として、拡大監視用画像、別視点監視画像、及び、部分別視点監視用画像が例示されるが、これらには限定されない。例えば、表示制御部３０２は、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合、通常監視用画像における検知された人が含まれない領域に、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び、右側方カメラ４０Ｒのそれぞれの撮像画像のうちの検知された人が映っている撮像画像（スルー画像）をそのまま重畳して配置する監視用画像を生成し、表示装置５０に表示させてもよい。これにより、通常監視用画像における人が含まれる領域が強調されるため、オペレータは、検知された人の状況を把握し易くなると共に、検知された人が映るスルー画像を合わせて視認することができるため、オペレータは、検知された人の状況を更に把握し易くなる。
　また、例えば、上述した実施形態では、コントローラ３０（周辺監視システム１００）は、監視対象として人を検知するが、人を含む或いは人以外の物体（例えば、ショベルの周辺の他の作業機械、車両、仮置きされている工材等）を検知してもよい。この場合、コントローラ３０（表示制御部３０２）は、監視対象の物体の検知の有無に応じて、上述と同様に、監視用画像の表示態様を変化させる。
　尚、本願は、２０１６年１１月１日に出願した日本国特許出願２０１６－２１４７１４号に基づく優先権を主張するものであり、その日本国特許出願の全内容を本願に参照により援用する。
　３０　コントローラ
　３０１　人検知部
　３０２　表示制御部
　４０　撮像装置
　４０Ｂ　後方カメラ
　４０Ｌ　左側方カメラ
　４０Ｒ　右側方カメラ
　５０　表示装置
　１００　周辺監視システム（作業機械用周辺監視システム）

Claims (8)

  1. 　作業機械のキャビン内に設けられる表示装置と、
    　前記作業機械の周辺を撮像する撮像装置と、
    　前記撮像装置の撮像画像に基づき前記作業機械の周辺画像を生成すると共に、前記作業機械を模式的に表す作業機械画像と、前記作業機械と前記撮像装置の撮像範囲との相対位置関係に合わせて、前記作業機械画像の周囲に配置される前記周辺画像とを含む監視用画像を前記表示装置に表示させる表示制御部と、
    　前記作業機械の周辺の所定領域内で人を検知する人検知部と、を備え、
    　前記表示制御部は、前記人検知部により前記所定領域内で人が検知された場合、前記監視用画像における前記周辺画像の一部領域であって、前記作業機械画像よりも前記周辺画像に含まれる前記人に近い位置を中心とする、前記人が含まれる一部領域を拡大した拡大監視用画像を前記表示装置に表示させる、
    　作業機械用周辺監視システム。
  2. 　前記表示制御部は、前記人検知部により前記所定領域内で人が検知された場合、前記作業機械画像の少なくとも一部を含む前記拡大監視用画像を前記表示装置に表示させる、
    　請求項１に記載の作業機械用周辺監視システム。
  3. 　前記表示制御部は、前記人検知部により前記所定領域内で人が検知された場合、前記周辺画像に含まれる前記人の位置を中心とする前記一部領域を拡大した前記拡大監視用画像を前記表示装置に表示させる、
    　請求項１又は２に記載の作業機械用周辺監視システム。
  4. 　前記表示制御部は、前記人検知部により前記所定領域内で２以上の人が検知された場合、前記作業機械画像よりも、前記周辺画像に含まれる前記２以上の人の位置で規定される図形の略図心位置に近い位置を中心とする、前記２以上の人が含まれる前記一部領域を拡大した前記拡大監視用画像を前記表示装置に表示させる、
    　請求項１又は２に記載の作業機械用周辺監視システム。
  5. 　前記表示制御部は、前記人検知部により前記所定領域内で２以上の人が検知された場合、前記図形の略図心位置を中心とする、前記２以上の人が含まれる前記一部領域を拡大した前記拡大監視用画像を前記表示装置に表示させる、
    　請求項４に記載の作業機械用周辺監視システム。
  6. 　前記表示制御部は、前記人検知部により前記所定領域内で２以上の人が検知された場合、前記周辺画像に含まれる前記２以上の人のうちの前記作業機械に最も近い人の位置を中心とする前記一部領域を拡大した前記拡大監視用画像を前記表示装置に表示させる、
    　請求項１又は２に記載の作業機械用周辺監視システム。
  7. 　前記表示制御部は、前記人検知部により前記所定領域内で人が検知された場合、前記一部領域に合わせて前記作業機械画像も拡大した前記拡大監視用画像を前記表示装置に表示させる、
    　請求項２に記載の作業機械用周辺監視システム。
  8. 　前記表示制御部は、前記人検知部により前記所定領域内で人が検知された場合、前記周辺画像における前記作業機械から所定距離内の近傍領域の全てが含まれる前記一部領域を拡大した前記拡大監視用画像を前記表示装置に表示させる、
    　請求項１乃至７の何れか一項に記載の作業機械用周辺監視システム。
PCT/JP2017/039339 2016-11-01 2017-10-31 作業機械用周辺監視システム WO2018084146A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018549017A JP7171436B2 (ja) 2016-11-01 2017-10-31 作業機械用周辺監視システム、表示装置
KR1020187035110A KR102256384B1 (ko) 2016-11-01 2017-10-31 작업기계용 주변감시시스템
CN201780036721.XA CN109314769B (zh) 2016-11-01 2017-10-31 施工机械用周边监视系统
EP17866645.9A EP3537713B1 (en) 2016-11-01 2017-10-31 Surroundings monitoring system for a work machine
US16/363,194 US11047113B2 (en) 2016-11-01 2019-03-25 Surroundings monitoring system for work machine

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-214714 2016-11-01
JP2016214714 2016-11-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/363,194 Continuation US11047113B2 (en) 2016-11-01 2019-03-25 Surroundings monitoring system for work machine

Publications (1)

Publication Number Publication Date
WO2018084146A1 true WO2018084146A1 (ja) 2018-05-11

Family

ID=62076199

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/039339 WO2018084146A1 (ja) 2016-11-01 2017-10-31 作業機械用周辺監視システム

Country Status (6)

Country Link
US (1) US11047113B2 (ja)
EP (1) EP3537713B1 (ja)
JP (1) JP7171436B2 (ja)
KR (1) KR102256384B1 (ja)
CN (1) CN109314769B (ja)
WO (1) WO2018084146A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020183623A (ja) * 2019-04-26 2020-11-12 住友建機株式会社 ショベル
WO2020235176A1 (ja) * 2019-05-21 2020-11-26 コベルコ建機株式会社 作業機械
JP2021030804A (ja) * 2019-08-21 2021-03-01 株式会社竹内製作所 作業用車両
US20210395980A1 (en) * 2019-01-23 2021-12-23 Komatsu Ltd. System and method for work machine
WO2022054345A1 (ja) 2020-09-14 2022-03-17 コニカミノルタ株式会社 安全監視装置、安全監視方法、及び、プログラム
WO2022080027A1 (ja) * 2020-10-12 2022-04-21 ヤンマーホールディングス株式会社 作業車両
EP3940148A4 (en) * 2019-03-15 2022-12-21 Yanmar Power Technology Co., Ltd. CONTACT PROTECTION DEVICE FOR A WORKING MACHINE
WO2024057894A1 (ja) * 2022-09-15 2024-03-21 株式会社小松製作所 作業機械の表示システム、作業機械、及び作業機械の表示方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7155516B2 (ja) * 2017-12-20 2022-10-19 コベルコ建機株式会社 建設機械
KR20220002343A (ko) * 2019-04-26 2022-01-06 스미토모 겐키 가부시키가이샤 표시장치, 쇼벨, 정보처리장치
WO2020218452A1 (ja) * 2019-04-26 2020-10-29 住友建機株式会社 ショベル、作業現場の安全装備確認システム
JP2021042638A (ja) * 2019-09-13 2021-03-18 株式会社小松製作所 作業機械の表示システムおよび作業機械の表示方法
CN113128742B (zh) * 2020-01-14 2024-03-22 中联重科股份有限公司 工程机械的施工方法、装置、可读存储介质和处理器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011162993A (ja) * 2010-02-09 2011-08-25 Sumitomo (Shi) Construction Machinery Co Ltd 作業機械のモニタ装置
JP2012082608A (ja) * 2010-10-08 2012-04-26 Sumitomo (Shi) Construction Machinery Co Ltd 作業機械のモニタ装置
JP2014183497A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2014183500A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2015184839A (ja) * 2014-03-21 2015-10-22 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1083076A3 (en) * 1999-09-07 2005-01-12 Mazda Motor Corporation Display apparatus for vehicle
JP4010444B2 (ja) 2002-02-28 2007-11-21 シャープ株式会社 全方位監視制御システム、全方位監視制御方法および全方位監視制御プログラム
US20030193562A1 (en) * 2002-04-15 2003-10-16 Corzillus Brian S. Natural vision-based video surveillance system
JP3982504B2 (ja) * 2004-01-23 2007-09-26 日産自動車株式会社 車両用暗視カメラ装置および表示装置
EP2390154A1 (en) * 2005-10-31 2011-11-30 Toyota Jidosha Kabushiki Kaisha Parking support device
JP4707109B2 (ja) 2006-03-02 2011-06-22 アルパイン株式会社 複数カメラ撮影画像処理方法及び装置
TW200739125A (en) * 2006-04-14 2007-10-16 Quarton Inc Target searching device and image displaying method thereof
US8170787B2 (en) * 2008-04-15 2012-05-01 Caterpillar Inc. Vehicle collision avoidance system
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
JP5604146B2 (ja) 2010-03-25 2014-10-08 富士通テン株式会社 車載照明装置、画像処理装置、画像表示システム及び照明方法
CN102947515B (zh) 2010-06-18 2015-07-29 日立建机株式会社 作业机械的周围监视装置
US9019347B2 (en) * 2011-10-13 2015-04-28 Aisin Seiki Kabushiki Kaisha Image generator
JP5888956B2 (ja) * 2011-12-13 2016-03-22 住友建機株式会社 ショベル及び該ショベルの周囲画像表示方法
JP6167042B2 (ja) * 2012-01-12 2017-07-19 日立建機株式会社 自走式産業機械の周囲監視装置
KR20130097913A (ko) * 2012-02-27 2013-09-04 주식회사 경우시스테크 파노라마 영상이 제공되는 안전 시스템을 구비한 굴삭기
JP6029306B2 (ja) * 2012-03-29 2016-11-24 住友建機株式会社 作業機械用周辺監視装置
JP5988683B2 (ja) * 2012-05-15 2016-09-07 日立建機株式会社 自走式産業機械の表示装置
JP5814187B2 (ja) * 2012-06-07 2015-11-17 日立建機株式会社 自走式産業機械の表示装置
JP5938292B2 (ja) * 2012-08-03 2016-06-22 日立建機株式会社 運搬車両の監視装置
JP6029941B2 (ja) * 2012-11-08 2016-11-24 住友重機械工業株式会社 舗装機械用画像生成装置
CN102938827B (zh) * 2012-11-29 2016-05-11 深圳英飞拓科技股份有限公司 一种分层监控指挥系统及跨摄像头虚拟跟踪方法
JP2014110604A (ja) * 2012-12-04 2014-06-12 Denso Corp 車両周辺監視装置
WO2014123228A1 (ja) * 2013-02-08 2014-08-14 日立建機株式会社 旋回式作業機械の周囲監視装置
JP6456584B2 (ja) * 2013-03-19 2019-01-23 住友重機械工業株式会社 作業機械用周辺監視装置
EP3023125B1 (en) * 2013-07-16 2021-01-27 Beijing Mechanical Equipment Institute Control method of a fire truck for high-rise and super high-rise building firefighting
JP6165085B2 (ja) * 2014-03-07 2017-07-19 日立建機株式会社 作業機械の周辺監視装置
JP6204884B2 (ja) * 2014-07-25 2017-09-27 日立建機株式会社 旋回式作業機の周囲表示装置
JPWO2016157463A1 (ja) * 2015-03-31 2018-01-18 株式会社小松製作所 作業機械の周辺監視装置
US20160301863A1 (en) * 2015-04-10 2016-10-13 Caterpillar Inc. Image processing system for generating a surround-view image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011162993A (ja) * 2010-02-09 2011-08-25 Sumitomo (Shi) Construction Machinery Co Ltd 作業機械のモニタ装置
JP2012082608A (ja) * 2010-10-08 2012-04-26 Sumitomo (Shi) Construction Machinery Co Ltd 作業機械のモニタ装置
JP2014183497A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2014183500A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2015184839A (ja) * 2014-03-21 2015-10-22 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3537713A4 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210395980A1 (en) * 2019-01-23 2021-12-23 Komatsu Ltd. System and method for work machine
EP3940148A4 (en) * 2019-03-15 2022-12-21 Yanmar Power Technology Co., Ltd. CONTACT PROTECTION DEVICE FOR A WORKING MACHINE
JP2020183623A (ja) * 2019-04-26 2020-11-12 住友建機株式会社 ショベル
WO2020235176A1 (ja) * 2019-05-21 2020-11-26 コベルコ建機株式会社 作業機械
JP2020189722A (ja) * 2019-05-21 2020-11-26 コベルコ建機株式会社 作業機械
JP7379866B2 (ja) 2019-05-21 2023-11-15 コベルコ建機株式会社 作業機械
JP2021030804A (ja) * 2019-08-21 2021-03-01 株式会社竹内製作所 作業用車両
JP7096216B2 (ja) 2019-08-21 2022-07-05 株式会社竹内製作所 作業用車両
WO2022054345A1 (ja) 2020-09-14 2022-03-17 コニカミノルタ株式会社 安全監視装置、安全監視方法、及び、プログラム
WO2022080027A1 (ja) * 2020-10-12 2022-04-21 ヤンマーホールディングス株式会社 作業車両
WO2024057894A1 (ja) * 2022-09-15 2024-03-21 株式会社小松製作所 作業機械の表示システム、作業機械、及び作業機械の表示方法

Also Published As

Publication number Publication date
EP3537713A1 (en) 2019-09-11
US20190218754A1 (en) 2019-07-18
KR102256384B1 (ko) 2021-05-25
EP3537713A4 (en) 2019-10-16
JPWO2018084146A1 (ja) 2019-09-19
CN109314769A (zh) 2019-02-05
KR20190077246A (ko) 2019-07-03
US11047113B2 (en) 2021-06-29
EP3537713B1 (en) 2021-09-01
JP7171436B2 (ja) 2022-11-15
CN109314769B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
WO2018084146A1 (ja) 作業機械用周辺監視システム
JP6427597B2 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP6216097B2 (ja) 作業機械の周辺監視装置
KR101843382B1 (ko) 크롤러식 작업 기계의 주변 감시 장치
JP6200121B2 (ja) 作業機械の周辺監視装置
JP5750344B2 (ja) 作業機の周囲監視装置
WO2019244574A1 (ja) 掘削機、情報処理装置
JP7407178B2 (ja) ショベル
JP2008163719A (ja) 作業機械の周囲監視装置
JP7358070B2 (ja) ショベル
JP7463354B2 (ja) ショベル
WO2019189399A1 (ja) ショベル
JP2016194237A (ja) 作業機械
JP2020183623A (ja) ショベル
JP6980391B2 (ja) 作業機械用周辺監視システム
EP3733982B1 (en) Shovel and output device of shovel
JP2020159045A (ja) 建設機械
WO2021187082A1 (ja) 作業機械および作業機械の制御方法
JP7396987B2 (ja) ショベル
JP2020183622A (ja) ショベル、ショベルのシリーズ
JP7399836B2 (ja) 作業車両
JP2023176830A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023129871A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2023129872A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2022157923A (ja) ショベル

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20187035110

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17866645

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018549017

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017866645

Country of ref document: EP

Effective date: 20190603