WO2022038923A1 - 作業機械の障害物報知システムおよび作業機械の障害物報知方法 - Google Patents

作業機械の障害物報知システムおよび作業機械の障害物報知方法 Download PDF

Info

Publication number
WO2022038923A1
WO2022038923A1 PCT/JP2021/026138 JP2021026138W WO2022038923A1 WO 2022038923 A1 WO2022038923 A1 WO 2022038923A1 JP 2021026138 W JP2021026138 W JP 2021026138W WO 2022038923 A1 WO2022038923 A1 WO 2022038923A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
work machine
image
display
control device
Prior art date
Application number
PCT/JP2021/026138
Other languages
English (en)
French (fr)
Inventor
太郎 江口
浩一 中沢
芳之 下屋
毅 栗原
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to CN202180051429.1A priority Critical patent/CN115917092A/zh
Priority to KR1020237005596A priority patent/KR20230038784A/ko
Priority to DE112021003322.0T priority patent/DE112021003322T5/de
Priority to US18/022,283 priority patent/US20230323637A1/en
Publication of WO2022038923A1 publication Critical patent/WO2022038923A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the present disclosure relates to an obstacle notification system for a work machine and an obstacle notification method for the work machine.
  • Patent Document 1 discloses a technique related to a peripheral monitoring system that detects a person in the vicinity of a work machine. According to the technique described in Patent Document 1, the peripheral monitoring system detects surrounding obstacles.
  • the peripheral monitoring system When the peripheral monitoring system detects an obstacle, it notifies the existence of the obstacle from the display or speaker. The operator of the work machine is notified by the peripheral monitoring system, confirms the existence of obstacles, and confirms that safety is ensured.
  • An object of the present disclosure is to provide an obstacle notification system for a work machine and an obstacle notification method for the work machine, which can easily obtain information on the detected obstacle.
  • the obstacle notification system of the work machine has an obstacle determination unit for determining whether or not there is an obstacle around the work machine, and when it is determined that the obstacle exists, the obstacle notification system is used. It includes a notification unit that notifies the obstacle, an instruction input unit that receives an operation instruction for the notification, and an output unit that changes the display form of the obstacle based on the operation instruction.
  • the operator of the work machine can easily acquire information on the detected obstacle.
  • FIG. 1 is a schematic view showing the configuration of the work machine 100 according to the first embodiment.
  • the work machine 100 operates at the construction site and constructs a construction target such as earth and sand.
  • the work machine 100 according to the first embodiment is, for example, a hydraulic excavator.
  • the work machine 100 includes a traveling body 110, a swivel body 120, a working machine 130, and a driver's cab 140.
  • the traveling body 110 supports the working machine 100 so as to be able to travel.
  • the traveling body 110 is, for example, a pair of left and right endless tracks.
  • the turning body 120 is supported by the traveling body 110 so as to be able to turn around the turning center.
  • the working machine 130 is hydraulically driven.
  • the working machine 130 is supported by the front portion of the swivel body 120 so as to be driveable in the vertical direction.
  • the driver's cab 140 is a space for an operator to board and operate the work machine 100.
  • the driver's cab 140 is provided on the left front portion of the swivel body 120.
  • the portion of the swivel body 120 to which the working machine 130 is attached is referred to as a front portion.
  • the portion on the opposite side is referred to as the rear portion
  • the portion on the left side is referred to as the left portion
  • the portion on the right side is referred to as the right portion with respect to the front portion.
  • the swivel body 120 is provided with a plurality of cameras 121 that image the surroundings of the work machine 100.
  • FIG. 2 is a diagram showing an imaging range of a plurality of cameras 121 included in the work machine 100 according to the first embodiment.
  • the swivel body 120 includes a left rear camera 121A that captures the left rear region Ra around the swivel body 120, a rear camera 121B that captures the rear region Rb around the swivel body 120, and the swivel body 120.
  • a right rear camera 121C that captures the right rear region Rc and a right front camera 121D that captures the right front region Rd around the swivel body 120 are provided.
  • a part of the imaging range of the plurality of cameras 121 may overlap with each other.
  • the imaging range of the plurality of cameras 121 covers the entire circumference of the work machine 100, excluding the left front region Re visible from the driver's cab 140.
  • the camera 121 according to the first embodiment captures the left rear, rear, right rear, and right front of the swivel body 120, but is not limited to this in other embodiments.
  • the number of cameras 121 and the imaging range according to other embodiments may differ from the examples shown in FIGS. 1 and 2.
  • the left rear camera 121A captures a range of the left rear region and the left rear region of the swivel body 120, and captures one of the regions. It may be a thing.
  • the right rear camera 121C captures the right rear region and the right rear region of the swivel body 120, but one of the regions is captured. It may be an image.
  • the right front camera 121D captures the right front region and the right region of the swivel body 120 as shown in the right front range Rd in FIG. 2, but one of the regions is captured. It may be an image.
  • a plurality of cameras 121 may be used so that the entire circumference of the work machine 100 is set as the imaging range.
  • the left front camera that captures the left front range Re may be provided, and the entire circumference of the work machine 100 may be set as the imaging range.
  • the working machine 130 includes a boom 131, an arm 132, a bucket 133, a boom cylinder 131C, an arm cylinder 132C, and a bucket cylinder 133C.
  • the base end portion of the boom 131 is attached to the swivel body 120 via the boom pin 131P.
  • the arm 132 connects the boom 131 and the bucket 133.
  • the base end portion of the arm 132 is attached to the tip end portion of the boom 131 via the arm pin 132P.
  • the bucket 133 includes a blade for excavating earth and sand and a storage portion for accommodating the excavated earth and sand.
  • the base end portion of the bucket 133 is attached to the tip end portion of the arm 132 via the bucket pin 133P.
  • the boom cylinder 131C is a hydraulic cylinder for operating the boom 131.
  • the base end portion of the boom cylinder 131C is attached to the swivel body 120.
  • the tip of the boom cylinder 131C is attached to the boom 131.
  • the arm cylinder 132C is a hydraulic cylinder for driving the arm 132.
  • the base end of the arm cylinder 132C is attached to the boom 131.
  • the tip of the arm cylinder 132C is attached to the arm 132.
  • the bucket cylinder 133C is a hydraulic cylinder for driving the bucket 133.
  • the base end of the bucket cylinder 133C is attached to the arm 132.
  • the tip of the bucket cylinder 133C is attached to a link member connected to the bucket 133.
  • FIG. 3 is a diagram showing an internal configuration of the cab 140 according to the first embodiment.
  • a driver's seat 141, an operation device 142, and a control device 145 are provided in the driver's cab 140.
  • the operating device 142 is a device for driving the traveling body 110, the turning body 120, and the working machine 130 by the manual operation of the operator.
  • the operating device 142 includes a left operating lever 142LO, a right operating lever 142RO, a left foot pedal 142LF, a right foot pedal 142RF, a left traveling lever 142LT, and a right traveling lever 142RT.
  • the left operation lever 142LO is provided on the left side of the driver's seat 141.
  • the right operating lever 142RO is provided on the right side of the driver's seat 141.
  • the left operating lever 142LO is an operating mechanism for swiveling the swivel body 120 and excavating / dumping the arm 132. Specifically, when the operator of the work machine 100 tilts the left operation lever 142LO forward, the arm 132 dumps. Further, when the operator of the work machine 100 tilts the left operation lever 142LO backward, the arm 132 excavates. Further, when the operator of the work machine 100 tilts the left operation lever 142LO to the right, the swivel body 120 turns to the right. Further, when the operator of the work machine 100 tilts the left operation lever 142LO to the left, the swivel body 120 turns to the left.
  • the swivel body 120 when the left operation lever 142LO is tilted in the front-rear direction, the swivel body 120 turns right or left, and when the left operation lever 142LO is tilted in the left-right direction, the arm 132 excavates or operates. Dump operation may be performed.
  • the right operating lever 142RO is an operating mechanism for excavating / dumping the bucket 133 and raising / lowering the boom 131. Specifically, when the operator of the work machine 100 tilts the right operating lever 142RO forward, the boom 131 is lowered. Further, when the operator of the work machine 100 tilts the right operating lever 142RO backward, the boom 131 is raised. Further, when the operator of the work machine 100 tilts the right operating lever 142RO to the right, the bucket 133 is dumped. Further, when the operator of the work machine 100 tilts the right operation lever 142RO to the left, the excavation operation of the bucket 133 is performed.
  • the bucket 133 when the right operating lever 142RO is tilted in the front-rear direction, the bucket 133 is dumped or excavated, and when the right operating lever 142RO is tilted in the left-right direction, the boom 131 is raised or operated.
  • the lowering operation may be performed.
  • the left foot pedal 142LF is arranged on the left side of the floor surface in front of the driver's seat 141.
  • the right foot pedal 142RF is arranged on the right side of the floor surface in front of the driver's seat 141.
  • the left travel lever 142LT is pivotally supported by the left foot pedal 142LF, and is configured so that the inclination of the left travel lever 142LT and the push-down of the left foot pedal 142LF are interlocked with each other.
  • the right traveling lever 142RT is pivotally supported by the right foot pedal 142RF, and is configured so that the inclination of the right traveling lever 142RT and the pushing down of the right foot pedal 142RF are interlocked with each other.
  • the left foot pedal 142LF and the left traveling lever 142LT correspond to the rotational drive of the left track of the traveling body 110. Specifically, when the operator of the work machine 100 tilts the left foot pedal 142LF or the left traveling lever 142LT forward, the left track rotates in the forward direction. Further, when the operator of the work machine 100 tilts the left foot pedal 142LF or the left traveling lever 142LT backward, the left track rotates in the reverse direction.
  • the right foot pedal 142RF and the right traveling lever 142RT correspond to the rotational drive of the right track of the traveling body 110. Specifically, when the operator of the work machine 100 tilts the right foot pedal 142RF or the right traveling lever 142RT forward, the right crawler belt rotates in the forward direction. Further, when the operator of the work machine 100 tilts the right foot pedal 142RF or the right traveling lever 142RT backward, the right crawler belt rotates in the reverse direction.
  • the control device 145 includes a display 145D that displays information related to a plurality of functions of the work machine 100.
  • the control device 145 is an example of a display system.
  • the display 145D is an example of a display unit.
  • the input means of the control device 145 according to the first embodiment is a touch panel.
  • FIG. 4 is a schematic block diagram showing the configuration of the control device 145 according to the first embodiment.
  • the control device 145 is a computer including a processor 210, a main memory 230, a storage 250, and an interface 270. Further, the control device 145 includes a display 145D and a speaker 145S. Further, the control device 145 according to the first embodiment is provided integrally with the display 145D and the speaker 145S, but in other embodiments, at least one of the display 145D and the speaker 145S is provided separately from the control device 145. You may be. When the display 145D and the control device 145 are separately provided, the display 145D may be provided outside the cab 140.
  • the display 145D may be a mobile display. Further, when the work machine 100 is driven by remote control, the display 145D may be provided in a remote control room provided remotely from the work machine 100. Similarly, when the speaker 145S and the control device 145 are separately provided, the speaker 145S may be provided outside the cab 140. Further, when the work machine 100 is driven by remote control, the speaker 145S may be provided in a remote control room provided remotely from the work machine 100.
  • the control device 145 may be configured by a single computer, or the configuration of the control device 145 may be divided into a plurality of computers, and the plurality of computers cooperate with each other to form a work machine. It may function as an obstacle notification system.
  • the work machine 100 may include a plurality of computers that function as control devices 145. A part of the computers constituting the control device 145 may be mounted inside the work machine 100, and another computer may be provided outside the work machine 100.
  • the above-mentioned one control device 145 is also an example of an obstacle notification system for a work machine. In another embodiment, a part of the configuration constituting the obstacle notification system of the work machine may be mounted inside the work machine 100, and another configuration may be provided outside the work machine 100.
  • the display 145D may be an obstacle notification system for a work machine configured to be provided in a remote control room provided remotely from the work machine 100.
  • one or a plurality of computers constituting the obstacle notification system of the work machine may be provided outside the work machine 100.
  • the camera 121, the display 145D and the speaker 145S are connected to the processor 210 via the interface 270.
  • Examples of the storage 250 include optical disks, magnetic disks, magneto-optical disks, semiconductor memories, and the like.
  • the storage 250 may be an internal medium directly connected to the bus of the control device 145, or an external medium connected to the control device 145 via the interface 270 or a communication line.
  • the storage 250 stores a program for realizing ambient monitoring of the work machine 100. Further, the storage 250 stores in advance a plurality of images including an icon for displaying on the display 145D.
  • the program may be for realizing a part of the functions exerted by the control device 145.
  • the program may exert its function in combination with another program already stored in the storage 250, or in combination with another program mounted on another device.
  • the control device 145 may include a custom LSI (Large Scale Integrated Circuit) such as a PLD (Programmable Logic Device) in addition to or in place of the above configuration.
  • PLDs include PAL (Programmable Array Logic), GAL (Generic Array Logic), CPLD (Complex Programmable Logic Device), and FPGA (Field Programmable Gate Array).
  • PLDs Programmable Logic Device
  • PAL Programmable Array Logic
  • GAL Generic Array Logic
  • CPLD Complex Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • the storage 250 stores the obstacle dictionary data D1 for detecting an obstacle.
  • the obstacle dictionary data D1 may be, for example, dictionary data of a feature amount extracted from each of a plurality of known images in which an obstacle is captured. Examples of the feature amount include HOG (Histograms of Oriented Gradients) and CoHOG (Co-occurrence HOG).
  • the processor 210 includes an acquisition unit 211, a bird's-eye view image generation unit 212, an obstacle detection unit 213, an instruction input unit 214, a display screen generation unit 215, a display control unit 216, and an alarm control unit 217 by executing a program.
  • the acquisition unit 211 acquires captured images from a plurality of cameras 121.
  • the bird's-eye view image generation unit 212 transforms and synthesizes a plurality of captured images acquired by the acquisition unit 211 to generate a bird's-eye view image of the site from above, centering on the work machine 100.
  • the captured image deformed by the bird's-eye view image generation unit 212 is also referred to as a deformed image.
  • the bird's-eye view image generation unit 212 may generate a bird's-eye view image by cutting out a part of each of the captured images after deformation and synthesizing the cut out captured images.
  • An image of the work machine 100 viewed from above in a plan view is previously pasted in the center of the bird's-eye view image generated by the bird's-eye view image generation unit 212. That is, the bird's-eye view image is a peripheral image showing the surroundings of the work machine 100.
  • the obstacle detection unit 213 detects an obstacle from each captured image acquired by the acquisition unit 211. That is, the obstacle detection unit 213 is an example of an obstacle determination unit that determines whether or not an obstacle exists around the work machine 100. Examples of obstacles include people, vehicles and rocks. Further, when an obstacle is detected, the obstacle detection unit 213 identifies a region in which the obstacle exists among the left rear region Ra, the rear region Rb, the right rear region Rc, and the right front region Rd.
  • the obstacle detection unit 213 detects an obstacle by the following procedure, for example.
  • the obstacle detection unit 213 extracts the feature amount from each captured image acquired by the acquisition unit 211.
  • the obstacle detection unit 213 detects an obstacle from the captured image based on the extracted feature amount and the obstacle dictionary data. Examples of obstacle detection methods include pattern matching, object detection processing based on machine learning, and the like.
  • the obstacle detection unit 213 detects a person by using the feature amount of the image, but the present invention is not limited to this.
  • the obstacle detection unit 213 may detect an obstacle based on a measured value of LiDAR (Light Detection and Ranging) or the like.
  • LiDAR Light Detection and Ranging
  • the instruction input unit 214 receives an operator's touch operation input to the touch panel of the control device 145.
  • the instruction input unit 214 accepts a pinch-out operation on the touch panel as an enlargement instruction for displaying an obstacle on the display 145D.
  • the pinch-out operation is an operation in which two fingers touching the touch panel are separated from each other.
  • the instruction input unit 214 specifies the coordinates of two fingers related to the pinch-out operation on the touch panel.
  • the display screen generation unit 215 superimposes the bird's-eye view image G11 generated by the bird's-eye view image generation unit 212 on the display screen data G1 in which the marker G12 indicating the position of the obstacle is arranged at the position corresponding to the detection position of the obstacle. Generate.
  • the arrangement of the marker G12 on the display screen data G1 is an example of notifying the existence of an obstacle.
  • the display screen generation unit 215 enlarges the display of the obstacle indicated by the enlargement instruction in the bird's-eye view image G11. Enlarging the display of obstacles is an example of changing the display form of obstacles.
  • the display screen generation unit 215 restores the display of the bird's-eye view image G11 after a certain period of time from the reception of the enlargement instruction. An example of the display screen will be described later.
  • the display control unit 216 outputs the display screen data G1 generated by the display screen generation unit 215 to the display 145D. As a result, the display 145D displays the display screen data G1.
  • the display control unit 216 is an example of a notification unit.
  • the alarm control unit 217 outputs an alarm voice signal to the speaker 145S when the obstacle detection unit 213 detects an obstacle.
  • the alarm control unit 217 is an example of a notification unit.
  • FIG. 5 is a diagram showing an example of a display screen according to the first embodiment.
  • the display screen data G1 includes a bird's-eye view image G11, a marker G12, and a single camera image G14.
  • the bird's-eye view image G11 is an image of the site viewed from above in a plan view.
  • the bird's-eye view image G11 includes a left rear region Ra in which a deformed image of the left rear camera 121A is captured, a rear region Rb in which a deformed image of the rear camera 121B is captured, a right rear region Rc in which a deformed image of the right rear camera 121C is captured, and a right front.
  • It has a right front region Rd in which a deformed image of the camera 121D is captured and a left front region Re in which an image is not captured.
  • the boundary lines of the left rear region Ra, the rear region Rb, the right rear region Rc, the right front region Rd, and the left front region Re are not displayed in the bird's-eye view image G11.
  • the marker G12 indicates the position of an obstacle. Examples of the shape of the marker G12 include a circle, an ellipse, a regular polygon, and a polygon.
  • the single camera image G14 is a single camera image captured by one camera 121.
  • FIG. 6 is a flowchart showing the operation of the control device 145 according to the first embodiment.
  • the acquisition unit 211 acquires captured images from the plurality of cameras 121 (step S1).
  • the bird's-eye view image generation unit 212 deforms and synthesizes a plurality of captured images acquired in step S1 to generate a bird's-eye view image G11 with a plan view of the site from above centering on the work machine 100 (step). S2).
  • the bird's-eye view image generation unit 212 records each deformed image before compositing in the main memory 230.
  • the obstacle detection unit 213 executes an obstacle detection process for each captured image acquired in step S1 and determines whether or not an obstacle has been detected (step S3).
  • the obstacle detection unit 213 detects an obstacle among the left rear region Ra, the rear region Rb, the right rear region Rc, and the right front region Rd.
  • the area is specified (step S4). That is, when the obstacle is detected in the image captured by the left rear camera 121A, the obstacle detection unit 213 determines that the region where the obstacle is detected is the left rear region Ra. When the obstacle is detected in the image captured by the rear camera 121B, the obstacle detection unit 213 determines that the region where the obstacle is detected is the rear region Rb. When an obstacle is detected in the captured image of the right rear camera 121C, the obstacle detection unit 213 determines that the region where the obstacle is detected is the right rear region Rc. When an obstacle is detected in the captured image of the right front camera 121D, the obstacle detection unit 213 determines that the region where the obstacle is detected is the right front region Rd.
  • the alarm control unit 217 outputs an alarm voice signal to the speaker 145S (step S5). Further, the display screen generation unit 215 arranges the marker G12 at a position corresponding to the detected obstacle in the bird's-eye view image G11 generated in step S2 (step S6).
  • the instruction input unit 214 determines whether or not two fingers are in contact with the touch panel (step S7). When two fingers are in contact with the touch panel (step S7: YES), the instruction input unit 214 determines whether or not an expansion instruction by a pinch-out operation has been received from the operator (step S8). For example, the instruction input unit 214 determines that the pinch-out operation is performed when two fingers are in contact with the touch panel and the distance between the two fingers is larger than the distance at the start of contact by a predetermined threshold value or more.
  • step S8 NO
  • the instruction input unit 214 identifies the coordinates of the two fingers on the touch panel and records them in the main memory 230 as the initial coordinates (step S9).
  • the initial coordinates recorded in step S9 can be regarded as the coordinates at the start of the pinch-out operation when the pinch-out operation is performed by the two fingers detected this time.
  • the instruction input unit 214 identifies an obstacle designated by the operator based on the initial coordinates of the two fingers stored in the main memory 230 (step S10). .. Specifically, the instruction input unit 214 identifies the obstacle detected in step S3 as the obstacle designated by the operator with the shortest distance from the center coordinates of the initial coordinates of the two fingers. Further, the instruction input unit 214 determines the enlargement ratio based on the initial coordinates of the two fingers and the current coordinates of the two fingers (step S11). For example, the instruction input unit 214 determines the enlargement ratio by multiplying the ratio of the distance between the two fingers related to the initial coordinates and the current distance between the two fingers by a predetermined coefficient.
  • the bird's-eye view image generation unit 212 enlarges the portion of the bird's-eye view image generated in step S2 in which the obstacle specified in step S10 exists according to the enlargement ratio determined in step S11 (step S12). At this time, the bird's-eye view image generation unit 212 enlarges the image centering on the obstacle specified in step S10. Then, the display screen generation unit 215 generates display screen data G1 in which the bird's-eye view image G11 enlarged in step S12, the marker G12 arranged in step S6, and the single camera image G14 acquired in step S1 are arranged. Step S13). The display control unit 216 outputs the generated display screen data G1 to the display 145D (step S14). That is, when the display control unit 216 receives an input of an enlargement instruction, the display control unit 216 outputs an enlarged image centered on the detected obstacle.
  • step S7 when the two fingers are not in contact with the touch panel in step S7 (step S7: NO), or when the initial coordinates of the two fingers are recorded in step S9 (step S9), the display screen generation unit 215 is stepped.
  • Display screen data G1 in which the bird's-eye view image G11 generated in S2, the marker G12 arranged in step S6, and the single camera image G14 acquired in step S1 are arranged is generated (step S13).
  • the display control unit 216 outputs the generated display screen data G1 to the display 145D (step S14). That is, the display control unit 216 outputs the bird's-eye view image G1 that does not enlarge the obstacle when there is no input of the enlargement instruction.
  • step S3 If no obstacle is detected in the captured image in step S3 (step S3: YES), the alarm control unit 217 stops the output of the audio signal (step S11). Then, the display screen generation unit 215 generates the display screen data G1 in which the bird's-eye view image G11 generated in step S2 and the single camera image G14 acquired in step S1 are arranged (step S13). Then, the display control unit 216 outputs the generated display screen data G1 to the display 145D (step S14).
  • the control device 145 attaches the marker G12 to the obstacle detected superimposed on the bird's-eye view image G11, and when an enlargement instruction is given by the pinch-out operation, the bird's-eye view centering on the obstacle is given. A part of the image can be enlarged and displayed.
  • step S6 when the alarm is not notified, the processes of steps S5 and S11 may not be executed. Further, for example, in another embodiment, when the notification by the marker G12 is not performed, the process of step S6 may not be executed. Further, in another embodiment, when the enlargement instruction is given by a tap operation, a double tap operation, a long press operation, or the like instead of a pinch-out operation, the initial coordinates in step S9 are specified and the enlargement ratio in step S11 is determined. It does not have to be. When the enlargement instruction is given by tap operation or double tap operation, the enlargement ratio is fixed. Further, the touch operation may be performed using a stylus or the like instead of the finger F.
  • FIG. 7 is a diagram showing an operation example of the control device 145 according to the first embodiment.
  • the obstacle detection unit 213 of the control device 145 detects an obstacle around the work machine 100 in step S3
  • the obstacle detection unit 213 identifies the region detected in step S4.
  • the region where the obstacle is detected is the rear region Rb and the right front region Rd. Identify as.
  • the operator hears the alarm issued from the speaker 145S and visually recognizes the display 145D to recognize that an obstacle exists in the rear region Rb and the right front region Rd.
  • the operator gives an expansion instruction to confirm the obstacle. That is, as shown in FIG. 7, the operator brings the two fingers F into contact with the vicinity of the obstacle to be expanded, and performs an operation of separating the two fingers.
  • the instruction input unit 214 of the control device 145 first records the initial coordinates in step S9 at the start of pinch-out, and identifies the obstacle closest to the two fingers F in step S10 at the time of pinch-out operation.
  • the instruction input unit 214 identifies an obstacle in the right front region Rd.
  • the instruction input unit 214 determines the enlargement ratio in step S11, and enlarges the deformed image of the right front region Rd centering on the specified obstacle and at the enlargement ratio determined in step S11.
  • the control device 145 performs notification indicating an obstacle when it is determined that an obstacle exists around the work machine, and displays an obstacle when receiving an operation instruction for the notification. Make changes to. As a result, the operator can easily acquire information on the detected obstacle by giving a predetermined operation instruction for confirming the obstacle.
  • control device 145 enlarges the deformed image centering on the target obstacle by the pinch-out operation.
  • the operator can acquire a magnified image of the obstacle by intuitive operation.
  • by enlarging the obstacle around the obstacle instead of the initial coordinates of the pinch-out operation it is possible to prevent the obstacle from going out of the screen due to the enlargement.
  • FIG. 8 is a diagram showing an operation example of the control device 145 according to the modified example of the first embodiment.
  • the control device 145 according to the first modification may attach a marker G12 to the single camera image G14 as shown in FIG.
  • the control device 145 may enlarge the single camera image G14 centering on the obstacle based on the enlargement instruction.
  • the control device 145 according to the first embodiment receives an enlargement instruction by a pinch-out operation and enlarges a part of the bird's-eye view image G11.
  • the control device 145 according to the second embodiment receives the enlargement instruction by the tap operation and displays the enlarged image of the obstacle separately from the bird's-eye view image G11. Displaying an enlarged image of an obstacle separately from the bird's-eye view image G11 is an example of changing the display form of the obstacle.
  • the configuration of the control device 145 according to the second embodiment is the same as that of the first embodiment.
  • the control device 145 according to the second embodiment has different operations of the instruction input unit 214 and the display screen generation unit 215 from the first embodiment.
  • the instruction input unit 214 accepts a double tap operation on the touch panel as an enlargement instruction for displaying an obstacle on the display 145D.
  • the double tap operation is an operation of touching the touch panel twice at short time intervals.
  • the instruction input unit 214 specifies the coordinates of the finger related to the double tap operation on the touch panel.
  • the display screen generation unit 215 enlarges the display of the obstacle in the captured image when the instruction input unit 214 receives the enlargement instruction, and arranges the enlarged image G15 cropped around the obstacle. To generate.
  • the enlarged image G15 is generated from a captured image, not a modified image.
  • the enlarged image G15 is arranged in the left front region Re of the bird's-eye view image G11 where the image is not captured. Displaying an enlarged image of an obstacle in a portion where the image does not appear is an example of changing the display form of the obstacle.
  • FIG. 9 is a flowchart showing the operation of the control device 145 according to the second embodiment.
  • the control device 145 according to the second embodiment executes the following steps S22-S25 instead of steps S7-S12 according to the first embodiment.
  • the display screen generation unit 215 arranges the marker G12 in step S6, the instruction input unit 214 determines whether or not a double tap operation has been performed on the touch panel (step S21).
  • the double tap operation is not performed (step S21: NO)
  • the display screen generation unit 215 has the bird's-eye view image G11 generated in step S2, the marker G12 arranged in step S6, and the single camera image acquired in step S1.
  • Display screen data G1 in which G14 is arranged is generated (step S13).
  • the display control unit 216 outputs the generated display screen data G1 to the display 145D (step S14). That is, the display control unit 216 outputs the display screen data G1 that does not include the enlarged image G15 when there is no input of the enlargement instruction.
  • the instruction input unit 214 identifies an obstacle designated by the operator based on the coordinates related to the double tap operation (step S22). Specifically, the instruction input unit 214 identifies the obstacle detected in step S3 as the obstacle designated by the operator with the shortest distance from the last touched coordinate.
  • the display screen generation unit 215 identifies an image captured in step S1 in which the obstacle specified in step S22 is captured (step S23).
  • the display screen generation unit 215 generates an enlarged image by enlarging the captured image at a predetermined enlargement ratio and cropping it to a predetermined size centering on the obstacle specified in step S22 (step S24).
  • the predetermined enlargement ratio may be a predetermined fixed enlargement ratio, and a fixed enlarged image may be generated.
  • the display screen generation unit 215 arranges the generated enlarged image in the left front region Re of the bird's-eye view image G11 (step S25). At this time, the display screen generation unit 215 may connect the enlarged image and the obstacle specified in step S22 with a line to clearly indicate which obstacle the enlarged image indicates.
  • the display screen generation unit 215 displays display screen data in which the bird's-eye view image G11 enlarged in step S12, the marker G12 arranged in step S6, the single camera image G14 acquired in step S1, and the enlarged image G15 are arranged.
  • Generate G1 step S13).
  • the display control unit 216 outputs the generated display screen data G1 to the display 145D (step S14). That is, when the display control unit 216 receives an input of an enlargement instruction, the display control unit 216 outputs an enlarged image centered on the detected obstacle.
  • the display screen generation unit 215 may delete the enlarged image G15 from the display screen data G1 when a certain time has elapsed from the start of displaying the enlarged image G15.
  • FIG. 10 is a diagram showing an operation example of the control device 145 according to the second embodiment.
  • the obstacle detection unit 213 of the control device 145 detects an obstacle around the work machine 100 in step S3
  • the obstacle detection unit 213 identifies the region detected in step S4.
  • the region where the obstacle is detected is the rear region Rb and the right front region Rd. Identify as.
  • the operator hears the alarm issued from the speaker 145S and visually recognizes the display 145D to recognize that an obstacle exists in the rear region Rb and the right front region Rd.
  • the operator gives an expansion instruction to confirm the obstacle. That is, as shown in FIG. 10, the operator performs a double tap operation in the vicinity of the obstacle to be enlarged.
  • the instruction input unit 214 identifies the obstacle closest to the coordinates of the last contact.
  • the instruction input unit 214 identifies an obstacle in the right front region Rd.
  • the display screen generation unit 215 generates an enlarged image G15 by enlarging and cropping the captured image in which the specified obstacle is captured centering on the specified obstacle.
  • the display screen generation unit 215 arranges the enlarged image G15 in the left front region Re of the bird's-eye view image G11.
  • the control device 145 generates the enlarged image G15 by enlarging the captured image instead of the deformed image centering on the target obstacle. Since the deformed image generated for the bird's-eye view image G11 is a distorted original captured image, there is a possibility that obstacles appearing in the deformed image will also be distorted. Therefore, the control device 145 can provide the operator with an image in which an obstacle can be easily visually recognized by presenting the enlarged image G15 in which the captured image is enlarged instead of the deformed image.
  • FIG. 11 is a diagram showing an operation example of the control device 145 according to the first modification of the second embodiment.
  • FIG. 12 is a diagram showing an operation example of the control device 145 according to the second modification of the second embodiment.
  • the control device 145 according to the first modification may arrange the enlarged image G15 between the bird's-eye view image G11 and the single camera image G14, as shown in FIG.
  • the control device 145 according to the second modification may arrange the enlarged image G15 instead of the single camera image G14 as shown in FIG.
  • the control device 145 according to the second embodiment generates the enlarged image G15 by the enlargement instruction to the bird's-eye view image G11, but is not limited to this.
  • FIG. 13 is a diagram showing an operation example of the control device 145 according to the third modification of the second embodiment.
  • the control device 145 according to the third modification may attach the marker G12 to the single camera image G14 as shown in FIG.
  • the control device 145 may generate the enlarged image G15 based on the enlargement instruction to the single camera image G14, and may arrange the enlarged image G15 on the single camera image G14.
  • the control device 145 according to the first and second embodiments enlarges an obstacle in an image based on an enlargement instruction.
  • the control device 145 according to the third embodiment receives the type display instruction by the tap operation and displays the type of the obstacle in the vicinity of the obstacle. Displaying the type of the obstacle in the vicinity of the obstacle is an example of changing the display form of the obstacle.
  • the configuration of the control device 145 according to the third embodiment is the same as that of the second embodiment.
  • the control device 145 according to the third embodiment has different operations of the obstacle detection unit 213, the instruction input unit 214, and the display screen generation unit 215 from the second embodiment.
  • the obstacle detection unit 213 specifies the type of the obstacle. For example, when the obstacle detection unit 213 detects an obstacle by pattern matching, a pattern is prepared in advance for each type of obstacle, and the type associated with the matched pattern is specified as the type of obstacle. .. For example, when the obstacle detection unit 213 detects an obstacle by an object detection process based on machine learning, the model is trained in advance to output a label indicating the type of the obstacle, and the obstacle is based on the label. Specify the type.
  • the instruction input unit 214 accepts a double tap operation on the touch panel as a type display instruction for displaying an obstacle on the display 145D. When the instruction input unit 214 receives the type display instruction, the display screen generation unit 215 arranges the type display of the obstacle in the vicinity of the obstacle in the captured image.
  • FIG. 14 is a diagram showing an operation example of the control device 145 according to the third embodiment.
  • the obstacle detection unit 213 of the control device 145 detects an obstacle around the work machine 100
  • the obstacle detection unit 213 identifies the type of the obstacle and the area where the obstacle is detected.
  • the operator hears the alarm emitted from the speaker 145S and visually recognizes the presence of an obstacle by visually recognizing the display 145D.
  • the operator gives a type display instruction to confirm the obstacle.
  • the instruction input unit 214 identifies the obstacle closest to the coordinates of the last contact.
  • the display screen generation unit 215 generates a label image G16 that displays the type of the specified obstacle.
  • the display screen generation unit 215 arranges the label image G16 at the coordinates related to the type display instruction.
  • the control device 145 generates a label image G16 showing the type of the target obstacle.
  • the control device 145 can make the operator recognize the type of the obstacle by presenting the label image G16.
  • the control device 145 according to the third embodiment displays the type of obstacle on the display 145D, but the present invention is not limited to this.
  • the control device 145 according to another embodiment may output a sound indicating the type of obstacle from the speaker 145S instead of the display on the display 145D.
  • the control device 145 notifies the obstacle by the display of the marker G12 on the display 145D, the display of the alarm icon G13, and the alarm from the speaker 145S, but is limited to this in other embodiments. I can't.
  • the control device 145 may notify the obstacle by the intervention control of the work machine 100.
  • the work machine 100 is a hydraulic excavator, but the present invention is not limited to this.
  • the work machine 100 according to another embodiment may be another work machine such as a dump truck, a bulldozer, or a wheel loader.
  • the boundary line of the left rear region Ra, the rear region Rb, the right rear region Rc, the right front region Rd, and the left front region Re is not displayed on the display screen.
  • the present invention is not limited to this, and in other embodiments, the boundary line of the area may be displayed on the display screen.
  • the obstacle detection unit 213 of the control device 145 identifies the area where the obstacle exists, but is not limited to this.
  • the control device 145 may identify the obstacle closest to the coordinates with which the contact has occurred based on the enlargement instruction or the type display instruction, and may enlarge the obstacle around the obstacle, or the obstacle may be enlarged.
  • the type of obstacle may be displayed in the vicinity.
  • the control device 145 identifies an obstacle closest to the coordinates with which the contact was made by an enlargement instruction or a type display instruction, but the present invention is not limited to this.
  • the control device 145 may enlarge the deformed image related to the area centering on the obstacle existing in the area where the enlargement instruction is given.
  • the control device 145 may display the enlarged image in the left front region Re where the image is not captured, or between the bird's-eye view image G11 and the single camera image G14.
  • the control device 145 may change the mode of the enlarged display according to the number of obstacles existing in the area where the enlarged instruction is given.
  • the control device 145 enlarges the deformed image related to the area centering on the obstacle and exists in the area where the enlargement instruction is given.
  • the control device 145 may display the type of the obstacle in the vicinity of the obstacle existing in the area where the type display instruction is given.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Traffic Control Systems (AREA)

Abstract

障害物判定部は、作業機械の周囲に障害物が存在するか否かを判定する。報知部は、障害物が存在すると判定した場合に、障害物を示す報知を行う。指示入力部は、報知に対する操作指示を受け付ける。出力部は、操作指示に基づいて障害物の表示形態の変更を行う。

Description

作業機械の障害物報知システムおよび作業機械の障害物報知方法
　本開示は、作業機械の障害物報知システムおよび作業機械の障害物報知方法に関する。
　本願は、２０２０年８月２１日に、日本に出願された特願２０２０－１４０２７１号に基づき優先権を主張し、その内容をここに援用する。
　特許文献１には、作業機械の周辺の人を検知する周辺監視システムに係る技術が開示されている。特許文献１に記載の技術によれば、周辺監視システムは、周囲の障害物を検知する。
日本国特開２０１６－０３５７９１号公報
　周辺監視システムは、障害物を検出すると、障害物が存在することをディスプレイやスピーカなどから報知する。作業機械のオペレータは、周辺監視システムによる報知を受け、障害物が存在することを確認し、また安全が確保されていることを確認する。
　ところで、周辺監視システムによって障害物が検出されたとしても、報知の内容によっては検出された障害物の詳細をオペレータが認識できない可能性がある。
　本開示の目的は、検出された障害物に関する情報を容易に取得することができる作業機械の障害物報知システムおよび作業機械の障害物報知方法を提供することにある。
　第１の態様によれば、作業機械の障害物報知システムは、作業機械の周囲に障害物が存在するか否かを判定する障害物判定部と、前記障害物が存在すると判定した場合に、前記障害物を示す報知を行う報知部と、前記報知に対する操作指示を受け付ける指示入力部と、前記操作指示に基づいて前記障害物の表示形態の変更を行う出力部とを備える。
　上記態様によれば、作業機械のオペレータは、検出された障害物に関する情報を容易に取得することができる。
第１の実施形態に係る作業機械の構成を示す概略図である。 第１の実施形態に係る作業機械が備える複数のカメラ１２１の撮像範囲を示す図である。 第１の実施形態に係る運転室の内部の構成を示す図である。 第１の実施形態に係る制御装置の構成を示す概略ブロック図である。 第１の実施形態に係る表示画面の例を示す図である。 第１の実施形態に係る制御装置の動作を示すフローチャートである。 第１の実施形態に係る制御装置の動作例を示す図である。 第１の実施形態の変形例に係る制御装置の動作例を示す図である。 第２の実施形態に係る制御装置の動作を示すフローチャートである。 第２の実施形態に係る制御装置の動作例を示す図である。 第２の実施形態の第１変形例に係る制御装置の動作例を示す図である。 第２の実施形態の第２変形例に係る制御装置の動作例を示す図である。 第２の実施形態の第３変形例に係る制御装置の動作例を示す図である。 第３の実施形態に係る制御装置の動作例を示す図である。
〈第１の実施形態〉
　以下、図面を参照しながら実施形態について詳しく説明する。
《作業機械１００の構成》
　図１は、第１の実施形態に係る作業機械１００の構成を示す概略図である。
　作業機械１００は、施工現場にて稼働し、土砂などの施工対象を施工する。第１の実施形態に係る作業機械１００は、例えば油圧ショベルである。作業機械１００は、走行体１１０、旋回体１２０、作業機１３０および運転室１４０を備える。
　走行体１１０は、作業機械１００を走行可能に支持する。走行体１１０は、例えば左右一対の無限軌道である。
　旋回体１２０は、走行体１１０に旋回中心回りに旋回可能に支持される。
　作業機１３０は、油圧により駆動する。作業機１３０は、旋回体１２０の前部に上下方向に駆動可能に支持される。運転室１４０は、オペレータが搭乗し、作業機械１００の操作を行うためのスペースである。運転室１４０は、旋回体１２０の左前部に設けられる。
　ここで、旋回体１２０のうち作業機１３０が取り付けられる部分を前部という。また、旋回体１２０について、前部を基準に、反対側の部分を後部、左側の部分を左部、右側の部分を右部という。
《旋回体１２０の構成》
　旋回体１２０には、作業機械１００の周囲を撮像する複数のカメラ１２１が設けられる。図２は、第１の実施形態に係る作業機械１００が備える複数のカメラ１２１の撮像範囲を示す図である。
　具体的には、旋回体１２０には、旋回体１２０の周囲のうち左後方領域Ｒａを撮像する左後方カメラ１２１Ａ、旋回体１２０の周囲のうち後方領域Ｒｂを撮像する後方カメラ１２１Ｂ、旋回体１２０の周囲のうち右後方領域Ｒｃを撮像する右後方カメラ１２１Ｃ、旋回体１２０の周囲の右前方領域Ｒｄを撮像する右前方カメラ１２１Ｄが設けられる。なお、複数のカメラ１２１の撮像範囲の一部は、互いに重複していてもよい。
　複数のカメラ１２１の撮像範囲は、作業機械１００の全周のうち、運転室１４０から視認可能な左前方領域Ｒｅを除く範囲をカバーする。なお、第１の実施形態に係るカメラ１２１は、旋回体１２０の左後方、後方、右後方、および右前方を撮像するが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係るカメラ１２１の数および撮像範囲は、図１および図２に示す例と異なっていてよい。
　なお、左後方カメラ１２１Ａは、図２の後方範囲Ｒａに示すように、旋回体１２０の左側方領域、及び左後方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。同様に、右後方カメラ１２１Ｃは、図２の右後方範囲Ｒｃに示すように、旋回体１２０の右側方領域、及び右後方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。同様に、右前方カメラ１２１Ｄは、図２の右前方範囲Ｒｄに示すように、旋回体１２０の右前方領域、及び右側方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。また、他の実施形態においては、複数のカメラ１２１を用いて、作業機械１００の全周囲を撮像範囲とするようにしてもよい。例えば、左前方範囲Ｒｅを撮像する左前方カメラを備えて、作業機械１００の全周囲を撮像範囲としてもよい。
《作業機１３０の構成》
　作業機１３０は、ブーム１３１、アーム１３２、バケット１３３、ブームシリンダ１３１Ｃ、アームシリンダ１３２Ｃ、およびバケットシリンダ１３３Ｃを備える。
　ブーム１３１の基端部は、旋回体１２０にブームピン１３１Ｐを介して取り付けられる。
　アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にアームピン１３２Ｐを介して取り付けられる。
　バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための収容部とを備える。バケット１３３の基端部は、アーム１３２の先端部にバケットピン１３３Ｐを介して取り付けられる。
　ブームシリンダ１３１Ｃは、ブーム１３１を作動させるための油圧シリンダである。ブームシリンダ１３１Ｃの基端部は、旋回体１２０に取り付けられる。ブームシリンダ１３１Ｃの先端部は、ブーム１３１に取り付けられる。
　アームシリンダ１３２Ｃは、アーム１３２を駆動するための油圧シリンダである。アームシリンダ１３２Ｃの基端部は、ブーム１３１に取り付けられる。アームシリンダ１３２Ｃの先端部は、アーム１３２に取り付けられる。
　バケットシリンダ１３３Ｃは、バケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３３Ｃの基端部は、アーム１３２に取り付けられる。バケットシリンダ１３３Ｃの先端部は、バケット１３３に接続されるリンク部材に取り付けられる。
《運転室１４０の構成》
　図３は、第１の実施形態に係る運転室１４０の内部の構成を示す図である。
　運転室１４０内には、運転席１４１、操作装置１４２、および制御装置１４５が設けられる。
　操作装置１４２は、オペレータの手動操作によって走行体１１０、旋回体１２０および作業機１３０を駆動させるための装置である。操作装置１４２は、左操作レバー１４２ＬＯ、右操作レバー１４２ＲＯ、左フットペダル１４２ＬＦ、右フットペダル１４２ＲＦ、左走行レバー１４２ＬＴ、右走行レバー１４２ＲＴを備える。
　左操作レバー１４２ＬＯは、運転席１４１の左側に設けられる。右操作レバー１４２ＲＯは、運転席１４１の右側に設けられる。
　左操作レバー１４２ＬＯは、旋回体１２０の旋回動作、及び、アーム１３２の掘削／ダンプ動作を行うための操作機構である。具体的には、作業機械１００のオペレータが左操作レバー１４２ＬＯを前方に倒すと、アーム１３２がダンプ動作する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを後方に倒すと、アーム１３２が掘削動作する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを右方向に倒すと、旋回体１２０が右旋回する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを左方向に倒すと、旋回体１２０が左旋回する。なお、他の実施形態においては、左操作レバー１４２ＬＯを前後方向に倒した場合に旋回体１２０が右旋回または左旋回し、左操作レバー１４２ＬＯが左右方向に倒した場合にアーム１３２が掘削動作またはダンプ動作してもよい。
　右操作レバー１４２ＲＯは、バケット１３３の掘削／ダンプ動作、及び、ブーム１３１の上げ／下げ動作を行うための操作機構である。具体的には、作業機械１００のオペレータが右操作レバー１４２ＲＯを前方に倒すと、ブーム１３１の下げ動作が実行される。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを後方に倒すと、ブーム１３１の上げ動作が実行される。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを右方向に倒すと、バケット１３３のダンプ動作が行われる。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを左方向に倒すと、バケット１３３の掘削動作が行われる。なお、他の実施形態においては、右操作レバー１４２ＲＯを前後方向に倒した場合に、バケット１３３がダンプ動作または掘削動作し、右操作レバー１４２ＲＯを左右方向に倒した場合にブーム１３１が上げ動作または下げ動作してもよい。
　左フットペダル１４２ＬＦは、運転席１４１の前方の床面の左側に配置される。右フットペダル１４２ＲＦは、運転席１４１の前方の床面の右側に配置される。左走行レバー１４２ＬＴは、左フットペダル１４２ＬＦに軸支され、左走行レバー１４２ＬＴの傾斜と左フットペダル１４２ＬＦの押し下げが連動するように構成される。右走行レバー１４２ＲＴは、右フットペダル１４２ＲＦに軸支され、右走行レバー１４２ＲＴの傾斜と右フットペダル１４２ＲＦの押し下げが連動するように構成される。
　左フットペダル１４２ＬＦおよび左走行レバー１４２ＬＴは、走行体１１０の左側履帯の回転駆動に対応する。具体的には、作業機械１００のオペレータが左フットペダル１４２ＬＦまたは左走行レバー１４２ＬＴを前方に倒すと、左側履帯は前進方向に回転する。また、作業機械１００のオペレータが左フットペダル１４２ＬＦまたは左走行レバー１４２ＬＴを後方に倒すと、左側履帯は後進方向に回転する。
　右フットペダル１４２ＲＦおよび右走行レバー１４２ＲＴは、走行体１１０の右側履帯の回転駆動に対応する。具体的には、作業機械１００のオペレータが右フットペダル１４２ＲＦまたは右走行レバー１４２ＲＴを前方に倒すと、右側履帯は前進方向に回転する。また、作業機械１００のオペレータが右フットペダル１４２ＲＦまたは右走行レバー１４２ＲＴを後方に倒すと、右側履帯は後進方向に回転する。
　制御装置１４５は、作業機械１００が有する複数の機能に係る情報を表示するディスプレイ１４５Ｄを備える。制御装置１４５は、表示システムの一例である。また、ディスプレイ１４５Ｄは、表示部の一例である。第１の実施形態に係る制御装置１４５の入力手段は、タッチパネルである。
《制御装置１４５の構成》
　図４は、第１の実施形態に係る制御装置１４５の構成を示す概略ブロック図である。
　制御装置１４５は、プロセッサ２１０、メインメモリ２３０、ストレージ２５０、インタフェース２７０を備えるコンピュータである。また、制御装置１４５は、ディスプレイ１４５Ｄおよびスピーカ１４５Ｓを備える。また、第１の実施形態に係る制御装置１４５は、ディスプレイ１４５Ｄおよびスピーカ１４５Ｓと一体に設けられるが、他の実施形態においては、ディスプレイ１４５Ｄおよびスピーカ１４５Ｓの少なくとも１つが制御装置１４５と別個に設けられていてもよい。なお、ディスプレイ１４５Ｄと制御装置１４５とが別個に設けられる場合、ディスプレイ１４５Ｄは運転室１４０の外に設けられてもよい。この場合、ディスプレイ１４５Ｄはモバイルディスプレイであってよい。また、作業機械１００が遠隔操作によって駆動する場合、ディスプレイ１４５Ｄは作業機械１００と遠隔に設けられた遠隔操作室に設けられてもよい。同様に、スピーカ１４５Ｓと制御装置１４５とが別個に設けられる場合、スピーカ１４５Ｓは運転室１４０の外に設けられてもよい。また、作業機械１００が遠隔操作によって駆動する場合、スピーカ１４５Ｓは作業機械１００と遠隔に設けられた遠隔操作室に設けられてもよい。
　なお、制御装置１４５は、単独のコンピュータによって構成されるものであってもよいし、制御装置１４５の構成を複数のコンピュータに分けて配置し、複数のコンピュータが互いに協働することで作業機械の障害物報知システムとして機能するものであってもよい。作業機械１００は、制御装置１４５として機能する複数のコンピュータを備えてもよい。制御装置１４５を構成する一部のコンピュータが作業機械１００の内部に搭載され、他のコンピュータが作業機械１００の外部に設けられてもよい。
　なお、上述の１台の制御装置１４５も、作業機械の障害物報知システムの一例である。他の実施形態においては、作業機械の障害物報知システムを構成する一部の構成が作業機械１００の内部に搭載され、他の構成が作業機械１００の外部に設けられてもよい。例えば、ディスプレイ１４５Ｄは作業機械１００と遠隔に設けられた遠隔操作室に設ける構成とした作業機械の障害物報知システムとしてもよい。また他の実施形態においては、作業機械の障害物報知システムを構成する１または複数のコンピュータがすべて作業機械１００の外部に設けられてもよい。
　カメラ１２１、ディスプレイ１４５Ｄおよびスピーカ１４５Ｓは、インタフェース２７０を介してプロセッサ２１０に接続される。
　ストレージ２５０の例としては、光ディスク、磁気ディスク、光磁気ディスク、半導体メモリ等が挙げられる。ストレージ２５０は、制御装置１４５のバスに直接接続された内部メディアであってもよいし、インタフェース２７０または通信回線を介して制御装置１４５に接続される外部メディアであってもよい。ストレージ２５０は、作業機械１００の周囲監視を実現するためのプログラムを記憶する。また、ストレージ２５０には、ディスプレイ１４５Ｄに表示させるためのアイコンを含む複数の画像が予め記憶されている。
　プログラムは、制御装置１４５に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ２５０に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、制御装置１４５は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ２１０によって実現される機能の一部または全部が当該集積回路によって実現されてよい。
　また、ストレージ２５０は、障害物を検知するための障害物辞書データＤ１を記憶する。
　障害物辞書データＤ１は、例えば障害物が写る複数の既知の画像それぞれから抽出された特徴量の辞書データであってよい。特徴量の例としては、ＨＯＧ（Histograms of Oriented Gradients）やＣｏＨＯＧ（Co-occurrence HOG）などが挙げられる。
　プロセッサ２１０は、プログラムを実行することで、取得部２１１、俯瞰画像生成部２１２、障害物検出部２１３、指示入力部２１４、表示画面生成部２１５、表示制御部２１６、アラーム制御部２１７を備える。
　取得部２１１は、複数のカメラ１２１から撮像画像を取得する。
　俯瞰画像生成部２１２は、取得部２１１が取得した複数の撮像画像を変形し、合成することで、作業機械１００を中心として、現場を上方から平面視した俯瞰画像を生成する。以下、俯瞰画像生成部２１２が変形させた撮像画像を変形画像ともいう。俯瞰画像生成部２１２は、変形後のそれぞれの撮像画像の一部を切り出して、切り出した撮像画像を合成することで、俯瞰画像を生成してもよい。俯瞰画像生成部２１２が生成する俯瞰画像の中央には、作業機械１００を上方から平面視した画像が予め貼り付けられている。すなわち、俯瞰画像は、作業機械１００の周囲が写る周囲画像である。
　障害物検出部２１３は、取得部２１１が取得した各撮像画像から障害物を検出する。すなわち、障害物検出部２１３は、作業機械１００の周囲に障害物が存在するか否かを判定する障害物判定部の一例である。障害物の例としては、人、車両、岩石などが挙げられる。また、障害物検出部２１３は、障害物が検出された場合に、左後方領域Ｒａ、後方領域Ｒｂ、右後方領域Ｒｃ、右前方領域Ｒｄのうち障害物が存在する領域を特定する。
　障害物検出部２１３は、例えば以下の手順で障害物を検出する。障害物検出部２１３は、取得部２１１が取得した各撮像画像から特徴量を抽出する。障害物検出部２１３は、抽出した特徴量と障害物辞書データとに基づいて、撮像画像から障害物を検出する。障害物の検出方法の例としては、パターンマッチング、機械学習に基づく物体検出処理などが挙げられる。
　なお、第１の実施形態においては、障害物検出部２１３は、画像の特徴量を用いて人の検出を行うが、これに限られない。例えば、他の実施形態においては、障害物検出部２１３は、ＬｉＤＡＲ（Light Detection and Ranging）の計測値などに基づいて障害物を検出してもよい。
　指示入力部２１４は、制御装置１４５のタッチパネルに対するオペレータのタッチ操作の入力を受け付ける。特に指示入力部２１４は、タッチパネルに対するピンチアウト操作を、ディスプレイ１４５Ｄへの障害物の表示に対する拡大指示として受け付ける。ピンチアウト操作とは、タッチパネルに触れた２本の指を互いに離間させる操作をいう。指示入力部２１４は、タッチパネルにおけるピンチアウト操作に係る２本の指の座標を特定する。
　表示画面生成部２１５は、俯瞰画像生成部２１２が生成した俯瞰画像Ｇ１１に重畳させて、障害物の検出位置に対応する位置に、障害物の位置を示すマーカＧ１２を配置した表示画面データＧ１を生成する。表示画面データＧ１へのマーカＧ１２の配置は、障害物の存在の報知の一例である。表示画面生成部２１５は、指示入力部２１４が拡大指示を受け付けたときに、俯瞰画像Ｇ１１のうち拡大指示が示す障害物の表示を拡大する。障害物の表示の拡大は、障害物の表示形態の変更の一例である。表示画面生成部２１５は、拡大指示の受け付けから一定時間後に、俯瞰画像Ｇ１１の表示をもとに戻す。
　表示画面の例については後述する。
　表示制御部２１６は、表示画面生成部２１５が生成した表示画面データＧ１をディスプレイ１４５Ｄに出力する。これにより、ディスプレイ１４５Ｄは表示画面データＧ１を表示する。表示制御部２１６は、報知部の一例である。
　アラーム制御部２１７は、障害物検出部２１３が障害物を検出したときに、スピーカ１４５Ｓにアラームの音声信号を出力する。アラーム制御部２１７は、報知部の一例である。
《表示画面について》
　図５は、第１の実施形態に係る表示画面の例を示す図である。
　図５に示すように、表示画面データＧ１には、俯瞰画像Ｇ１１、マーカＧ１２、および単カメラ画像Ｇ１４が含まれる。
　俯瞰画像Ｇ１１は、現場を上方から平面視した画像である。俯瞰画像Ｇ１１は、左後方カメラ１２１Ａに係る変形画像が写る左後方領域Ｒａ、後方カメラ１２１Ｂに係る変形画像が写る後方領域Ｒｂ、右後方カメラ１２１Ｃに係る変形画像が写る右後方領域Ｒｃ、右前方カメラ１２１Ｄに係る変形画像が写る右前方領域Ｒｄ、画像が写らない左前方領域Ｒｅを有する。なお、左後方領域Ｒａ、後方領域Ｒｂ、右後方領域Ｒｃ、右前方領域Ｒｄ、左前方領域Ｒｅの領域の境界線は、俯瞰画像Ｇ１１に表示されない。
　マーカＧ１２は、障害物の位置を示す。マーカＧ１２の形状は、例えば、円、楕円、正多角形、多角形などが挙げられる。
　単カメラ画像Ｇ１４は、１つのカメラ１２１が撮像した単カメラ画像である。
《障害物の報知方法》
　図６は、第１の実施形態に係る制御装置１４５の動作を示すフローチャートである。
　制御装置１４５が周囲監視処理を開始すると、取得部２１１は、複数のカメラ１２１、から撮像画像を取得する（ステップＳ１）。
　次に、俯瞰画像生成部２１２は、ステップＳ１で取得した複数の撮像画像を変形し、合成することで、作業機械１００を中心として、現場を上方から平面視した俯瞰画像Ｇ１１を生成する（ステップＳ２）。このとき、俯瞰画像生成部２１２は、合成前の各変形画像をメインメモリ２３０に記録しておく。次に、障害物検出部２１３は、ステップＳ１で取得した各撮像画像について障害物の検出処理を実行し、障害物が検出されたか否かを判定する（ステップＳ３）。
　撮像画像において障害物が検出された場合（ステップＳ３：ＹＥＳ）、障害物検出部２１３は、左後方領域Ｒａ、後方領域Ｒｂ、右後方領域Ｒｃ、右前方領域Ｒｄのうち障害物が検出された領域を特定する（ステップＳ４）。すなわち、障害物検出部２１３は、左後方カメラ１２１Ａの撮像画像において障害物が検出された場合、障害物が検出された領域が左後方領域Ｒａであると判定する。障害物検出部２１３は、後方カメラ１２１Ｂの撮像画像において障害物が検出された場合、障害物が検出された領域が後方領域Ｒｂであると判定する。障害物検出部２１３は、右後方カメラ１２１Ｃの撮像画像において障害物が検出された場合、障害物が検出された領域が右後方領域Ｒｃであると判定する。障害物検出部２１３は、右前方カメラ１２１Ｄの撮像画像において障害物が検出された場合、障害物が検出された領域が右前方領域Ｒｄであると判定する。
　アラーム制御部２１７は、スピーカ１４５Ｓにアラームの音声信号を出力する（ステップＳ５）。また、表示画面生成部２１５は、ステップＳ２で生成した俯瞰画像Ｇ１１のうち、検出された障害物に対応する位置に、マーカＧ１２を配置する（ステップＳ６）。
　指示入力部２１４は、タッチパネルに２つの指が接触しているか否かを判定する（ステップＳ７）。タッチパネルに２つの指が接触してる場合（ステップＳ７：ＹＥＳ）、指示入力部２１４は、オペレータからピンチアウト操作による拡大指示を受け付けたか否かを判定する（ステップＳ８）。例えば、指示入力部２１４は、タッチパネルに２つの指が接触し、かつ２つの指の距離が接触開始時の距離より所定閾値以上大きい場合に、ピンチアウト操作がなされていると判定する。
　ピンチアウト操作がなされていない場合（ステップＳ８：ＮＯ）、指示入力部２１４は、タッチパネルにおける２つの指の座標を特定し、初期座標としてメインメモリ２３０に記録する（ステップＳ９）。ステップＳ９で記録した初期座標は、今回検出された２つの指によってピンチアウト操作がなされた場合に、ピンチアウト操作の開始時の座標とみなすことができる。
　ピンチアウト操作がなされた場合（ステップＳ８：ＹＥＳ）、指示入力部２１４は、メインメモリ２３０に記憶された２つの指の初期座標に基づいて、オペレータが指定する障害物を特定する（ステップＳ１０）。具体的には、指示入力部２１４は、ステップＳ３で検出された障害物のうち、２つの指の初期座標の中心座標からの距離が最も短いものを、オペレータが指定する障害物と特定する。また、指示入力部２１４は、２つの指の初期座標と、２つの指の現在の座標とに基づいて、拡大率を決定する（ステップＳ１１）。例えば、指示入力部２１４は、初期座標に係る２つの指の距離と、現在の２つの指の距離との比率に所定の係数を乗算することで、拡大率を決定する。
　俯瞰画像生成部２１２は、ステップＳ２で生成した俯瞰画像のうち、ステップＳ１０で特定した障害物が存在する領域の部分を、ステップＳ１１で決定した拡大率に従って拡大する（ステップＳ１２）。このとき、俯瞰画像生成部２１２は、ステップＳ１０で特定した障害物を中心に、画像の拡大を行う。
　そして、表示画面生成部２１５は、ステップＳ１２で拡大した俯瞰画像Ｇ１１と、ステップＳ６で配置されたマーカＧ１２と、ステップＳ１で取得した単カメラ画像Ｇ１４とを配置した表示画面データＧ１を生成する（ステップＳ１３）。表示制御部２１６は、生成した表示画面データＧ１をディスプレイ１４５Ｄに出力する（ステップＳ１４）。つまり、表示制御部２１６は、拡大指示の入力があった場合、検出された障害物を中心とした拡大画像を出力する。
　他方、ステップＳ７で２つの指がタッチパネルに接触していない場合（ステップＳ７：ＮＯ）、またはステップＳ９で２つの指の初期座標を記録した場合（ステップＳ９）、表示画面生成部２１５は、ステップＳ２で生成した俯瞰画像Ｇ１１と、ステップＳ６で配置されたマーカＧ１２と、ステップＳ１で取得した単カメラ画像Ｇ１４とを配置した表示画面データＧ１を生成する（ステップＳ１３）。そして、表示制御部２１６は、生成した表示画面データＧ１をディスプレイ１４５Ｄに出力する（ステップＳ１４）。つまり、表示制御部２１６は、拡大指示の入力がない場合、障害物を拡大しない俯瞰画像Ｇ１を出力する。
　ステップＳ３で撮像画像において障害物が検出されない場合（ステップＳ３：ＹＥＳ）、アラーム制御部２１７は、音声信号の出力を停止する（ステップＳ１１）。そして、表示画面生成部２１５は、ステップＳ２で生成した俯瞰画像Ｇ１１と、ステップＳ１で取得した単カメラ画像Ｇ１４とを配置した表示画面データＧ１を生成する（ステップＳ１３）。そして、表示制御部２１６は、生成した表示画面データＧ１をディスプレイ１４５Ｄに出力する（ステップＳ１４）。
　上記の処理を繰り返し実行することで、制御装置１４５は、俯瞰画像Ｇ１１に重畳して検出された障害物にマーカＧ１２を付し、ピンチアウト操作による拡大指示がなされると障害物を中心に俯瞰画像の一部を拡大表示することができる。
　なお、図６に示すフローチャートは一例であり、他の実施形態においては必ずしもすべてのステップを実行しなくてもよい。例えば、他の実施形態において、アラームによる報知をしない場合には、ステップＳ５およびステップＳ１１の処理を実行しなくてもよい。また例えば、他の実施形態において、マーカＧ１２による報知をしない場合には、ステップＳ６の処理を実行しなくてもよい。また、他の実施形態において、拡大指示をピンチアウト操作ではなくタップ操作、ダブルタップ操作、長押し操作などによって行う場合には、ステップＳ９の初期座標の特定およびステップＳ１１の拡大率の決定を行わなくてもよい。タップ操作やダブルタップ操作などによって拡大指示がなされる場合、拡大率は固定となる。また、タッチ操作は、指Ｆに代えてタッチペンなどを用いて行われてもよい。
《動作例》
　以下、図を用いながら第１の実施形態に係る制御装置１４５の動作例について説明する。
　図７は、第１の実施形態に係る制御装置１４５の動作例を示す図である。
　制御装置１４５の障害物検出部２１３は、ステップＳ３で作業機械１００の周囲において障害物を検出すると、ステップＳ４で検出された領域を特定する。ここで、例えば右前方カメラ１２１Ｄの撮像画像および後方カメラ１２１Ｂの撮像画像において障害物が検出された場合、障害物検出部２１３は、障害物が検出された領域が後方領域Ｒｂおよび右前方領域Ｒｄであると特定する。
　オペレータは、スピーカ１４５Ｓから発せられるアラームを聞き、ディスプレイ１４５Ｄを視認することで、後方領域Ｒｂおよび右前方領域Ｒｄに障害物が存在することを認識する。ここで、オペレータは、右前方領域Ｒｄの障害物を認識しづらい場合に、当該障害物の確認のために、拡大指示を行う。すなわち、オペレータは、図７に示すように、拡大したい障害物の近傍に２本の指Ｆを接触させ、２本の指を離間する操作を行う。
　このとき、制御装置１４５の指示入力部２１４は、まずピンチアウト開始時に、ステップＳ９で初期座標を記録し、ピンチアウト操作時にステップＳ１０で２本の指Ｆに最も近い障害物を特定する。ここでは、指示入力部２１４は、右前方領域Ｒｄの障害物を特定する。指示入力部２１４は、ステップＳ１１で拡大率を決定し、右前方領域Ｒｄの変形画像を、特定した障害物を中心に、かつステップＳ１１で決定した拡大率で、拡大する。
《作用・効果》
　第１の実施形態に係る制御装置１４５は、作業機械の周囲に障害物が存在すると判定した場合に障害物を示す報知を行い、当該報知に対する操作指示を受け付けた場合に、障害物の表示形態の変更を行う。これにより、オペレータは、障害物の確認のために所定の操作指示を行うことで、検出された障害物に関する情報を容易に取得することができる。
　また、第１の実施形態に係る制御装置１４５は、ピンチアウト操作により、対象となる障害物を中心に変形画像を拡大する。これにより、オペレータは、直感的な操作により、障害物の拡大画像を取得することができる。また、ピンチアウト操作の初期座標ではなく障害物を中心に拡大をすることで、拡大により障害物が画面外に出てしまうことを防ぐことができる。
《変形例》
　なお、第１の実施形態に係る制御装置１４５は、俯瞰画像Ｇ１１に対する拡大指示により、俯瞰画像Ｇ１１の一部を拡大するが、これに限られない。図８は、第１の実施形態の変形例に係る制御装置１４５の動作例を示す図である。
　例えば、第１変形例に係る制御装置１４５は、図８に示すように、単カメラ画像Ｇ１４にマーカＧ１２を付してもよい。この場合、制御装置１４５は、拡大指示に基づいて、障害物を中心に単カメラ画像Ｇ１４を拡大してもよい。
〈第２の実施形態〉
　第１の実施形態に係る制御装置１４５は、ピンチアウト操作による拡大指示を受け付け、俯瞰画像Ｇ１１の一部領域を拡大する。これに対し、第２の実施形態に係る制御装置１４５は、タップ操作による拡大指示を受け付け、俯瞰画像Ｇ１１と別個に障害物の拡大画像を表示させる。俯瞰画像Ｇ１１と別個に障害物の拡大画像を表示させることは、障害物の表示形態の変更の一例である。
　第２の実施形態に係る制御装置１４５の構成は、第１の実施形態と同様である。第２の実施形態に係る制御装置１４５は、第１の実施形態と指示入力部２１４及び表示画面生成部２１５の動作が異なる。
　第２の実施形態に係る指示入力部２１４は、タッチパネルに対するダブルタップ操作を、ディスプレイ１４５Ｄへの障害物の表示に対する拡大指示として受け付ける。ダブルタップ操作とは、タッチパネルに短い時間間隔で２回触れる操作をいう。指示入力部２１４は、タッチパネルにおけるダブルタップ操作に係る指の座標を特定する。
　表示画面生成部２１５は、指示入力部２１４が拡大指示を受け付けた場合に、撮像画像の当該障害物の表示を拡大し、かつ障害物を中心にクロッピングした拡大画像Ｇ１５を配置した表示画面データＧ１を生成する。拡大画像Ｇ１５は、変形画像ではなく、撮像画像から生成される。拡大画像Ｇ１５は、俯瞰画像Ｇ１１のうち画像が写らない左前方領域Ｒｅに配置される。画像が写らない部分への障害物の拡大画像の表示は、障害物の表示形態の変更の一例である。
《障害物の報知方法》
　図９は、第２の実施形態に係る制御装置１４５の動作を示すフローチャートである。
　第２の実施形態に係る制御装置１４５は、第１の実施形態に係るステップＳ７－Ｓ１２に代えて、以下に示すステップＳ２２－Ｓ２５を実行する。
　表示画面生成部２１５がステップＳ６でマーカＧ１２を配置すると、指示入力部２１４は、タッチパネルに対しダブルタップ操作がなされたか否かを判定する（ステップＳ２１）。ダブルタップ操作がなされていない場合（ステップＳ２１：ＮＯ）、表示画面生成部２１５は、ステップＳ２で生成した俯瞰画像Ｇ１１と、ステップＳ６で配置されたマーカＧ１２と、ステップＳ１で取得した単カメラ画像Ｇ１４とを配置した表示画面データＧ１を生成する（ステップＳ１３）。そして、表示制御部２１６は、生成した表示画面データＧ１をディスプレイ１４５Ｄに出力する（ステップＳ１４）。つまり、表示制御部２１６は、拡大指示の入力がない場合、拡大画像Ｇ１５を含まない表示画面データＧ１を出力する。
　他方、ダブルタップ操作がなされた場合（ステップＳ２１：ＹＥＳ）、指示入力部２１４は、ダブルタップ操作に係る座標に基づいて、オペレータが指定する障害物を特定する（ステップＳ２２）。具体的には、指示入力部２１４は、ステップＳ３で検出された障害物のうち、最後にタッチされた座標からの距離が最も短いものを、オペレータが指定する障害物と特定する。表示画面生成部２１５は、ステップＳ１で取得した撮像画像のうち、ステップＳ２２で特定した障害物が写るものを特定する（ステップＳ２３）。表示画面生成部２１５は、ステップＳ２２で特定した障害物を中心に、撮像画像を所定の拡大率で拡大し、所定のサイズにクロッピングすることで、拡大画像を生成する（ステップＳ２４）。例えば、所定の拡大率は予め定めておいた固定の拡大率とし、固定の拡大画像を生成するようにしてよい。表示画面生成部２１５は、生成した拡大画像を、俯瞰画像Ｇ１１の左前方領域Ｒｅに配置する（ステップＳ２５）。このとき、表示画面生成部２１５は、拡大画像とステップＳ２２で特定した障害物とを線で結び、拡大画像がどの障害物を示すかを明示してもよい。
　そして、表示画面生成部２１５は、ステップＳ１２で拡大した俯瞰画像Ｇ１１と、ステップＳ６で配置されたマーカＧ１２と、ステップＳ１で取得した単カメラ画像Ｇ１４と、拡大画像Ｇ１５とを配置した表示画面データＧ１を生成する（ステップＳ１３）。表示制御部２１６は、生成した表示画面データＧ１をディスプレイ１４５Ｄに出力する（ステップＳ１４）。つまり、表示制御部２１６は、拡大指示の入力があった場合、検出された障害物を中心とした拡大画像を出力する。表示画面生成部２１５は、拡大画像Ｇ１５の表示開始から一定時間が経過したときに、当該拡大画像Ｇ１５を表示画面データＧ１から削除してもよい。
《動作例》
　以下、図を用いながら第２の実施形態に係る制御装置１４５の動作例について説明する。
　図１０は、第２の実施形態に係る制御装置１４５の動作例を示す図である。
　制御装置１４５の障害物検出部２１３は、ステップＳ３で作業機械１００の周囲において障害物を検出すると、ステップＳ４で検出された領域を特定する。ここで、例えば右前方カメラ１２１Ｄの撮像画像および後方カメラ１２１Ｂの撮像画像において障害物が検出された場合、障害物検出部２１３は、障害物が検出された領域が後方領域Ｒｂおよび右前方領域Ｒｄであると特定する。
　オペレータは、スピーカ１４５Ｓから発せられるアラームを聞き、ディスプレイ１４５Ｄを視認することで、後方領域Ｒｂおよび右前方領域Ｒｄに障害物が存在することを認識する。ここで、オペレータは、右前方領域Ｒｄの障害物を認識しづらい場合に、当該障害物の確認のために、拡大指示を行う。すなわち、オペレータは、図１０に示すように、拡大したい障害物の近傍でダブルタップ操作を行う。
　このとき、指示入力部２１４は、最後に接触があった座標に最も近い障害物を特定する。ここでは、指示入力部２１４は、右前方領域Ｒｄの障害物を特定する。表示画面生成部２１５は、ステップＳ２４で、特定された障害物が写る撮像画像を、特定した障害物を中心に拡大し、クロッピングすることで、拡大画像Ｇ１５を生成する。表示画面生成部２１５は、ステップＳ２５で、拡大画像Ｇ１５を俯瞰画像Ｇ１１の左前方領域Ｒｅに配置する。
《作用・効果》
　第２の実施形態に係る制御装置１４５は、対象となる障害物を中心に変形画像ではなく撮像画像を拡大することで拡大画像Ｇ１５を生成する。俯瞰画像Ｇ１１のために生成された変形画像は、元の撮像画像を歪ませたものであるため、変形画像に写る障害物にも歪みが生じる可能性がある。そのため、制御装置１４５は、変形画像でなく撮像画像を拡大した拡大画像Ｇ１５を提示することで、オペレータに障害物を視認しやすい画像を提供することができる。
《変形例》
　なお、第２の実施形態に係る制御装置１４５は、拡大画像Ｇ１５を俯瞰画像Ｇ１１の左前方領域Ｒｅに配置するが、これに限られない。図１１は、第２の実施形態の第１変形例に係る制御装置１４５の動作例を示す図である。図１２は、第２の実施形態の第２変形例に係る制御装置１４５の動作例を示す図である。
　例えば、第１変形例に係る制御装置１４５は、図１１に示すように、拡大画像Ｇ１５を俯瞰画像Ｇ１１と単カメラ画像Ｇ１４の間に配置してもよい。また例えば、第２変形例に係る制御装置１４５は、図１２に示すように、単カメラ画像Ｇ１４に代えて拡大画像Ｇ１５を配置してもよい。
　第２の実施形態に係る制御装置１４５は、俯瞰画像Ｇ１１に対する拡大指示により拡大画像Ｇ１５を生成するが、これに限られない。図１３は、第２の実施形態の第３変形例に係る制御装置１４５の動作例を示す図である。
　例えば、第３変形例に係る制御装置１４５は、図１３に示すように、単カメラ画像Ｇ１４にマーカＧ１２を付してもよい。この場合、制御装置１４５は、単カメラ画像Ｇ１４への拡大指示に基づいて拡大画像Ｇ１５を生成し、単カメラ画像Ｇ１４上に拡大画像Ｇ１５を配置してもよい。
〈第３の実施形態〉
　第１、第２の実施形態に係る制御装置１４５は、拡大指示に基づいて画像における障害物を拡大する。これに対し、第３の実施形態に係る制御装置１４５は、タップ操作による種別表示指示を受け付け、障害物の近傍に当該障害物の種別を表示させる。障害物の近傍に当該障害物の種別を表示させることは、障害物の表示形態の変更の一例である。
　第３の実施形態に係る制御装置１４５の構成は、第２の実施形態と同様である。第３の実施形態に係る制御装置１４５は、第２の実施形態と障害物検出部２１３、指示入力部２１４、および表示画面生成部２１５の動作が異なる。
　第３の実施形態に係る障害物検出部２１３は、障害物を検出したときに、当該障害物の種別を特定する。例えば、障害物検出部２１３は、パターンマッチングによって障害物を検出する場合、予め障害物の種別ごとにパターンを用意しておき、マッチしたパターンに関連付けられた種別を、障害物の種別として特定する。例えば、障害物検出部２１３が機械学習に基づく物体検出処理によって障害物を検出する場合、予めモデルが障害物の種別を示すラベルを出力するように学習させておき、ラベルに基づいて障害物の種別を特定する。
　第３の実施形態に係る指示入力部２１４は、タッチパネルに対するダブルタップ操作を、ディスプレイ１４５Ｄへの障害物の表示に対する種別表示指示として受け付ける。
　表示画面生成部２１５は、指示入力部２１４が種別表示指示を受け付けた場合に、撮像画像の障害物の近傍に当該障害物の種別表示を配置する。
《動作例》
　以下、図を用いながら第３の実施形態に係る制御装置１４５の動作例について説明する。
　図１４は、第３の実施形態に係る制御装置１４５の動作例を示す図である。
　制御装置１４５の障害物検出部２１３は、作業機械１００の周囲において障害物を検出すると、当該障害物の種別と、当該障害物が検出された領域を特定する。オペレータは、スピーカ１４５Ｓから発せられるアラームを聞き、ディスプレイ１４５Ｄを視認することで障害物が存在することを認識する。ここで、オペレータは、右前方領域Ｒｄの障害物を認識しづらい場合に、当該障害物の確認のために、種別表示指示を行う。指示入力部２１４は、最後に接触があった座標に最も近い障害物を特定する。表示画面生成部２１５は、特定された障害物の種別を表示するラベル画像Ｇ１６を生成する。表示画面生成部２１５は、ラベル画像Ｇ１６を種別表示指示に係る座標に配置する。
《作用・効果》
　第３の実施形態に係る制御装置１４５は、対象となる障害物の種別を表すラベル画像Ｇ１６を生成する。制御装置１４５は、ラベル画像Ｇ１６を提示することで、オペレータに障害物の種別を認識させることができる。
《変形例》
　なお、第３の実施形態に係る制御装置１４５は、障害物の種別をディスプレイ１４５Ｄに表示させるが、これに限られない。例えば、他の実施形態に係る制御装置１４５は、ディスプレイ１４５Ｄへの表示に代えて、スピーカ１４５Ｓから障害物の種別を表す音声を出力させてもよい。
〈他の実施形態〉
　以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
　上述した実施形態に係る制御装置１４５は、ディスプレイ１４５ＤへのマーカＧ１２の表示、アラームアイコンＧ１３の表示、およびスピーカ１４５Ｓからのアラームによって障害物の報知を行うが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係る制御装置１４５は、作業機械１００の介入制御により障害物の報知を行ってもよい。
　また、上述した実施形態に係る作業機械１００は、油圧ショベルであるが、これに限られない。例えば、他の実施形態に係る作業機械１００は、例えば、ダンプトラック、ブルドーザ、ホイルローダなどの他の作業機械であってもよい。
　また、図５などに示す表示画面の例においては、表示画面に左後方領域Ｒａ、後方領域Ｒｂ、右後方領域Ｒｃ、右前方領域Ｒｄ、左前方領域Ｒｅの領域の境界線が表示されないものとし説明したが、これに限られず、他の実施形態においては、表示画面に領域の境界線が表示されてもよい。
　上述した実施形態に係る制御装置１４５の障害物検出部２１３は、障害物が存在する領域を特定するが、これに限られない。例えば、他の実施形態に係る制御装置１４５は、障害物が存在する領域を特定しなくてもよい。この場合、制御装置１４５は、拡大指示や種別表示指示によりに基づいて、接触があった座標に最も近い障害物を特定し、当該障害物を中心に拡大してもよいし、当該障害物の近傍に、障害物の種別を表示するようにしてもよい。
　上述した実施形態に係る制御装置１４５は、拡大指示や種別表示指示により接触があった座標に最も近い障害物を特定するが、これに限られない。例えば、制御装置１４５は、拡大指示がなされた領域に存在する当該障害物を中心に当該領域に係る変形画像を拡大してもよい。または、制御装置１４５は、拡大した画像を、画像が写らない左前方領域Ｒｅや、俯瞰画像Ｇ１１と単カメラ画像Ｇ１４の間などに表示させてもよい。なお、制御装置１４５は、拡大指示がなされた領域に存在する障害物の数に応じて、拡大表示の態様を異ならせてもよい。例えば、制御装置１４５は、拡大指示がなされた領域に存在する障害物の数が１つである場合に、当該障害物を中心に当該領域に係る変形画像を拡大し、拡大指示がなされた領域に存在する障害物の数が２つ以上である場合に、各障害物を拡大した画像を、画像が写らない左前方領域Ｒｅや、俯瞰画像Ｇ１１と単カメラ画像Ｇ１４の間などに表示させる。また、例えば、制御装置１４５は、種別表示指示がなされた領域に存在する障害物の近傍に、障害物の種別を表示するようにしてもよい。
１００…作業機械　１１０…走行体　１２０…旋回体　１２１…カメラ　１３０…作業機　１４５…制御装置　１４５Ｄ…ディスプレイ　１４５Ｓ…スピーカ　２１１…取得部　２１２…俯瞰画像生成部　２１３…障害物検出部　２１４…指示入力部　２１５…表示画面生成部　２１６…表示制御部　２１７…アラーム制御部

Claims (7)

  1. 　作業機械の周囲に障害物が存在するか否かを判定する障害物判定部と、
    　前記障害物が存在すると判定した場合に、前記障害物を示す報知を行う報知部と、
    　前記報知に対する操作指示を受け付ける指示入力部と、
    　前記操作指示に基づいて前記障害物の表示形態の変更を行う出力部と
    　を備える作業機械の障害物報知システム。
  2. 　前記表示形態の変更は、前記障害物の表示の拡大である
    　請求項１に記載の障害物報知システム。
  3. 　前記障害物の表示の拡大は、固定の拡大率に基づく前記障害物の拡大画像を出力することである
    　請求項２に記載の障害物報知システム。
  4. 　前記障害物の表示の拡大は、前記操作指示に基づいて決定される拡大率に基づく前記障害物の拡大画像を出力することである
    　請求項２に記載の障害物報知システム。
  5. 　前記報知部はタッチパネルを備え、
    　前記操作指示は、前記障害物が表示された前記タッチパネルに対するピンチアウト操作である
    　請求項２に記載の障害物報知システム。
  6. 　前記報知に係る障害物の属性を特定する属性特定部を備え、
    　前記出力部は、前記操作指示に基づいて、前記報知に係る前記障害物の属性を出力する
    　請求項１から請求項５の何れか１項に記載の障害物報知システム。
  7. 　作業機械の周囲に障害物が存在するか否かを判定するステップと、
    　前記障害物が存在すると判定した場合に、前記障害物を示す報知を行うステップと、
    　前記報知に対する操作指示を受け付けるステップと、
    　前記操作指示に基づいて前記障害物の表示形態の変更を行うステップと
    　を備える作業機械の障害物報知方法。
PCT/JP2021/026138 2020-08-21 2021-07-12 作業機械の障害物報知システムおよび作業機械の障害物報知方法 WO2022038923A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180051429.1A CN115917092A (zh) 2020-08-21 2021-07-12 作业机械的障碍物报知系统及作业机械的障碍物报知方法
KR1020237005596A KR20230038784A (ko) 2020-08-21 2021-07-12 작업 기계의 장애물 통지 시스템 및 작업 기계의 장애물 통지 방법
DE112021003322.0T DE112021003322T5 (de) 2020-08-21 2021-07-12 Hindernismeldesystem für eine Arbeitsmaschine und Hindernismeldeverfahren für eine Arbeitsmaschine
US18/022,283 US20230323637A1 (en) 2020-08-21 2021-07-12 Obstacle reporting system for work machine, and obstacle reporting method for work machine

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-140271 2020-08-21
JP2020140271A JP2022035746A (ja) 2020-08-21 2020-08-21 作業機械の障害物報知システムおよび作業機械の障害物報知方法

Publications (1)

Publication Number Publication Date
WO2022038923A1 true WO2022038923A1 (ja) 2022-02-24

Family

ID=80323582

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/026138 WO2022038923A1 (ja) 2020-08-21 2021-07-12 作業機械の障害物報知システムおよび作業機械の障害物報知方法

Country Status (6)

Country Link
US (1) US20230323637A1 (ja)
JP (1) JP2022035746A (ja)
KR (1) KR20230038784A (ja)
CN (1) CN115917092A (ja)
DE (1) DE112021003322T5 (ja)
WO (1) WO2022038923A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120327261A1 (en) * 2011-06-27 2012-12-27 Motion Metrics International Corp. Method and apparatus for generating an indication of an object within an operating ambit of heavy loading equipment
WO2018008096A1 (ja) * 2016-07-05 2018-01-11 マクセル株式会社 情報表示装置およびプログラム
JP2018017115A (ja) * 2017-09-06 2018-02-01 住友建機株式会社 ショベル
WO2018151280A1 (ja) * 2017-02-17 2018-08-23 住友重機械工業株式会社 作業機械用周辺監視システム
JP2018135759A (ja) * 2018-06-07 2018-08-30 住友重機械工業株式会社 作業機械用周辺監視装置
JP2019060108A (ja) * 2017-09-26 2019-04-18 日立建機株式会社 作業員接近通知システム
WO2020080538A1 (ja) * 2018-10-19 2020-04-23 住友建機株式会社 ショベル

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
CN103080990B (zh) 2011-06-07 2015-04-01 株式会社小松制作所 作业车辆的周边监视装置
JP6978826B2 (ja) * 2016-01-08 2021-12-08 キヤノン株式会社 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
US10250812B2 (en) * 2017-05-17 2019-04-02 Caterpillar Inc. Display system for machine
US10509962B2 (en) * 2017-09-14 2019-12-17 Ebay Inc. Camera platform incorporating schedule and stature
JP6528014B1 (ja) 2019-02-27 2019-06-12 カルソニックカンセイ株式会社 触感発生装置および触感発生方法
CN110032326A (zh) * 2019-03-29 2019-07-19 网易（杭州）网络有限公司 移动终端显示画面的控制方法、装置、设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120327261A1 (en) * 2011-06-27 2012-12-27 Motion Metrics International Corp. Method and apparatus for generating an indication of an object within an operating ambit of heavy loading equipment
WO2018008096A1 (ja) * 2016-07-05 2018-01-11 マクセル株式会社 情報表示装置およびプログラム
WO2018151280A1 (ja) * 2017-02-17 2018-08-23 住友重機械工業株式会社 作業機械用周辺監視システム
JP2018017115A (ja) * 2017-09-06 2018-02-01 住友建機株式会社 ショベル
JP2019060108A (ja) * 2017-09-26 2019-04-18 日立建機株式会社 作業員接近通知システム
JP2018135759A (ja) * 2018-06-07 2018-08-30 住友重機械工業株式会社 作業機械用周辺監視装置
WO2020080538A1 (ja) * 2018-10-19 2020-04-23 住友建機株式会社 ショベル

Also Published As

Publication number Publication date
CN115917092A (zh) 2023-04-04
KR20230038784A (ko) 2023-03-21
JP2022035746A (ja) 2022-03-04
US20230323637A1 (en) 2023-10-12
DE112021003322T5 (de) 2023-06-15

Similar Documents

Publication Publication Date Title
KR102104380B1 (ko) 작업 기계의 주위 감시 장치
WO2021010258A1 (ja) 作業車両の表示システムおよび作業車両の表示方法
WO2016158265A1 (ja) 作業機械
JP7058569B2 (ja) 作業機械
JP6878025B2 (ja) 作業機械用周辺監視システム
CN112487860A (zh) 具有使用视觉识别的对象检测的移动式作业机械
US11091100B2 (en) Work vehicle multi-camera vision systems
WO2021200798A1 (ja) 検出システムおよび検出方法
WO2022050347A1 (ja) 作業機械の障害物報知システムおよび作業機械の障害物報知方法
WO2021215198A1 (ja) 作業機械の障害物報知システムおよび作業機械の障害物報知方法
WO2022038923A1 (ja) 作業機械の障害物報知システムおよび作業機械の障害物報知方法
US20230142088A1 (en) Remote operation assistance device and remote operation assistance method
WO2021010467A1 (ja) 作業車両の表示システムおよび作業車両の表示方法
JP6980391B2 (ja) 作業機械用周辺監視システム
CN112477879A (zh) 具有对象检测和机械路径可视化的移动式作业机械
JP6802196B2 (ja) 運搬車両
WO2020170527A1 (ja) 作業機械用周辺監視装置
US11661722B2 (en) System and method for customized visualization of the surroundings of self-propelled work vehicles
EP4279667A1 (en) Remote operation assistance server and remote operation assistance system
JP2023120743A (ja) 表示制御装置、及び遠隔操作装置
CN115698438A (zh) 实机状态监视系统以及实机状态监视方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21858072

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237005596

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21858072

Country of ref document: EP

Kind code of ref document: A1