WO2021200458A1 - 作業機械の周囲検知装置 - Google Patents

作業機械の周囲検知装置 Download PDF

Info

Publication number
WO2021200458A1
WO2021200458A1 PCT/JP2021/012204 JP2021012204W WO2021200458A1 WO 2021200458 A1 WO2021200458 A1 WO 2021200458A1 JP 2021012204 W JP2021012204 W JP 2021012204W WO 2021200458 A1 WO2021200458 A1 WO 2021200458A1
Authority
WO
WIPO (PCT)
Prior art keywords
work machine
detection device
captured image
region
unit
Prior art date
Application number
PCT/JP2021/012204
Other languages
English (en)
French (fr)
Inventor
裕樹 小嶋
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to EP21781724.6A priority Critical patent/EP4105391B1/en
Priority to US17/907,438 priority patent/US20230105895A1/en
Priority to CN202180023849.9A priority patent/CN115362297B/zh
Publication of WO2021200458A1 publication Critical patent/WO2021200458A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2033—Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08—Superstructures; Supports for superstructures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to an ambient detection device for a work machine that detects an object around the work machine.
  • Patent Document 1 describes a conventional ambient detection device.
  • the imaging device photographs an object (obstacle in the document).
  • the distance from the work machine to the object is calculated based on the lowest position of the object in the captured image (see paragraphs 0027 and FIG. 8 of the same document).
  • the lowest position of the object in the captured image is not always the position closest to the work machine (closest position).
  • the closest position changes depending on the operation of the work machine.
  • An object of the present invention is to provide a peripheral detection device for a work machine, which can set the closest position to the work machine as the coordinates of an object according to the operation of the work machine.
  • the perimeter detection device for a work machine is provided on the work machine, and operates the work machine and at least one imaging device for photographing an object around the work machine and acquiring an image.
  • An operation unit for setting an object a search unit for searching the position of the object in the captured image, a first setting unit for setting a detection area which is a region for detecting the object in the captured image, and the imaging.
  • the search unit includes a response processing unit that executes a predetermined response process when the object enters the inside of the detection region in the image, and the search unit sets the object in a polygonal frame in the captured image.
  • a straight line extending in the front orthogonal direction through the point on the most machine side of the frame is set, and the front orthogonal direction is a direction orthogonal to the front direction of the work machine in the captured image, and the machine side is ,
  • the first apex of the first side which is the side close to the work machine in the front direction and is one side of the machine side and the front orthogonal direction among the plurality of vertices of the frame, is projected onto the straight line.
  • the first end point is set as the point, and the second vertex on the second side, which is the machine side and the other side in the front orthogonal direction, among the plurality of vertices is projected onto the straight line.
  • An end point is set, a center point is set as a point located at the center of the first end point and the second end point, and the first end point, the second end point, and the second end point are set according to the operation pattern of the operation unit.
  • One of the center points is used as a coordinate indicating the position of the object.
  • FIG. 4 is a diagram corresponding to FIG. 4, which shows a captured image of a modified example. It is a figure corresponding to FIG. 7, and is the figure which shows the icon of the modification.
  • the surrounding detection device 20 (see FIG. 2) of the work machine 1 (see FIG. 1) will be described with reference to FIGS. 1 to 7.
  • the work machine 1 is a machine that performs work, for example, a construction machine that performs construction work.
  • the construction machine may be, for example, an excavator (for example, a hydraulic excavator) or a crane.
  • an excavator for example, a hydraulic excavator
  • the work machine 1 includes a lower traveling body 11, an upper rotating body 13, and an attachment 15.
  • the lower traveling body 11 runs the work machine 1.
  • the lower traveling body 11 may include, for example, a crawler and may include a soil removal plate.
  • the upper swivel body 13 is mounted so as to be swivelable with respect to the lower traveling body 11.
  • the upper swing body 13 includes a driver's cab 13a and a counterweight 13b.
  • the driver's cab 13a is a part that the operator operates when the operator gets on the work machine 1 and operates the work machine 1.
  • the counterweight 13b is a weight for balancing the work machine 1 in the front-rear direction.
  • the attachment 15 is a part for performing work, and includes, for example, a boom 15a, an arm 15b, and a tip attachment 15c.
  • the boom 15a is undulatingly attached to the upper swing body 13.
  • the arm 15b is rotatably attached to the boom 15a.
  • the tip attachment 15c is provided at the tip of the attachment 15 and is rotatably attached to the arm 15b.
  • the tip attachment 15c may be, for example, a bucket for scooping earth and sand, a device for sandwiching an object (such as a grapple), or a device for crushing or excavating (such as a breaker).
  • the surroundings detection device 20 is a device that detects an object (object A) around the work machine 1.
  • the ambient detection device 20 detects the object A based on the captured image Im (see FIG. 4).
  • the object A may be a person (worker) around the work machine 1 or an obstacle other than the person around the work machine 1.
  • the surrounding detection device 20 includes an operation unit 21, an image pickup device 23, a control unit 30, an icon display unit 70, an image capture image display unit 80, and a corresponding processing unit 90.
  • the operation unit 21 is a part operated by the operator to operate the work machine 1 (see FIG. 1).
  • the operation unit 21 is provided in the driver's cab 13a (see FIG. 1). When the work machine 1 is remotely controlled, the operation unit 21 may be provided at a position away from the work machine 1 (see FIG. 1).
  • the operation unit 21 includes a traveling operation unit 21a, a turning operation unit 21b, and an input device 21c for adjusting the boundary line.
  • the traveling operation unit 21a is a portion for operating the traveling (more specifically, forward traveling and reverse traveling) of the lower traveling body 11 (see FIG. 1).
  • the traveling operation unit 21a is a lever (operation lever) (the same applies to the turning operation unit 21b).
  • the turning operation unit 21b is a part for operating the turning (right turning, left turning) of the upper turning body 13 (see FIG. 1) with respect to the lower traveling body 11 (see FIG. 1).
  • the input device 21c is a device for adjusting the position of the boundary line B (see FIG. 4) described later.
  • the input device 21c includes, for example, a jog dial 21c1 and a switch 21c2 (for example, a push switch).
  • the jog dial 21c1 and the switch 21c2 may be integrally configured or may be separate.
  • the image pickup apparatus 23 photographs (images) the object A and acquires the captured image Im (see FIG. 4).
  • the image pickup device 23 is an image pickup device that monitors the surroundings of the work machine 1.
  • the image pickup device 23 is attached to and fixed to the upper swing body 13.
  • the imaging range of the image pickup apparatus 23 preferably covers an area in the driver's cab 13a that becomes a blind spot from the operator.
  • the number of image pickup devices 23 may be one or may be one or more.
  • the image pickup apparatus 23 is provided, for example, on the rear side portion (for example, the counterweight 13b or its vicinity), the right side portion, the left side portion, and the like of the upper swing body 13.
  • the image pickup device 23 may be provided in the front side portion (for example, the driver's cab 13a) of the upper swing body 13.
  • the image pickup device 23 is capable of photographing a wide range, and is, for example, a device having a fisheye lens.
  • the captured image Im (see FIG. 4) acquired by the imaging device 23 may be a two-dimensional image (more specifically, a moving image) or a three-dimensional image (for example, an image captured by a stereo camera or the like).
  • the side close to the work machine 1 is the lower side Y2 (machine side) of the image
  • the side far from the work machine 1 is the upper side Y1 (anti-machine side) of the image.
  • the direction connecting the upper side Y1 of the image and the lower side Y2 of the image is defined as the image vertical direction Y (front direction).
  • the direction in which the object A approaches or moves away from the work machine 1 at the shortest distance is defined as the front direction (the vertical direction Y in the example of FIG. 4).
  • the direction orthogonal to the front direction is defined as the front orthogonal direction (in the example of FIG. 4, the left-right direction X of the image).
  • One side in the image left-right direction X is defined as the image right side Xr (first side).
  • the side opposite to the image right side Xr in the image left-right direction X is defined as the image left side Xl (second side).
  • “top”, “bottom”, “left”, and “right” are just terms used for convenience of explanation.
  • the image pickup apparatus 23 may be rotated or inverted.
  • the control unit 30 (see FIG. 2) performs input / output of information, calculation (judgment, setting, etc.), storage of information, and the like.
  • the control unit 30 shown in FIG. 2 may be provided on the upper swing body 13 (see FIG. 1) or may be provided outside the upper swing body 13 (for example, a server or the like).
  • a part of the components of the control unit 30 may be arranged on the upper swing body 13, and the other part may be arranged outside the upper swing body 13.
  • the control unit 30 includes an image correction unit 31, a search unit 41, a restriction unit 43, a first setting unit 51, a second setting unit 45, a third setting unit 53, an adjustment unit 52, and a determination unit 61.
  • a corresponding processing control unit 63 and a display control unit 65 are provided.
  • the image correction unit 31 corrects the captured image Im acquired by the imaging device 23.
  • the image correction unit 31 corrects the distortion (distortion of the image) of the captured image Im. Any method may be used for distortion correction by the image correction unit 31.
  • the image correction unit 31 may reduce the distortion by expanding and contracting the captured image Im.
  • the image correction unit 31 may remove a portion having a large amount of distortion from the captured image Im, leaving a portion having a small amount of distortion.
  • the captured image Im corrected by the image correction unit 31 is also referred to as "captured image Im".
  • the search unit 41 searches for the position of the object A in the captured image Im shown in FIG. More specifically, the search unit 41 (see FIG. 2) automatically determines (recognizes and identifies) whether or not the object reflected in the captured image Im is the object A or not by image processing. The search unit 41 makes this determination based on the characteristic portion (for example, shape, color, etc.) of the object reflected in the captured image Im.
  • the search unit 41 includes a coordinate calculation unit 41a.
  • the coordinate calculation unit 41a calculates the position (coordinates) of the object A closest to the work machine 1 in the captured image Im. For example, the coordinate calculation unit 41a calculates the coordinates of the lower Y2 portion of the image of the object A (for example, the foot portion of the worker) as the closest position. The details of the coordinate calculation by the coordinate calculation unit 41a will be described later.
  • the limiting unit 43 may set the search upper limit position Ea (first limiting position) or the search lower limit position Eb (second limiting position) with respect to the captured image Im. ..
  • the search upper limit position Ea may be preset in the restriction unit 43, or may be manually or automatically set (the same applies to the search lower limit position Eb).
  • the search lower limit position Eb is set to Y2 below the image than the search upper limit position Ea.
  • Example 1 When the limit unit 43 sets the search upper limit position Ea, the search range of the object A by the search unit 41 (see FIG. 2) is within the area Y2 below the image from the search upper limit position Ea.
  • the "inside the region” does not have to be the entire region, but is at least a part of the region (and so on).
  • the search unit 41 does not search for the object A in the region Y1 above the image above the search upper limit position Ea.
  • Example 2 When the limit unit 43 sets the search lower limit position Eb, the search range of the object A by the search unit 41 (see FIG. 2) is within the region of the image upper side Y1 with respect to the search lower limit position Eb.
  • the search unit 41 does not search for the object A in the region Y2 below the image lower limit position Eb.
  • the search range of the object A by the search unit 41 is the search upper limit position Ea and the search lower limit position.
  • the search unit 41 does not search for the object A in the region Y1 above the image above the search upper limit position Ea.
  • the search unit 41 does not search for the object A in a part of the captured image Im.
  • the search upper limit position Ea and the search lower limit position Eb are set based on, for example, the necessity of searching for the object A.
  • the search upper limit position Ea is set as follows, for example.
  • the sky may be reflected (reflected) in the Y1 portion on the upper side of the captured image Im. If the object A is detected up to the part where the sky is reflected, it may cause over-detection and may cause false detection. Therefore, the search upper limit position Ea is set based on the portion where the sky is expected to be reflected. For example, the search upper limit position Ea is set so that the portion where the sky is expected to be reflected is Y1 on the upper side of the image than the search upper limit position Ea.
  • the search lower limit position Eb is set as follows, for example. A part of the upper swivel body 13 (see FIG. 1) may be reflected in the lower Y2 portion of the captured image Im. In this case, the object A is not reflected in the portion where the upper swivel body 13 is reflected. Therefore, the limiting unit 43 sets the search lower limit position Eb based on the portion where the upper swivel body 13 is expected to be projected. For example, the limiting unit 43 sets the search lower limit position Eb so that the portion where the upper swivel body 13 is expected to be projected is on the lower side Y2 of the image than the search lower limit position Eb.
  • the second setting unit 45 sets a high distortion region Fb (first distortion region) and a low distortion region Fa (second distortion region) with respect to the captured image Im.
  • the high distortion region Fb may be preset in the second setting unit 45, or may be manually or automatically set (the same applies to the low distortion region Fa).
  • the low distortion region Fa is a region in which the distortion of the image is smaller than that of the high distortion region Fb.
  • the second setting unit 45 sets the high distortion region Fb and the low distortion region Fa, for example, as follows.
  • the Y1 portion on the upper side of the image and the Y2 portion on the lower side of the image of the captured image Im may have a larger distortion than the central portion in the vertical direction of the image. Therefore, the Y1 portion on the upper side of the image and the Y2 portion on the lower side of the image of the captured image Im are set as the high distortion region Fb, and the portion of the captured image Im other than the high distortion region Fb is set as the low distortion region Fa.
  • the Y1 portion on the upper side of the image and the Y2 portion on the lower side of the image of the captured image Im are set as the high distortion region Fb
  • the portion of the captured image Im other than the high distortion region Fb is set as the low distortion region Fa.
  • the search range of the object A by the search unit 41 is within the low distortion region Fa and within the high distortion region Fb (third strain region) of the lower Y2 portion of the image.
  • the search unit 41 does not search for the object A in the high distortion region Fb (fourth distortion region) of the Y1 portion on the upper side of the image. Therefore, as compared with the case where the search unit 41 searches the entire captured image Im, the search range of the search unit 41 is limited, the processing load is reduced, and the processing time is shortened.
  • the search unit 41 searches for the object A in the high distortion region Fb of the lower Y2 portion of the image. Therefore, the object A approaching the work machine 1 can be appropriately detected.
  • each of the search upper limit position Ea, the search lower limit position Eb, the high distortion region Fb, and the low distortion region Fa is set.
  • the search unit 41 (see FIG. 2) searches for the object A in the region between the search upper limit position Ea and the search lower limit position Eb and in the low distortion region Fa, and searches in the other regions.
  • the Y1 portion on the upper side of the image and the Y2 portion on the lower side of the image of the captured image Im are the high distortion region Fb, and the central portion in the vertical direction Y of the image is the low distortion region Fa.
  • what kind of correction is performed by the image correction unit 31, and the like, it is possible to consider which part of the captured image Im becomes the high distortion region Fb and the low distortion region Fa.
  • the first setting unit 51 sets the detection area D.
  • the detection area D is an area for detecting the object A in the captured image Im, and is an area for determining whether or not to perform a predetermined corresponding processing by the corresponding processing unit 90 (see FIG. 2).
  • the area other than the detection area D in the captured image Im is defined as the non-detection area C.
  • the first setting unit 51 sets a plurality of sections in the captured image Im. In the example shown in FIG. 4, the first setting unit 51 sets four sections: a lower left section Da, a lower right section Db, an upper left section Dc, and an upper right section Dd.
  • the first setting unit 51 sets a boundary line B which is a boundary of the detection area D in the captured image Im.
  • the boundary line B includes a region boundary line Bx extending in the left-right direction X of the image and a division boundary line By extending in the vertical direction Y of the image. Only one area boundary line Bx may be set, or a plurality of area boundary lines Bx may be set.
  • the area boundary line Bx includes at least a line that is a boundary between the detection area D and the non-detection area C.
  • the area boundary line Bx on the side farthest from the work machine 1 is the boundary between the detection area D and the non-detection area C (the limit area of the detection area D).
  • the area boundary line Bx may include a line that divides a plurality of detection areas D.
  • the area boundary line Bx may include a line (reference line) that separates the partition Da and the partition Dc, or may include a line (reference line) that separates the partition Db and the partition Dd. good.
  • the region boundary line Bx is preferably set so that the processing load of the control unit 30 (see FIG. 2) is as light as possible.
  • the region boundary line Bx is a line extending in the left-right direction X of the image and having a constant shape (shape that does not change).
  • the region boundary line Bx is preferably substantially linear, and more preferably linear in the captured image Im.
  • the "substantially linear shape” may be, for example, a curved shape along a part of the upper swivel body 13 (see FIG. 1) (for example, the rear end of the counterweight 13b (see FIG. 1)) reflected in the captured image Im.
  • the region boundary line Bx is preferably set to the captured image Im corrected by the image correction unit 31 (see FIG. 2).
  • the reason is as follows. In the portion where the distortion of the captured image Im is large, even if the position of the object A in the vertical direction Y of the image is the same, the actual distance from the work machine 1 to the object A depends on the position of the object A in the horizontal direction X of the image. to differ greatly. Therefore, if a linear or substantially linear region boundary line Bx is set in a portion of the captured image Im where the distortion is large, the object A in the left-right direction X of the image is set even if the actual distance from the work machine 1 to the object A is the same.
  • the object A may or may not enter the detection area D depending on the position of.
  • the actual distance (correspondence processing start distance) between the object A and the work machine 1 when the correspondence processing by the correspondence processing unit 90 (see FIG. 2) is started is the image lateral direction X of the captured image Im. It depends on the position of the object A. Therefore, it becomes difficult for the operator of the work machine 1 to grasp how close the object A is to the work machine 1 to start the response process (the operator has difficulty in grasping the sense of distance).
  • a substantially linear or linear region boundary line Bx is set in the captured image Im whose distortion has been corrected by the image correction unit 31 (see FIG. 2). Therefore, the corresponding processing start distance is constant or substantially constant regardless of the position of the object A in the left-right direction X of the image. Therefore, the operator can easily grasp the sense of distance. Further, since the corresponding processing start distance is constant or substantially constant, the corresponding processing is properly performed.
  • the first setting unit 51 sets the region boundary line Bx in the low distortion region Fa for the same reason as described above.
  • the corresponding processing start distance becomes substantially constant regardless of the position of the object A in the left-right direction X of the image, and the operator can easily grasp the sense of distance. Further, since the corresponding processing start distance is constant or substantially constant, the corresponding processing is properly performed. Further, as described above, it is assumed that the sky is reflected in the upper Y1 portion of the captured image Im, and the lower traveling body 11 is reflected in the lower Y2 portion of the captured image Im. Therefore, if the region boundary line Bx is set in the low distortion region Fa at the center of the image vertical direction Y of the captured image Im, the object A can be appropriately detected.
  • the region boundary line Bx is set in the low distortion region Fa, the object is set earlier than the case where the region boundary line Bx is set in the high distortion region Fb on the work machine 1 side (lower side Y2 of the image). A can be detected.
  • the second setting unit 45 includes a low distortion region Fa (that is, a second distortion region) in which the region boundary line Bx can be set, and a high distortion region Fb (that is, a first distortion region) in which the region boundary line Bx is not set. , Set. Further, the second setting unit 45 sets the low distortion region Fa (that is, the second distortion region) that can be searched by the search unit 41 and the high distortion region Fb (that is, the third distortion region) of the lower side Y2 of the image. Set. Further, the second setting unit 45 sets a high distortion region Fb (that is, a fourth distortion region) of the image upper side Y1 that is not searched by the search unit 41.
  • the low distortion region Fa first low distortion region
  • the low distortion region Fa second low distortion region
  • the first low distortion region and the second low distortion region have different arrangements. Further, only one of the first low distortion region and the second low distortion region may be set.
  • the first setting unit 51 may set a plurality of area boundary lines Bx. In this case, the first setting unit 51 sets a plurality of region boundary lines Bx at intervals in the vertical direction Y of the image. Then, as will be described later, the correspondence processing of the correspondence processing unit 90 is changed depending on which region boundary line Bx the object A crosses.
  • the first setting unit 51 When a plurality of image pickup devices 23 (see FIG. 1) are provided, the first setting unit 51 (see FIG. 2) individually (for each image pickup device 23) a plurality of captured images Im acquired by the plurality of image pickup devices 23. Set the area boundary line Bx. For example, the first setting unit 51 sets the area boundary line Bx so that the corresponding processing start distance is constant or substantially constant in each image pickup apparatus 23.
  • the first setting unit 51 sets the division boundary line By, which is the boundary between a plurality of divisions arranged in the left-right direction X of the image.
  • the section boundary line By extends in the vertical direction Y of the image.
  • the division boundary line By is a line having a constant shape (shape that does not change).
  • the partition boundary line By is preferably substantially linear, and more preferably linear in the captured image Im. As shown in FIG. 8, a plurality of division boundary lines By may be set.
  • the first setting unit 51 may set a plurality of division boundary lines By at intervals in the left-right direction X of the image.
  • the first setting unit 51 shown in FIG. 2 includes an adjustment unit 52.
  • the adjustment unit 52 is a portion that adjusts the position of the area boundary line Bx shown in FIG. 4 in the vertical direction Y of the image. Even if the position of the region boundary line Bx is adjusted by the adjusting unit 52, the shape of the region boundary line Bx in the captured image Im is constant. If the position of the region boundary line Bx is changed in the portion where the distortion of the captured image Im is large, it is necessary to change the curvature of the region boundary line Bx according to the distortion of the captured image Im, and it is necessary to prepare a plurality of parameters. In this embodiment, the shape of the region boundary line Bx is constant. The adjustment of the position of the area boundary line Bx by the adjusting unit 52 may be manual adjustment or automatic adjustment.
  • the control unit 30 (see FIG. 2) is set to the "adjustment mode".
  • the captured image display unit 80 (see FIG. 2), which will be described later, superimposes the region boundary line Bx on the captured image Im and displays it.
  • the operator moves the area boundary line Bx in the vertical direction Y of the image while observing this display, and performs an operation of determining the position of the area boundary line Bx.
  • This operation is performed by the input device 21c (see FIG. 2).
  • the operator rotates the jog dial 21c1 (see FIG. 2) to move the area boundary line Bx in the vertical direction Y of the image and operates the switch 21c2 (see FIG. 2) (for example, presses the button). )
  • the position of the area boundary line Bx is determined.
  • a specific example when the position of the area boundary line Bx is automatically adjusted is as follows.
  • the position of the region boundary line Bx is adjusted based on, for example, the traveling speed of the work machine 1.
  • the adjusting unit 52 determines the position of the region boundary line Bx in the captured image Im when the traveling speed of the work machine 1 in the direction approaching the object A is the first speed.
  • One position is Bx1.
  • the traveling speed of the work machine 1 in the direction approaching the object A, which is faster than the first speed, is defined as the second speed.
  • the position of the region boundary line Bx in the captured image Im at this second speed is defined as the second position Bx2.
  • the adjusting unit 52 sets the second position Bx2 to Y1 on the upper side of the image than the first position Bx1.
  • the adjustment unit 52 may set the position of the region boundary line Bx to Y1 on the upper side of the image stepwise as the traveling speed of the work machine 1 increases, or may continuously set it to Y1 on the upper side of the image. .. Whether or not the traveling direction of the work machine 1 approaches the object A depends on the traveling direction of the lower traveling body 11 (forward, backward), the turning angle of the upper rotating body 13 with respect to the lower traveling body 11. The determination can be made based on the shooting direction of the image pickup apparatus 23.
  • the position of the region boundary line Bx may not be adjusted (that is, the adjusting unit 52 may not be provided).
  • the area boundary line Bx is set in advance in the first setting unit 51, and the position of the area boundary line Bx may not be changed.
  • the adjusting unit 52 When the adjusting unit 52 adjusts the position of the area boundary line Bx, the adjusting unit 52 directly or indirectly acquires the traveling speed of the work machine 1.
  • the adjusting unit 52 shown in FIG. 2 may acquire the traveling speed from the operating amount of the traveling operation unit 21a.
  • the adjusting unit 52 may acquire the traveling speed from the information (rotation speed, flow rate of hydraulic oil, etc.) about the motor that travels the lower traveling body 11 (see FIG. 1).
  • the adjusting unit 52 may acquire the traveling speed from the sensor that detects the position of the work machine 1.
  • the third setting unit 53 sets the boundary line upper limit position Ga (first limit position) and the boundary line lower limit position Gb (second limit position) with respect to the captured image Im. ..
  • the boundary line lower limit position Gb is set to Y2 below the image from the boundary line upper limit position Ga.
  • the region boundary line Bx is set in the region between the boundary line upper limit position Ga and the boundary line lower limit position Gb.
  • the boundary line upper limit position Ga and the boundary line lower limit position Gb are set based on, for example, the necessity of searching for the object A, similarly to the search upper limit position Ea and the search lower limit position Eb.
  • the first setting unit 51 sets the boundary line upper limit position Ga and the boundary line.
  • the region boundary line Bx is set in the region between the lower limit position Gb and in the low distortion region Fa.
  • the boundary line upper limit position Ga and the search upper limit position Ea match, but they do not have to match (the same applies to the boundary line lower limit position Gb and the search lower limit position Eb).
  • the determination unit 61 determines whether or not a part or all of the object A exists inside the detection area D. Specifically, the determination unit 61 determines whether or not, for example, the coordinates of the lower Y2 end of the frame K (the lowest point Kb, which is the point of the lowermost Y2 of the image) exist in the detection region D. Is judged.
  • the area boundary line Bx is linear, is the coordinate of the image vertical direction Y of the lowest point Kb the work machine 1 side (image lower side Y2) with respect to the coordinate of the area boundary line Bx in the image vertical direction Y? With a simple determination of whether or not, it is possible to determine whether or not the object A exists in the detection area D.
  • the corresponding processing control unit 63 When it is detected that the object A has entered the inside of the detection area D, the corresponding processing control unit 63 (see FIG. 2) causes the corresponding processing unit 90 (see FIG. 2) to execute a predetermined corresponding processing (see FIG. 2). Details will be described later). If it is not detected that the object A has entered the inside of the detection area D, the corresponding processing control unit 63 does not cause the corresponding processing unit 90 to execute the corresponding processing.
  • the display control unit 65 controls the display of the icon display unit 70 and the display of the captured image display unit 80.
  • the icon display unit 70 displays an icon 71 indicating the position of the object A (see FIG. 1) with respect to the work machine 1 (see FIG. 1).
  • the icon display unit 70 is provided in, for example, the driver's cab 13a (see FIG. 1). When the work machine 1 is remotely controlled, the icon display unit 70 may be arranged outside the work machine 1 (see FIG. 1).
  • the icon display unit 70 is, for example, a part or all of the display.
  • the icon 71 includes a work machine icon 71a and an area icon 71b.
  • the work machine icon 71a is, for example, a figure representing the work machine 1 (see FIG. 1) viewed from above.
  • the area icon 71b is a figure representing a plurality of areas (71bDa, 71bDb, 71bDc, 71bDd) around the work machine 1 (see FIG. 1) viewed from above.
  • the plurality of regions (71bDa, 71bDb, 71bDc, 71bDd) indicated by the region icon 71b correspond to the plurality of compartments Da, Db, Dc, and Dd shown in FIG.
  • the boundary of the area icon 71b (see FIG. 7) shown in FIG. 7 corresponds to the boundary line B of the captured image Im shown in FIG. Of the area icons 71b (see FIG.
  • the approach area icon 71b1 shown in FIG. 7 may have its color changed or its brightness changed with respect to the other area icons 71b.
  • the approach area icon 71b1 may blink.
  • the captured image display unit 80 displays the captured image Im (see FIG. 4).
  • the captured image display unit 80 is provided in, for example, the driver's cab 13a shown in FIG.
  • the captured image display unit 80 may be arranged outside the work machine 1.
  • the captured image display unit 80 is, for example, a part or all of the display.
  • the captured image Im (see FIG. 4) of the captured image display unit 80 is displayed by shifting the captured image Im captured by the imaging device 23 to the left and right, like the image reflected on the rearview mirror when the back mirror is viewed from the driver's cab 13a. This is an inverted display.
  • the captured image display unit 80 may display at least one of the area boundary line Bx, the section boundary line By, and the detection area D on the captured image Im shown in FIG.
  • the area boundary line Bx may not be displayed on the captured image display unit 80, and may be used only for inner processing (determination by the determination unit 61 (see FIG. 2), etc.) (section boundary line By and The same applies to the detection area D).
  • the image pickup image display unit 80 may switch and display the image pickup image Im for each image pickup device 23, and the image pickup image Im taken by the plurality of image pickup devices 23 is combined.
  • the image Im may be displayed.
  • the captured image display unit 80 displays the captured image Im of the imaging device 23 (see FIG. 1) that is photographing the object A that has entered the detection area D shown in FIG. As a result, the operator can confirm the position where the object A is detected and what the object A is without having to manually switch the captured image Im.
  • the response processing unit 90 executes a predetermined response process when the object A enters the inside of the detection area D.
  • the response process executed by the response processing unit 90 shown in FIG. 2 may be a warning, may be a restriction on the operation of the work machine 1, or may be a process other than these.
  • this warning may be, for example, a warning to the operator of the work machine 1, or may be, for example, a warning to workers around the work machine 1.
  • This warning may be a sound warning, a light warning, a screen display (text, graphic, etc.) on the display, or a combination of these warnings.
  • the corresponding processing executed by the corresponding processing unit 90 is a limitation on the operation of the work machine 1, the limitation may be, for example, a deceleration of the operation of the work machine 1 or a stop of the operation of the work machine 1.
  • the operation of the work machine 1 restricted by the corresponding processing unit 90 may be the traveling of the lower traveling body 11 shown in FIG. 1, the turning of the upper rotating body 13 with respect to the lower traveling body 11, or the operation of the attachment 15.
  • the corresponding processing unit 90 may change the corresponding processing to be executed according to the area boundary line Bx beyond the object A.
  • the corresponding processing unit 90 increases the degree of warning and restriction as the area boundary line Bx beyond the object A is closer to the work machine 1 (at the lower side Y2 of the image). good.
  • the corresponding processing unit 90 may change the warning pattern (warning content, number of times, time, etc.) according to the area boundary line Bx beyond the object A, and determines the degree of restriction on the operation of the work machine 1. You may change it.
  • the coordinate calculation unit 41a calculates the position (coordinates) of the object A in the captured image Im shown in FIG. 4 as follows. As shown in FIG. 6, the coordinate calculation unit 41a surrounds the object A with a polygonal frame K.
  • the frame K is, for example, a quadrangle, may be a rhombus, for example, or may be a rectangle, for example.
  • the coordinate calculation unit 41a sets a straight line L that passes through the lowest point Kb of the frame K and extends in the left-right direction X of the image.
  • the point where the lower left point Kl (the first vertex of the lower side Y2 of the image and the left side of the image Xl) of the plurality of vertices of the frame K is projected onto the straight line L in the vertical direction Y of the image is the left end point Ll (first end point).
  • the point obtained by projecting the lower right point Kr (the second vertex of the lower side Y2 of the image and the second vertex of the right side Xr of the image) of the plurality of vertices of the frame K onto the straight line L in the vertical direction Y of the image is referred to as the right end point Lr (second end point). do.
  • the point (midpoint) located at the center of the left end point Ll and the right end point Lr is defined as the center point Lc.
  • the coordinate calculation unit 41a shown in FIG. 2 sets any of the left end point Ll, the right end point Lr, and the center point Lc shown in FIG. 6 as the coordinates indicating the position of the object A according to the operation pattern of the operation unit 21. do.
  • the coordinate calculation unit 41a sets the closest position to the work machine 1 (see FIG. 1) as the coordinates of the object A.
  • the coordinate calculation unit 41a does not need to set the point (closest approach point) of the object A that is exactly closest to the work machine 1 as the coordinates of the object A.
  • the coordinate calculation unit 41a may use the position of the object A near the closest point to the work machine 1 as the coordinates of the object A.
  • the coordinate calculation unit 41a preferably sets the closest point of the object A to the work machine 1 as the coordinates of the object A.
  • the captured image Im shown in FIG. 5 is a captured image Im in a state in which the image captured by the imaging device 23 (see FIG. 1) is not inverted left and right. Then, the lower right point Kr of the frame K becomes the position of the lowermost image Y2 (that is, the work machine 1 side). Therefore, when the coordinate calculation unit 41a shown in FIG. 2 is operated by the turning operation unit 21b to turn the upper turning body 13 to the left with respect to the lower traveling body 11 shown in FIG.
  • the right end point shown in FIG. Let Lr be the coordinates of the object A.
  • the "left turn” is a turn of the upper turning body 13 with respect to the lower traveling body 11 so that the scenery reflected in the captured image Im moves to the right side Xr of the image.
  • the coordinate calculation unit 41a shown in FIG. 2 is operated by the turning operation unit 21b to turn the upper turning body 13 to the right with respect to the lower traveling body 11 shown in FIG. 1, it is shown in FIG.
  • the left end point Ll be the coordinates of the object A.
  • the "right turn” is a turn of the upper turning body 13 with respect to the lower traveling body 11 so that the scenery reflected in the captured image Im moves to the left side Xl of the image. Therefore, when the upper swivel body 13 shown in FIG. 1 is swiveled, the position closest to the work machine 1 can be set as the coordinates of the object A shown in FIG.
  • the coordinate calculation unit 41a shown in FIG. 2 sets the center point Lc shown in FIG. 6 as the coordinates of the object A when the traveling operation unit 21a performs an operation of traveling the lower traveling body 11 (see FIG. 1).
  • the center point Lc is the object.
  • the area icon 71b (see FIG. 7) corresponding to the section Dc in which most of the object A shown in FIG. 4 exists is highlighted as the approach area icon 71b1 (see FIG. 7). Therefore, the operator can grasp the position of the object A more accurately.
  • the captured image Im shown in FIG. 4 is a captured image Im displayed on the captured image display unit 80, and is a captured image Im in a state in which the image captured by the imaging device 23 (see FIG. 1) is inverted left and right. be.
  • the coordinate calculation unit 41a shown in FIG. 2 may use the center point Lc shown in FIG. 6 as the coordinates of the object A when the operation unit 21 has not performed the operation.
  • the coordinates of the right end point Lr or the left end point Ll shown in FIG. 6 are the coordinates of the object A based on the operation of the turning operation unit 21b. May be.
  • the lowest point Kb shown in FIG. 4 is always the coordinates of the object A.
  • the lowest point Kb has entered the inside of the compartment Dd.
  • most of the object A exists inside the compartment Dc.
  • the icon display unit 70 shown in FIG. 7 highlights the area icon 71b (71bDd) corresponding to the section Dd.
  • the captured image display unit 80 shown in FIG. 4 displays the captured image Im in which most of the object A has entered the compartment Dc. Then, the area of the approach area icon 71b1 highlighted on the icon display unit 70 shown in FIG. 7 and the detection area D of the object A displayed on the captured image display unit 80 shown in FIG.
  • the detection area D and the boundary line B need not be displayed on the captured image display unit 80 shown in FIG. When the detection area D and the boundary line B are not displayed, it is easier for the operator to recognize that the display of the icon display unit 70 (see FIG. 7) and the display of the captured image display unit 80 do not match.
  • the center point Lc shown in FIG. 4 may be the coordinates of the object A according to the operation of the operation unit 21 shown in FIG.
  • the area icon 71b (71bDc) shown in FIG. 7 corresponding to the section Dc in which most of the object A exists is highlighted as the entry area icon 71b1. Therefore, the above problem can be suppressed.
  • the search unit 41 shown in FIG. 2 searches for the object A from the captured image Im (step S11), and calculates the coordinates of the object A (for example, the coordinates of the feet) (step S12).
  • the coordinates of the image vertical direction Y of the object A are lower than the coordinates (predetermined value) of the image vertical direction Y of the area boundary line Bx (step S13)
  • the corresponding processing control unit 63 outputs a command to the corresponding processing unit 90. (Step S14).
  • the processes of steps 2, 3 and 4 above can be omitted. Therefore, the processing load of the control unit 30 (see FIG. 2) can be reduced, the processing speed can be improved, and the processing time can be shortened. As a result, it is possible to shorten the time from when the object A enters the inside of the detection area D until the response process (warning, operation restriction) is started (the response process can be performed quickly). Further, since the coordinates of the captured image Im are not converted into virtual plane coordinates, information on the mounting position and mounting angle of the imaging device 23 (see FIG. 1) is unnecessary. Therefore, the ambient detection device 20 (see FIG. 2) can be applied to various types of work machines 1 (high versatility) without setting complicated parameters.
  • the processing load of the control unit 30 can be reduced and the processing time can be shortened by omitting the processing other than the search for the object A (for example, the processing of steps 2, 3 and 4 above). Can be done.
  • the surrounding detection device 20 can detect only this person as a detection target, but the sensor that acquires the distance information sets only this person as a detection target. It cannot be detected.
  • the distance information acquired by the sensor capable of acquiring the distance information is used to determine the closest point of the object A.
  • the coordinates of the closest point are determined based on the operation of the operation unit 21 (see FIG. 2), the accuracy of the coordinates of the closest point can be ensured.
  • the surroundings detection device 20 includes an image pickup device 23, an operation unit 21, a search unit 41, a first setting unit 51, and a corresponding processing unit 90.
  • the image pickup device 23 is provided on the work machine 1 and photographs an object A (see FIG. 4) around the work machine 1 to acquire a captured image Im.
  • the operation unit 21 is for operating the work machine 1.
  • the search unit 41 searches for the position of the object A (see FIG. 4) in the captured image Im.
  • the first setting unit 51 sets a detection area D, which is a region for detecting an object A in the captured image Im shown in FIG.
  • the response processing unit 90 executes a predetermined response process when the object A enters the inside of the detection region D in the captured image Im.
  • the side closer to the work machine 1 is the lower side Y2 (machine side) of the image
  • the side far from the work machine 1 is the upper side Y1 (anti-machine side) of the image
  • the object A approaches the work machine 1 in the shortest distance.
  • the direction away from the image is the front direction (Y in the vertical direction of the image in the example of FIG. 4).
  • the direction orthogonal to the image vertical direction Y is the image left-right direction X (front orthogonal direction)
  • one side in the image left-right direction X is the image right side Xr (first side)
  • the image right side Xr in the image left-right direction X.
  • the opposite side is the left side of the image Xl (second side).
  • the search unit 41 (see FIG. 2) surrounds the object A with a polygonal frame K in the captured image Im, passes through the lowest point Kb of the frame K, and extends in the left-right direction X of the image.
  • Set L In the captured image Im, the point at which the lower left point Kl (the point on the machine side and the second side) of the frame K is projected onto the straight line L in the vertical direction Y of the image is defined as the left end point Ll (second end point).
  • the point obtained by projecting the lower right point Kr (the point on the machine side and the first side) of the frame K onto the straight line L in the vertical direction Y of the image is defined as the right end point Lr (first end point).
  • the point located at the center of the left end point Ll and the right end point Lr is defined as the center point Lc.
  • the search unit 41 shown in FIG. 2 sets any of the left end point Ll, the right end point Lr, and the center point Lc shown in FIG. 6 according to the operation pattern of the operation unit 21 of the object A.
  • the coordinates indicate the position.
  • the closest point of the object A to the work machine 1 changes depending on how the work machine 1 shown in FIG. 4 operates. Further, how the work machine 1 operates is determined by the operation pattern of the operation unit 21 shown in FIG. Therefore, the ambient detection device 20 includes the above [configuration 1-2]. Therefore, the position closest to the work machine 1 according to the operation pattern of the operation unit 21 can be set as the coordinates of the object A shown in FIG. As a result, the closest position to the work machine 1 can be set as the coordinates of the object A according to the operation of the work machine 1. As a result, the object A can be detected at an early stage.
  • the work machine 1 includes a lower traveling body 11 and an upper rotating body 13 that can turn with respect to the lower traveling body 11.
  • the search unit 41 sets the upper swivel body 13 with respect to the lower traveling body 11 shown in FIG. 1 so that the scenery reflected in the captured image Im shown in FIG. 4 moves to the left side Xl of the image.
  • the operation unit 21 turning operation unit 21b
  • the left end point Ll shown in FIG. 6 is set as the coordinates of the object A.
  • the search unit 41 turns the upper rotating body 13 with respect to the lower traveling body 11 shown in FIG. 1 (for example, left-handed rotation) so that the scenery reflected in the captured image Im shown in FIG. 4 moves to the right side Xr of the image.
  • the turning operation is performed by the turning operation unit 21b (see FIG. 2)
  • the right end point Lr shown in FIG. 6 is set as the coordinates of the object A.
  • the closest position to the work machine 1 shown in FIG. 4 is set as the coordinates of the object A according to the turning direction (right turning, left turning) of the upper turning body 13 shown in FIG. Can be set.
  • the object A can be detected at an early stage.
  • the surrounding detection device 20 includes an icon display unit 70.
  • the first setting unit 51 sets a plurality of sections Da to Dd in the captured image Im.
  • the icon display unit 70 is an area corresponding to a plurality of sections Da to Dd (see FIG. 4) and indicates a plurality of areas around the work machine 1 (see FIG. 1). Is displayed.
  • the icon display unit 70 highlights the area icon 71b (entry area icon 71b1) corresponding to the section in which the object A has entered in the captured image Im shown in FIG.
  • the icon display unit 70 shown in FIG. 7 indicates which area around the work machine 1 (see FIG. 1) the section (region in the captured image Im) in which the object A has entered is. It can be grasped by the operator who saw it. As a result, it is possible to prompt the operator to perform an appropriate avoidance operation (an operation of avoiding contact between the object A and the work machine 1).
  • the surrounding detection device 20 shown in FIG. 2 includes an image capture image display unit 80 that displays an image image Im.
  • a plurality of image pickup devices 23 shown in FIG. 1 are provided.
  • the captured image display unit 80 shown in FIG. 2 is an imaging device 23 (see FIG. 1) that captures a section (see FIG. 4) corresponding to the highlighted area icon 71b (entry area icon 71b1) (see FIG. 7). ) Is displayed (see FIG. 4).
  • the first setting unit 51 sets the division boundary line By, which is the boundary between a plurality of divisions arranged in the left-right direction X of the image.
  • the section boundary line By is a straight line extending in the vertical direction Y of the image.
  • the first setting unit 51 sets the area boundary line Bx which is the boundary of the detection area D in the captured image Im.
  • the region boundary line Bx extends in the left-right direction X of the image and has a constant shape.
  • the surrounding detection device 20 includes a second setting unit 45.
  • the second setting unit 45 has a high distortion region Fb (first distortion region) and a low distortion region Fa (first distortion region Fa) in which the distortion of the image is smaller than that of the high distortion region Fb with respect to the captured image Im. 2 Distortion area) and.
  • the region boundary line Bx is set in the low distortion region Fa.
  • the corresponding processing start distance can be made constant or substantially constant regardless of the position of the object A in the image left-right direction X of the captured image Im. Therefore, the operator can easily grasp the corresponding processing start distance (the operator can easily grasp the sense of distance). As a result, this operator can be prompted for an appropriate avoidance operation.
  • the surrounding detection device 20 includes a third setting unit 53.
  • the third setting unit 53 has a boundary line upper limit position Ga (first limit position) and a boundary line lower limit position Y2 below the boundary line upper limit position Ga with respect to the captured image Im. Gb (second limit position) and is set.
  • the region boundary line Bx is set in the region between the boundary line upper limit position Ga and the boundary line lower limit position Gb.
  • the following effects can be obtained by the above [configuration 11]. It is assumed that the Y1 portion on the upper side of the image and the Y2 portion on the lower side of the image of the captured image Im are inappropriate positions as the positions of the region boundary line Bx (for example, the position where the sky or the lower traveling body 11 is reflected). Therefore, in the above [Structure 11], the region boundary line Bx is set in the region between the boundary line upper limit position Ga and the boundary line lower limit position Gb. Therefore, the object A can be appropriately detected. For example, it is possible to suppress erroneous detection of an object other than the object A as the object A.
  • the surrounding detection device 20 includes an adjustment unit 52 (see FIG. 2) that adjusts the position of the region boundary line Bx in the vertical direction Y of the image.
  • the angle of view and the mounting angle of the imaging device 23 vary within the tolerance range. Therefore, if the position of the region boundary line Bx in the vertical direction Y of the image does not change, the corresponding processing start distance will vary.
  • the corresponding processing start distance can be adjusted by adjusting the position of the region boundary line Bx by the adjusting unit 52 (see FIG. 2). As a result, even if the angle of view and the mounting angle of the imaging device 23 vary, the corresponding processing start distance can be adjusted to a predetermined distance (the variation in the angle of view and the mounting angle of the imaging device 23 can be absorbed. can).
  • the corresponding processing start distance is desired to be changed according to the situation of the work site of the work machine 1.
  • the position of the area boundary line Bx is adjusted by the adjusting unit 52, so that the corresponding processing start distance can be changed, so that the convenience is improved.
  • the surrounding detection device 20 includes the above [configuration 11] and the above [configuration 12]
  • the area boundary line is within the region between the boundary line upper limit position Ga and the boundary line lower limit position Gb.
  • the position of Bx is adjusted. Therefore, the position of the region boundary line Bx is adjusted within a range in which the object A can be appropriately detected. Therefore, for example, it is possible to eliminate an erroneous adjustment work such that the position of the region boundary line Bx is adjusted to an inappropriate position (for example, a position where the sky or the lower traveling body 11 is reflected). Therefore, the workability of the work of adjusting the position of the region boundary line Bx can be improved.
  • the position of the region boundary line Bx in the captured image Im when the traveling speed of the work machine 1 in the direction approaching the object A is the first speed is defined as the first position Bx1.
  • the position of the region boundary line Bx in the captured image Im when the traveling speed of the work machine 1 in the direction approaching the object A is the second speed higher than the first speed is defined as the second position Bx2.
  • the adjusting unit 52 sets the second position Bx2 on the upper side (upper side Y1 of the image) of the captured image Im than the first position Bx1.
  • the first setting unit 51 (see FIG. 2) is located closer to the work machine 1 than the area boundary line Bx indicating the boundary between the detection area D and the non-detection area C.
  • the reference line Bx is further set.
  • the corresponding processing unit 90 (see FIG. 2) changes the corresponding processing to be executed depending on whether the position of the object A is closer to or farther from the work machine 1 than the reference line Bx.
  • the content of the corresponding processing (for example, the content of warning or operation restriction) can be changed according to the distance from the work machine 1 to the object A. As a result, the operator can be appropriately notified of the position where the object A exists.
  • a plurality of image pickup devices 23 are provided.
  • the first setting unit 51 (see FIG. 2) individually sets the region boundary line Bx for the captured images Im acquired by the plurality of imaging devices 23 (see FIG. 1).
  • the corresponding processing start distance can be set for each image pickup device 23, so that convenience can be improved. More specifically, for example, the angle of view, the mounting angle, the mounting position, and the like are different among the plurality of imaging devices 23 shown in FIG. Therefore, if the region boundary line Bx (see FIG. 4) is set at a common position in the captured image Im (see FIG. 4) of each imaging device 23, the corresponding processing start distance changes for each imaging device 23. Therefore, by setting the area boundary line Bx for each image pickup device 23 as in the above [configuration 15], the corresponding processing start distances can be matched or substantially matched among the plurality of image pickup devices 23.
  • the surrounding detection device 20 includes a limiting unit 43.
  • the limiting unit 43 sets the search upper limit position Ea (first limiting position) with respect to the captured image Im.
  • the search range of the object A by the search unit 41 is within the area Y2 below the image from the search upper limit position Ea.
  • the search range of the object A by the search unit 41 is within the region of Y2 on the lower side of the image than the search upper limit position Ea. Therefore, the search for the object A can be appropriately performed. Further, the search range can be limited as compared with the case where the search unit 41 (see FIG. 2) searches for the object A in the entire captured image Im. Therefore, the processing load of the search unit 41 (see FIG. 2) can be reduced, and the processing time can be shortened.
  • the surrounding detection device 20 includes a limiting unit 43.
  • the limiting unit 43 sets the search lower limit position Eb (second limiting position) with respect to the captured image Im.
  • the search range of the object A by the search unit 41 is within the region of Y1 above the image from the search lower limit position Eb.
  • the search range of the object A by the search unit 41 is within the region of Y1 on the upper side of the image from the search lower limit position Eb. Therefore, the search for the object A can be appropriately performed. Further, the search range can be limited as compared with the case where the search unit 41 (see FIG. 2) searches for the object A in the entire captured image Im. Therefore, the processing load of the search unit 41 (see FIG. 2) can be reduced, and the processing time can be shortened.
  • the surrounding detection device 20 includes a second setting unit 45.
  • the second setting unit 45 sets the high distortion regions Fb (fourth distortion region and third distortion region) of the image upper side Y1 and the image lower side Y2 with respect to the captured image Im. ..
  • the second setting unit 45 sets a low distortion region Fa (second distortion region), which is a region in which the distortion of the image is smaller than that of the high distortion region Fb.
  • the search range of the object A by the search unit 41 is within the low distortion region Fa and within the high distortion region Fb of the lower side Y2 of the image.
  • the search range of the object A by the search unit 41 is within the low distortion region Fa and within the high distortion region Fb of the lower Y2 portion of the image. Therefore, the object A can be searched within an appropriate area. Further, the search range can be limited as compared with the case where the search unit 41 (see FIG. 2) searches for the object A in the entire captured image Im. Therefore, the processing load of the search unit 41 (see FIG. 2) can be reduced, and the processing time can be shortened.
  • the section (see FIG. 8) and the area icon 71b (see FIG. 9) in the detection area D may be subdivided as compared to the examples shown in FIGS. 4 and 7.
  • the position of the object A shown in FIG. 1 can be shown in more detail to the operator who sees the icon display unit 70 (see FIG. 9).
  • the position of the object A with respect to the work machine 1 can be grasped in more detail.
  • the object A near the work machine 1 appears large, and the object A far from the work machine 1 appears small. Therefore, in the captured image Im, it is preferable to set the section far from the work machine 1 (upper side Y1 of the image) smaller than the section closer to the work machine 1 (lower side Y2 of the image).
  • the first setting unit 51 sets a plurality of division boundary lines By, which are boundaries between the divisions in the plurality of detection regions D, at intervals from each other. ..
  • each component of the above embodiment shown in FIG. 2 may be changed.
  • each region (low distortion region Fa, etc.) shown in FIG. 4 and the like, and the position where the region is defined may be constant or may be changed by manual operation, depending on some conditions. It may be changed automatically.
  • the number of components may be changed, and some of the components may not be provided.
  • what has been described as a plurality of members or parts that are different from each other may be regarded as one member or part.
  • what has been described as one member or part may be provided separately in a plurality of different members or parts.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

探索部（４１）は、枠（Ｋ）の複数の頂点のうち機械側かつ正面直交方向の第１側の第１頂点（Ｋｒ）を直線（Ｌ）に投影した点として第１端点（Ｌｒ）を設定し、枠（Ｋ）の複数の頂点のうち機械側かつ正面直交方向の第２側の第２頂点（Ｋｌ）を直線（Ｌ）に投影した点として第２端点（Ｌｌ）を設定し、第１端点（Ｌｒ）と第２端点（Ｌｌ）との中央に位置する点として中央点（Ｌｃ）を設定する。探索部（４１）は、操作部（２１）の操作パターンに応じて、第１端点（Ｌｒ）、第２端点（Ｌｌ）、および中央点（Ｌｃ）のいずれかを、対象物（Ａ）の位置を示す座標とする。

Description

作業機械の周囲検知装置
　本発明は、作業機械の周囲の対象物を検知する作業機械の周囲検知装置に関する。
　例えば特許文献１などに、従来の周囲検知装置が記載されている。同文献に記載の技術では、撮像装置が対象物（同文献では障害物）を撮影する。そして、撮像画像における対象物の最も下の位置に基づいて、作業機械から対象物までの距離が算出される（同文献の段落００２７、図８などを参照）。
　しかし、撮像画像における対象物の最も下の位置が作業機械に最も近い位置（最接近位置）になるとは限らない。作業機械の作動によって、最接近位置となる位置が変わる。
特許第６２３２４９７号公報
　本発明は、作業機械の作動に応じて、作業機械への最接近位置を、対象物の座標とすることができる、作業機械の周囲検知装置を提供することを目的とする。
　本発明の一態様に係る作業機械の周囲検知装置は、作業機械に設けられ、前記作業機械の周囲の対象物を撮影し、撮像画像を取得する少なくとも一つの撮像装置と、前記作業機械を操作するための操作部と、前記撮像画像における前記対象物の位置を探索する探索部と、前記撮像画像において前記対象物を検知する領域である検知領域を設定する第１の設定部と、前記撮像画像において前記検知領域の内側に前記対象物が進入した場合に、所定の対応処理を実行する対応処理部と、を備え、前記探索部は、前記撮像画像において、前記対象物を多角形の枠で囲み、前記枠の最も機械側の点を通り正面直交方向に延びる直線を設定し、前記正面直交方向は、前記撮像画像において前記作業機械の正面方向に直交する方向であり、前記機械側は、前記正面方向の前記作業機械に近接する側であり、前記枠の複数の頂点のうち、前記機械側かつ前記正面直交方向の一方側である第１側の第１頂点を、前記直線に投影した点として、第１端点を設定し、前記複数の頂点のうち、前記機械側かつ前記正面直交方向の他方側である第２側の第２頂点を、前記直線に投影した点として、第２端点を設定し、前記第１端点と前記第２端点との中央に位置する点として、中央点を設定し、前記操作部の操作パターンに応じて、前記第１端点、前記第２端点、および前記中央点のいずれかを、前記対象物の位置を示す座標とする。
作業機械を上から見た図である。 図１に示す作業機械の周囲検知装置を示す図である。 図２に示す制御部の作動を示すフローチャートである。 図２に示す撮像装置に取得された撮像画像を示す図である。 図４相当図であり、図１に示す上部旋回体が旋回したときの撮像画像を示す図である。 図４に示す撮像画像に映った対象物などを示す図である。 図２に示すアイコン表示部に表示されたアイコンを示す図である。 図４相当図であり、変形例の撮像画像を示す図である。 図７相当図であり、変形例のアイコンを示す図である。
　図１～図７を参照して、作業機械１（図１参照）の周囲検知装置２０（図２参照）について説明する。
　作業機械１は、図１に示すように、作業を行う機械であり、例えば建設作業を行う建設機械である。建設機械は、例えばショベル（例えば油圧ショベル）でもよく、クレーンでもよい。以下では、作業機械１がショベルである場合について説明する。作業機械１は、下部走行体１１と、上部旋回体１３と、アタッチメント１５と、を備える。
　下部走行体１１は、作業機械１を走行させる。下部走行体１１は、例えばクローラを備え、排土板を備えてもよい。
　上部旋回体１３は、下部走行体１１に対して旋回可能に搭載される。上部旋回体１３は、運転室１３ａと、カウンタウエイト１３ｂと、を備える。運転室１３ａは、オペレータが作業機械１に搭乗して作業機械１を操作する場合に、オペレータが操作を行う部分である。カウンタウエイト１３ｂは、作業機械１の前後方向のバランスをとるための、おもりである。
　アタッチメント１５は、作業を行う部分であり、例えば、ブーム１５ａと、アーム１５ｂと、先端アタッチメント１５ｃと、を備える。ブーム１５ａは、上部旋回体１３に対して起伏可能に取り付けられる。アーム１５ｂは、ブーム１５ａに対して回転可能に取り付けられる。先端アタッチメント１５ｃは、アタッチメント１５の先端部に設けられ、アーム１５ｂに対して回転可能に取り付けられる。先端アタッチメント１５ｃは、例えば土砂をすくうバケットでもよく、物を挟む装置（グラップルなど）でもよく、破砕や掘削などを行う装置（ブレーカなど）でもよい。
　周囲検知装置２０は、作業機械１の周囲の物体（対象物Ａ）を検知する装置である。周囲検知装置２０は、撮像画像Ｉｍ（図４参照）を基に対象物Ａを検知する。対象物Ａは、作業機械１の周囲の人（作業者）でもよく、作業機械１の周囲の人以外の障害物でもよい。図２に示すように、周囲検知装置２０は、操作部２１と、撮像装置２３と、制御部３０と、アイコン表示部７０と、撮像画像表示部８０と、対応処理部９０と、を備える。
　操作部２１は、オペレータに操作され、作業機械１（図１参照）を操作するための部分である。操作部２１は、運転室１３ａ（図１参照）内に設けられる。作業機械１が遠隔操作される場合は、操作部２１は、作業機械１（図１参照）から離れた位置に設けられてもよい。操作部２１は、走行操作部２１ａと、旋回操作部２１ｂと、境界線調整用の入力装置２１ｃと、を備える。走行操作部２１ａは、下部走行体１１（図１参照）の走行（さらに詳しくは前進走行、後進走行）を操作するための部分である。走行操作部２１ａは、レバー（操作レバー）である（旋回操作部２１ｂも同様）。旋回操作部２１ｂは、下部走行体１１（図１参照）に対する上部旋回体１３（図１参照）の旋回（右旋回、左旋回）を操作するための部分である。入力装置２１ｃは、後述する境界線Ｂ（図４参照）の位置を調整するための装置である。入力装置２１ｃは、例えば、ジョグダイアル２１ｃ１と、スイッチ２１ｃ２（例えばプッシュスイッチなど）と、を備える。ジョグダイアル２１ｃ１とスイッチ２１ｃ２とは、一体的に構成されてもよく、別体でもよい。
　撮像装置２３は、図１に示すように、対象物Ａを撮影（撮像）し、撮像画像Ｉｍ（図４参照）を取得する。撮像装置２３は、作業機械１の周囲を監視する撮像装置である。撮像装置２３は、上部旋回体１３に取り付けられ、固定される。撮像装置２３による撮影範囲は、運転室１３ａ内のオペレータから死角になる領域を網羅することが好ましい。撮像装置２３の数は、１でもよく、複数でもよい。撮像装置２３は、例えば上部旋回体１３の後側部分（例えばカウンタウエイト１３ｂまたはその近傍）、右側部分、および左側部分などに設けられる。なお、作業機械１が遠隔操作される場合などには、撮像装置２３は、上部旋回体１３の前側部分（例えば運転室１３ａ）などに設けられてもよい。撮像装置２３は、広範囲を撮影可能なものであり、例えば魚眼レンズを有するものなどである。
　この撮像装置２３に取得される撮像画像Ｉｍ（図４参照）は、二次元の画像（さらに詳しくは動画）でもよく、三次元の画像（例えばステレオカメラなどで撮像された画像）でもよい。図４に示す撮像画像Ｉｍにおいて、作業機械１に近接する側を画像下側Ｙ２（機械側）とし、作業機械１から遠い側を画像上側Ｙ１（反機械側）とする。撮像画像Ｉｍにおいて、画像上側Ｙ１と画像下側Ｙ２とを結ぶ方向を画像上下方向Ｙ（正面方向）とする。撮像画像Ｉｍにおいて、対象物Ａが作業機械１に最短距離で近付く又は遠ざかる方向を正面方向（図４の例では画像上下方向Ｙ）とする。撮像画像Ｉｍにおいて、正面方向に直交する方向を正面直交方向（図４の例では画像左右方向Ｘ）とする。画像左右方向Ｘにおける一方側を画像右側Ｘｒ（第１側）とする。画像左右方向Ｘにおける画像右側Ｘｒとは反対側を画像左側Ｘｌ（第２側）とする。なお、「上」「下」「左」「右」は、説明の便宜上用いた用語に過ぎない。例えば、撮像装置２３が回転や反転されても構わない。
　制御部３０（図２参照）は、情報の入出力、演算（判定、設定など）、および情報の記憶などを行う。図２に示す制御部３０は、上部旋回体１３（図１参照）に設けられてもよく、上部旋回体１３の外部（例えばサーバなど）に設けられてもよい。例えば、制御部３０の構成要素の一部が上部旋回体１３に配置され、他の部分が上部旋回体１３の外部に配置されてもよい。制御部３０は、画像補正部３１と、探索部４１と、制限部４３と、第１設定部５１と、第２設定部４５と、第３設定部５３と、調整部５２と、判定部６１と、対応処理制御部６３と、表示制御部６５と、を備える。
　画像補正部３１は、撮像装置２３が取得した撮像画像Ｉｍを補正する。画像補正部３１は、撮像画像Ｉｍの歪（画像の歪曲）を補正する。画像補正部３１による歪補正は、どのような方式でもよい。例えば、画像補正部３１は、撮像画像Ｉｍを伸縮することにより歪を減らしてもよい。例えば、画像補正部３１は、撮像画像Ｉｍから、歪の少ない部分を残して歪の多い部分を除去してもよい。画像補正部３１に補正された撮像画像Ｉｍも「撮像画像Ｉｍ」という。
　探索部４１は、図４に示す撮像画像Ｉｍにおける対象物Ａの位置を探索する。さらに詳しくは、探索部４１（図２参照）は、撮像画像Ｉｍに映った物が対象物Ａか否かを、画像処理により自動的に判別（認識、識別）する。探索部４１は、撮像画像Ｉｍに映った物の特徴部（例えば形状や色など）に基づいて、この判別を行う。探索部４１は、座標算出部４１ａを備える。座標算出部４１ａは、対象物Ａのうち作業機械１への最接近位置の、撮像画像Ｉｍにおける位置（座標）を算出する。例えば、座標算出部４１ａは、最接近位置として対象物Ａの画像下側Ｙ２部分（例えば作業者の足元部など）の座標を算出する。座標算出部４１ａによる座標算出の詳細は、後述する。
　制限部４３（図２参照）は、撮像画像Ｉｍに対して、探索上限位置Ｅａ（第１制限位置）を設定してもよく、探索下限位置Ｅｂ（第２制限位置）を設定してもよい。探索上限位置Ｅａは、制限部４３に予め設定されてもよく、手動または自動的に設定されてもよい（探索下限位置Ｅｂも同様）。探索上限位置Ｅａおよび探索下限位置Ｅｂのそれぞれが設定される場合、探索下限位置Ｅｂは、探索上限位置Ｅａよりも、画像下側Ｙ２に設定される。
　［例１］制限部４３が探索上限位置Ｅａを設定した場合、探索部４１（図２参照）による対象物Ａの探索範囲は、探索上限位置Ｅａよりも画像下側Ｙ２の領域内である。上記「領域内」は、領域の全体である必要はなく、領域の少なくとも一部である（以下同様）。探索部４１は、探索上限位置Ｅａよりも画像上側Ｙ１の領域では対象物Ａを探索しない。［例２］制限部４３が探索下限位置Ｅｂを設定した場合、探索部４１（図２参照）による対象物Ａの探索範囲は、探索下限位置Ｅｂよりも画像上側Ｙ１の領域内である。探索部４１は、探索下限位置Ｅｂよりも画像下側Ｙ２の領域では対象物Ａを探索しない。［例３］制限部４３が、探索上限位置Ｅａおよび探索下限位置Ｅｂのそれぞれを設定した場合、探索部４１（図２参照）による対象物Ａの探索範囲は、探索上限位置Ｅａと探索下限位置Ｅｂとの間の領域内である。探索部４１は、探索上限位置Ｅａよりも画像上側Ｙ１の領域では対象物Ａを探索しない。上記［例１］、［例２］、および［例３］のそれぞれでは、探索部４１は、撮像画像Ｉｍの一部の領域では対象物Ａを探索しない。よって、探索部４１が撮像画像Ｉｍの全体で探索を行う場合に比べ、探索部４１の探索範囲が限定され、処理負荷が軽減され、処理時間が短縮される。探索上限位置Ｅａおよび探索下限位置Ｅｂは、例えば、対象物Ａの探索の必要性に基づいて設定される。
　探索上限位置Ｅａは、例えば次のように設定される。撮像画像Ｉｍの画像上側Ｙ１部分には、空が映る（映り込む）場合がある。空が映った部分まで対象物Ａの探知が行われると、過剰検知の原因となる場合があり、また、誤検知の原因となる場合がある。そこで、探索上限位置Ｅａは、空が映ると想定される部分に基づいて設定される。例えば、空が映ると想定される部分が、探索上限位置Ｅａよりも画像上側Ｙ１になるように、探索上限位置Ｅａが設定される。
　探索下限位置Ｅｂは、例えば次のように設定される。撮像画像Ｉｍの画像下側Ｙ２部分には、上部旋回体１３（図１参照）の一部が映る場合がある。この場合、上部旋回体１３が映っている部分には、対象物Ａが映ることはない。そこで、制限部４３は、上部旋回体１３が映ると想定される部分に基づいて、探索下限位置Ｅｂを設定する。例えば、制限部４３は、上部旋回体１３が映ると想定される部分が探索下限位置Ｅｂよりも画像下側Ｙ２になるように、探索下限位置Ｅｂを設定する。
　第２設定部４５（図２参照）は、撮像画像Ｉｍに対して、高歪領域Ｆｂ（第１歪領域）と、低歪領域Ｆａ（第２歪領域）と、を設定する。高歪領域Ｆｂは、第２設定部４５に予め設定されてもよく、手動または自動的に設定されてもよい（低歪領域Ｆａも同様）。低歪領域Ｆａは、高歪領域Ｆｂよりも画像の歪曲が小さい領域である。
　この第２設定部４５は、高歪領域Ｆｂおよび低歪領域Ｆａを、例えば次のように設定する。撮像画像Ｉｍの画像上側Ｙ１部分および画像下側Ｙ２部分は、画像上下方向Ｙ中央部に比べ、歪が大きい場合がある。そこで、撮像画像Ｉｍの画像上側Ｙ１部分および画像下側Ｙ２部分が高歪領域Ｆｂとして設定され、撮像画像Ｉｍのうち高歪領域Ｆｂ以外の部分が低歪領域Ｆａとして設定される。上記のように、撮像画像Ｉｍの画像上側Ｙ１部分では、空が映ることが想定されるので、対象物Ａの探索が行われなくても問題は生じない。そこで、探索部４１（図２参照）による対象物Ａの探索範囲は、低歪領域Ｆａ内、および画像下側Ｙ２部分の高歪領域Ｆｂ（第３歪領域）内である。探索部４１は、画像上側Ｙ１部分の高歪領域Ｆｂ（第４歪領域）では対象物Ａを探索しない。よって、探索部４１が撮像画像Ｉｍの全体で探索を行う場合に比べ、探索部４１の探索範囲が限定され、処理負荷が軽減され、処理時間が短縮される。一方、探索部４１は、画像下側Ｙ２部分の高歪領域Ｆｂでは対象物Ａを探索する。よって、作業機械１に接近した対象物Ａを適切に検知することができる。
　なお、例えば、探索上限位置Ｅａ、探索下限位置Ｅｂ、高歪領域Ｆｂ、および低歪領域Ｆａのそれぞれが設定される場合が考えられる。この場合、探索部４１（図２参照）は、探索上限位置Ｅａと探索下限位置Ｅｂとの間の領域内かつ低歪領域Ｆａ内で対象物Ａを探索し、それ以外の領域では探索を行わない。また、撮像画像Ｉｍの画像上側Ｙ１部分および画像下側Ｙ２部分が高歪領域Ｆｂ、画像上下方向Ｙの中央部が低歪領域Ｆａとなるのは、あくまで一例である。撮像装置２３の画角、配置、画像補正部３１がどのような補正を行うかなどによって、撮像画像Ｉｍのどの部分が高歪領域Ｆｂおよび低歪領域Ｆａになるかは様々に考えられる。
　第１設定部５１（図２参照）は、検知領域Ｄを設定する。検知領域Ｄは、撮像画像Ｉｍにおいて対象物Ａを検知する領域であり、対応処理部９０（図２参照）による所定の対応処理を行うか否かを決定するための領域である。撮像画像Ｉｍのうち検知領域Ｄ以外の領域を、非検知領域Ｃとする。第１設定部５１は、撮像画像Ｉｍに複数の区画を設定する。図４に示す例では、第１設定部５１は、左下の区画Ｄａ、右下の区画Ｄｂ、左上の区画Ｄｃ、および右上の区画Ｄｄの４つの区画を設定する。
　この第１設定部５１は、撮像画像Ｉｍにおける検知領域Ｄの境界となる境界線Ｂを設定する。境界線Ｂには、画像左右方向Ｘに延びる領域境界線Ｂｘと、画像上下方向Ｙに延びる区画境界線Ｂｙと、がある。領域境界線Ｂｘは、１本のみ設定されてもよく、複数本設定されてもよい。領域境界線Ｂｘには、少なくとも、検知領域Ｄと非検知領域Ｃとの境界となる線が含まれる。領域境界線Ｂｘが複数本設定される場合は、作業機械１から最も遠い側（画像上側Ｙ１）の領域境界線Ｂｘが、検知領域Ｄと非検知領域Ｃとの境界（検知領域Ｄの限界域）となる。領域境界線Ｂｘには、複数の検知領域Ｄを仕切る線が含まれてもよい。具体的には、領域境界線Ｂｘには、区画Ｄａと区画Ｄｃとを仕切る線（基準線）が含まれてもよく、区画Ｄｂと区画Ｄｄとを仕切る線（基準線）が含まれてもよい。領域境界線Ｂｘは、制御部３０（図２参照）の処理負荷ができるだけ軽くなるように設定されることが好ましい。具体的には、領域境界線Ｂｘは、画像左右方向Ｘに延び、一定の形状（変化しない形状）を有する線である。領域境界線Ｂｘは、撮像画像Ｉｍにおいて、好ましくは略直線状であり、さらに好ましくは直線状である。上記「略直線状」は、例えば、撮像画像Ｉｍに映る上部旋回体１３（図１参照）の一部（例えばカウンタウエイト１３ｂ（図１参照）の後端など）に沿う曲線状でもよい。
　領域境界線Ｂｘは、画像補正部３１（図２参照）に補正された撮像画像Ｉｍに設定されることが好ましい。その理由は、次の通りである。撮像画像Ｉｍの歪が大きい部分では、画像上下方向Ｙにおける対象物Ａの位置が同じでも、画像左右方向Ｘにおける対象物Ａの位置によって、作業機械１から対象物Ａまでの実際の距離が、大きく異なる。そのため、撮像画像Ｉｍの歪が大きい部分に直線状や略直線状の領域境界線Ｂｘを設定すると、作業機械１から対象物Ａまでの実際の距離が同じでも、画像左右方向Ｘにおける対象物Ａの位置によって、対象物Ａが検知領域Ｄに入ったり入らなかったりする。すると、対応処理部９０（図２参照）による対応処理が開始されるときの、対象物Ａと作業機械１との実際の距離（対応処理開始距離）が、撮像画像Ｉｍの画像左右方向Ｘにおける対象物Ａの位置によって変わる。よって、作業機械１のオペレータにとって、対象物Ａが作業機械１にどれだけ近づけば対応処理が開始されるかを把握することが困難になる（オペレータは距離感覚をつかみにくい）。一方、本実施形態では、画像補正部３１（図２参照）で歪が補正された撮像画像Ｉｍに、略直線状や直線状の領域境界線Ｂｘが設定される。よって、画像左右方向Ｘにおける対象物Ａの位置によらず、対応処理開始距離が一定または略一定になる。よって、オペレータは、距離感覚をつかみやすい。また、対応処理開始距離が一定または略一定になるので、対応処理が適正に行われる。
　この第１設定部５１（図２参照）は、上記の理由と同様の理由により、領域境界線Ｂｘを低歪領域Ｆａ内に設定する。これにより、画像左右方向Ｘにおける対象物Ａの位置によらず、対応処理開始距離が略一定になり、オペレータは距離感覚をつかみやすい。また、対応処理開始距離が一定または略一定になるので、対応処理が適正に行われる。また、上記のように、撮像画像Ｉｍの画像上側Ｙ１部分には空が映り、撮像画像Ｉｍの画像下側Ｙ２部分には下部走行体１１が映ることが想定される。そのため、撮像画像Ｉｍの画像上下方向Ｙ中央部の低歪領域Ｆａ内に領域境界線Ｂｘが設定されれば、対象物Ａを適切に検知できる。また、低歪領域Ｆａに領域境界線Ｂｘが設定されるので、作業機械１側（画像下側Ｙ２）の高歪領域Ｆｂに領域境界線Ｂｘが設定される場合に比べ、より早期に対象物Ａを検知することができる。
　（第２設定部４５などについて）
　ここで、第２設定部４５は、領域境界線Ｂｘが設定され得る低歪領域Ｆａ（すなわち第２歪領域）と、領域境界線Ｂｘが設定されない高歪領域Ｆｂ（すなわち第１歪領域）と、を設定する。また、第２設定部４５は、探索部４１による探索が行われ得る低歪領域Ｆａ（すなわち第２歪領域）と、画像下側Ｙ２の高歪領域Ｆｂ（すなわち第３歪領域）と、を設定する。また、第２設定部４５は、探索部４１による探索が行われない画像上側Ｙ１の高歪領域Ｆｂ（すなわち第４歪領域）を設定する。領域境界線Ｂｘが設定される範囲としての低歪領域Ｆａ（第１低歪領域）と、探索部４１が対象物Ａを探索する範囲としての低歪領域Ｆａ（第２低歪領域）とは、同じでもよく、異なってもよい。第１低歪領域として適切な範囲と、第２低歪領域として適切な範囲とは、必ずしも一致しないので、第１低歪領域と第２低歪領域とは異なる配置であることが好ましい。また、第１低歪領域と第２低歪領域とのうち、一方のみが設定されてもよい。
　この第１設定部５１（図２参照）は、複数の領域境界線Ｂｘを設定してもよい。この場合、第１設定部５１は、画像上下方向Ｙに互いに間隔をあけて複数の領域境界線Ｂｘを設定する。そして、後述するように、対象物Ａがどの領域境界線Ｂｘを超えたかによって、対応処理部９０の対応処理が変えられる。
　この第１設定部５１（図２参照）は、撮像装置２３（図１参照）が複数設けられる場合、複数の撮像装置２３が取得した複数の撮像画像Ｉｍに個別に（撮像装置２３ごとに）領域境界線Ｂｘを設定する。第１設定部５１は、例えば、対応処理開始距離が、各撮像装置２３で一定または略一定になるように、領域境界線Ｂｘを設定する。
　この第１設定部５１は、画像左右方向Ｘに並ぶ複数の区画どうしの境界である区画境界線Ｂｙを設定する。区画境界線Ｂｙは、画像上下方向Ｙに延びる。区画境界線Ｂｙは、一定の形状（変化しない形状）を有する線である。区画境界線Ｂｙは、撮像画像Ｉｍにおいて、好ましくは略直線状であり、さらに好ましくは直線状である。図８に示すように、区画境界線Ｂｙは、複数設定されてもよい。第１設定部５１は、画像左右方向Ｘに互いに間隔をあけて、複数の区画境界線Ｂｙを設定してもよい。図２に示す第１設定部５１は、調整部５２を備える。
　調整部５２は、図４に示す領域境界線Ｂｘの位置を画像上下方向Ｙに調整する部分である。調整部５２により領域境界線Ｂｘの位置が調整されても、撮像画像Ｉｍにおける領域境界線Ｂｘの形状は、一定である。撮像画像Ｉｍの歪が大きい部分で領域境界線Ｂｘの位置が変えられると、撮像画像Ｉｍの歪に合わせて領域境界線Ｂｘの曲率を変える必要があり、複数のパラメータを用意する必要があるが、本実施形態では領域境界線Ｂｘの形状は一定である。調整部５２による領域境界線Ｂｘの位置の調整は、手動調整でもよく、自動調整でもよい。
　領域境界線Ｂｘの位置が手動により調整される場合の具体例は、次のとおりである。例えば、制御部３０（図２参照）が、「調整モード」に設定される。すると、後述する撮像画像表示部８０（図２参照）が、撮像画像Ｉｍに領域境界線Ｂｘを重ねて表示する。作業者は、この表示を見ながら、領域境界線Ｂｘを画像上下方向Ｙに移動させ、領域境界線Ｂｘの位置を決定する操作を行う。この操作は、入力装置２１ｃ（図２参照）により行われる。具体的には例えば、作業者は、ジョグダイアル２１ｃ１（図２参照）を回転操作することで、領域境界線Ｂｘを画像上下方向Ｙに移動させ、スイッチ２１ｃ２（図２参照）を操作する（例えば押す）ことで、領域境界線Ｂｘの位置を決定する。
　領域境界線Ｂｘの位置が自動的に調整される場合の具体例は、次のとおりである。領域境界線Ｂｘの位置は、例えば、作業機械１の走行速度に基づいて調整される。具体的には、調整部５２（図２参照）は、対象物Ａに近づく向きへの作業機械１の走行速度が第１速度のときの、撮像画像Ｉｍにおける領域境界線Ｂｘの位置を、第１位置Ｂｘ１とする。対象物Ａに近づく向きへの作業機械１の走行速度であって、第１速度よりも速い速度を、第２速度とする。この第２速度のときの、撮像画像Ｉｍにおける領域境界線Ｂｘの位置を第２位置Ｂｘ２とする。このとき、調整部５２は、第２位置Ｂｘ２を、第１位置Ｂｘ１よりも画像上側Ｙ１に設定する。調整部５２は、領域境界線Ｂｘの位置を、作業機械１の走行速度が速くなるにしたがって、段階的に画像上側Ｙ１に設定してもよく、連続的に画像上側Ｙ１に設定してもよい。なお、作業機械１の走行の向きが対象物Ａに近づく向きか否かは、下部走行体１１の走行の向き（前進、後進）と、下部走行体１１に対する上部旋回体１３の旋回角度と、撮像装置２３の撮影方向と、に基づいて判定できる。なお、領域境界線Ｂｘの位置は調整されなくてもよい（すなわち、調整部５２は設けられなくてもよい）。第１設定部５１に予め領域境界線Ｂｘが設定され、この領域境界線Ｂｘの位置が変えられなくてもよい。
　この調整部５２が領域境界線Ｂｘの位置を調整する場合、調整部５２は、作業機械１の走行速度を、直接的または間接的に取得する。例えば、図２に示す調整部５２は、走行操作部２１ａの操作量から走行速度を取得してもよい。例えば、調整部５２は、下部走行体１１（図１参照）を走行させるモータに関する情報（回転数、作動油の流量など）から走行速度を取得してもよい。例えば、調整部５２は、作業機械１の位置を検出するセンサから走行速度を取得してもよい。
　第３設定部５３は、図４に示すように、撮像画像Ｉｍに対して、境界線上限位置Ｇａ（第１限度位置）と、境界線下限位置Ｇｂ（第２限度位置）と、を設定する。境界線下限位置Ｇｂは、境界線上限位置Ｇａよりも画像下側Ｙ２に設定される。領域境界線Ｂｘは、境界線上限位置Ｇａと境界線下限位置Ｇｂとの間の領域内に設定される。境界線上限位置Ｇａおよび境界線下限位置Ｇｂは、探索上限位置Ｅａおよび探索下限位置Ｅｂと同様に、例えば対象物Ａの探索の必要性に基づいて設定される。なお、例えば、境界線上限位置Ｇａ、境界線下限位置Ｇｂ、高歪領域Ｆｂ、および低歪領域Ｆａのそれぞれが設定される場合は、第１設定部５１は、境界線上限位置Ｇａと境界線下限位置Ｇｂとの間の領域内かつ低歪領域Ｆａ内に領域境界線Ｂｘを設定する。また、図４に示す例では、境界線上限位置Ｇａと探索上限位置Ｅａとが一致しているが、これらは一致しなくてもよい（境界線下限位置Ｇｂと探索下限位置Ｅｂとについても同様）。
　判定部６１（図２参照）は、対象物Ａの一部または全部が検知領域Ｄの内側に存在するか否かの判定を行う。具体的には、判定部６１は、例えば、枠Ｋの画像下側Ｙ２端部（最も画像下側Ｙ２の点である最下点Ｋｂ）の座標が、検知領域Ｄ内に存在するか否かの判定を行う。領域境界線Ｂｘが直線状の場合は、最下点Ｋｂの画像上下方向Ｙの座標が、領域境界線Ｂｘの画像上下方向Ｙの座標に対して、作業機械１側（画像下側Ｙ２）か否かの単純な判定で、対象物Ａが検知領域Ｄ内に存在するか否かの判定を行うことができる。
　対応処理制御部６３（図２参照）は、検知領域Ｄの内側に対象物Ａが進入したことが検出された際に、所定の対応処理を対応処理部９０（図２参照）に実行させる（詳細は後述）。対応処理制御部６３は、検知領域Ｄの内側に対象物Ａが進入したことが検出されない場合は、対応処理部９０に対応処理を実行させない。
　表示制御部６５（図２参照）は、アイコン表示部７０の表示、および撮像画像表示部８０の表示を制御する。
　アイコン表示部７０は、図７に示すように、作業機械１（図１参照）に対する対象物Ａ（図１参照）の位置を示すアイコン７１を表示する。アイコン表示部７０は、例えば運転室１３ａ（図１参照）内に設けられる。作業機械１が遠隔操作される場合などには、アイコン表示部７０は、作業機械１（図１参照）の外部に配置されてもよい。アイコン表示部７０は、例えばディスプレイの一部または全部である。アイコン７１は、作業機械アイコン７１ａと、領域アイコン７１ｂと、を備える。作業機械アイコン７１ａは、例えば上から見た作業機械１（図１参照）を表す図形である。
　領域アイコン７１ｂは、上から見た作業機械１（図１参照）の周囲の複数の領域（７１ｂＤａ、７１ｂＤｂ、７１ｂＤｃ、７１ｂＤｄ）を表す図形である。領域アイコン７１ｂが示す複数の領域（７１ｂＤａ、７１ｂＤｂ、７１ｂＤｃ、７１ｂＤｄ）は、図４に示す複数の区画Ｄａ、Ｄｂ、Ｄｃ、Ｄｄに対応する。図７に示す領域アイコン７１ｂ（図７参照）の境界は、図４に示す撮像画像Ｉｍの境界線Ｂに対応する。領域アイコン７１ｂ（図７参照）のうち、撮像画像Ｉｍにおいて対象物Ａが進入した区画に対応する領域（進入領域アイコン７１ｂ１（図７参照））が、強調表示される。具体的には、図７に示す進入領域アイコン７１ｂ１は、他の領域アイコン７１ｂに対して、色が変えられてもよく、明るさが変えられてもよい。進入領域アイコン７１ｂ１は、点滅してもよい。進入領域アイコン７１ｂ１が強調表示されることで、オペレータは、図１に示す作業機械１に対してどこに対象物Ａが存在するかを、容易に認識することができる。
　撮像画像表示部８０（図２参照）は、撮像画像Ｉｍ（図４参照）を表示する。撮像画像表示部８０は、例えば図１に示す運転室１３ａ内に設けられる。作業機械１が遠隔操作される場合などには、撮像画像表示部８０（図２参照）は、作業機械１の外部に配置されてもよい。撮像画像表示部８０は、例えばディスプレイの一部または全部である。撮像画像表示部８０の撮像画像Ｉｍ（図４参照）の表示は、運転室１３ａからバックミラーを見たときのバックミラーに映る像のように、撮像装置２３が撮影した撮像画像Ｉｍを左右に反転させた表示である。撮像画像表示部８０は、図４に示す撮像画像Ｉｍに重ねて、領域境界線Ｂｘ、区画境界線Ｂｙ、および検知領域Ｄの少なくともいずれかを表示してもよい。なお、領域境界線Ｂｘは、撮像画像表示部８０に表示されなくてもよく、内側処理（判定部６１（図２参照）での判定など）のみに使用されてもよい（区画境界線Ｂｙおよび検知領域Ｄも同様）。撮像装置２３が複数設けられる場合は、撮像画像表示部８０は、撮像装置２３ごとに撮像画像Ｉｍを切り替えて表示してもよく、複数の撮像装置２３で撮影された撮像画像Ｉｍを結合した撮像画像Ｉｍを表示してもよい。
　この撮像画像表示部８０（図２参照）は、図４に示す検知領域Ｄに進入した対象物Ａを撮影している撮像装置２３（図１参照）の撮像画像Ｉｍを表示する。これにより、オペレータは、撮像画像Ｉｍを手動で切り替えなくても、対象物Ａを検知した位置と、対象物Ａが何であるかと、を確認することができる。
　対応処理部９０（図２参照）は、検知領域Ｄの内側に対象物Ａが進入した場合に、所定の対応処理を実行する。図２に示す対応処理部９０が実行する対応処理は、警告でもよく、作業機械１の作動の制限でもよく、これら以外の処理でもよい。対応処理部９０が実行する対応処理が警告である場合、この警告は、例えば作業機械１のオペレータに対する警告でもよく、例えば作業機械１の周囲の作業者に対する警告でもよい。この警告は、音による警告でもよく、光による警告でもよく、ディスプレイへの画面表示（文章、図形など）による警告でもよく、これらを組み合わせた警告でもよい。対応処理部９０が実行する対応処理が、作業機械１の作動の制限である場合、この制限は、例えば作業機械１の作動の減速でもよく、作業機械１の作動の停止でもよい。対応処理部９０が制限する作業機械１の作動は、図１に示す下部走行体１１の走行でもよく、下部走行体１１に対する上部旋回体１３の旋回でもよく、アタッチメント１５の作動でもよい。図５に示すように、領域境界線Ｂｘが複数設定される場合は、対応処理部９０は、対象物Ａが超えた領域境界線Ｂｘに応じて、実行する対応処理を変えてもよい。この場合、対応処理部９０は、対象物Ａが超えた領域境界線Ｂｘが作業機械１に近い（画像下側Ｙ２の）領域境界線Ｂｘであるほど、警告や制限の度合いを高くしてもよい。例えば、対応処理部９０は、対象物Ａが超えた領域境界線Ｂｘに応じて、警告のパターン（警告内容、回数、時間など）を変えてもよく、作業機械１の作動の制限の度合いを変えてもよい。
　（座標算出部４１ａの作動）
　座標算出部４１ａ（図２参照）は、次のように、図４に示す撮像画像Ｉｍにおける対象物Ａの位置（座標）を算出する。座標算出部４１ａは、図６に示すように、対象物Ａを多角形の枠Ｋで囲む。枠Ｋは、例えば四角形であり、例えばひし形でもよく、例えば長方形でもよい。次に、座標算出部４１ａ（図２参照）は、枠Ｋの最下点Ｋｂを通り、画像左右方向Ｘに延びる直線Ｌを設定する。ここで、枠Ｋの複数の頂点のうちの左下点Ｋｌ（画像下側Ｙ２かつ画像左側Ｘｌの第１頂点）を直線Ｌに画像上下方向Ｙに投影した点を、左端点Ｌｌ（第１端点）とする。枠Ｋの複数の頂点のうちの右下点Ｋｒ（画像下側Ｙ２かつ画像右側Ｘｒの第２頂点）を直線Ｌに画像上下方向Ｙに投影した点を、右端点Ｌｒ（第２端点）とする。左端点Ｌｌと右端点Ｌｒとの中央に位置する点（中点）を、中央点Ｌｃとする。
　図２に示す座標算出部４１ａは、操作部２１の操作パターンに応じて、図６に示す左端点Ｌｌ、右端点Ｌｒ、および中央点Ｌｃのいずれかを、対象物Ａの位置を示す座標とする。このとき、座標算出部４１ａ（図２参照）は、作業機械１（図１参照）への最接近位置を対象物Ａの座標とする。座標算出部４１ａは、対象物Ａのうち作業機械１に厳密に最も近い点（最接近点）を対象物Ａの座標とする必要はない。座標算出部４１ａは、対象物Ａのうち作業機械１への最接近点の近傍の位置を、対象物Ａの座標としてもよい。座標算出部４１ａは、対象物Ａの作業機械１への最接近点を、対象物Ａの座標とすることが好ましい。
　（旋回時）
　図１に示す上部旋回体１３が左旋回したとき、図５に示すように、撮像画像Ｉｍにおける対象物Ａの位置は、画像右側Ｘｒおよび画像下側Ｙ２に移動する。なお、図５に示す撮像画像Ｉｍは、撮像装置２３（図１参照）が撮影した画像を左右に反転させていない状態の撮像画像Ｉｍである。すると、枠Ｋの右下点Ｋｒが、最も画像下側Ｙ２（すなわち作業機械１側）の位置となる。そこで、図２に示す座標算出部４１ａは、旋回操作部２１ｂにより、図１に示す下部走行体１１に対して上部旋回体１３を左旋回させる操作が行われた場合、図６に示す右端点Ｌｒを対象物Ａの座標とする。上記「左旋回」は、撮像画像Ｉｍに映る景色が画像右側Ｘｒに移動するような、下部走行体１１に対する上部旋回体１３の旋回である。同様に、図２に示す座標算出部４１ａは、旋回操作部２１ｂにより、図１に示す下部走行体１１に対して上部旋回体１３を右旋回させる操作が行われた場合、図６に示す左端点Ｌｌを対象物Ａの座標とする。上記「右旋回」は、撮像画像Ｉｍに映る景色が画像左側Ｘｌに移動するような、下部走行体１１に対する上部旋回体１３の旋回である。よって、図１に示す上部旋回体１３の旋回時に、作業機械１への最接近位置を、図６に示す対象物Ａの座標として設定することができる。
　（走行時など）
　図２に示す座標算出部４１ａは、走行操作部２１ａにより下部走行体１１（図１参照）を走行させる操作が行われた場合、図６に示す中央点Ｌｃを対象物Ａの座標とする。例えば、図２に示す座標算出部４１ａは、走行操作部２１ａにより、下部走行体１１を、図６に示す対象物Ａに近づく向きに走行させる操作が行われた場合、中央点Ｌｃを対象物Ａの座標とする。このとき、図４に示す対象物Ａの大部分が存在する区画Ｄｃに対応する領域アイコン７１ｂ（図７参照）が、進入領域アイコン７１ｂ１（図７参照）として強調表示される。よって、オペレータは、より正確に対象物Ａの位置を把握することができる。なお、図４に示す撮像画像Ｉｍは、撮像画像表示部８０に表示される撮像画像Ｉｍであり、撮像装置２３（図１参照）が撮影した画像を左右に反転させた状態の撮像画像Ｉｍである。図２に示す座標算出部４１ａは、操作部２１による操作が行われていない場合、図６に示す中央点Ｌｃを対象物Ａの座標としてもよい。また、図２に示す走行操作部２１ａおよび旋回操作部２１ｂが同時に操作された場合は、旋回操作部２１ｂの操作に基づいて、図６に示す右端点Ｌｒまたは左端点Ｌｌを対象物Ａの座標としてもよい。
　図４に示す最下点Ｋｂを、常に対象物Ａの座標とする場合について検討する。図４に示す例では、最下点Ｋｂは、区画Ｄｄの内側に進入している。一方、対象物Ａの大部分は、区画Ｄｃの内側に存在する。最下点Ｋｂを対象物Ａの座標とした場合、図７に示すアイコン表示部７０は、区画Ｄｄに対応する領域アイコン７１ｂ（７１ｂＤｄ）を強調表示する。一方、図４に示す撮像画像表示部８０は、対象物Ａの大部分が区画Ｄｃに進入した撮像画像Ｉｍを表示する。すると、図７に示すアイコン表示部７０に強調表示された進入領域アイコン７１ｂ１の領域と、図４に示す撮像画像表示部８０に表示された対象物Ａの検知領域Ｄと、が一致していないとオペレータが認識することが想定される。なお、図４に示す撮像画像表示部８０には、検知領域Ｄや境界線Ｂは表示される必要はない。検知領域Ｄや境界線Ｂが表示されない場合には、より一層、アイコン表示部７０（図７参照）と撮像画像表示部８０との表示が一致していないとオペレータが認識しやすい。
　一方、本実施形態では、図２に示す操作部２１の操作に応じて、図４に示す中央点Ｌｃが対象物Ａの座標とされる場合がある。この場合、対象物Ａの大部分が存在する区画Ｄｃに対応する、図７に示す領域アイコン７１ｂ（７１ｂＤｃ）が、進入領域アイコン７１ｂ１として強調表示される。よって、上記の問題を抑制することができる。
　（作動）
　図２に示す制御部３０の作動の具体例を、図３を参照して説明する。図２に示す探索部４１が、撮像画像Ｉｍから対象物Ａを探索し（ステップＳ１１）、対象物Ａの座標（例えば足元の座標）を算出する（ステップＳ１２）。対象物Ａの画像上下方向Ｙの座標が、領域境界線Ｂｘの画像上下方向Ｙの座標（所定値）を下回ると（ステップＳ１３）、対応処理制御部６３が対応処理部９０に指令を出力する（ステップＳ１４）。
　（処理負荷、処理速度の検討）
　図４に示す撮像画像Ｉｍの座標が、仮想平面座標に変換される場合について検討する。この場合、次のように処理が行われる。［ステップ１］撮像画像Ｉｍにおける対象物Ａの位置が、算出される。［ステップ２］撮像画像Ｉｍの座標が、図１に示す作業機械１を基準とした仮想平面座標に変換される（仮想平面領域が作成される）。［ステップ３］仮想平面における対象物Ａの座標が、算出される。［ステップ４］仮想平面における作業機械１から対象物Ａまでの距離が、算出される。［ステップ５］作業機械１から対象物Ａまでの距離が所定値を下回った場合に、対応処理（警告、作動制限など）が行われる。
　このように、図４に示す撮像画像Ｉｍの座標が仮想平面座標に変換される場合には、上記のステップ２、３、および４において、複雑な処理が必要であり、処理負荷が高く、処理時間が長くかかる。例えば、仮想平面における対象物Ａの座標を算出するには、撮像装置２３（図１参照）の取付位置および取付角度の情報が必要であり、算出のロジックが複雑である。処理時間が長くかかると、検知領域Ｄの内側に対象物Ａが進入してから（領域境界線Ｂｘを越えてから）、対応処理が開始されるまでの時間が長くかかる（対応処理が遅れる）。また、通常、作業機械１の機種や仕様ごとに、撮像装置２３の取付位置および取付角度が異なる。そのため、作業機械１の機種や仕様ごとにパラメータを設定する必要があるので、この設定に手間がかかる（煩雑になる）。
　一方、本実施形態では、撮像画像Ｉｍの座標を仮想平面座標に変換しない（図３参照）ので、上記ステップ２、３、および４の処理を省略することができる。よって、制御部３０（図２参照）の処理負荷を低くでき、処理速度を向上させることができ、処理時間を短縮することができる。その結果、検知領域Ｄの内側に対象物Ａが進入してから、対応処理（警告、作動制限）が開始されるまでの時間を短くすることができる（対応処理を素早く行える）。また、撮像画像Ｉｍの座標を仮想平面座標に変換しないので、撮像装置２３（図１参照）の取付位置および取付角度の情報は不要である。よって、複雑なパラメータの設定が行われなくても、周囲検知装置２０（図２参照）を様々な機種の作業機械１に適用することができる（汎用性が高い）。
　（距離センサとの比較）
　一般的には、距離情報を取得するセンサ（例えばＴＯＦ（Time Of Flight）センサや、例えば超音波センサ、赤外線センサ、電波（ミリ波など）センサなど）で対象物Ａを探索する場合に比べ、撮像画像Ｉｍの画像処理によって対象物Ａを探索する場合の方が、処理負荷は高く、処理時間は長い。一方、本実施形態では、上記のように、撮像画像Ｉｍの一部の範囲でのみ対象物Ａを探索するため、処理負荷を軽減でき、処理時間を短縮することができる。また、本実施形態では、対象物Ａの探索以外の処理（例えば上記ステップ２、３、および４の処理）を省略することで、制御部３０の処理負荷を軽減でき、処理時間を短くすることができる。また、例えば、対象物Ａを人とした場合、周囲検知装置２０では、この人のみを検出対象として検出することが可能であるが、距離情報を取得するセンサでは、この人のみを検出対象として検出することはできない。
　通常、撮像画像Ｉｍの画像処理のみによって対象物Ａの最接近点の座標を算出する場合に比べ、距離情報を取得可能なセンサに取得された距離情報を用いて対象物Ａの最接近点の座標を算出する場合の方が、高精度に最接近点の座標を出力可能である。一方、本実施形態では、操作部２１（図２参照）の操作に基づいて、対象物Ａの座標を決定するので、最接近点の座標の精度を確保することができる。
　（効果）
　図２に示す作業機械１の周囲検知装置２０による効果は、次の通りである。
　周囲検知装置２０は、撮像装置２３と、操作部２１と、探索部４１と、第１設定部５１と、対応処理部９０と、を備える。撮像装置２３は、作業機械１に設けられ、作業機械１の周囲の対象物Ａ（図４参照）を撮影し、撮像画像Ｉｍを取得する。操作部２１は、作業機械１を操作するためのものである。探索部４１は、撮像画像Ｉｍにおける対象物Ａ（図４参照）の位置を探索する。
　［構成１－１］第１設定部５１は、図４に示す撮像画像Ｉｍにおいて対象物Ａを検知する領域である検知領域Ｄを設定する。対応処理部９０（図２参照）は、撮像画像Ｉｍにおいて検知領域Ｄの内側に対象物Ａが進入した場合に、所定の対応処理を実行する。
　撮像画像Ｉｍにおいて、作業機械１に近接する側を画像下側Ｙ２（機械側）、作業機械１から遠い側を画像上側Ｙ１（反機械側）、対象物Ａが作業機械１に最短距離で近付く又は遠ざかる方向を正面方向（図４の例では画像上下方向Ｙ）とする。撮像画像Ｉｍにおいて、画像上下方向Ｙに直交する方向を画像左右方向Ｘ（正面直交方向）、画像左右方向Ｘにおける一方側を画像右側Ｘｒ（第１側）、画像左右方向Ｘにおける画像右側Ｘｒとは反対側を画像左側Ｘｌ（第２側）とする。探索部４１（図２参照）は、撮像画像Ｉｍにおいて、図６に示すように、対象物Ａを多角形の枠Ｋで囲み、枠Ｋの最下点Ｋｂを通り画像左右方向Ｘに延びる直線Ｌを設定する。撮像画像Ｉｍにおいて、枠Ｋの左下点Ｋｌ（機械側かつ第２側の点）を直線Ｌに画像上下方向Ｙに投影した点を左端点Ｌｌ（第２端点）とする。枠Ｋの右下点Ｋｒ（機械側かつ第１側の点）を直線Ｌに画像上下方向Ｙに投影した点を右端点Ｌｒ（第１端点）とする。左端点Ｌｌと右端点Ｌｒとの中央に位置する点を中央点Ｌｃとする。
　［構成１－２］図２に示す探索部４１は、操作部２１の操作パターンに応じて、図６に示す左端点Ｌｌ、右端点Ｌｒ、および中央点Ｌｃのいずれかを、対象物Ａの位置を示す座標とする。
　上記［構成１－１］により、次の効果が得られる。上記［構成１－１］では、撮像画像Ｉｍに設定された検知領域Ｄの内側に、対象物Ａが進入した場合に、対応処理が実行される。周囲検知装置２０（図２参照）では、例えば、撮像画像Ｉｍにおける対象物Ａの座標を、仮想平面における座標に変換し、仮想平面内での作業機械１から対象物Ａまでの距離を算出する、といった複雑な処理を行う必要はない。よって、対象物Ａの検知に必要な処理の負荷を軽減することができ、処理時間を短縮することができる。その結果、検知領域Ｄの内側に対象物Ａが進入した際の、対応処理部９０（図２参照）による対応処理の遅れを抑制することができる。
　上記［構成１－２］により、次の効果が得られる。図４に示す作業機械１がどのように作動するかによって、対象物Ａの作業機械１への最接近点が変わる。また、作業機械１がどのように作動するかは、図２に示す操作部２１の操作パターンにより決まる。そこで、周囲検知装置２０は、上記［構成１－２］を備える。よって、操作部２１の操作パターンに応じた、作業機械１への最接近位置を、図４に示す対象物Ａの座標とすることができる。その結果、作業機械１の作動に応じて、作業機械１への最接近位置を、対象物Ａの座標とすることができる。その結果、対象物Ａを早期に検知することができる。
　図１に示すように、作業機械１は、下部走行体１１と、下部走行体１１に対して旋回可能である上部旋回体１３と、を備える。
　［構成２］探索部４１（図２参照）は、図４に示す撮像画像Ｉｍに映る景色が画像左側Ｘｌに移動するように、図１に示す下部走行体１１に対して上部旋回体１３を旋回（例えば右旋回）させる操作が、図２に示す操作部２１（旋回操作部２１ｂ）により行われた場合、図６に示す左端点Ｌｌを対象物Ａの座標とする。探索部４１（図２参照）は、図４に示す撮像画像Ｉｍに映る景色が画像右側Ｘｒに移動するように、図１に示す下部走行体１１に対して上部旋回体１３を旋回（例えば左旋回）させる操作が旋回操作部２１ｂ（図２参照）により行われた場合、図６に示す右端点Ｌｒを対象物Ａの座標とする。
　上記［構成２］により、図１に示す上部旋回体１３の旋回方向（右旋回、左旋回）に応じて、図４に示す作業機械１への最接近位置を、対象物Ａの座標として設定することができる。その結果、対象物Ａを早期に検知することができる。
　［構成３］図２に示す探索部４１は、作業機械１の下部走行体１１（図１参照）を走行させる操作が操作部２１（走行操作部２１ａ）により行われた場合、図６に示す中央点Ｌｃを対象物Ａの座標とする。
　上記［構成３］により、下部走行体１１（図１参照）が走行する際に、作業機械１への最接近位置を対象物Ａの座標とすることができる。その結果、対象物Ａを早期に検知することができる。
　［構成４］図２に示すように、周囲検知装置２０は、アイコン表示部７０を備える。第１設定部５１は、図４に示すように、撮像画像Ｉｍに複数の区画Ｄａ～Ｄｄを設定する。図７に示すように、アイコン表示部７０は、複数の区画Ｄａ～Ｄｄ（図４参照）に対応する領域であって作業機械１（図１参照）の周囲の複数の領域を示す領域アイコン７１ｂを表示する。アイコン表示部７０は、図４に示す撮像画像Ｉｍにおいて対象物Ａが進入した区画に対応する領域アイコン７１ｂ（進入領域アイコン７１ｂ１）を強調表示する。
　上記［構成４］では、対象物Ａが進入した区画（撮像画像Ｉｍにおける領域）が、作業機械１（図１参照）の周囲のどの領域であるかを、図７に示すアイコン表示部７０を見たオペレータに把握させることができる。その結果、このオペレータに、適切な回避操作（対象物Ａと作業機械１との接触を回避する操作）を促すことができる。
　［構成５］図２に示す周囲検知装置２０は、撮像画像Ｉｍを表示する撮像画像表示部８０を備える。図１に示す撮像装置２３は、複数設けられる。図２に示す撮像画像表示部８０は、強調表示された領域アイコン７１ｂ（進入領域アイコン７１ｂ１）（図７参照）に対応する区画（図４参照）を撮影している撮像装置２３（図１参照）の撮像画像Ｉｍ（図４参照）を表示する。
　上記［構成５］により、図４に示すように、対象物Ａが進入した区画に対応する景色の画像、および、対象物Ａの画像を、撮像画像表示部８０に確認させることができる。その結果、対象物Ａの位置や、対象物Ａが何であるかなどを、オペレータに確認させることができる。
　［構成６］第１設定部５１（図２参照）は、画像左右方向Ｘに並ぶ複数の区画どうしの境である区画境界線Ｂｙを設定する。区画境界線Ｂｙは、画像上下方向Ｙに延びる直線状である。
　上記［構成６］により、区画境界線Ｂｙが直線状でない場合（曲線状などである場合）に比べ、画像左右方向Ｘに隣り合う区画のどちらに対象物Ａが進入したかを判定する処理の負荷を軽減することができ、処理時間を短縮することができる。
　［構成８］第１設定部５１（図２参照）は、撮像画像Ｉｍにおける検知領域Ｄの境界となる領域境界線Ｂｘを設定する。領域境界線Ｂｘは、画像左右方向Ｘに延び、一定の形状を有する。
　上記［構成８］により、領域境界線Ｂｘの形状が可変である場合に比べ、検知領域Ｄの内側に対象物Ａが進入したか否かの判定（上記［構成１－１］参照）の処理にかかる負荷を軽減することができる。よって、対象物Ａの検知に必要な処理の負荷を軽減することができ、処理時間を短縮することができる。その結果、検知領域Ｄの内側に対象物Ａが進入した際の、対応処理部９０（図２参照）による対応処理の遅れを抑制することができる。
　［構成９］領域境界線Ｂｘは、撮像画像Ｉｍにおいて直線状である。
　上記［構成８］により、検知領域Ｄの内側に対象物Ａが進入したか否かの判定（上記［構成１－１］参照）の処理にかかる負荷を、より軽減することができる。
　［構成１０］図２に示すように、周囲検知装置２０は、第２設定部４５を備える。第２設定部４５は、図４に示すように、撮像画像Ｉｍに対して、高歪領域Ｆｂ（第１歪領域）と、高歪領域Ｆｂよりも画像の歪曲が小さい低歪領域Ｆａ（第２歪領域）と、を設定する。領域境界線Ｂｘは、低歪領域Ｆａ内に設定される。
　上記［構成１０］により、次の効果が得られる。撮像画像Ｉｍの歪の大きい領域に、画像左右方向Ｘに延びる（例えば直線状や略直線状の）領域境界線Ｂｘが設定された場合、撮像画像Ｉｍの画像左右方向Ｘにおける対象物Ａの位置によって、対応処理開始距離が大きく変わる。すると、作業機械１のオペレータが、対応処理開始距離を把握しにくい（距離感覚をつかみにくい）。そこで、上記［構成１０］では、領域境界線Ｂｘは、低歪領域Ｆａ内に設定される。よって、撮像画像Ｉｍの画像左右方向Ｘにおける対象物Ａの位置によらず、対応処理開始距離を一定または略一定にすることができる。よって、オペレータに、対応処理開始距離を容易に把握させることができる（オペレータが距離感覚をつかみやすい）。その結果、このオペレータに適切な回避操作を促すことができる。
　［構成１１］図２に示すように、周囲検知装置２０は、第３設定部５３を備える。第３設定部５３は、図４に示すように、撮像画像Ｉｍに対して、境界線上限位置Ｇａ（第１限度位置）と、境界線上限位置Ｇａよりも画像下側Ｙ２の境界線下限位置Ｇｂ（第２限度位置）と、を設定する。領域境界線Ｂｘは、境界線上限位置Ｇａと境界線下限位置Ｇｂとの間の領域内に設定される。
　上記［構成１１］により、次の効果が得られる。撮像画像Ｉｍの画像上側Ｙ１部分および画像下側Ｙ２部分は、領域境界線Ｂｘの位置として不適切な位置（例えば空や下部走行体１１が映っている位置など）である場合が想定される。そこで、上記［構成１１］では、領域境界線Ｂｘは、境界線上限位置Ｇａと境界線下限位置Ｇｂとの間の領域内に設定される。よって、対象物Ａの検知を適切に行うことができる。例えば、対象物Ａ以外の物を対象物Ａとして誤検知することなどを抑制することができる。
　［構成１２］周囲検知装置２０（図２参照）は、画像上下方向Ｙに領域境界線Ｂｘの位置を調整する調整部５２（図２参照）を備える。
　例えば、撮像装置２３（図１参照）の画角や取付角度には、公差の範囲内のばらつきがある。そのため、画像上下方向Ｙにおける領域境界線Ｂｘの位置が不変であれば、対応処理開始距離がばらつくことになる。上記［構成１２］では、調整部５２（図２参照）によって、領域境界線Ｂｘの位置が調整されることで、対応処理開始距離を調整することができる。これにより、撮像装置２３の画角や取付角度にばらつきがあっても、対応処理開始距離を所定の距離に調整することができる（撮像装置２３の画角や取付角度のばらつきを吸収することができる）。
　また、例えば、作業機械１の作業現場の状況に応じて、対応処理開始距離を変化させたい場合が想定される。上記［構成１２］では、調整部５２で領域境界線Ｂｘの位置が調整されることにより、対応処理開始距離を変えることができるので、利便性が向上する。
　周囲検知装置２０（図２参照）が、上記［構成１１］と上記［構成１２］とを備える場合は、境界線上限位置Ｇａと境界線下限位置Ｇｂとの間の領域内で、領域境界線Ｂｘの位置が調整される。よって、対象物Ａの検知を適切に行うことができる範囲内で、領域境界線Ｂｘの位置が調整される。よって、例えば、領域境界線Ｂｘの位置が不適切な位置（例えば空や下部走行体１１が映っている位置など）に調整されるような、誤った調整作業を無くすことができる。よって、領域境界線Ｂｘの位置を調整する作業の作業性を向上させることができる。
　［構成１３］対象物Ａに近づく向きへの作業機械１の走行速度が第１速度のときの、撮像画像Ｉｍにおける領域境界線Ｂｘの位置を、第１位置Ｂｘ１とする。対象物Ａに近づく向きへの作業機械１の走行速度が第１速度よりも速い第２速度のときの、撮像画像Ｉｍにおける領域境界線Ｂｘの位置を、第２位置Ｂｘ２とする。調整部５２は、第２位置Ｂｘ２を、第１位置Ｂｘ１よりも撮像画像Ｉｍにおける上側（画像上側Ｙ１）に設定する。
　上記［構成１３］により、次の効果が得られる。対象物Ａに近づく向きへの作業機械１の走行速度が速いほど、作業機械１が対象物Ａに到達するまでの時間が短くなり、対応処理が遅れる場合が想定される。上記［構成１３］では、作業機械１の走行速度が、第１速度の場合（遅い場合）よりも第２速度の場合（速い場合）に、作業機械１からより遠い位置で、対象物Ａが検知領域Ｄに進入させることができる（対応処理開始距離が長くなる）。よって、第１速度の場合（遅い場合）よりも第２速度の場合（速い場合）に、対応処理を早く開始することができる。
　［構成１４］第１設定部５１（図２参照）は、図５に示すように、検知領域Ｄと非検知領域Ｃとの境界を示す領域境界線Ｂｘよりも作業機械１に近い側に、基準線Ｂｘをさらに設定する。対応処理部９０（図２参照）は、対象物Ａの位置が基準線Ｂｘよりも作業機械１に近いか遠いかに応じて、実行する対応処理を変える。
　上記［構成１４］により、作業機械１から対象物Ａまでの距離に応じて、対応処理の内容（例えば警告や作動制限の内容）を変えることができる。その結果、対象物Ａが存在する位置などを適切にオペレータに通知することができる。
　［構成１５］撮像装置２３（図１参照）は、複数設けられる。第１設定部５１（図２参照）は、複数の撮像装置２３（図１参照）が取得した撮像画像Ｉｍに個別に領域境界線Ｂｘを設定する。
　上記［構成１５］により、撮像装置２３ごとに対応処理開始距離を設定できるので、利便性を向上させることができる。さらに詳しくは、例えば、図１に示す複数の撮像装置２３間で、画角、取り付け角度、取り付け位置などが異なる。そのため、各撮像装置２３の撮像画像Ｉｍ（図４参照）に、共通の位置に領域境界線Ｂｘ（図４参照）を設定すれば、撮像装置２３ごとに対応処理開始距離が変わる。そこで、上記［構成１５］のように、撮像装置２３ごとに、領域境界線Ｂｘが設定されることで、複数の撮像装置２３間で対応処理開始距離を一致または略一致させることができる。
　［構成１６］図２に示すように、周囲検知装置２０は、制限部４３を備える。制限部４３は、図４に示すように、撮像画像Ｉｍに対して、探索上限位置Ｅａ（第１制限位置）を設定する。探索部４１による対象物Ａの探索範囲は、探索上限位置Ｅａよりも画像下側Ｙ２の領域内である。
　上記［構成１６］により、次の効果が得られる。撮像画像Ｉｍの画像上側Ｙ１部分は、対象物Ａを探索する位置として不適切な位置（例えば空が映っている位置など）であることが想定される。そこで、上記［構成１６］では、探索部４１による対象物Ａの探索範囲は、探索上限位置Ｅａよりも画像下側Ｙ２の領域内である。よって、対象物Ａの探索を適切に行うことができる。また、探索部４１（図２参照）が撮像画像Ｉｍの全体で対象物Ａを探索する場合に比べ、探索範囲を限定することができる。よって、探索部４１（図２参照）の処理の負荷を軽減することができ、処理時間を短縮できる。
　［構成１７］図２に示すように、周囲検知装置２０は、制限部４３を備える。制限部４３は、図４に示すように、撮像画像Ｉｍに対して探索下限位置Ｅｂ（第２制限位置）を設定する。探索部４１による対象物Ａの探索範囲は、探索下限位置Ｅｂよりも画像上側Ｙ１の領域内である。
　上記［構成１７］により、次の効果が得られる。撮像画像Ｉｍの画像下側Ｙ２部分は、対象物Ａを探索する位置として不適切な位置（例えば上部旋回体１３（図１参照）のみが映っている位置など）であることが想定される。そこで、上記［構成１７］では、探索部４１による対象物Ａの探索範囲は、探索下限位置Ｅｂよりも画像上側Ｙ１の領域内である。よって、対象物Ａの探索を適切に行うことができる。また、探索部４１（図２参照）が撮像画像Ｉｍの全体で対象物Ａを探索する場合に比べ、探索範囲を限定することができる。よって、探索部４１（図２参照）の処理の負荷を軽減することができ、処理時間を短縮できる。
　［構成１８］図２に示すように、周囲検知装置２０は、第２設定部４５を備える。第２設定部４５は、図４に示すように、撮像画像Ｉｍに対して、画像上側Ｙ１および画像下側Ｙ２のそれぞれの高歪領域Ｆｂ（第４歪領域及び第３歪領域）を設定する。第２設定部４５は、高歪領域Ｆｂよりも画像の歪曲が小さい領域である低歪領域Ｆａ（第２歪領域）を設定する。探索部４１による対象物Ａの探索範囲は、低歪領域Ｆａ内および画像下側Ｙ２の高歪領域Ｆｂ内である。
　上記［構成１８］により、次の効果が得られる。撮像画像Ｉｍのうち、画像上側Ｙ１部分の歪の大きい領域では、対象物Ａを探索する位置として不適切な位置（例えば空が映っている位置など）であることが想定される。そこで、上記［構成１８］では、探索部４１による対象物Ａの探索範囲は、低歪領域Ｆａ内および画像下側Ｙ２部分の高歪領域Ｆｂ内である。よって、対象物Ａを適切な領域内で探索することができる。また、探索部４１（図２参照）が撮像画像Ｉｍの全体で対象物Ａを探索する場合に比べ、探索範囲を限定することができる。よって、探索部４１（図２参照）の処理の負荷を軽減することができ、処理時間を短縮することができる。
　（変形例）
　図８および図９に示すように、検知領域Ｄ内の区画（図８参照）および領域アイコン７１ｂ（図９参照）は、図４および図７に示す例に比べて細分化されてもよい。検知領域Ｄ内の区画および領域アイコン７１ｂが細分化されることで、アイコン表示部７０（図９参照）を見たオペレータに、図１に示す対象物Ａの位置をより詳細に示すことができ、作業機械１に対する対象物Ａの位置をより詳細に把握させることができる。図８に示すように、撮像画像Ｉｍでは、作業機械１に近い対象物Ａは大きく映り、作業機械１から遠い対象物Ａは小さく映る。そこで、撮像画像Ｉｍにおいて、作業機械１に近い側（画像下側Ｙ２）の区画に対して、作業機械１から遠い側（画像上側Ｙ１）の区画を小さく設定することが好ましい。
　［構成７］第１設定部５１（図２参照）は、図８に示すように、複数の検知領域Ｄ内の区画どうしの境界となる区画境界線Ｂｙを、互いに間隔をあけて複数設定する。
　上記［構成７］では、撮像画像Ｉｍにおいて、検知領域Ｄ内の区画が複数並ぶ。そして、上記［構成４］では、図９に示すように、これらの検知領域Ｄ内の区画に対応する領域アイコン７１ｂが、アイコン表示部７０に表示される。よって、区画境界線Ｂｙが複数設定されない場合に比べ、図１に示す作業機械１の周囲のどこの領域に対象物Ａが進入したかを、アイコン表示部７０（図９参照）を見たオペレータに、精度よく把握させることができる。
　（他の変形例）
　上記実施形態は様々に変形されてもよい。例えば、図２に示す上記実施形態の各構成要素の接続は変更されてもよい。例えば、図４などに示す各領域（低歪領域Ｆａなど）や、領域を定める位置（探索上限位置Ｅａなど）などは、一定でもよく、手動操作により変えられてもよく、何らかの条件に応じて自動的に変えられてもよい。例えば、構成要素の数が変更されてもよく、構成要素の一部が設けられなくてもよい。例えば、互いに異なる複数の部材や部分として説明したものが、一つの部材や部分とされてもよい。例えば、一つの部材や部分として説明したものが、互いに異なる複数の部材や部分に分けて設けられてもよい。

Claims (18)

  1. 　作業機械に設けられ、前記作業機械の周囲の対象物を撮影し、撮像画像を取得する少なくとも一つの撮像装置と、
    　前記作業機械を操作するための操作部と、
    　前記撮像画像における前記対象物の位置を探索する探索部と、
    　前記撮像画像において前記対象物を検知する領域である検知領域を設定する第１の設定部と、
    　前記撮像画像において前記検知領域の内側に前記対象物が進入した場合に、所定の対応処理を実行する対応処理部と、
    　を備え、
    　前記探索部は、
    　前記撮像画像において、前記対象物を多角形の枠で囲み、
    　前記枠の最も機械側の点を通り正面直交方向に延びる直線を設定し、
    　　前記正面直交方向は、前記撮像画像において前記作業機械の正面方向に直交する方向であり、
    　　前記機械側は、前記正面方向の前記作業機械に近接する側であり、
    　前記枠の複数の頂点のうち、前記機械側かつ前記正面直交方向の一方側である第１側の第１頂点を、前記直線に投影した点として、第１端点を設定し、
    　前記複数の頂点のうち、前記機械側かつ前記正面直交方向の他方側である第２側の第２頂点を、前記直線に投影した点として、第２端点を設定し、
    　前記第１端点と前記第２端点との中央に位置する点として、中央点を設定し、
    　前記操作部の操作パターンに応じて、前記第１端点、前記第２端点、および前記中央点のいずれかを、前記対象物の位置を示す座標とする、
    　作業機械の周囲検知装置。
  2. 　請求項１に記載の作業機械の周囲検知装置であって、
    　前記作業機械は、
    　下部走行体と、
    　前記下部走行体に対して旋回可能である上部旋回体と、
    　を備え、
    　前記探索部は、
    　前記撮像画像に映る景色が前記第１側に移動するように前記下部走行体に対して前記上部旋回体を旋回させる操作が前記操作部により行われた場合、前記第１端点を前記対象物の座標とし、
    　前記撮像画像に映る景色が前記第２側に移動するように前記下部走行体に対して前記上部旋回体を旋回させる操作が前記操作部により行われた場合、前記第２端点を前記対象物の座標とする、
    　作業機械の周囲検知装置。
  3. 　請求項１または２に記載の作業機械の周囲検知装置であって、
    　前記探索部は、前記作業機械の下部走行体を走行させる操作が前記操作部により行われた場合、前記中央点を前記対象物の座標とする、
    　作業機械の周囲検知装置。
  4. 　請求項１～３のいずれか１項に記載の作業機械の周囲検知装置であって、
    　アイコン表示部をさらに備え、
    　前記検知領域は複数の区画に分割されており、
    　前記アイコン表示部は、
    　前記複数の区画に対応する複数の領域を含む領域アイコンを表示し、
    　前記複数の領域のうち、前記撮像画像において前記対象物が進入した区画に対応する領域を強調表示する、
    　作業機械の周囲検知装置。
  5. 　請求項４に記載の作業機械の周囲検知装置であって、
    　前記撮像画像を表示する撮像画像表示部をさらに備え、
    　前記少なくとも一つの撮像装置は、複数の撮像装置を含み、
    　前記撮像画像表示部は、前記複数の撮像装置のうち、強調表示された前記領域に対応する前記区画を撮影している撮像装置の撮像画像を表示する、
    　作業機械の周囲検知装置。
  6. 　請求項４または５に記載の作業機械の周囲検知装置であって、
    　前記第１の設定部は、前記正面直交方向に並ぶ複数の区画どうしの境である、少なくとも一つの区画境界線を設定し、
    　前記少なくとも一つの区画境界線は、前記正面方向に延びる直線状である、
    　作業機械の周囲検知装置。
  7. 　請求項４～６のいずれか１項に記載の作業機械の周囲検知装置であって、
    　前記少なくとも一つの区画境界線は、互いに間隔をあけて設定された複数の区画境界線を含む、
    　作業機械の周囲検知装置。
  8. 　請求項１～７のいずれか１項に記載の作業機械の周囲検知装置であって、
    　前記第１の設定部は、前記撮像画像における前記検知領域の境界となる領域境界線を設定し、
    　前記領域境界線は、前記正面直交方向に延び、一定の形状を有する、
    　作業機械の周囲検知装置。
  9. 　請求項８に記載の作業機械の周囲検知装置であって、
    　前記領域境界線は、前記撮像画像において直線状である、
    　作業機械の周囲検知装置。
  10. 　請求項８または９に記載の作業機械の周囲検知装置であって、
    　前記撮像画像に対して、第１歪領域と、前記第１歪領域よりも画像の歪曲が小さい第２歪領域と、を設定する第２の設定部をさらに備え、
    　前記領域境界線は、前記第２歪領域内に設定される、
    　作業機械の周囲検知装置。
  11. 　請求項８～１０のいずれか１項に記載の作業機械の周囲検知装置であって、
    　前記撮像画像に対して、前記領域境界線を前記作業機械から遠ざけて設定可能な限度位置である第１限度位置と、前記領域境界線を前記作業機械に近付けて設定可能な限度位置である第２限度位置と、を設定する第３の設定部をさらに備え、
    　前記領域境界線は、前記第１限度位置と前記第２限度位置との間に設定される、
    　作業機械の周囲検知装置。
  12. 　請求項８～１１のいずれか１項に記載の作業機械の周囲検知装置であって、
    　前記正面方向に前記領域境界線の位置を調整する調整部をさらに備える、
    　作業機械の周囲検知装置。
  13. 　請求項１２に記載の作業機械の周囲検知装置であって、
    　前記調整部は、
    　前記対象物に近づく向きへの前記作業機械の走行速度が第１速度のときの、前記撮像画像における前記領域境界線の位置を、第１位置に調整し、
    　前記対象物に近づく向きへの前記作業機械の走行速度が前記第１速度よりも速い第２速度のときの、前記撮像画像における前記領域境界線の位置を、前記第１位置よりも前記作業機械から遠い第２位置に調整する、
    　作業機械の周囲検知装置。
  14. 　請求項８～１３のいずれか１項に記載の作業機械の周囲検知装置であって、
    　前記第１の設定部は、前記領域境界線よりも前記作業機械に近い側に基準線をさらに設定し、
    　前記対応処理部は、前記対象物の位置が前記基準線よりも前記作業機械に近いか遠いかに応じて、実行する対応処理を変える、
    　作業機械の周囲検知装置。
  15. 　請求項８～１４のいずれか１項に記載の作業機械の周囲検知装置であって、
    　前記少なくとも一つの撮像装置は、複数の撮像装置を含み、
    　前記第１の設定部は、前記複数の撮像装置が取得した複数の撮像画像に個別に前記領域境界線を設定する、
    　作業機械の周囲検知装置。
  16. 　請求項１～１５のいずれか１項に記載の作業機械の周囲検知装置であって、
    　前記撮像画像に対して第１制限位置を設定する制限部をさらに備え、
    　前記探索部による前記対象物の探索範囲は、前記第１制限位置よりも前記作業機械に近い領域内である、
    　作業機械の周囲検知装置。
  17. 　請求項１～１６のいずれか１項に記載の作業機械の周囲検知装置であって、
    　前記撮像画像に対して第２制限位置を設定する制限部をさらに備え、
    　前記探索部による前記対象物の探索範囲は、前記第２制限位置よりも前記作業機械から遠い領域内である、
    　作業機械の周囲検知装置。
  18. 　請求項１０に記載の作業機械の周囲検知装置であって、
    　前記第１歪領域は、前記第２歪領域よりも前記作業機械に近い側にある第３歪領域と、前記第２歪領域よりも前記作業機械から遠い側にある第４歪領域とを含み、
    　前記探索部による前記対象物の探索範囲は、前記第２歪領域内及び前記第３歪領域内である、
    　作業機械の周囲検知装置。
PCT/JP2021/012204 2020-03-31 2021-03-24 作業機械の周囲検知装置 WO2021200458A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21781724.6A EP4105391B1 (en) 2020-03-31 2021-03-24 Surroundings sensing device for work machine
US17/907,438 US20230105895A1 (en) 2020-03-31 2021-03-24 Surroundings sensing device for work machine
CN202180023849.9A CN115362297B (zh) 2020-03-31 2021-03-24 工程机械的周边检测装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020063883A JP7322791B2 (ja) 2020-03-31 2020-03-31 作業機械の周囲検知装置
JP2020-063883 2020-03-31

Publications (1)

Publication Number Publication Date
WO2021200458A1 true WO2021200458A1 (ja) 2021-10-07

Family

ID=77928785

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/012204 WO2021200458A1 (ja) 2020-03-31 2021-03-24 作業機械の周囲検知装置

Country Status (5)

Country Link
US (1) US20230105895A1 (ja)
EP (1) EP4105391B1 (ja)
JP (1) JP7322791B2 (ja)
CN (1) CN115362297B (ja)
WO (1) WO2021200458A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230272599A1 (en) * 2022-02-28 2023-08-31 Caterpillar Inc. Work machine safety zone control
JP7500895B1 (ja) 2023-09-21 2024-06-17 株式会社 日立産業制御ソリューションズ 作業管理装置、作業管理システム、および、作業管理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017101419A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2017151815A (ja) * 2016-02-25 2017-08-31 住友重機械工業株式会社 作業機械用周辺監視システム
JP6232497B2 (ja) 2014-06-25 2017-11-15 株式会社日立製作所 外界認識装置
JP2018123646A (ja) * 2017-02-03 2018-08-09 住友重機械工業株式会社 作業機械用周辺監視システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6165085B2 (ja) * 2014-03-07 2017-07-19 日立建機株式会社 作業機械の周辺監視装置
US10344450B2 (en) * 2015-12-01 2019-07-09 The Charles Machine Works, Inc. Object detection system and method
EP3584120B1 (en) * 2017-02-17 2021-04-14 Sumitomo Heavy Industries, Ltd. Work machine surroundings monitoring system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6232497B2 (ja) 2014-06-25 2017-11-15 株式会社日立製作所 外界認識装置
JP2017101419A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2017151815A (ja) * 2016-02-25 2017-08-31 住友重機械工業株式会社 作業機械用周辺監視システム
JP2018123646A (ja) * 2017-02-03 2018-08-09 住友重機械工業株式会社 作業機械用周辺監視システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4105391A4

Also Published As

Publication number Publication date
CN115362297B (zh) 2024-07-12
JP7322791B2 (ja) 2023-08-08
JP2021163188A (ja) 2021-10-11
EP4105391B1 (en) 2024-06-12
EP4105391A4 (en) 2023-07-12
EP4105391A1 (en) 2022-12-21
CN115362297A (zh) 2022-11-18
US20230105895A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
CN111051619B (zh) 作业机械
JP5750344B2 (ja) 作業機の周囲監視装置
KR101815268B1 (ko) 건설 기계의 표시 시스템 및 그 제어 방법
WO2021200458A1 (ja) 作業機械の周囲検知装置
US11105072B2 (en) Work vehicle and display control method
JP5775283B2 (ja) 作業機械のモニタ装置
JP7000957B2 (ja) 作業機械操縦装置
JP2008163719A (ja) 作業機械の周囲監視装置
KR20210089039A (ko) 건설기계의 제어 시스템 및 방법
WO2017110382A1 (ja) 作業車両および作業車両の制御方法
US10942351B2 (en) Work vehicle and display control method
KR20220102804A (ko) 건설기계의 제어 시스템 및 방법
KR20180097613A (ko) 쇼벨
JP2017115488A (ja) 作業車両および作業車両の制御方法
JP2013002101A (ja) 作業機械の視野補助装置
JP2018178878A (ja) 産業車両
WO2021200448A1 (ja) 作業機械の周囲検知装置
WO2019142523A1 (ja) 先端アタッチメント判別装置
KR20230017724A (ko) 건설기계의 제어 시스템 및 방법
JP2021031922A (ja) 作業機械
WO2024142485A1 (ja) 作業情報教示装置及びこれを備えた作業機械
JP7329928B2 (ja) 作業機械
JP2024122483A (ja) 作業機械および作業機械の制御方法
WO2021090678A1 (ja) 作業機械の周囲監視装置
EP4433661A1 (en) Collision avoidance system and method for avoiding collision of work machine with obstacles

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21781724

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021781724

Country of ref document: EP

Effective date: 20220914

NENP Non-entry into the national phase

Ref country code: DE