WO2021200448A1 - 作業機械の周囲検知装置 - Google Patents

作業機械の周囲検知装置 Download PDF

Info

Publication number
WO2021200448A1
WO2021200448A1 PCT/JP2021/012188 JP2021012188W WO2021200448A1 WO 2021200448 A1 WO2021200448 A1 WO 2021200448A1 JP 2021012188 W JP2021012188 W JP 2021012188W WO 2021200448 A1 WO2021200448 A1 WO 2021200448A1
Authority
WO
WIPO (PCT)
Prior art keywords
work machine
boundary line
captured image
detection device
image
Prior art date
Application number
PCT/JP2021/012188
Other languages
English (en)
French (fr)
Inventor
裕樹 小嶋
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to US17/906,559 priority Critical patent/US20230139466A1/en
Priority to EP21781981.2A priority patent/EP4105392A4/en
Priority to CN202180023903.XA priority patent/CN115315559A/zh
Publication of WO2021200448A1 publication Critical patent/WO2021200448A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles

Definitions

  • the present invention relates to an ambient detection device for a work machine that detects an object around the work machine.
  • Patent Document 1 describes a conventional ambient detection device.
  • an imaging device captures an object. Then, the coordinates of the object reflected in the captured image are converted into virtual plane coordinates (see FIG. 5 and the like in the same document).
  • the process of converting the coordinates of the object reflected in the captured image into virtual plane coordinates is complicated, the processing load is high, and the processing speed is slow.
  • a response process such as a warning or operation restriction may be performed. In this case, if the coordinates of the object reflected in the captured image are converted into virtual plane coordinates, the start of the corresponding process may be delayed.
  • An object of the present invention is to provide a peripheral detection device for a work machine, which can reduce the processing load required for detecting an object and shorten the processing time.
  • the perimeter detection device for a work machine includes at least one imaging device provided in the work machine, which captures an object around the work machine and acquires an image, and the image in the captured image.
  • a search unit that searches for the position of an object, a first setting unit that sets a detection area that is a region for detecting the object in the captured image, and the object inside the detection region in the captured image. It is provided with a response processing unit that executes a predetermined response process when the user enters.
  • the first setting unit sets a boundary line that is a boundary of the detection region in the captured image.
  • the boundary line extends in the front orthogonal direction and has a constant shape.
  • the front orthogonal direction is a direction orthogonal to the front direction of the work machine in the captured image.
  • the surrounding detection device 20 (see FIG. 2) of the work machine 1 (see FIG. 1) will be described with reference to FIGS. 1 to 5.
  • the work machine 1 is a machine that performs work, for example, a construction machine that performs construction work.
  • the construction machine may be, for example, an excavator (for example, a hydraulic excavator) or a crane.
  • an excavator for example, a hydraulic excavator
  • the work machine 1 includes a lower traveling body 11, an upper rotating body 13, and an attachment 15.
  • the lower traveling body 11 runs the work machine 1.
  • the lower traveling body 11 may include, for example, a crawler and may include a soil removal plate.
  • the upper swivel body 13 is mounted so as to be swivelable with respect to the lower traveling body 11.
  • the upper swing body 13 includes a driver's cab 13a and a counterweight 13b.
  • the driver's cab 13a is a part that the operator operates when the operator gets on the work machine 1 and operates the work machine 1.
  • the counterweight 13b is a weight for balancing the work machine 1 in the front-rear direction.
  • the attachment 15 is a part for performing work, and includes, for example, a boom 15a, an arm 15b, and a tip attachment 15c.
  • the boom 15a is undulatingly attached to the upper swing body 13.
  • the arm 15b is rotatably attached to the boom 15a.
  • the tip attachment 15c is provided at the tip of the attachment 15 and is rotatably attached to the arm 15b.
  • the tip attachment 15c may be, for example, a bucket for scooping earth and sand, a device for sandwiching an object (such as a grapple), or a device for crushing or excavating (such as a breaker).
  • the surroundings detection device 20 is a device that detects an object (object A) around the work machine 1.
  • the ambient detection device 20 detects the object A based on the captured image Im (see FIG. 4).
  • the object A may be a person (worker) around the work machine 1 or an obstacle other than the person around the work machine 1.
  • the surrounding detection device 20 includes an operation unit 21, an image pickup device 23, a control unit 30, an image pickup image display unit 80, and a corresponding processing unit 90.
  • the operation unit 21 is a part operated by the operator to operate the work machine 1 (see FIG. 1).
  • the operation unit 21 is provided in the driver's cab 13a (see FIG. 1). When the work machine 1 is remotely controlled, the operation unit 21 may be provided at a position away from the work machine 1 (see FIG. 1).
  • the operation unit 21 includes a traveling operation unit 21a and an input device 21c for adjusting the boundary line.
  • the traveling operation unit 21a is a portion for operating the traveling (more specifically, forward traveling and reverse traveling) of the lower traveling body 11 (see FIG. 1).
  • the traveling operation unit 21a is a lever (operation lever).
  • the input device 21c is a device for adjusting the position of the boundary line B (see FIG. 4) described later.
  • the input device 21c includes, for example, a jog dial 21c1 and a switch 21c2 (for example, a push switch).
  • the jog dial 21c1 and the switch 21c2 may be integrally configured or may be separate.
  • the image pickup apparatus 23 photographs (images) the object A and acquires the captured image Im (see FIG. 4).
  • the image pickup device 23 is an image pickup device that monitors the surroundings of the work machine 1.
  • the image pickup device 23 is attached to and fixed to the upper swing body 13.
  • the imaging range of the image pickup apparatus 23 preferably covers an area in the driver's cab 13a that becomes a blind spot from the operator.
  • the number of image pickup devices 23 may be one or may be one or more.
  • the image pickup apparatus 23 is provided, for example, on the rear side portion (for example, the counterweight 13b or its vicinity), the right side portion, the left side portion, and the like of the upper swing body 13.
  • the image pickup device 23 may be provided in the front side portion (for example, the driver's cab 13a) of the upper swing body 13.
  • the image pickup device 23 is capable of photographing a wide range, and is, for example, a device having a fisheye lens.
  • the captured image Im (see FIG. 4) acquired by the imaging device 23 may be a two-dimensional image (more specifically, a moving image) or a three-dimensional image (for example, an image captured by a stereo camera or the like).
  • the side close to the work machine 1 is the lower side Y2 (machine side) of the image
  • the side far from the work machine 1 is the upper side Y1 (anti-machine side) of the image.
  • the direction in which the object A approaches or moves away from the work machine 1 at the shortest distance is defined as the front direction (the vertical direction Y in the example of FIG. 4).
  • the direction orthogonal to the front direction is defined as the front orthogonal direction (in the example of FIG. 4, the left-right direction X of the image).
  • the image pickup apparatus 23 may be rotated or inverted.
  • the control unit 30 (see FIG. 2) performs input / output of information, calculation (judgment, setting, etc.), storage of information, and the like.
  • the control unit 30 shown in FIG. 2 may be provided on the upper swing body 13 (see FIG. 1) or may be provided outside the upper swing body 13 (for example, a server or the like).
  • a part of the components of the control unit 30 may be arranged on the upper swing body 13, and the other part may be arranged outside the upper swing body 13.
  • the control unit 30 includes an image correction unit 31, a search unit 41, a restriction unit 43, a first setting unit 51, a second setting unit 45, a third setting unit 53, an adjustment unit 52, and a determination unit 61.
  • a corresponding processing control unit 63 and a display control unit 65 are provided.
  • the image correction unit 31 corrects the captured image Im acquired by the imaging device 23.
  • the image correction unit 31 corrects the distortion (distortion of the image) of the captured image Im. Any method may be used for distortion correction by the image correction unit 31.
  • the image correction unit 31 may reduce the distortion by expanding and contracting the captured image Im.
  • the image correction unit 31 may remove a portion having a large amount of distortion from the captured image Im, leaving a portion having a small amount of distortion.
  • the captured image Im corrected by the image correction unit 31 is also referred to as "captured image Im".
  • the search unit 41 searches for the position of the object A in the captured image Im shown in FIG. More specifically, the search unit 41 (see FIG. 2) automatically determines (recognizes and identifies) whether or not the object reflected in the captured image Im is the object A or not by image processing. The search unit 41 makes this determination based on the characteristic portion (for example, shape, color, etc.) of the object reflected in the captured image Im. Further, the search unit 41 calculates the position (coordinates Ax, Ay) of the object A closest to the work machine 1 in the captured image Im. For example, the search unit 41 calculates the coordinates of the lower Y2 portion of the image of the object A (for example, the foot portion of the worker).
  • the search unit 41 does not need to set the point (closest approach point) of the object A that is exactly closest to the work machine 1 as the coordinates (Ax, Ay) of the object A.
  • the search unit 41 may use the position of the object A near the closest point to the work machine 1 as the coordinates (Ax, Ay) of the object A.
  • the search unit 41 preferably sets the closest point of the object A to the work machine 1 as the coordinates (Ax, Ay) of the object A.
  • the limiting unit 43 may set the search upper limit position Ea (first limiting position) or the search lower limit position Eb (second limiting position) with respect to the captured image Im. ..
  • the search upper limit position Ea may be preset in the restriction unit 43, or may be manually or automatically set (the same applies to the search lower limit position Eb).
  • the search lower limit position Eb is set to Y2 below the image than the search upper limit position Ea.
  • Example 1 When the limit unit 43 sets the search upper limit position Ea, the search range of the object A by the search unit 41 (see FIG. 2) is within the area Y2 below the image from the search upper limit position Ea.
  • the "inside the region” does not have to be the entire region, but is at least a part of the region (and so on).
  • the search unit 41 does not search for the object A in the region Y1 above the image above the search upper limit position Ea.
  • Example 2 When the limit unit 43 sets the search lower limit position Eb, the search range of the object A by the search unit 41 (see FIG. 2) is within the region of the image upper side Y1 with respect to the search lower limit position Eb.
  • the search unit 41 does not search for the object A in the region Y2 below the image lower limit position Eb.
  • the search range of the object A by the search unit 41 is the search upper limit position Ea and the search lower limit position.
  • the search unit 41 does not search for the object A in the region Y1 above the image above the search upper limit position Ea.
  • the search unit 41 does not search for the object A in a part of the captured image Im.
  • the search upper limit position Ea and the search lower limit position Eb are set based on, for example, the necessity of searching for the object A.
  • the search upper limit position Ea is set as follows, for example.
  • the sky may be reflected (reflected) in the Y1 portion on the upper side of the captured image Im. If the object A is detected up to the part where the sky is reflected, it may cause over-detection and may cause false detection. Therefore, the search upper limit position Ea is set based on the portion where the sky is expected to be reflected. For example, the search upper limit position Ea is set so that the portion where the sky is expected to be reflected is Y1 on the upper side of the image than the search upper limit position Ea.
  • the search lower limit position Eb is set as follows, for example. A part of the upper swivel body 13 (see FIG. 1) may be reflected in the lower Y2 portion of the captured image Im. In this case, the object A is not reflected in the portion where the upper swivel body 13 is reflected. Therefore, the limiting unit 43 sets the search lower limit position Eb based on the portion where the upper swivel body 13 is expected to be projected. For example, the limiting unit 43 sets the search lower limit position Eb so that the portion where the upper swivel body 13 is expected to be projected is on the lower side Y2 of the image than the search lower limit position Eb.
  • the second setting unit 45 sets a high distortion region Fb (first distortion region) and a low distortion region Fa (second distortion region) with respect to the captured image Im.
  • the high distortion region Fb may be preset in the second setting unit 45, or may be manually or automatically set (the same applies to the low distortion region Fa).
  • the low distortion region Fa is a region in which the distortion of the image is smaller than that of the high distortion region Fb.
  • the second setting unit 45 sets the high distortion region Fb and the low distortion region Fa, for example, as follows.
  • the Y1 portion on the upper side of the image and the Y2 portion on the lower side of the image of the captured image Im may have a larger distortion than the central portion in the vertical direction of the image. Therefore, the Y1 portion on the upper side of the image and the Y2 portion on the lower side of the image of the captured image Im are set as the high distortion region Fb, and the portion of the captured image Im other than the high distortion region Fb is set as the low distortion region Fa.
  • the Y1 portion on the upper side of the image and the Y2 portion on the lower side of the image of the captured image Im are set as the high distortion region Fb
  • the portion of the captured image Im other than the high distortion region Fb is set as the low distortion region Fa.
  • the search range of the object A by the search unit 41 is within the low distortion region Fa and within the high distortion region Fb (third strain region) of the lower Y2 portion of the image.
  • the search unit 41 does not search for the object A in the high distortion region Fb (fourth distortion region) of the Y1 portion on the upper side of the image. Therefore, as compared with the case where the search unit 41 searches the entire captured image Im, the search range of the search unit 41 is limited, the processing load is reduced, and the processing time is shortened.
  • the search unit 41 searches for the object A in the high distortion region Fb of the lower Y2 portion of the image. Therefore, the object A approaching the work machine 1 can be appropriately detected.
  • each of the search upper limit position Ea, the search lower limit position Eb, the high distortion region Fb, and the low distortion region Fa is set.
  • the search unit 41 (see FIG. 2) searches for the object A in the region between the search upper limit position Ea and the search lower limit position Eb and in the low distortion region Fa, and searches in the other regions.
  • the Y1 portion on the upper side of the image and the Y2 portion on the lower side of the image of the captured image Im are the high distortion region Fb, and the central portion in the vertical direction Y of the image is the low distortion region Fa.
  • what kind of correction is performed by the image correction unit 31, and the like, it is possible to consider which part of the captured image Im becomes the high distortion region Fb and the low distortion region Fa.
  • the first setting unit 51 sets the detection area D.
  • the detection area D is an area for detecting the object A in the captured image Im, and is an area for determining whether or not to perform a predetermined corresponding processing by the corresponding processing unit 90 (see FIG. 2).
  • the area other than the detection area D in the captured image Im is defined as the non-detection area C.
  • the first setting unit 51 sets a boundary line B which is a boundary of the detection area D in the captured image Im. Only one boundary line B may be set, or a plurality of boundary lines B may be set.
  • the boundary line B includes at least a line that serves as a boundary between the detection area D and the non-detection area C.
  • the boundary line B on the side farthest from the work machine 1 is the boundary between the detection area D and the non-detection area C (the limit area of the detection area D).
  • the boundary line B may include a line that divides the plurality of detection areas D.
  • the boundary line B may include a line (reference line) that separates the detection area D1 and the detection area D2 shown in FIG.
  • the boundary line B is preferably set so that the processing load of the control unit 30 (see FIG. 2) is as light as possible.
  • the boundary line B is a line extending in the left-right direction X of the image and having a constant shape (a shape that does not change).
  • the boundary line B is preferably substantially linear, and more preferably linear in the captured image Im.
  • the "substantially linear shape" may be, for example, a curved shape along a part of the upper swivel body 13 (see FIG. 1) (for example, the rear end of the counterweight 13b (see FIG. 1)) reflected in the captured image Im.
  • the boundary line B is preferably set to the captured image Im corrected by the image correction unit 31 (see FIG. 2).
  • the reason is as follows. In the portion where the distortion of the captured image Im is large, even if the position of the object A in the vertical direction Y of the image is the same, the actual distance from the work machine 1 to the object A depends on the position of the object A in the horizontal direction X of the image. to differ greatly. Therefore, if a linear or substantially linear boundary line B is set in the portion of the captured image Im where the distortion is large, even if the actual distance from the work machine 1 to the object A is the same, the object A in the left-right direction X of the image Depending on the position, the object A may or may not enter the detection area D.
  • the actual distance (correspondence processing start distance) between the object A and the work machine 1 when the correspondence processing by the correspondence processing unit 90 (see FIG. 2) is started is the image lateral direction X of the captured image Im. It depends on the position of the object A. Therefore, it becomes difficult for the operator of the work machine 1 to grasp how close the object A is to the work machine 1 to start the response process (the operator has difficulty in grasping the sense of distance).
  • a substantially linear or linear boundary line B is set in the captured image Im whose distortion has been corrected by the image correction unit 31 (see FIG. 2). Therefore, the corresponding processing start distance is constant or substantially constant regardless of the position of the object A in the left-right direction X of the image. Therefore, the operator can easily grasp the sense of distance. Further, since the corresponding processing start distance is constant or substantially constant, the corresponding processing is properly performed.
  • the first setting unit 51 sets the boundary line B in the low distortion region Fa for the same reason as described above.
  • the corresponding processing start distance becomes substantially constant regardless of the position of the object A in the left-right direction X of the image, and the operator can easily grasp the sense of distance.
  • the boundary line B is set in the low distortion region Fa at the center of the image vertical direction Y of the captured image Im, the object A can be appropriately detected.
  • the boundary line B is set in the low distortion region Fa, the object A is set earlier than the case where the boundary line B is set in the high distortion region Fb on the work machine 1 side (lower side Y2 of the image). Can be detected.
  • the second setting unit 45 sets the low distortion region Fa (that is, the second distortion region) in which the boundary line B can be set and the high distortion region Fb (that is, the first distortion region) in which the boundary line B is not set.
  • the second setting unit 45 sets the low distortion region Fa (that is, the second distortion region) that can be searched by the search unit 41 and the high distortion region Fb (that is, the third distortion region) of the lower side Y2 of the image.
  • the second setting unit 45 sets a high distortion region Fb (that is, a fourth distortion region) of the image upper side Y1 that is not searched by the search unit 41.
  • the low-distortion region Fa (first low-distortion region) as the range in which the boundary line B is set and the low-distortion region Fa (second low-distortion region) as the range in which the search unit 41 searches for the object A are defined as each other. It may be the same or different. Since the range suitable for the first low distortion region and the range suitable for the second low distortion region do not always match, it is preferable that the first low distortion region and the second low distortion region have different arrangements. Further, only one of the first low distortion region and the second low distortion region may be set.
  • the first setting unit 51 may set a plurality of boundary lines B.
  • the first setting unit 51 may set a plurality of detection areas D1 and D2.
  • the first setting unit 51 sets a plurality of boundary lines B at intervals in the vertical direction Y of the image. Then, as will be described later, the correspondence process of the correspondence processing unit 90 is changed depending on which boundary line B the object A crosses.
  • the first setting unit 51 When a plurality of image pickup devices 23 (see FIG. 1) are provided, the first setting unit 51 (see FIG. 2) individually (for each image pickup device 23) a plurality of captured images Im acquired by the plurality of image pickup devices 23. Boundary line B is set. The first setting unit 51 sets the boundary line B so that, for example, the corresponding processing start distance is constant or substantially constant in each imaging device 23.
  • the first setting unit 51 includes an adjusting unit 52 (see FIG. 2).
  • the adjustment unit 52 (see FIG. 2) is a portion that adjusts the position of the boundary line B shown in FIG. 4 in the vertical direction Y of the image. Even if the position of the boundary line B is adjusted by the adjusting unit 52, the shape of the boundary line B in the captured image Im is constant. If the position of the boundary line B is changed in the portion where the distortion of the captured image Im is large, it is necessary to change the curvature of the boundary line B according to the distortion of the captured image Im, and it is necessary to prepare a plurality of parameters. In the embodiment, the shape of the boundary line B is constant.
  • the adjustment of the position of the boundary line B by the adjusting unit 52 may be manual adjustment or automatic adjustment.
  • a specific example when the position of the boundary line B is manually adjusted is as follows.
  • the control unit 30 (see FIG. 2) is set to the "adjustment mode".
  • the captured image display unit 80 (see FIG. 2), which will be described later, displays the captured image Im with the boundary line B superimposed.
  • the operator moves the boundary line B in the vertical direction Y of the image while observing this display, and performs an operation of determining the position of the boundary line B.
  • This operation is performed by the input device 21c (see FIG. 2).
  • the operator rotates the jog dial 21c1 (see FIG. 2) to move the boundary line B in the vertical direction Y of the image and operates the switch 21c2 (see FIG. 2) (for example, presses). By doing so, the position of the boundary line B is determined.
  • a specific example when the position of the boundary line B is automatically adjusted is as follows.
  • the position of the boundary line B is adjusted based on, for example, the traveling speed of the work machine 1.
  • the adjusting unit 52 sets the position of the boundary line B in the captured image Im when the traveling speed of the work machine 1 in the direction approaching the object A is the first speed.
  • Position B1 The traveling speed of the work machine 1 in the direction approaching the object A, which is faster than the first speed, is defined as the second speed.
  • the position of the boundary line B in the captured image Im at this second speed is defined as the second position B2.
  • the adjusting unit 52 sets the second position B2 to Y1 on the upper side of the image than the first position B1.
  • the adjustment unit 52 may set the position of the boundary line B to Y1 on the upper side of the image stepwise or continuously to Y1 on the upper side of the image as the traveling speed of the work machine 1 increases. Whether or not the traveling direction of the work machine 1 approaches the object A depends on the traveling direction of the lower traveling body 11 (forward, backward), the turning angle of the upper rotating body 13 with respect to the lower traveling body 11. The determination can be made based on the shooting direction of the image pickup apparatus 23.
  • the position of the boundary line B may not be adjusted (that is, the adjusting unit 52 may not be provided).
  • the boundary line B is set in advance in the first setting unit 51, and the position of the boundary line B does not have to be changed.
  • the adjusting unit 52 When the adjusting unit 52 adjusts the position of the boundary line B, the adjusting unit 52 directly or indirectly acquires the traveling speed of the work machine 1.
  • the adjusting unit 52 shown in FIG. 2 may acquire the traveling speed from the operating amount of the traveling operation unit 21a.
  • the adjusting unit 52 may acquire the traveling speed from the information (rotation speed, flow rate of hydraulic oil, etc.) about the motor that travels the lower traveling body 11 (see FIG. 1).
  • the adjusting unit 52 may acquire the traveling speed from the sensor that detects the position of the work machine 1.
  • the third setting unit 53 sets the boundary line upper limit position Ga (first limit position) and the boundary line lower limit position Gb (second limit position) with respect to the captured image Im. ..
  • the boundary line lower limit position Gb is set to Y2 below the image from the boundary line upper limit position Ga.
  • the boundary line B is set in the region between the boundary line upper limit position Ga and the boundary line lower limit position Gb.
  • the boundary line upper limit position Ga and the boundary line lower limit position Gb are set based on, for example, the necessity of searching for the object A, similarly to the search upper limit position Ea and the search lower limit position Eb.
  • the first setting unit 51 sets the boundary line upper limit position Ga and the boundary line.
  • the boundary line B is set in the region between the lower limit position Gb and the low distortion region Fa.
  • the boundary line upper limit position Ga and the search upper limit position Ea match, but they do not have to match (the same applies to the boundary line lower limit position Gb and the search lower limit position Eb).
  • the determination unit 61 determines whether or not a part or all of the object A exists inside the detection area D. Specifically, the determination unit 61 determines, for example, whether or not the coordinates (Ax, Ay) of the lower Y2 end of the frame K in the image are within the detection area D.
  • the boundary line B is a straight line, whether or not the coordinates (Ay) of the image vertical direction Y of the object A are on the work machine 1 side (lower side Y2 of the image) with respect to the coordinates of the image vertical direction Y of the boundary line B. With this simple determination, it is possible to determine whether or not the object A exists in the detection area D.
  • the corresponding processing control unit 63 When it is detected that the object A has entered the inside of the detection area D, the corresponding processing control unit 63 (see FIG. 2) causes the corresponding processing unit 90 (see FIG. 2) to execute a predetermined corresponding processing (see FIG. 2). Details will be described later). If it is not detected that the object A has entered the inside of the detection area D, the corresponding processing control unit 63 does not cause the corresponding processing unit 90 to execute the corresponding processing.
  • the display control unit 65 controls the display of the captured image display unit 80 (see FIG. 2).
  • the captured image display unit 80 displays the captured image Im.
  • the captured image display unit 80 is provided in, for example, the driver's cab 13a shown in FIG.
  • the captured image display unit 80 may be arranged outside the work machine 1.
  • the captured image display unit 80 is, for example, a part or all of the display.
  • the captured image Im (see FIG. 4) of the captured image display unit 80 is displayed by shifting the captured image Im captured by the imaging device 23 to the left and right, like the image reflected on the rearview mirror when the back mirror is viewed from the driver's cab 13a. This is an inverted display.
  • the captured image display unit 80 may display the boundary line B on top of the captured image Im shown in FIG.
  • the captured image display unit 80 may display the detection area D on the captured image Im.
  • the boundary line B does not have to be displayed on the captured image display unit 80, and may be used only for inner processing (determination by the determination unit 61 (see FIG. 2), etc.) (the same applies to the detection area D). ..
  • the image pickup image display unit 80 may switch and display the image pickup image Im for each image pickup device 23, and the image pickup image Im taken by the plurality of image pickup devices 23 is combined.
  • the image Im may be displayed.
  • the response processing unit 90 executes a predetermined response process when the object A enters the inside of the detection area D.
  • the response process executed by the response processing unit 90 shown in FIG. 2 may be a warning, may be a restriction on the operation of the work machine 1, or may be a process other than these.
  • this warning may be, for example, a warning to the operator of the work machine 1, or may be, for example, a warning to workers around the work machine 1.
  • This warning may be a sound warning, a light warning, a screen display (text, graphic, etc.) on the display, or a combination of these warnings.
  • the corresponding processing executed by the corresponding processing unit 90 is a limitation on the operation of the work machine 1
  • the limitation may be, for example, a deceleration of the operation of the work machine 1 or a stop of the operation of the work machine 1.
  • the operation of the work machine 1 restricted by the corresponding processing unit 90 may be the traveling of the lower traveling body 11 shown in FIG. 1, the turning of the upper rotating body 13 with respect to the lower traveling body 11, or the operation of the attachment 15.
  • the corresponding processing unit 90 may change the corresponding processing to be executed according to the boundary line B crossed by the object A.
  • the corresponding processing unit 90 may increase the degree of warning and restriction as the boundary line B crossed by the object A is closer to the work machine 1 (on the lower side Y2 of the image).
  • the corresponding processing unit 90 may change the warning pattern (warning content, number of times, time, etc.) according to the boundary line B crossed by the object A, and change the degree of restriction on the operation of the work machine 1. You may.
  • the search unit 41 shown in FIG. 2 searches for the object A from the captured image Im (step S11), and calculates the coordinates of the object A (for example, the coordinates of the feet) (step S12).
  • the corresponding processing control unit 63 outputs a command to the corresponding processing unit 90 (step S13). Step S14).
  • the processes of steps 2, 3 and 4 above can be omitted. Therefore, the processing load of the control unit 30 (see FIG. 2) can be reduced, the processing speed can be improved, and the processing time can be shortened. As a result, it is possible to shorten the time from when the object A enters the inside of the detection area D until the response process (warning, operation restriction) is started (the response process can be performed quickly). Further, since the coordinates of the captured image Im are not converted into virtual plane coordinates, information on the mounting position and mounting angle of the imaging device 23 (see FIG. 1) is unnecessary. Therefore, the ambient detection device 20 (see FIG. 2) can be applied to various types of work machines 1 (high versatility) without setting complicated parameters.
  • the processing load of the control unit 30 can be reduced and the processing time can be shortened by omitting the processing other than the search for the object A (for example, the processing of steps 2, 3 and 4 above). Can be done.
  • the surrounding detection device 20 can detect only this person as a detection target, but the sensor that acquires the distance information sets only this person as a detection target. It cannot be detected.
  • the surroundings detection device 20 includes an image pickup device 23, a search unit 41, a first setting unit 51, and a corresponding processing unit 90.
  • the image pickup device 23 is provided on the work machine 1 and photographs an object A (see FIG. 4) around the work machine 1 to acquire a captured image Im.
  • the search unit 41 searches for the position of the object A (see FIG. 4) in the captured image Im.
  • the first setting unit 51 sets the detection area D, which is the area for detecting the object A, in the captured image Im.
  • the response processing unit 90 executes a predetermined response process when the object A enters the inside of the detection region D in the captured image Im.
  • the first setting unit 51 sets a boundary line B which is a boundary of the detection area D in the captured image Im.
  • the side closer to the work machine 1 is the lower side Y2 (machine side) of the image
  • the side far from the work machine 1 is the upper side Y1 (anti-machine side) of the image
  • the object A approaches the work machine 1 in the shortest distance.
  • the direction away from the image is the front direction (Y in the vertical direction of the image in the example of FIG. 4).
  • the direction orthogonal to the front direction is defined as the front orthogonal direction (in the example of FIG. 4, the left-right direction X of the image).
  • the boundary line B extends in the left-right direction X of the image and has a constant shape.
  • the load required for the process of determining whether or not the object A has entered the inside of the detection area D is reduced. be able to. Therefore, according to the above [Structure 1-1] and [Structure 1-2], the processing load required for detecting the object A can be reduced, and the processing time can be shortened. As a result, it is possible to suppress a delay in the response processing by the response processing unit 90 (see FIG. 2) when the object A enters the inside of the detection region D.
  • the surrounding detection device 20 includes a first setting unit 45.
  • the first setting unit 45 has a high distortion region Fb (first distortion region) and a low distortion region Fa (first distortion region Fa) in which the distortion of the image is smaller than that of the high distortion region Fb with respect to the captured image Im. 2 Distortion area) and.
  • the boundary line B is set in the low distortion region Fa.
  • the corresponding processing start distance can be made constant or substantially constant regardless of the position of the object A in the image left-right direction X of the captured image Im. Therefore, the operator can easily grasp the corresponding processing start distance (the operator can easily grasp the sense of distance). As a result, it is possible to prompt the operator to perform an appropriate avoidance operation (an operation of avoiding contact between the object A and the work machine 1).
  • the surrounding detection device 20 includes a third setting unit 53.
  • the third setting unit 53 has a boundary line upper limit position Ga (first limit position) and a boundary line lower limit position Y2 below the boundary line upper limit position Ga with respect to the captured image Im. Gb (second limit position) and is set.
  • the boundary line B is set in the region between the boundary line upper limit position Ga and the boundary line lower limit position Gb.
  • the surrounding detection device 20 includes an adjustment unit 52 (see FIG. 2) that adjusts the position of the boundary line B in the vertical direction Y of the image.
  • the angle of view and the mounting angle of the imaging device 23 vary within the tolerance range. Therefore, if the position of the boundary line B in the vertical direction Y of the image does not change, the corresponding processing start distance will vary.
  • the corresponding processing start distance can be adjusted by adjusting the position of the boundary line B by the adjusting unit 52 (see FIG. 2). As a result, even if the angle of view and the mounting angle of the imaging device 23 vary, the corresponding processing start distance can be adjusted to a predetermined distance (the variation in the angle of view and the mounting angle of the imaging device 23 can be absorbed. can).
  • the corresponding processing start distance is desired to be changed according to the situation of the work site of the work machine 1.
  • the position of the boundary line B is adjusted by the adjusting unit 52, so that the corresponding processing start distance can be changed, so that the convenience is improved.
  • the boundary line B is within the region between the boundary line upper limit position Ga and the boundary line lower limit position Gb.
  • the position of is adjusted. Therefore, the position of the boundary line B is adjusted within a range in which the object A can be appropriately detected. Therefore, for example, it is possible to eliminate an erroneous adjustment work such that the position of the boundary line B is adjusted to an inappropriate position (for example, a position where the sky or the lower traveling body 11 is reflected). Therefore, the workability of the work of adjusting the position of the boundary line B can be improved.
  • the position of the boundary line B in the captured image Im when the traveling speed of the work machine 1 in the direction approaching the object A is the first speed is defined as the first position B1.
  • the position of the boundary line B in the captured image Im when the traveling speed of the work machine 1 in the direction approaching the object A is the second speed higher than the first speed is defined as the second position B2.
  • the boundary line adjusting unit 52 sets the second position B2 to Y1 on the upper side of the image than the first position B1.
  • the surrounding detection device 20 includes a limiting unit 43.
  • the limiting unit 43 sets the search upper limit position Ea (first limiting position) with respect to the captured image Im.
  • the search range of the object A by the search unit 41 is within the area Y2 below the image from the search upper limit position Ea.
  • the search range of the object A by the search unit 41 is within the region of Y2 on the lower side of the image than the search upper limit position Ea. Therefore, the search for the object A can be appropriately performed. Further, the search range can be limited as compared with the case where the search unit 41 (see FIG. 2) searches for the object A in the entire captured image Im. Therefore, the processing load of the search unit 41 (see FIG. 2) can be reduced, and the processing time can be shortened.
  • the surrounding detection device 20 includes a limiting unit 43.
  • the limiting unit 43 sets the search lower limit position Eb (second limiting position) with respect to the captured image Im.
  • the search range of the object A by the search unit 41 is within the region of Y1 above the image from the search lower limit position Eb.
  • the search range of the object A by the search unit 41 is within the region of Y1 on the upper side of the image from the search lower limit position Eb. Therefore, the search for the object A can be appropriately performed. Further, the search range can be limited as compared with the case where the search unit 41 (see FIG. 2) searches for the object A in the entire captured image Im. Therefore, the processing load of the search unit 41 (see FIG. 2) can be reduced, and the processing time can be shortened.
  • the surrounding detection device 20 includes a second setting unit 45.
  • the second setting unit 45 sets the high distortion regions Fb (fourth distortion region and third distortion region) of the image upper side Y1 and the image lower side Y2 with respect to the captured image Im. ..
  • the second setting unit 45 sets a low distortion region Fa (second distortion region), which is a region in which the distortion of the image is smaller than that of the high distortion region Fb.
  • the search range of the object A by the search unit 41 is within the low distortion region Fa and within the high distortion region Fb of the lower side Y2 of the image.
  • the search range of the object A by the search unit 41 is within the low distortion region Fa and within the high distortion region Fb of the lower Y2 portion of the image. Therefore, the object A can be searched within an appropriate area. Further, the search range can be limited as compared with the case where the search unit 41 (see FIG. 2) searches for the object A in the entire captured image Im. Therefore, the processing load of the search unit 41 (see FIG. 2) can be reduced, and the processing time can be shortened.
  • the first setting unit 51 detects on the side closer to the work machine 1 than the boundary line B indicating the boundary between the detection area D and the non-detection area C.
  • a reference line B indicating the boundary between the region D1 and the detection region D2 is further set.
  • the response processing unit 90 changes the response process to be executed depending on whether the position of the object A is closer to or farther from the work machine 1 than the reference line B.
  • the content of the corresponding processing (for example, the content of warning or operation restriction) can be changed according to the distance from the work machine 1 to the object A. As a result, the operator can be appropriately notified of the position where the object A exists.
  • a plurality of image pickup devices 23 are provided.
  • the first setting unit 51 (see FIG. 2) individually sets the boundary line B for the captured images Im acquired by the plurality of imaging devices 23 (see FIG. 1).
  • the corresponding processing start distance can be set for each image pickup device 23, so that convenience can be improved. More specifically, for example, the angle of view, the mounting angle, the mounting position, and the like are different among the plurality of imaging devices 23 shown in FIG. Therefore, if the boundary line B (see FIG. 4) is set at a common position in the captured image Im (see FIG. 4) of each imaging device 23, the corresponding processing start distance changes for each imaging device 23. Therefore, by setting the boundary line B for each image pickup device 23 as in the above [Structure 11], it is possible to match or substantially match the corresponding processing start distances among the plurality of image pickup devices 23.
  • each component of the above embodiment shown in FIG. 2 may be changed.
  • each region (low distortion region Fa, etc.) shown in FIG. 4 and the like, and the position where the region is defined may be constant or may be changed by manual operation, depending on some conditions. It may be changed automatically.
  • the number of components may be changed, and some of the components may not be provided.
  • what has been described as a plurality of members or parts that are different from each other may be regarded as one member or part.
  • what has been described as one member or part may be provided separately in a plurality of different members or parts.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

撮像装置（２３）は、作業機械（１）に設けられ、作業機械（１）の周囲の対象物（Ａ）を撮影し、撮像画像（Ｉｍ）を取得する。第１設定部（５１）は、撮像画像（Ｉｍ）において、対象物（Ａ）を検知する領域である検知領域（Ｄ）を設定する。対応処理部（９０）は、撮像画像（Ｉｍ）において検知領域（Ｄ）の内側に対象物（Ａ）が進入した場合に、所定の対応処理を実行する。第１設定部（５１）は、撮像画像（Ｉｍ）における検知領域（Ｄ）の境界となる境界線（Ｂ）を設定する。境界線（Ｂ）は、正面直交方向（Ｘ）に延び、一定の形状を有する。

Description

作業機械の周囲検知装置
　本発明は、作業機械の周囲の対象物を検知する作業機械の周囲検知装置に関する。
　例えば特許文献１などに、従来の周囲検知装置が記載されている。同文献に記載の技術では、撮像装置が対象物を撮影する。そして、撮像画像に映った対象物の座標が、仮想平面座標に変換される（同文献の図５などを参照）。
　撮像画像に映った対象物の座標を仮想平面座標に変換する処理は複雑であり、処理負荷が高く、処理速度が遅い問題がある。また、作業機械の周囲の検知領域に対象物が進入したときに、例えば警告や作動制限などの対応処理が行われる場合がある。この場合、撮像画像に映った対象物の座標を仮想平面座標に変換すると、対応処理の開始が遅れるおそれがある。
特開２０１７－１０２６０４号公報
　本発明は、対象物の検知に必要な処理の負荷を軽減することができ、処理時間を短縮することができる、作業機械の周囲検知装置を提供することを目的とする。
　本発明の一態様に係る作業機械の周囲検知装置は、作業機械に設けられ、前記作業機械の周囲の対象物を撮影し、撮像画像を取得する少なくとも一つの撮像装置と、前記撮像画像における前記対象物の位置を探索する探索部と、前記撮像画像において前記対象物を検知する領域である検知領域を設定する第１の設定部と、前記撮像画像において前記検知領域の内側に前記対象物が進入した場合に、所定の対応処理を実行する対応処理部と、を備える。前記第１の設定部は、前記撮像画像における前記検知領域の境界となる境界線を設定する。前記境界線は、正面直交方向に延び、一定の形状を有する。前記正面直交方向は、前記撮像画像において前記作業機械の正面方向に直交する方向である。
作業機械を上から見た図である。 図１に示す作業機械の周囲検知装置を示す図である。 図２に示す制御部の作動を示すフローチャートである。 図２に示す撮像装置に取得された撮像画像を示す図である。 図４に示す境界線が複数設定される場合の図４相当図である。
　図１～図５を参照して、作業機械１（図１参照）の周囲検知装置２０（図２参照）について説明する。
　作業機械１は、図１に示すように、作業を行う機械であり、例えば建設作業を行う建設機械である。建設機械は、例えばショベル（例えば油圧ショベル）でもよく、クレーンでもよい。以下では、作業機械１がショベルである場合について説明する。作業機械１は、下部走行体１１と、上部旋回体１３と、アタッチメント１５と、を備える。
　下部走行体１１は、作業機械１を走行させる。下部走行体１１は、例えばクローラを備え、排土板を備えてもよい。
　上部旋回体１３は、下部走行体１１に対して旋回可能に搭載される。上部旋回体１３は、運転室１３ａと、カウンタウエイト１３ｂと、を備える。運転室１３ａは、オペレータが作業機械１に搭乗して作業機械１を操作する場合に、オペレータが操作を行う部分である。カウンタウエイト１３ｂは、作業機械１の前後方向のバランスをとるための、おもりである。
　アタッチメント１５は、作業を行う部分であり、例えば、ブーム１５ａと、アーム１５ｂと、先端アタッチメント１５ｃと、を備える。ブーム１５ａは、上部旋回体１３に対して起伏可能に取り付けられる。アーム１５ｂは、ブーム１５ａに対して回転可能に取り付けられる。先端アタッチメント１５ｃは、アタッチメント１５の先端部に設けられ、アーム１５ｂに対して回転可能に取り付けられる。先端アタッチメント１５ｃは、例えば土砂をすくうバケットでもよく、物を挟む装置（グラップルなど）でもよく、破砕や掘削などを行う装置（ブレーカなど）でもよい。
　周囲検知装置２０は、作業機械１の周囲の物体（対象物Ａ）を検知する装置である。周囲検知装置２０は、撮像画像Ｉｍ（図４参照）を基に対象物Ａを検知する。対象物Ａは、作業機械１の周囲の人（作業者）でもよく、作業機械１の周囲の人以外の障害物でもよい。図２に示すように、周囲検知装置２０は、操作部２１と、撮像装置２３と、制御部３０と、撮像画像表示部８０と、対応処理部９０と、を備える。
　操作部２１は、オペレータに操作され、作業機械１（図１参照）を操作するための部分である。操作部２１は、運転室１３ａ（図１参照）内に設けられる。作業機械１が遠隔操作される場合は、操作部２１は、作業機械１（図１参照）から離れた位置に設けられてもよい。操作部２１は、走行操作部２１ａと、境界線調整用の入力装置２１ｃと、を備える。走行操作部２１ａは、下部走行体１１（図１参照）の走行（さらに詳しくは前進走行、後進走行）を操作するための部分である。走行操作部２１ａは、レバー（操作レバー）である。入力装置２１ｃは、後述する境界線Ｂ（図４参照）の位置を調整するための装置である。入力装置２１ｃは、例えば、ジョグダイアル２１ｃ１と、スイッチ２１ｃ２（例えばプッシュスイッチなど）と、を備える。ジョグダイアル２１ｃ１とスイッチ２１ｃ２とは、一体的に構成されてもよく、別体でもよい。
　撮像装置２３は、図１に示すように、対象物Ａを撮影（撮像）し、撮像画像Ｉｍ（図４参照）を取得する。撮像装置２３は、作業機械１の周囲を監視する撮像装置である。撮像装置２３は、上部旋回体１３に取り付けられ、固定される。撮像装置２３による撮影範囲は、運転室１３ａ内のオペレータから死角になる領域を網羅することが好ましい。撮像装置２３の数は、１でもよく、複数でもよい。撮像装置２３は、例えば上部旋回体１３の後側部分（例えばカウンタウエイト１３ｂまたはその近傍）、右側部分、および左側部分などに設けられる。なお、作業機械１が遠隔操作される場合などには、撮像装置２３は、上部旋回体１３の前側部分（例えば運転室１３ａ）などに設けられてもよい。撮像装置２３は、広範囲を撮影可能なものであり、例えば魚眼レンズを有するものなどである。
　この撮像装置２３に取得される撮像画像Ｉｍ（図４参照）は、二次元の画像（さらに詳しくは動画）でもよく、三次元の画像（例えばステレオカメラなどで撮像された画像）でもよい。図４に示す撮像画像Ｉｍにおいて、作業機械１に近接する側を画像下側Ｙ２（機械側）とし、作業機械１から遠い側を画像上側Ｙ１（反機械側）とする。撮像画像Ｉｍにおいて、対象物Ａが作業機械１に最短距離で近付く又は遠ざかる方向を正面方向（図４の例では画像上下方向Ｙ）とする。撮像画像Ｉｍにおいて、正面方向に直交する方向を正面直交方向（図４の例では画像左右方向Ｘ）とする。なお、「上」「下」「左」「右」は、説明の便宜上用いた用語に過ぎない。例えば、撮像装置２３が回転や反転されても構わない。
　制御部３０（図２参照）は、情報の入出力、演算（判定、設定など）、および情報の記憶などを行う。図２に示す制御部３０は、上部旋回体１３（図１参照）に設けられてもよく、上部旋回体１３の外部（例えばサーバなど）に設けられてもよい。例えば、制御部３０の構成要素の一部が上部旋回体１３に配置され、他の部分が上部旋回体１３の外部に配置されてもよい。制御部３０は、画像補正部３１と、探索部４１と、制限部４３と、第１設定部５１と、第２設定部４５と、第３設定部５３と、調整部５２と、判定部６１と、対応処理制御部６３と、表示制御部６５と、を備える。
　画像補正部３１は、撮像装置２３が取得した撮像画像Ｉｍを補正する。画像補正部３１は、撮像画像Ｉｍの歪（画像の歪曲）を補正する。画像補正部３１による歪補正は、どのような方式でもよい。例えば、画像補正部３１は、撮像画像Ｉｍを伸縮することにより歪を減らしてもよい。例えば、画像補正部３１は、撮像画像Ｉｍから、歪の少ない部分を残して歪の多い部分を除去してもよい。画像補正部３１に補正された撮像画像Ｉｍも「撮像画像Ｉｍ」という。
　探索部４１は、図４に示す撮像画像Ｉｍにおける対象物Ａの位置を探索する。さらに詳しくは、探索部４１（図２参照）は、撮像画像Ｉｍに映った物が対象物Ａか否かを、画像処理により自動的に判別（認識、識別）する。探索部４１は、撮像画像Ｉｍに映った物の特徴部（例えば形状や色など）に基づいて、この判別を行う。また、探索部４１は、対象物Ａのうち作業機械１への最接近位置の、撮像画像Ｉｍにおける位置（座標Ａｘ，Ａｙ）を算出する。例えば、探索部４１は、対象物Ａの画像下側Ｙ２部分（例えば作業者の足元部など）の座標を算出する。なお、探索部４１は、対象物Ａのうち作業機械１に厳密に最も近い点（最接近点）を対象物Ａの座標（Ａｘ，Ａｙ）とする必要はない。探索部４１は、対象物Ａのうち作業機械１への最接近点の近傍の位置を、対象物Ａの座標（Ａｘ，Ａｙ）としてもよい。探索部４１は、対象物Ａの作業機械１への最接近点を、対象物Ａの座標（Ａｘ，Ａｙ）とすることが好ましい。
　制限部４３（図２参照）は、撮像画像Ｉｍに対して、探索上限位置Ｅａ（第１制限位置）を設定してもよく、探索下限位置Ｅｂ（第２制限位置）を設定してもよい。探索上限位置Ｅａは、制限部４３に予め設定されてもよく、手動または自動的に設定されてもよい（探索下限位置Ｅｂも同様）。探索上限位置Ｅａおよび探索下限位置Ｅｂのそれぞれが設定される場合、探索下限位置Ｅｂは、探索上限位置Ｅａよりも、画像下側Ｙ２に設定される。
　［例１］制限部４３が探索上限位置Ｅａを設定した場合、探索部４１（図２参照）による対象物Ａの探索範囲は、探索上限位置Ｅａよりも画像下側Ｙ２の領域内である。上記「領域内」は、領域の全体である必要はなく、領域の少なくとも一部である（以下同様）。探索部４１は、探索上限位置Ｅａよりも画像上側Ｙ１の領域では対象物Ａを探索しない。［例２］制限部４３が探索下限位置Ｅｂを設定した場合、探索部４１（図２参照）による対象物Ａの探索範囲は、探索下限位置Ｅｂよりも画像上側Ｙ１の領域内である。探索部４１は、探索下限位置Ｅｂよりも画像下側Ｙ２の領域では対象物Ａを探索しない。［例３］制限部４３が、探索上限位置Ｅａおよび探索下限位置Ｅｂのそれぞれを設定した場合、探索部４１（図２参照）による対象物Ａの探索範囲は、探索上限位置Ｅａと探索下限位置Ｅｂとの間の領域内である。探索部４１は、探索上限位置Ｅａよりも画像上側Ｙ１の領域では対象物Ａを探索しない。上記［例１］、［例２］、および［例３］のそれぞれでは、探索部４１は、撮像画像Ｉｍの一部の領域では対象物Ａを探索しない。よって、探索部４１が撮像画像Ｉｍの全体で探索を行う場合に比べ、探索部４１の探索範囲が限定され、処理負荷が軽減され、処理時間が短縮される。探索上限位置Ｅａおよび探索下限位置Ｅｂは、例えば、対象物Ａの探索の必要性に基づいて設定される。
　探索上限位置Ｅａは、例えば次のように設定される。撮像画像Ｉｍの画像上側Ｙ１部分には、空が映る（映り込む）場合がある。空が映った部分まで対象物Ａの探知が行われると、過剰検知の原因となる場合があり、また、誤検知の原因となる場合がある。そこで、探索上限位置Ｅａは、空が映ると想定される部分に基づいて設定される。例えば、空が映ると想定される部分が、探索上限位置Ｅａよりも画像上側Ｙ１になるように、探索上限位置Ｅａが設定される。
　探索下限位置Ｅｂは、例えば次のように設定される。撮像画像Ｉｍの画像下側Ｙ２部分には、上部旋回体１３（図１参照）の一部が映る場合がある。この場合、上部旋回体１３が映っている部分には、対象物Ａが映ることはない。そこで、制限部４３は、上部旋回体１３が映ると想定される部分に基づいて、探索下限位置Ｅｂを設定する。例えば、制限部４３は、上部旋回体１３が映ると想定される部分が探索下限位置Ｅｂよりも画像下側Ｙ２になるように、探索下限位置Ｅｂを設定する。
　第２設定部４５（図２参照）は、撮像画像Ｉｍに対して、高歪領域Ｆｂ（第１歪領域）と、低歪領域Ｆａ（第２歪領域）と、を設定する。高歪領域Ｆｂは、第２設定部４５に予め設定されてもよく、手動または自動的に設定されてもよい（低歪領域Ｆａも同様）。低歪領域Ｆａは、高歪領域Ｆｂよりも画像の歪曲が小さい領域である。
　この第２設定部４５は、高歪領域Ｆｂおよび低歪領域Ｆａを、例えば次のように設定する。撮像画像Ｉｍの画像上側Ｙ１部分および画像下側Ｙ２部分は、画像上下方向Ｙ中央部に比べ、歪が大きい場合がある。そこで、撮像画像Ｉｍの画像上側Ｙ１部分および画像下側Ｙ２部分が高歪領域Ｆｂとして設定され、撮像画像Ｉｍのうち高歪領域Ｆｂ以外の部分が低歪領域Ｆａとして設定される。上記のように、撮像画像Ｉｍの画像上側Ｙ１部分では、空が映ることが想定されるので、対象物Ａの探索が行われなくても問題は生じない。そこで、探索部４１（図２参照）による対象物Ａの探索範囲は、低歪領域Ｆａ内、および画像下側Ｙ２部分の高歪領域Ｆｂ（第３歪領域）内である。探索部４１は、画像上側Ｙ１部分の高歪領域Ｆｂ（第４歪領域）では対象物Ａを探索しない。よって、探索部４１が撮像画像Ｉｍの全体で探索を行う場合に比べ、探索部４１の探索範囲が限定され、処理負荷が軽減され、処理時間が短縮される。一方、探索部４１は、画像下側Ｙ２部分の高歪領域Ｆｂでは対象物Ａを探索する。よって、作業機械１に接近した対象物Ａを適切に検知することができる。
　なお、例えば、探索上限位置Ｅａ、探索下限位置Ｅｂ、高歪領域Ｆｂ、および低歪領域Ｆａのそれぞれが設定される場合が考えられる。この場合、探索部４１（図２参照）は、探索上限位置Ｅａと探索下限位置Ｅｂとの間の領域内かつ低歪領域Ｆａ内で対象物Ａを探索し、それ以外の領域では探索を行わない。また、撮像画像Ｉｍの画像上側Ｙ１部分および画像下側Ｙ２部分が高歪領域Ｆｂ、画像上下方向Ｙの中央部が低歪領域Ｆａとなるのは、あくまで一例である。撮像装置２３の画角、配置、画像補正部３１がどのような補正を行うかなどによって、撮像画像Ｉｍのどの部分が高歪領域Ｆｂおよび低歪領域Ｆａになるかは様々に考えられる。
　第１設定部５１（図２参照）は、検知領域Ｄを設定する。検知領域Ｄは、撮像画像Ｉｍにおいて対象物Ａを検知する領域であり、対応処理部９０（図２参照）による所定の対応処理を行うか否かを決定するための領域である。撮像画像Ｉｍのうち検知領域Ｄ以外の領域を、非検知領域Ｃとする。
　この第１設定部５１は、撮像画像Ｉｍにおける検知領域Ｄの境界となる境界線Ｂを設定する。境界線Ｂは、１本のみ設定されてもよく、複数本設定されてもよい。境界線Ｂには、少なくとも、検知領域Ｄと非検知領域Ｃとの境界となる線が含まれる。境界線Ｂが複数本設定される場合は、作業機械１から最も遠い側（画像上側Ｙ１）の境界線Ｂが、検知領域Ｄと非検知領域Ｃとの境界（検知領域Ｄの限界域）となる。境界線Ｂには、複数の検知領域Ｄを仕切る線が含まれてもよい。具体的には、境界線Ｂには、図５に示す検知領域Ｄ１と検知領域Ｄ２とを仕切る線（基準線）が含まれてもよい。図４に示すように、境界線Ｂは、制御部３０（図２参照）の処理負荷ができるだけ軽くなるように設定されることが好ましい。具体的には、境界線Ｂは、画像左右方向Ｘに延び、一定の形状（変化しない形状）を有する線である。境界線Ｂは、撮像画像Ｉｍにおいて、好ましくは略直線状であり、さらに好ましくは直線状である。上記「略直線状」は、例えば、撮像画像Ｉｍに映る上部旋回体１３（図１参照）の一部（例えばカウンタウエイト１３ｂ（図１参照）の後端など）に沿う曲線状でもよい。
　境界線Ｂは、画像補正部３１（図２参照）に補正された撮像画像Ｉｍに設定されることが好ましい。その理由は、次の通りである。撮像画像Ｉｍの歪が大きい部分では、画像上下方向Ｙにおける対象物Ａの位置が同じでも、画像左右方向Ｘにおける対象物Ａの位置によって、作業機械１から対象物Ａまでの実際の距離が、大きく異なる。そのため、撮像画像Ｉｍの歪が大きい部分に直線状や略直線状の境界線Ｂを設定すると、作業機械１から対象物Ａまでの実際の距離が同じでも、画像左右方向Ｘにおける対象物Ａの位置によって、対象物Ａが検知領域Ｄに入ったり入らなかったりする。すると、対応処理部９０（図２参照）による対応処理が開始されるときの、対象物Ａと作業機械１との実際の距離（対応処理開始距離）が、撮像画像Ｉｍの画像左右方向Ｘにおける対象物Ａの位置によって変わる。よって、作業機械１のオペレータにとって、対象物Ａが作業機械１にどれだけ近づけば対応処理が開始されるかを把握することが困難になる（オペレータは距離感覚をつかみにくい）。一方、本実施形態では、画像補正部３１（図２参照）で歪が補正された撮像画像Ｉｍに、略直線状や直線状の境界線Ｂが設定される。よって、画像左右方向Ｘにおける対象物Ａの位置によらず、対応処理開始距離が一定または略一定になる。よって、オペレータは、距離感覚をつかみやすい。また、対応処理開始距離が一定または略一定になるので、対応処理が適正に行われる。
　この第１設定部５１（図２参照）は、上記の理由と同様の理由により、境界線Ｂを低歪領域Ｆａ内に設定する。これにより、画像左右方向Ｘにおける対象物Ａの位置によらず、対応処理開始距離が略一定になり、オペレータは距離感覚をつかみやすい。また、上記のように、撮像画像Ｉｍの画像上側Ｙ１部分には空が映り、撮像画像Ｉｍの画像下側Ｙ２部分には下部走行体１１が映ることが想定される。そのため、撮像画像Ｉｍの画像上下方向Ｙ中央部の低歪領域Ｆａ内に境界線Ｂが設定されれば、対象物Ａを適切に検知できる。また、低歪領域Ｆａに境界線Ｂが設定されるので、作業機械１側（画像下側Ｙ２）の高歪領域Ｆｂに境界線Ｂが設定される場合に比べ、より早期に対象物Ａを検知することができる。
　（第２設定部４５などについて）
　ここで、第２設定部４５は、境界線Ｂが設定され得る低歪領域Ｆａ（すなわち第２歪領域）と、境界線Ｂが設定されない高歪領域Ｆｂ（すなわち第１歪領域）と、を設定する。また、第２設定部４５は、探索部４１による探索が行われ得る低歪領域Ｆａ（すなわち第２歪領域）と、画像下側Ｙ２の高歪領域Ｆｂ（すなわち第３歪領域）と、を設定する。また、第２設定部４５は、探索部４１による探索が行われない画像上側Ｙ１の高歪領域Ｆｂ（すなわち第４歪領域）を設定する。境界線Ｂが設定される範囲としての低歪領域Ｆａ（第１低歪領域）と、探索部４１が対象物Ａを探索する範囲としての低歪領域Ｆａ（第２低歪領域）とは、同じでもよく、異なってもよい。第１低歪領域として適切な範囲と、第２低歪領域として適切な範囲とは、必ずしも一致しないので、第１低歪領域と第２低歪領域とは異なる配置であることが好ましい。また、第１低歪領域と第２低歪領域とのうち、一方のみが設定されてもよい。
　この第１設定部５１（図２参照）は、図５に示すように、複数の境界線Ｂを設定してもよい。第１設定部５１は、複数の検知領域Ｄ１，Ｄ２を設定してもよい。この場合、第１設定部５１は、画像上下方向Ｙに互いに間隔をあけて複数の境界線Ｂを設定する。そして、後述するように、対象物Ａがどの境界線Ｂを超えたかによって、対応処理部９０の対応処理が変えられる。
　この第１設定部５１（図２参照）は、撮像装置２３（図１参照）が複数設けられる場合、複数の撮像装置２３が取得した複数の撮像画像Ｉｍに個別に（撮像装置２３ごとに）境界線Ｂを設定する。第１設定部５１は、例えば、対応処理開始距離が、各撮像装置２３で一定または略一定になるように、境界線Ｂを設定する。第１設定部５１は、調整部５２（図２参照）を備える。
　調整部５２（図２参照）は、図４に示す境界線Ｂの位置を画像上下方向Ｙに調整する部分である。調整部５２により境界線Ｂの位置が調整されても、撮像画像Ｉｍにおける境界線Ｂの形状は、一定である。撮像画像Ｉｍの歪が大きい部分で境界線Ｂの位置が変えられると、撮像画像Ｉｍの歪に合わせて境界線Ｂの曲率を変える必要があり、複数のパラメータを用意する必要があるが、本実施形態では境界線Ｂの形状は一定である。調整部５２による境界線Ｂの位置の調整は、手動調整でもよく、自動調整でもよい。
　境界線Ｂの位置が手動により調整される場合の具体例は、次のとおりである。例えば、制御部３０（図２参照）が、「調整モード」に設定される。すると、後述する撮像画像表示部８０（図２参照）が、撮像画像Ｉｍに境界線Ｂを重ねて表示する。作業者は、この表示を見ながら、境界線Ｂを画像上下方向Ｙに移動させ、境界線Ｂの位置を決定する操作を行う。この操作は、入力装置２１ｃ（図２参照）により行われる。具体的には例えば、作業者は、ジョグダイアル２１ｃ１（図２参照）を回転操作することで、境界線Ｂを画像上下方向Ｙに移動させ、スイッチ２１ｃ２（図２参照）を操作する（例えば押す）ことで、境界線Ｂの位置を決定する。
　境界線Ｂの位置が自動的に調整される場合の具体例は、次のとおりである。境界線Ｂの位置は、例えば、作業機械１の走行速度に基づいて調整される。具体的には、調整部５２（図２参照）は、対象物Ａに近づく向きへの作業機械１の走行速度が第１速度のときの、撮像画像Ｉｍにおける境界線Ｂの位置を、第１位置Ｂ１とする。対象物Ａに近づく向きへの作業機械１の走行速度であって、第１速度よりも速い速度を、第２速度とする。この第２速度のときの、撮像画像Ｉｍにおける境界線Ｂの位置を第２位置Ｂ２とする。このとき、調整部５２は、第２位置Ｂ２を、第１位置Ｂ１よりも画像上側Ｙ１に設定する。調整部５２は、境界線Ｂの位置を、作業機械１の走行速度が速くなるにしたがって、段階的に画像上側Ｙ１に設定してもよく、連続的に画像上側Ｙ１に設定してもよい。なお、作業機械１の走行の向きが対象物Ａに近づく向きか否かは、下部走行体１１の走行の向き（前進、後進）と、下部走行体１１に対する上部旋回体１３の旋回角度と、撮像装置２３の撮影方向と、に基づいて判定できる。なお、境界線Ｂの位置は調整されなくてもよい（すなわち、調整部５２は設けられなくてもよい）。第１設定部５１に予め境界線Ｂが設定され、この境界線Ｂの位置が変えられなくてもよい。
　この調整部５２が境界線Ｂの位置を調整する場合、調整部５２は、作業機械１の走行速度を、直接的または間接的に取得する。例えば、図２に示す調整部５２は、走行操作部２１ａの操作量から走行速度を取得してもよい。例えば、調整部５２は、下部走行体１１（図１参照）を走行させるモータに関する情報（回転数、作動油の流量など）から走行速度を取得してもよい。例えば、調整部５２は、作業機械１の位置を検出するセンサから走行速度を取得してもよい。
　第３設定部５３は、図４に示すように、撮像画像Ｉｍに対して、境界線上限位置Ｇａ（第１限度位置）と、境界線下限位置Ｇｂ（第２限度位置）と、を設定する。境界線下限位置Ｇｂは、境界線上限位置Ｇａよりも画像下側Ｙ２に設定される。境界線Ｂは、境界線上限位置Ｇａと境界線下限位置Ｇｂとの間の領域内に設定される。境界線上限位置Ｇａおよび境界線下限位置Ｇｂは、探索上限位置Ｅａおよび探索下限位置Ｅｂと同様に、例えば対象物Ａの探索の必要性に基づいて設定される。なお、例えば、境界線上限位置Ｇａ、境界線下限位置Ｇｂ、高歪領域Ｆｂ、および低歪領域Ｆａのそれぞれが設定される場合は、第１設定部５１は、境界線上限位置Ｇａと境界線下限位置Ｇｂとの間の領域内かつ低歪領域Ｆａ内に境界線Ｂを設定する。また、図４に示す例では、境界線上限位置Ｇａと探索上限位置Ｅａとが一致しているが、これらは一致しなくてもよい（境界線下限位置Ｇｂと探索下限位置Ｅｂとについても同様）。
　判定部６１（図２参照）は、対象物Ａの一部または全部が検知領域Ｄの内側に存在するか否かの判定を行う。具体的には、判定部６１は、例えば、枠Ｋの画像下側Ｙ２端部の座標（Ａｘ，Ａｙ）が、検知領域Ｄ内に存在するか否かの判定を行う。境界線Ｂが直線状の場合は、対象物Ａの画像上下方向Ｙの座標（Ａｙ）が、境界線Ｂの画像上下方向Ｙの座標に対して作業機械１側（画像下側Ｙ２）か否かの単純な判定で、対象物Ａが検知領域Ｄ内に存在するか否かの判定を行うことができる。
　対応処理制御部６３（図２参照）は、検知領域Ｄの内側に対象物Ａが進入したことが検出された際に、所定の対応処理を対応処理部９０（図２参照）に実行させる（詳細は後述）。対応処理制御部６３は、検知領域Ｄの内側に対象物Ａが進入したことが検出されない場合は、対応処理部９０に対応処理を実行させない。
　表示制御部６５（図２参照）は、撮像画像表示部８０（図２参照）の表示を制御する。
　撮像画像表示部８０（図２参照）は、撮像画像Ｉｍを表示する。撮像画像表示部８０は、例えば図１に示す運転室１３ａ内に設けられる。作業機械１が遠隔操作される場合などには、撮像画像表示部８０（図２参照）は、作業機械１の外部に配置されてもよい。撮像画像表示部８０は、例えばディスプレイの一部または全部である。撮像画像表示部８０の撮像画像Ｉｍ（図４参照）の表示は、運転室１３ａからバックミラーを見たときのバックミラーに映る像のように、撮像装置２３が撮影した撮像画像Ｉｍを左右に反転させた表示である。撮像画像表示部８０は、図４に示す撮像画像Ｉｍに重ねて、境界線Ｂを表示してもよい。撮像画像表示部８０は、撮像画像Ｉｍに重ねて、検知領域Ｄを表示してもよい。なお、境界線Ｂは、撮像画像表示部８０に表示されなくてもよく、内側処理（判定部６１（図２参照）での判定など）のみに使用されてもよい（検知領域Ｄも同様）。撮像装置２３が複数設けられる場合は、撮像画像表示部８０は、撮像装置２３ごとに撮像画像Ｉｍを切り替えて表示してもよく、複数の撮像装置２３で撮影された撮像画像Ｉｍを結合した撮像画像Ｉｍを表示してもよい。
　対応処理部９０（図２参照）は、検知領域Ｄの内側に対象物Ａが進入した場合に、所定の対応処理を実行する。図２に示す対応処理部９０が実行する対応処理は、警告でもよく、作業機械１の作動の制限でもよく、これら以外の処理でもよい。対応処理部９０が実行する対応処理が警告である場合、この警告は、例えば作業機械１のオペレータに対する警告でもよく、例えば作業機械１の周囲の作業者に対する警告でもよい。この警告は、音による警告でもよく、光による警告でもよく、ディスプレイへの画面表示（文章、図形など）による警告でもよく、これらを組み合わせた警告でもよい。対応処理部９０が実行する対応処理が、作業機械１の作動の制限である場合、この制限は、例えば作業機械１の作動の減速でもよく、作業機械１の作動の停止でもよい。対応処理部９０が制限する作業機械１の作動は、図１に示す下部走行体１１の走行でもよく、下部走行体１１に対する上部旋回体１３の旋回でもよく、アタッチメント１５の作動でもよい。図５に示すように、境界線Ｂが複数設定される場合は、対応処理部９０は、対象物Ａが超えた境界線Ｂに応じて、実行する対応処理を変えてもよい。この場合、対応処理部９０は、対象物Ａが超えた境界線Ｂが作業機械１に近い（画像下側Ｙ２の）境界線Ｂであるほど、警告や制限の度合いを高くしてもよい。例えば、対応処理部９０は、対象物Ａが超えた境界線Ｂに応じて、警告のパターン（警告内容、回数、時間など）を変えてもよく、作業機械１の作動の制限の度合いを変えてもよい。
　（作動）
　図２に示す制御部３０の作動の具体例を、図３を参照して説明する。図２に示す探索部４１が、撮像画像Ｉｍから対象物Ａを探索し（ステップＳ１１）、対象物Ａの座標（例えば足元の座標）を算出する（ステップＳ１２）。対象物Ａの画像上下方向Ｙの座標が、境界線Ｂの画像上下方向Ｙの座標（所定値）を下回ると（ステップＳ１３）、対応処理制御部６３が対応処理部９０に指令を出力する（ステップＳ１４）。
　（処理負荷、処理速度の検討）
　図４に示す撮像画像Ｉｍの座標が、仮想平面座標に変換される場合について検討する。この場合、次のように処理が行われる。［ステップ１］撮像画像Ｉｍにおける対象物Ａの位置が、算出される。［ステップ２］撮像画像Ｉｍの座標が、図１に示す作業機械１を基準とした仮想平面座標に変換される（仮想平面領域が作成される）。［ステップ３］仮想平面における対象物Ａの座標が、算出される。［ステップ４］仮想平面における作業機械１から対象物Ａまでの距離が、算出される。［ステップ５］作業機械１から対象物Ａまでの距離が所定値を下回った場合に、対応処理（警告、作動制限など）が行われる。
　このように、図４に示す撮像画像Ｉｍの座標が仮想平面座標に変換される場合には、上記のステップ２、３、および４において、複雑な処理が必要であり、処理負荷が高く、処理時間が長くかかる。例えば、仮想平面における対象物Ａの座標を算出するには、撮像装置２３（図１参照）の取付位置および取付角度の情報が必要であり、算出のロジックが複雑である。処理時間が長くかかると、検知領域Ｄの内側に対象物Ａが進入してから（境界線Ｂを越えてから）、対応処理が開始されるまでの時間が長くかかる（対応処理が遅れる）。また、通常、作業機械１の機種や仕様ごとに、撮像装置２３の取付位置および取付角度が異なる。そのため、作業機械１の機種や仕様ごとにパラメータを設定する必要があるので、この設定に手間がかかる（煩雑になる）。
　一方、本実施形態では、撮像画像Ｉｍの座標を仮想平面座標に変換しない（図３参照）ので、上記ステップ２、３、および４の処理を省略することができる。よって、制御部３０（図２参照）の処理負荷を低くでき、処理速度を向上させることができ、処理時間を短縮することができる。その結果、検知領域Ｄの内側に対象物Ａが進入してから、対応処理（警告、作動制限）が開始されるまでの時間を短くすることができる（対応処理を素早く行える）。また、撮像画像Ｉｍの座標を仮想平面座標に変換しないので、撮像装置２３（図１参照）の取付位置および取付角度の情報は不要である。よって、複雑なパラメータの設定が行われなくても、周囲検知装置２０（図２参照）を様々な機種の作業機械１に適用することができる（汎用性が高い）。
　（距離センサとの比較）
　一般的には、距離情報を取得するセンサ（例えばＴＯＦ（Time Of Flight）センサや、例えば超音波センサ、赤外線センサ、電波（ミリ波など）センサなど）で対象物Ａを探索する場合に比べ、撮像画像Ｉｍの画像処理によって対象物Ａを探索する場合の方が、処理負荷は高く、処理時間は長い。一方、本実施形態では、上記のように、撮像画像Ｉｍの一部の範囲でのみ対象物Ａを探索するため、処理負荷を軽減でき、処理時間を短縮することができる。また、本実施形態では、対象物Ａの探索以外の処理（例えば上記ステップ２、３、および４の処理）を省略することで、制御部３０の処理負荷を軽減でき、処理時間を短くすることができる。また、例えば、対象物Ａを人とした場合、周囲検知装置２０では、この人のみを検出対象として検出することが可能であるが、距離情報を取得するセンサでは、この人のみを検出対象として検出することはできない。
　（効果）
　図２に示す作業機械１の周囲検知装置２０による効果は、次の通りである。
　周囲検知装置２０は、撮像装置２３と、探索部４１と、第１設定部５１と、対応処理部９０と、を備える。撮像装置２３は、作業機械１に設けられ、作業機械１の周囲の対象物Ａ（図４参照）を撮影し、撮像画像Ｉｍを取得する。探索部４１は、撮像画像Ｉｍにおける対象物Ａ（図４参照）の位置を探索する。
　［構成１－１］第１設定部５１は、図４に示すように、撮像画像Ｉｍにおいて、対象物Ａを検知する領域である検知領域Ｄを設定する。対応処理部９０（図２参照）は、撮像画像Ｉｍにおいて検知領域Ｄの内側に対象物Ａが進入した場合に、所定の対応処理を実行する。
　［構成１－２］第１設定部５１（図２参照）は、撮像画像Ｉｍにおける検知領域Ｄの境界となる境界線Ｂを設定する。撮像画像Ｉｍにおいて、作業機械１に近接する側を画像下側Ｙ２（機械側）、作業機械１から遠い側を画像上側Ｙ１（反機械側）、対象物Ａが作業機械１に最短距離で近付く又は遠ざかる方向を正面方向（図４の例では画像上下方向Ｙ）とする。撮像画像Ｉｍにおいて、正面方向に直交する方向を正面直交方向（図４の例では画像左右方向Ｘ）とする。境界線Ｂは、画像左右方向Ｘに延び、一定の形状を有する。
　上記［構成１－１］では、撮像画像Ｉｍに設定された検知領域Ｄの内側に、対象物Ａが進入した場合に、対応処理が実行される。周囲検知装置２０（図２参照）では、例えば、撮像画像Ｉｍにおける対象物Ａの座標を、仮想平面における座標に変換し、仮想平面内での作業機械１から対象物Ａまでの距離を算出する、といった複雑な処理を行う必要はない。また、上記［構成１－２］では、境界線Ｂは、画像左右方向Ｘに延び、一定形状を有する。よって、境界線Ｂの形状が可変である場合に比べ、検知領域Ｄの内側に対象物Ａが進入したか否かの判定（上記［構成１－１］参照）の処理にかかる負荷を軽減することができる。したがって、上記［構成１－１］および［構成１－２］により、対象物Ａの検知に必要な処理の負荷を軽減することができ、処理時間を短縮することができる。その結果、検知領域Ｄの内側に対象物Ａが進入した際の、対応処理部９０（図２参照）による対応処理の遅れを抑制することができる。
　［構成２］境界線Ｂは、撮像画像Ｉｍにおいて直線状である。
　上記［構成２］により、検知領域Ｄの内側に対象物Ａが進入したか否かの判定（上記［構成１－１］参照）の処理にかかる負荷を、より軽減することができる。
　［構成３］図２に示すように、周囲検知装置２０は、第１設定部４５を備える。第１設定部４５は、図４に示すように、撮像画像Ｉｍに対して、高歪領域Ｆｂ（第１歪領域）と、高歪領域Ｆｂよりも画像の歪曲が小さい低歪領域Ｆａ（第２歪領域）と、を設定する。境界線Ｂは、低歪領域Ｆａ内に設定される。
　上記［構成３］により、次の効果が得られる。撮像画像Ｉｍの歪の大きい領域に、画像左右方向Ｘに延びる（例えば直線状や略直線状の）境界線Ｂが設定された場合、撮像画像Ｉｍの画像左右方向Ｘにおける対象物Ａの位置によって、対応処理開始距離が大きく変わる。すると、作業機械１のオペレータが、対応処理開始距離を把握しにくい（距離感覚をつかみにくい）。そこで、上記［構成３］では、境界線Ｂは、低歪領域Ｆａ内に設定される。よって、撮像画像Ｉｍの画像左右方向Ｘにおける対象物Ａの位置によらず、対応処理開始距離を一定または略一定にすることができる。よって、オペレータに、対応処理開始距離を容易に把握させることができる（オペレータが距離感覚をつかみやすい）。その結果、このオペレータに、適切な回避操作（対象物Ａと作業機械１との接触を回避する操作）を促すことができる。
　［構成４］図２に示すように、周囲検知装置２０は、第３設定部５３を備える。第３設定部５３は、図４に示すように、撮像画像Ｉｍに対して、境界線上限位置Ｇａ（第１限度位置）と、境界線上限位置Ｇａよりも画像下側Ｙ２の境界線下限位置Ｇｂ（第２限度位置）と、を設定する。境界線Ｂは、境界線上限位置Ｇａと境界線下限位置Ｇｂとの間の領域内に設定される。
　上記［構成４］により、次の効果が得られる。撮像画像Ｉｍの画像上側Ｙ１部分および画像下側Ｙ２部分は、境界線Ｂの位置として不適切な位置（例えば空や下部走行体１１が映っている位置など）である場合が想定される。そこで、上記［構成４］では、境界線Ｂは、境界線上限位置Ｇａと境界線下限位置Ｇｂとの間の領域内に設定される。よって、対象物Ａの検知を適切に行うことができる。例えば、対象物Ａ以外の物を対象物Ａとして誤検知することなどを抑制することができる。
　［構成５］周囲検知装置２０（図２参照）は、画像上下方向Ｙに境界線Ｂの位置を調整する調整部５２（図２参照）を備える。
　例えば、撮像装置２３（図１参照）の画角や取付角度には、公差の範囲内のばらつきがある。そのため、画像上下方向Ｙにおける境界線Ｂの位置が不変であれば、対応処理開始距離がばらつくことになる。上記［構成５］では、調整部５２（図２参照）により、境界線Ｂの位置が調整されることで、対応処理開始距離を調整することができる。これにより、撮像装置２３の画角や取付角度にばらつきがあっても、対応処理開始距離を所定の距離に調整することができる（撮像装置２３の画角や取付角度のばらつきを吸収することができる）。
　また、例えば、作業機械１の作業現場の状況に応じて、対応処理開始距離を変化させたい場合が想定される。上記［構成５］では、調整部５２で境界線Ｂの位置が調整されることにより、対応処理開始距離を変えることができるので、利便性が向上する。
　周囲検知装置２０（図２参照）が、上記［構成４］と上記［構成５］とを備える場合は、境界線上限位置Ｇａと境界線下限位置Ｇｂとの間の領域内で、境界線Ｂの位置が調整される。よって、対象物Ａの検知を適切に行うことができる範囲内で、境界線Ｂの位置が調整される。よって、例えば、境界線Ｂの位置が不適切な位置（例えば空や下部走行体１１が映っている位置など）に調整されるような、誤った調整作業を無くすことができる。よって、境界線Ｂの位置を調整する作業の作業性を向上させることができる。
　［構成６］対象物Ａに近づく向きへの作業機械１の走行速度が第１速度のときの、撮像画像Ｉｍにおける境界線Ｂの位置を、第１位置Ｂ１とする。対象物Ａに近づく向きへの作業機械１の走行速度が第１速度よりも速い第２速度のときの、撮像画像Ｉｍにおける境界線Ｂの位置を、第２位置Ｂ２とする。境界線調整部５２は、第２位置Ｂ２を、第１位置Ｂ１よりも画像上側Ｙ１に設定する。
　上記［構成６］により、次の効果が得られる。対象物Ａに近づく向きへの作業機械１の走行速度が速いほど、作業機械１が対象物Ａに到達するまでの時間が短くなり、対応処理が遅れる場合が想定される。上記［構成６］では、作業機械１の走行速度が、第１速度の場合（遅い場合）よりも第２速度の場合（速い場合）に、作業機械１からより遠い位置で、対象物Ａが検知領域Ｄに進入させることができる（対応処理開始距離が長くなる）。よって、第１速度の場合（遅い場合）よりも第２速度の場合（速い場合）に、対応処理を早く開始することができる。
　［構成７］図２に示すように、周囲検知装置２０は、制限部４３を備える。制限部４３は、図４に示すように、撮像画像Ｉｍに対して、探索上限位置Ｅａ（第１制限位置）を設定する。探索部４１による対象物Ａの探索範囲は、探索上限位置Ｅａよりも画像下側Ｙ２の領域内である。
　上記［構成７］により、次の効果が得られる。撮像画像Ｉｍの画像上側Ｙ１部分は、対象物Ａを探索する位置として不適切な位置（例えば空が映っている位置など）であることが想定される。そこで、上記［構成７］では、探索部４１による対象物Ａの探索範囲は、探索上限位置Ｅａよりも画像下側Ｙ２の領域内である。よって、対象物Ａの探索を適切に行うことができる。また、探索部４１（図２参照）が撮像画像Ｉｍの全体で対象物Ａを探索する場合に比べ、探索範囲を限定することができる。よって、探索部４１（図２参照）の処理の負荷を軽減することができ、処理時間を短縮できる。
　［構成８］図２に示すように、周囲検知装置２０は、制限部４３を備える。制限部４３は、図４に示すように、撮像画像Ｉｍに対して探索下限位置Ｅｂ（第２制限位置）を設定する。探索部４１による対象物Ａの探索範囲は、探索下限位置Ｅｂよりも画像上側Ｙ１の領域内である。
　上記［構成８］により、次の効果が得られる。撮像画像Ｉｍの画像下側Ｙ２部分は、対象物Ａを探索する位置として不適切な位置（例えば上部旋回体１３（図１参照）のみが映っている位置など）であることが想定される。そこで、上記［構成８］では、探索部４１による対象物Ａの探索範囲は、探索下限位置Ｅｂよりも画像上側Ｙ１の領域内である。よって、対象物Ａの探索を適切に行うことができる。また、探索部４１（図２参照）が撮像画像Ｉｍの全体で対象物Ａを探索する場合に比べ、探索範囲を限定することができる。よって、探索部４１（図２参照）の処理の負荷を軽減することができ、処理時間を短縮できる。
　［構成９］図２に示すように、周囲検知装置２０は、第２設定部４５を備える。第２設定部４５は、図４に示すように、撮像画像Ｉｍに対して、画像上側Ｙ１および画像下側Ｙ２のそれぞれの高歪領域Ｆｂ（第４歪領域及び第３歪領域）を設定する。第２設定部４５は、高歪領域Ｆｂよりも画像の歪曲が小さい領域である低歪領域Ｆａ（第２歪領域）を設定する。探索部４１による対象物Ａの探索範囲は、低歪領域Ｆａ内および画像下側Ｙ２の高歪領域Ｆｂ内である。
　上記［構成９］により、次の効果が得られる。撮像画像Ｉｍのうち、画像上側Ｙ１部分の歪の大きい領域では、対象物Ａを探索する位置として不適切な位置（例えば空が映っている位置など）であることが想定される。そこで、上記［構成９］では、探索部４１による対象物Ａの探索範囲は、低歪領域Ｆａ内および画像下側Ｙ２部分の高歪領域Ｆｂ内である。よって、対象物Ａを適切な領域内で探索することができる。また、探索部４１（図２参照）が撮像画像Ｉｍの全体で対象物Ａを探索する場合に比べ、探索範囲を限定することができる。よって、探索部４１（図２参照）の処理の負荷を軽減することができ、処理時間を短縮することができる。
　［構成１０］第１設定部５１（図２参照）は、図５に示すように、検知領域Ｄと非検知領域Ｃとの境界を示す境界線Ｂよりも作業機械１に近い側に、検知領域Ｄ１と検知領域Ｄ２との境界を示す基準線Ｂをさらに設定する。対応処理部９０（図２参照）は、対象物Ａの位置が基準線Ｂよりも作業機械１に近いか遠いかに応じて、実行する対応処理を変える。
　上記［構成１０］により、作業機械１から対象物Ａまでの距離に応じて、対応処理の内容（例えば警告や作動制限の内容）を変えることができる。その結果、対象物Ａが存在する位置などを適切にオペレータに通知することができる。
　［構成１１］撮像装置２３（図１参照）は、複数設けられる。第１設定部５１（図２参照）は、複数の撮像装置２３（図１参照）が取得した撮像画像Ｉｍに個別に境界線Ｂを設定する。
　上記［構成１１］により、撮像装置２３ごとに対応処理開始距離を設定できるので、利便性を向上させることができる。さらに詳しくは、例えば、図１に示す複数の撮像装置２３間で、画角、取り付け角度、取り付け位置などが異なる。そのため、各撮像装置２３の撮像画像Ｉｍ（図４参照）に、共通の位置に境界線Ｂ（図４参照）を設定すれば、撮像装置２３ごとに対応処理開始距離が変わる。そこで、上記［構成１１］のように、撮像装置２３ごとに、境界線Ｂが設定されることで、複数の撮像装置２３間で対応処理開始距離を一致または略一致させることができる。
　（変形例）
　上記実施形態は様々に変形されてもよい。例えば、図２に示す上記実施形態の各構成要素の接続は変更されてもよい。例えば、図４などに示す各領域（低歪領域Ｆａなど）や、領域を定める位置（探索上限位置Ｅａなど）などは、一定でもよく、手動操作により変えられてもよく、何らかの条件に応じて自動的に変えられてもよい。例えば、構成要素の数が変更されてもよく、構成要素の一部が設けられなくてもよい。例えば、互いに異なる複数の部材や部分として説明したものが、一つの部材や部分とされてもよい。例えば、一つの部材や部分として説明したものが、互いに異なる複数の部材や部分に分けて設けられてもよい。

Claims (11)

  1. 　作業機械に設けられ、前記作業機械の周囲の対象物を撮影し、撮像画像を取得する少なくとも一つの撮像装置と、
    　前記撮像画像における前記対象物の位置を探索する探索部と、
    　前記撮像画像において前記対象物を検知する領域である検知領域を設定する第１の設定部と、
    　前記撮像画像において前記検知領域の内側に前記対象物が進入した場合に、所定の対応処理を実行する対応処理部と、
    　を備え、
    　前記第１の設定部は、前記撮像画像における前記検知領域の境界となる境界線を設定し、
    　前記境界線は、正面直交方向に延び、一定の形状を有し、
    　前記正面直交方向は、前記撮像画像において前記作業機械の正面方向に直交する方向である、
    　作業機械の周囲検知装置。
  2. 　請求項１に記載の作業機械の周囲検知装置であって、
    　前記境界線は、前記撮像画像において直線状である、
    　作業機械の周囲検知装置。
  3. 　請求項１または２に記載の作業機械の周囲検知装置であって、
    　前記撮像画像に対して、第１歪領域と、前記第１歪領域よりも画像の歪曲が小さい第２歪領域と、を設定する第２の設定部をさらに備え、
    　前記境界線は、前記第２歪領域内に設定される、
    　作業機械の周囲検知装置。
  4. 　請求項１～３のいずれか１項に記載の作業機械の周囲検知装置であって、
    　前記撮像画像に対して、前記境界線を前記作業機械から遠ざけて設定可能な限度位置である第１限度位置と、前記境界線を前記作業機械に近付けて設定可能な限度位置である第２限度位置と、を設定する第３の設定部をさらに備え、
    　前記境界線は、前記第１限度位置と前記第２限度位置との間に設定される、
    　作業機械の周囲検知装置。
  5. 　請求項１～４のいずれか１項に記載の作業機械の周囲検知装置であって、
    　前記正面方向に前記境界線の位置を調整する調整部をさらに備える、
    　作業機械の周囲検知装置。
  6. 　請求項５に記載の作業機械の周囲検知装置であって、
    　前記調整部は、
    　前記対象物に近づく向きへの前記作業機械の走行速度が第１速度のときの、前記撮像画像における前記境界線の位置を、第１位置に調整し、
    　前記対象物に近づく向きへの前記作業機械の走行速度が前記第１速度よりも速い第２速度のときの、前記撮像画像における前記境界線の位置を、前記第１位置よりも前記作業機械から遠い第２位置に調整する、
    　作業機械の周囲検知装置。
  7. 　請求項１～６のいずれか１項に記載の作業機械の周囲検知装置であって、
    　前記撮像画像に対して第１制限位置を設定する制限部をさらに備え、
    　前記探索部による前記対象物の探索範囲は、前記第１制限位置よりも前記作業機械に近い領域内である、
    　作業機械の周囲検知装置。
  8. 　請求項１～７のいずれか１項に記載の作業機械の周囲検知装置であって、
    　前記撮像画像に対して第２制限位置を設定する制限部をさらに備え、
    　前記探索部による前記対象物の探索範囲は、前記第２制限位置よりも前記作業機械から遠い領域内である、
    　作業機械の周囲検知装置。
  9. 　請求項１～８のいずれか１項に記載の作業機械の周囲検知装置であって、
    　前記第１歪領域は、前記第２歪領域よりも前記作業機械に近い側にある第３歪領域と、前記第２歪領域よりも前記作業機械から遠い側にある第４歪領域とを含み、
    　前記探索部による前記対象物の探索範囲は、前記第２歪領域内および前記第３歪領域内である、
    　作業機械の周囲検知装置。
  10. 　請求項１～９のいずれか１項に記載の作業機械の周囲検知装置であって、
    　前記第１の設定部は、前記境界線よりも前記作業機械に近い側に基準線をさらに設定し、
    　前記対応処理部は、前記対象物の位置が前記基準線よりも前記作業機械に近いか遠いかに応じて、実行する対応処理を変える、
    　作業機械の周囲検知装置。
  11. 　請求項１～１０のいずれか１項に記載の作業機械の周囲検知装置であって、
    　前記少なくとも一つの撮像装置は、複数の撮像装置を含み、
    　前記第１の設定部は、前記複数の撮像装置が取得した複数の撮像画像に個別に前記境界線を設定する、
    　作業機械の周囲検知装置。
PCT/JP2021/012188 2020-03-31 2021-03-24 作業機械の周囲検知装置 WO2021200448A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/906,559 US20230139466A1 (en) 2020-03-31 2021-03-24 Periphery detection device for work machine
EP21781981.2A EP4105392A4 (en) 2020-03-31 2021-03-24 PERIPHERY MONITORING DEVICE FOR A CONSTRUCTION MACHINE
CN202180023903.XA CN115315559A (zh) 2020-03-31 2021-03-24 工程机械的周边检测装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-063878 2020-03-31
JP2020063878A JP7428052B2 (ja) 2020-03-31 2020-03-31 作業機械の周囲検知装置

Publications (1)

Publication Number Publication Date
WO2021200448A1 true WO2021200448A1 (ja) 2021-10-07

Family

ID=77927157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/012188 WO2021200448A1 (ja) 2020-03-31 2021-03-24 作業機械の周囲検知装置

Country Status (5)

Country Link
US (1) US20230139466A1 (ja)
EP (1) EP4105392A4 (ja)
JP (2) JP7428052B2 (ja)
CN (1) CN115315559A (ja)
WO (1) WO2021200448A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168845A (ja) * 2011-02-16 2012-09-06 Fujitsu Ten Ltd 物体検出装置、および、物体検出方法
US20150343976A1 (en) * 2012-12-24 2015-12-03 Doosan Infracore Co., Ltd. Sensing device and method of construction equipment
JP2017102604A (ja) 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2019157497A (ja) * 2018-03-13 2019-09-19 株式会社大林組 監視システム、監視方法及び監視プログラム
JP2020005111A (ja) * 2018-06-27 2020-01-09 キヤノン株式会社 情報処理装置、制御方法及びプログラム
JP2020013220A (ja) * 2018-07-13 2020-01-23 株式会社神戸製鋼所 建設機械用の物体検出装置及び物体検出方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8165348B2 (en) * 2008-11-17 2012-04-24 International Business Machines Corporation Detecting objects crossing a virtual boundary line
JP5665401B2 (ja) * 2010-07-21 2015-02-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
AU2012257053A1 (en) * 2011-05-13 2013-11-21 Hitachi Construction Machinery Co., Ltd. Device for monitoring area around working machine
JP6192271B2 (ja) * 2012-08-22 2017-09-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2017094626A1 (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JPWO2018084161A1 (ja) * 2016-11-01 2019-09-26 住友建機株式会社 建設機械用安全管理システム、管理装置
JP6794879B2 (ja) * 2017-03-10 2020-12-02 株式会社タダノ 作業車両用の人物検知システムおよびこれを備える作業車両

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168845A (ja) * 2011-02-16 2012-09-06 Fujitsu Ten Ltd 物体検出装置、および、物体検出方法
US20150343976A1 (en) * 2012-12-24 2015-12-03 Doosan Infracore Co., Ltd. Sensing device and method of construction equipment
JP2017102604A (ja) 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2019157497A (ja) * 2018-03-13 2019-09-19 株式会社大林組 監視システム、監視方法及び監視プログラム
JP2020005111A (ja) * 2018-06-27 2020-01-09 キヤノン株式会社 情報処理装置、制御方法及びプログラム
JP2020013220A (ja) * 2018-07-13 2020-01-23 株式会社神戸製鋼所 建設機械用の物体検出装置及び物体検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4105392A4

Also Published As

Publication number Publication date
JP7428052B2 (ja) 2024-02-06
CN115315559A (zh) 2022-11-08
EP4105392A1 (en) 2022-12-21
US20230139466A1 (en) 2023-05-04
JP2021161732A (ja) 2021-10-11
JP2024028633A (ja) 2024-03-04
EP4105392A4 (en) 2023-07-19

Similar Documents

Publication Publication Date Title
CN111051619B (zh) 作业机械
JP4996928B2 (ja) 作業機械の周囲監視装置
US11913194B2 (en) Shovel
WO2013038874A1 (ja) 作業機の周囲監視装置
KR20210021945A (ko) 굴삭기, 정보처리장치
WO2021200458A1 (ja) 作業機械の周囲検知装置
KR20210089039A (ko) 건설기계의 제어 시스템 및 방법
WO2019124520A1 (ja) 作業機械
KR20210140736A (ko) 쇼벨 및 시공시스템
JP7000957B2 (ja) 作業機械操縦装置
KR102007535B1 (ko) 건설기계의 화면표시장치
WO2021200448A1 (ja) 作業機械の周囲検知装置
JP6925837B2 (ja) 作業機械用周辺監視システム
KR102235125B1 (ko) 건설장비용 전방 영상 생성 장치
EP3858676B1 (en) Surrounding monitoring apparatus for work machine
JP2013002101A (ja) 作業機械の視野補助装置
JP2021031922A (ja) 作業機械
WO2019142523A1 (ja) 先端アタッチメント判別装置
JP6943004B2 (ja) 産業車両
JP7479156B2 (ja) 作業機械、情報処理装置
JP7329928B2 (ja) 作業機械
US20240117604A1 (en) Automatic mode for object detection range setting
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
JP7471891B2 (ja) ショベル及び較正方法
JP2021070922A (ja) ショベル

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21781981

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021781981

Country of ref document: EP

Effective date: 20220915

NENP Non-entry into the national phase

Ref country code: DE