WO2019142523A1 - 先端アタッチメント判別装置 - Google Patents

先端アタッチメント判別装置 Download PDF

Info

Publication number
WO2019142523A1
WO2019142523A1 PCT/JP2018/044473 JP2018044473W WO2019142523A1 WO 2019142523 A1 WO2019142523 A1 WO 2019142523A1 JP 2018044473 W JP2018044473 W JP 2018044473W WO 2019142523 A1 WO2019142523 A1 WO 2019142523A1
Authority
WO
WIPO (PCT)
Prior art keywords
tip attachment
camera
controller
posture
tip
Prior art date
Application number
PCT/JP2018/044473
Other languages
English (en)
French (fr)
Inventor
涼太 羽馬
細　幸広
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to US16/962,118 priority Critical patent/US20200347579A1/en
Priority to EP18900720.6A priority patent/EP3723039A4/en
Priority to CN201880086353.4A priority patent/CN111587448A/zh
Publication of WO2019142523A1 publication Critical patent/WO2019142523A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/28—Small metalwork for digging elements, e.g. teeth scraper bits
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/96—Dredgers; Soil-shifting machines mechanically-driven with arrangements for alternate or simultaneous use of different digging elements
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/267—Diagnosing or detecting failure of vehicles

Definitions

  • the present invention relates to a tip attachment determination device that determines the type of tip attachment of a working machine.
  • Patent Document 1 describes a technology in which a distance sensor measures a distance distribution including a tip attachment (an attachment in the document) and recognizes the tip attachment based on the distance distribution (see, for example, reference).
  • the type of tip attachment and the like are recognized based on the distance distribution, but a distance sensor is used to measure the distance distribution.
  • the distance sensor may be more expensive than a monocular camera or the like.
  • it is important to secure the accuracy of the determination.
  • an object of the present invention is to provide a tip attachment determination device that can accurately determine the type of tip attachment without using a distance distribution.
  • the tip attachment determination device includes a lower traveling body, an upper swing body provided at an upper portion of the lower running body, and a tip portion to which a plurality of types of tip attachments are exchangeably attached.
  • a tip attachment determination device for a working machine comprising: a work device attached to the upper revolving superstructure; A camera attached to the upper swing body capable of capturing an image within a movable range of the tip attachment; A work device posture sensor that detects a posture of the work device; Controller, Equipped with The controller Based on the posture of the work device detected by the work device posture sensor, a detection frame is set in an area including the tip attachment for an image captured by the camera, The type of the tip attachment is determined based on the image of the tip attachment in the detection frame.
  • the type of tip attachment can be accurately determined without using a distance distribution.
  • FIG. 1 It is the figure which looked at work machine 10 from the side. It is a block diagram of tip attachment distinction device 1 provided in work machine 10 shown in FIG. It is a flowchart of the tip attachment discrimination device 1 shown in FIG. It is an image photographed by the camera 40 shown in FIG. It is an image photographed by the camera 40 shown in FIG. It is the FIG. 1 equivalent view which shows the state which the tip attachment 25 shown in FIG. 1 has entered into the blind spot of the camera 40.
  • the tip attachment determination device 1 shown in FIG. 1 will be described with reference to FIGS.
  • the tip attachment determination device 1 is a device that automatically determines the type of the tip attachment 25 and is provided in the work machine 10.
  • the work machine 10 is configured by a construction machine that performs work such as construction work.
  • a working machine 10 such as a hydraulic shovel, a hybrid shovel, or a crane can be adopted.
  • the work machine 10 includes a lower traveling body 11, an upper swing body 13, a work device 20, a work device posture sensor 30, and a camera 40. Furthermore, the work machine 10 includes a monitor 50 shown in FIG. 2 and a controller 60.
  • the direction of the front of the upper swing body 13 will be referred to as the front, and the direction of the rear surface of the upper swing body 13 as the rear, the front and the rear will be collectively referred to as the front-rear direction.
  • the left side is referred to as the left side
  • the right side is referred to as the right side
  • the left side and the right side are collectively referred to as the left-right direction, as viewed from the rear to the front.
  • the direction orthogonal to each of the front and rear direction and the left and right direction is described as the vertical direction, the upper side in the vertical direction as upper, and the lower side in the vertical direction as lower.
  • the lower traveling body 11 is configured by, for example, a crawler as shown in FIG.
  • the bottom surface 11 b of the lower traveling body 11 (the bottom surface of the work machine 10) is in contact with the ground contact surface A.
  • the upper swing body 13 is provided on the upper side of the lower traveling body 11 and is configured to be pivotable with respect to the lower traveling body 11 around the vertical direction.
  • the upper swing body 13 includes a cab 13 c (driver's cab).
  • the work device 20 is a device that performs work attached to the upper swing body 13.
  • the working device 20 includes a boom 21, an arm 23, and a tip attachment 25.
  • the boom 21 is rotatably attached to the upper swing body 13.
  • the arm 23 is rotatably attached to the boom 21.
  • the tip attachment 25 is provided at the tip of the working device 20.
  • the tip attachment 25 can be replaced with a plurality of types.
  • the types of tip attachments 25 include buckets (example shown in FIG. 1), clamshells, scissors-like devices, hammers, magnets, and the like.
  • the tip attachment 25 is rotatably attached to the arm 23.
  • a reference position of the tip attachment 25 is referred to as a reference position 25b.
  • the reference position 25 b is a position determined regardless of the type of the tip attachment 25.
  • the reference position 25 b is, for example, a proximal end portion of the distal end attachment 25, and is, for example, a rotation axis (a bucket pin or the like) of the distal end attachment 25 with respect to the arm 23.
  • the tip attachment 25 is described as “tip ATT”.
  • the boom 21, the arm 23, and the tip attachment 25 are driven by a boom cylinder (not shown), an arm cylinder (not shown), and an attachment cylinder (not shown
  • the work device posture sensor 30 is a sensor that detects the posture of the work device 20 shown in FIG. 1.
  • the work device attitude sensor 30 includes a boom angle sensor 31, an arm angle sensor 33, and a tip attachment angle sensor 35.
  • the boom angle sensor 31 detects an angle of the boom 21 (boom 21 angle) with respect to the upper swing body 13.
  • the boom angle sensor 31 is configured by, for example, an angle sensor such as an encoder provided at the base end of the boom 21.
  • the boom angle sensor 31 may be configured of, for example, a sensor that detects the amount of expansion and contraction of a boom cylinder that drives the boom 21.
  • the boom angle sensor 31 may convert the extension amount of the boom cylinder into the boom 21 angle and output it to the controller 60.
  • the boom angle sensor 31 may output the detected amount of expansion and contraction to the controller 60, and the controller 60 may convert the amount of expansion and contraction to the boom 21 angle.
  • the configuration for detecting the angle by detecting the amount of expansion and contraction of the cylinder is also applicable to the arm angle sensor 33 and the tip attachment angle sensor 35.
  • the arm angle sensor 33 detects an angle of the arm 23 (arm 23 angle) with respect to the boom 21.
  • the tip attachment angle sensor 35 detects an angle of the tip attachment 25 (tip attachment 25 angle) with respect to the arm 23.
  • the camera 40 (imaging device) is configured to be able to capture an image within the movable range of the tip attachment 25.
  • the camera 40 captures an image of the work device 20 and the periphery thereof. It is preferable that the camera 40 be configured to be capable of capturing the entire range assumed as the movable range of the tip attachment 25.
  • the camera 40 may be attached to the upper swing body 13, for example, attached to the cab 13c (for example, upper left front etc.), and may be attached to a portion of the upper swing body 13 other than the cab 13c, for example.
  • the camera 40 is fixed to the upper swing body 13.
  • the camera 40 may be configured to be movable (e.g., pivotable) with respect to the upper swing body 13.
  • the camera 40 may be configured by, for example, a monocular camera. In order to reduce the cost of the camera 40, the camera 40 is preferably a monocular camera.
  • the camera 40 preferably has, for example, a zoom function such as an optical zoom function. Specifically, it is preferable that the zoom position (focal length) of the camera 40 be continuously variable between the telephoto side and the wide angle side. Note that FIG. 1 shows an example of the angle of view 40 a of the camera 40.
  • the monitor 50 displays various information.
  • the monitor 50 may display an image captured by the camera 40, for example, as shown in FIG.
  • the monitor 50 may display a detection frame F (see FIG. 4). Details of the detection frame F will be described later.
  • the monitor 50 may display the determination result of the type of the tip attachment 25.
  • the controller 60 (control unit) performs input / output of signals (information), calculation (determination, calculation), and the like as shown in FIG.
  • the controller 60 includes a first controller 61 (main control unit) and a second controller 62 (auxiliary control unit).
  • the first controller 61 is constituted by, for example, a computer including a processor such as a CPU and a memory such as a semiconductor memory, and controls the operation of the work machine 10 (see FIG. 1).
  • the first controller 61 performs acquisition, processing, storage, and the like of information related to the work machine 10.
  • the first controller 61 is connected to the work device attitude sensor 30, the camera 40, and the monitor 50.
  • the second controller 62 is constituted by a computer including a processor such as a CPU and a memory such as a semiconductor memory, for example, and determines (specifies) the type of the tip attachment 25 from image information including the tip attachment 25 (see FIG. 4). .
  • the second controller 62 is a recognition unit that executes image recognition by artificial intelligence (AI).
  • AI artificial intelligence
  • the first controller 61 and the second controller 62 may be integrated into one. Also, at least one of the first controller 61 and the second controller 62 may be divided more finely. For example, the first controller 61 and the second controller 62 may be divided into different types of functions.
  • step S11 the camera 40 captures an image including the tip attachment 25.
  • the camera 40 may capture an image including the tip attachment 25 continuously in time.
  • the controller 60 acquires an image (hereinafter referred to as “camera image Im”) captured by the camera 40 as shown in FIG. 4. Examples of the camera image Im captured by the camera 40 are shown in FIGS. 4 and 5.
  • FIG. 5 shows a remote state in which the tip attachment 25 is farther from the camera 40 than in the close state shown in FIG.
  • illustration of parts other than the working machine 10 was abbreviate
  • the work device posture sensor 30 detects the posture of the work device 20. More specifically, the boom angle sensor 31 detects the boom 21 angle, the arm angle sensor 33 detects the arm 23 angle, and the tip attachment angle sensor 35 detects the tip attachment 25 angle. Then, the first controller 61 of the controller 60 acquires posture information of the work device 20 detected by the work device posture sensor 30. The first controller 61 calculates the relative position of the reference position 25b to the upper swing body 13 based on the boom 21 angle and the arm 23 angle. The first controller 61 can calculate the approximate position of the tip attachment 25 based on the position of the reference position 25 b and the tip attachment 25 angle. Details of this calculation will be described later.
  • step S20 the first controller 61 sets a detection frame F on the camera image Im as shown in FIG.
  • the detection frame F is a frame in the camera image Im captured by the camera 40 (see FIG. 1), and is a frame set in a region including the tip attachment 25.
  • the image inside the detection frame F is used to determine the type of the tip attachment 25.
  • the image outside the detection frame F is not used to determine the type of the tip attachment 25.
  • the position, size, and shape of the detection frame F in the camera image Im are set as follows.
  • the detection frame F is set such that the entire outer shape of the tip attachment 25 is included inside the detection frame F.
  • the detection frame F is preferably set so that the background portion in the detection frame F is as small as possible. That is, it is preferable that the detection frame F be set in such a size that the entire outer shape of the tip attachment 25 fits inside the detection frame F, and that the size be as small as possible. For example, it is preferable that the tip attachment 25 be seen at the center of the inside of the detection frame F.
  • the position of the camera image Im and the size and the size of the tip attachment 25 appear depend on the posture of the working device 20. For example, as shown in FIG. 5, as the tip attachment 25 is farther from the camera 40, the tip attachment 25 appears smaller in the camera image Im. For example, as the tip attachment 25 is at a higher position, the tip attachment 25 appears in the upper position in the camera image Im. For example, depending on the angle of the tip attachment 25 with respect to the arm 23, the aspect ratio of the tip attachment 25 in the camera image Im changes.
  • the detection frame F is set based on the posture of the work device 20.
  • the detection frame F is set based on the position of the reference position 25b in the camera image Im.
  • the position of the reference position 25b in the camera image Im is calculated based on the boom 21 angle and the arm 23 angle.
  • the position of the reference position 25b in the camera image Im is acquired based on the position of the reference position 25b with respect to the upper swing body 13 or the camera 40 shown in FIG. 1 determined based on the boom 21 angle and the arm 23 angle.
  • the detection frame F is set based on the tip attachment 25 angle.
  • the reference position 25b is calculated, for example, as follows.
  • the first controller 61 reads out from a memory (not shown) a reference position determination table in which the correspondence relationship between the boom 21 angle and the arm 23 angle and the reference position 25b on the camera image Im is predetermined. Then, the first controller 61 identifies the reference position 25b from the reference position determination table by specifying the reference position 25b corresponding to the boom 31 angle detected by the boom angle sensor 31 and the arm 23 angle detected by the arm angle sensor 33. You just need to get it.
  • the reference position determination table is created in advance by simulation using a specific work machine 10, for example.
  • the working device 20 is photographed by the camera 40 while changing each of the boom 21 angle and the arm 23 angle.
  • the position of the reference position 25b is specified, and a plurality of data sets in which the reference position 25b is associated with the boom 21 angle and the arm 23 angle are generated and stored in the position determination table Be done.
  • the position determination table is created. Note that this work may be performed by a person or may be performed by image processing.
  • the detection frame F is set to the camera image Im as follows.
  • the first controller 61 uses a memory (not shown) for a detection frame determination table in which the correspondence between the boom 21 angle, the arm 23 angle, and the tip attachment 25 angle and detection frame information indicating the size of the detection frame F is predetermined. read out.
  • the detection frame information for example, positioning information indicating the position in the detection frame F with respect to the length of the vertical side and the length of the horizontal side of the detection frame F and the reference position 25b. Etc. are included.
  • the first controller 61 detects detection frame information corresponding to the boom 21 angle detected by the boom angle sensor 31, the arm 23 angle detected by the arm angle sensor 33, and the tip attachment 25 angle detected by the tip attachment angle sensor 35. Identify from the detection frame determination table.
  • the first controller 61 may set the detection frame F indicated by the specified detection frame information to the camera image Im. At this time, the first controller 61 may set the detection frame F so that the reference position 25b is positioned at the position in the detection frame F indicated by the positioning information included in the detection frame information.
  • the detection frame determination table is created in advance by simulation using a specific work machine 10 on which a specific tip attachment 25 such as a bucket or the like is mounted.
  • the working device 20 is photographed by the camera 40 while changing each of the boom 21 angle, the arm 23 angle, and the tip attachment 25 angle.
  • a predetermined area including the tip attachment 25 is extracted for each of the obtained camera images Im, and the extracted area is set as the detection frame F.
  • the detection frame F for example, a rectangular area circumscribing the tip attachment 25 in the camera image Im may be adopted, or a rectangular area slightly larger than the circumscribed square may be adopted.
  • This work may be performed by a person or by image processing.
  • the first controller 61 sets the detection frame F based on the posture of the work device 20. Therefore, the first controller 61 does not have to use an object detection algorithm which is processing for detecting the tip attachment 25 for the entire area of the camera image Im. Therefore, the calculation load of the first controller 61 can be reduced accordingly.
  • the object detection algorithm since it is not necessary to use an object detection algorithm for the entire area of the camera image Im, there is no erroneous recognition of the detection position of the tip attachment 25 which is the target of type discrimination. For example, it is assumed that the distal end attachment 25 different from the distal end attachment 25 attached to the arm 23 is located within the angle of view of the camera 40 and is reflected in the camera image Im.
  • the present embodiment can prevent the other tip attachment 25 from being a target of type discrimination.
  • the detection frame F is set based not only on the detection value of the work device posture sensor 30 but also on structure information indicating the structure of the work machine 10.
  • This structural information is, for example, included in the main specifications of the work machine 10.
  • This structure information may be preset (stored) in the first controller 61, for example, or may be acquired by some means.
  • the structure information includes, for example, information on the upper swing body 13, information on the boom 21, and information on the arm 23.
  • This structural information includes, for example, the sizes (sizes) and relative positions of the upper swing body 13, the boom 21, and the arm 23, respectively.
  • the structural information includes the position of the camera 40 with respect to the upper swing body 13.
  • the controller 60 can calculate the posture of the work device 20 more accurately by using not only the detection value of the work device posture sensor 30 but also the structure information of the work machine 10, and can calculate the reference position 25b more accurately, for example .
  • the background portion in the detection frame F can be further reduced, and the accuracy of the type determination of the tip attachment 25 can be improved.
  • the first controller 61 can perform processing as in the following [Example A1] or [Example A2].
  • the rough detection frame F is set based on the posture of the work device 20 without using the structure information of the work machine 10. Thereafter, the detection frame F may be corrected based on the structure information of the work machine 10.
  • the first controller 61 first determines the size of the detection frame F with reference to the detection frame determination table described above. Next, the first controller 61 calculates the ratio between the weight information of the specific work machine 10 used when creating the detection frame determination table and the weight information included in its own structure information, and determines the detection frame. The size of the detection frame F may be corrected by multiplying the size of the detection frame F specified from the table by the ratio.
  • weight information is information which shows the magnitude
  • the detection frame F may be set from the beginning based on the structure information of the work machine 10 and the posture of the work device 20 without performing the correction as in the above [Example A1].
  • the shape of the detection frame F is a rectangle in the example shown in FIG. 4, but it may be a polygon other than a quadrangle, a circle, an ellipse, or a shape close to these.
  • the first controller 61 controls the length of the boom 21 and the length of the arm 23 included in the structure information, and the arm 21 detected by the boom angle sensor 31 and the arm 23 detected by the arm angle sensor 33.
  • the reference position 25b in the three-dimensional coordinate system of the work machine 10 is calculated using the angle.
  • the first controller 61 projects the reference position 25b in the three-dimensional coordinate system on the photographing surface of the camera 40 to calculate the reference position 25b on the camera image Im.
  • the first controller 61 may set the detection frame F to the camera image Im using the above-described detection frame determination table.
  • the controller 60 may correct the size of the detection frame F as shown in the example A1.
  • the detection frame F can be set so as to include the tip attachment 25.
  • the first controller 61 sequentially changes the setting of the detection frame F according to the change of the posture of the work device 20. Specifically, for example, the detection frame F is changed as follows. When the position of the reference position 25b in the camera image Im changes, the first controller 61 changes the position of the detection frame F according to the position after the change of the reference position 25b. When the reference position 25 b moves away from the camera 40 and the tip attachment 25 shown in the camera image Im becomes smaller, the first controller 61 reduces the detection frame F. Similarly, the controller 60 enlarges the detection frame F when the reference position 25 b approaches the camera 40 and the tip attachment 25 reflected in the camera image Im becomes large.
  • the first controller 61 changes the aspect ratio of the detection frame F when it is assumed that the angle of the tip attachment 25 with respect to the arm 23 changes and the aspect ratio of the tip attachment 25 shown in the camera image Im changes.
  • a rectangular area circumscribing the tip attachment 25 appearing in the camera image Im or a rectangular area slightly larger than the circumscribed square is set as the detection frame F. . Therefore, if the detection frame F is set using the detection frame determination table, the size of the detection frame F is set smaller as the reference position 25b moves away from the camera 40, and the size of the detection frame F as the reference position 25b approaches the camera 40. Is enlarged.
  • the first controller 61 determines whether or not the position of the tip attachment 25 can be a blind spot of the camera 40.
  • the tip attachment 25 may enter a blind spot of the camera 40 at the time of excavating work of the work machine 10 or the like.
  • the first controller 61 stores information in which a predetermined posture condition is preset in the memory.
  • the predetermined posture condition is a condition of the posture of the working device 20, and is a condition under which the position of the tip attachment 25 can be a blind spot of the camera 40.
  • at least a part of the tip attachment 25 may be disposed on the Z2 side opposite to the Z1 side where the camera 40 is disposed with respect to the ground plane A of the work machine 10.
  • the ground plane A is a virtual plane parallel to the bottom surface 11 b and including the bottom surface 11 b. When the ground contact surface A is a horizontal surface, the “Z2 side” is lower than the ground contact surface A.
  • the type of the tip attachment 25 is unknown, and the structure (size, shape, etc.) of the tip attachment 25 is unknown. Therefore, even if the posture of the working device 20 is known, it is unclear whether the tip attachment 25 is actually disposed closer to the Z2 side than the ground plane A. Therefore, for example, the posture of the working device 20 is set such that the largest tip attachment 25 of the tip attachments 25 assumed to be provided to the working device 20 is disposed on the Z2 side with respect to the ground plane A. It may be a condition.
  • the predetermined posture condition may be set based on the distance from the ground plane A to the reference position 25b.
  • the first controller 61 detects each of the boom angle sensor 31, the arm angle sensor 33, and the tip attachment angle sensor 35. The position of the tip of the tip attachment 25 is determined from the boom 21 angle, the arm 23 angle, and the tip attachment 25 angle. Then, when the vertical distance between the position of the tip of the tip attachment 25 and the reference position 25b is larger than the distance from the reference position 25b to the ground plane A, the first controller 61 satisfies the predetermined posture condition. It may be determined that
  • step S31 when the posture of the work device 20 detected by the work device posture sensor 30 does not satisfy the predetermined posture condition (NO in step S31), processing is performed to determine the type of the tip attachment 25.
  • the process proceeds to step S33.
  • the first controller 61 when the attitude of the working device 20 satisfies the predetermined attitude condition (YES in S31), the first controller 61 does not determine the type of the tip attachment 25. In this case, the current flow is ended and, for example, the process returns to "start".
  • the tip attachment 25 is disposed at a position where the camera 40 can become a blind spot, the type of the tip attachment 25 is not determined, so erroneous determination can be eliminated and unnecessary processing is eliminated. be able to.
  • the posture information of the working device 20 is acquired (S13), and the determination of step S31 is performed.
  • the posture information of the working device 20 is acquired in a state in which the image information of the camera 40 is not acquired, that is, in a state in which the processing of S11 is not performed (S13).
  • the determination of S31 may be performed. The same applies to the determination in step S33 and step S35. This is because the processes of steps S31, S33, and S35 do not require the camera image Im.
  • step S31 when the posture of the work device 20 satisfies the predetermined posture condition (YES in step S31), the current flow may be ended.
  • NO at step S33 the process of step S11 for acquiring the image information of the camera 40 can be omitted.
  • the process of step S11 may be provided between step S35 and step S37.
  • step S33 the first controller 61 determines the corresponding distance L corresponding to the distance from the camera 40 to the tip attachment 25. If the corresponding distance L is too long, the tip attachment 25 appears small in the camera image Im shown in FIG. 5, and even if the image of the tip attachment 25 is enlarged, it becomes unclear and the accuracy of discrimination of the type of the tip attachment 25 can not be ensured. There is a case. Therefore, it is determined whether the corresponding distance L shown in FIG. 1 is a size that can ensure the accuracy of the determination. More specifically, the first controller 61 obtains a corresponding distance L corresponding to the distance from the tip attachment 25 to the camera 40 based on the posture of the work device 20 detected by the work device posture sensor 30.
  • the corresponding distance L corresponding to the actual distance from the camera 40 to the tip attachment 25 is used.
  • the corresponding distance L is the distance in the front-rear direction from the camera 40 to the reference position 25b.
  • the corresponding distance L may be, for example, a distance in the front-rear direction between the largest tip attachment 25 of the tip attachments 25 assumed to be provided to the working device 20 and the camera 40. The same applies to step S35.
  • the process proceeds to step S35 in order to determine the type of the tip attachment 25.
  • the value of the first predetermined distance is preset in the first controller 61.
  • the first predetermined distance is set in accordance with whether or not the determination accuracy of the tip attachment 25 can be ensured.
  • the first predetermined distance is set in accordance with the performance of the camera 40, the determination ability of the second controller 62, and the like. The same applies to the second predetermined distance used in step S35.
  • the first predetermined distance is 5 m in the example shown in FIG. 3, but can be set variously.
  • the first controller 61 When the corresponding distance L is larger than the first predetermined distance (NO in step S33), the first controller 61 does not determine the type of the tip attachment 25. In this case, the current flow is ended and, for example, the process returns to "start".
  • the corresponding distance L corresponding to the distance from the camera 40 to the distal end attachment 25 is large and there is a possibility that the accuracy of the determination of the type of the distal end attachment 25 can not be secured, the determination of the type of the distal end attachment 25 I can not do it. Therefore, erroneous determination can be eliminated, and unnecessary processing can be eliminated.
  • step S35 the first controller 61 determines, based on the corresponding distance L, whether or not the zoom position of the camera 40 is to be on the telephoto side rather than the wide-angle side. If the corresponding distance L is equal to or greater than the second predetermined distance (YES in step S35), the process proceeds to step S37.
  • the value of the second predetermined distance is preset in the controller 60.
  • the second predetermined distance is smaller than the first predetermined distance.
  • the second predetermined distance is 3 m in the example shown in FIG. 3, but can be set variously.
  • the zoom position of the camera 40 is set to the widest angle side, and the process proceeds to step S40. Note that which distance is to be the corresponding distance L can be set variously. For example, the corresponding distance L used in the determination of step S33 and the corresponding distance L used in the determination of step S35 may be the same or different.
  • step S37 the first controller 61 sets the zoom position of the camera 40 to a position closer to the telephoto side than to the wide angle side. As the corresponding distance L is farther, the zoom position of the camera 40 is set to the telephoto side, and the image including the detection frame F is enlarged.
  • This control is performed when the corresponding distance L is equal to or less than the first predetermined value (YES in S33) (for example, 5 m or less) and equal to or more than the second predetermined value (YES in S35) (for example, 3 m or more) .
  • the zoom position of the camera 40 By setting the zoom position of the camera 40 to the telephoto side, the image of the tip attachment 25 becomes clearer than when the image of the tip attachment 25 is stretched and enlarged as it is, and the accuracy of determination of the type of the tip attachment 25 is improved. Can.
  • the first controller 61 may change the size of the detection frame F according to the telephoto ratio.
  • the first controller 61 reads out from the memory a table in which the correspondence between the telephoto ratio and the enlargement ratio of the detection frame F according to the telephoto ratio is defined in advance from the memory, and refers to the table according to the telephoto ratio.
  • the enlargement ratio of the detection frame F may be specified, and the detection frame F set in step S20 may be enlarged at the specified enlargement ratio.
  • the enlargement ratio of the detection frame F is stored so that the size of the detection frame F is enlarged to such a size that the entire area of the image of the tip attachment is included in the camera image Im captured by telephoto. It is done.
  • step S40 the second controller 62 of the controller 60 determines the type of the tip attachment 25. This determination is performed based on the image of the tip attachment 25 in the detection frame F. This determination is performed by comparing the feature amount of the tip attachment 25 acquired from the image of the tip attachment 25 in the detection frame F with the feature amount set in advance in the second controller 62.
  • the feature amount used for the determination is, for example, the shape (outer shape) of the outline of the tip attachment 25.
  • the first controller 61 shown in FIG. 2 cuts out an image within the detection frame F (see FIG. 4) from the camera image Im under an arbitrary condition and timing. That is, the first controller 61 removes the area other than the detection frame F from the camera image Im.
  • the number of images in the detection frame F to be cut out may be one or more.
  • the first controller 61 may cut out the plurality of detection frames F by cutting out the detection frames F from each of the plurality of camera images Im continuous in time series.
  • the first controller 61 outputs the clipped image to the second controller 62.
  • the feature amount of the reference image serving as a reference for determining the type of the tip attachment 25 is stored in advance in association with the type name of the tip attachment 25.
  • the reference image includes images of various postures of various types of tip attachments 25.
  • the second controller 62 acquires an image within the detection frame F input from the first controller 61 as an input image, and calculates a feature amount from the input image.
  • the feature amount for example, the contour shape of the image in the detection frame F can be adopted.
  • the second controller 62 extracts the contour shape of the image in the detection frame F, for example, by applying a predetermined edge detection filter to the acquired input image, and calculates the contour shape as a feature amount. Good.
  • the second controller 62 determines the type of the tip attachment 25 by comparing the feature amount of the input image and the feature amount of the reference image. As the tendency of the feature amount of the input image and the feature amount of the reference image is matched, the accuracy of the type determination of the tip attachment 25 becomes higher. In addition, as the number of reference images is large and the amount of learning is large, the accuracy of type determination of the tip attachment 25 is high. Then, the second controller 62 outputs the determination result to the first controller 61.
  • the second controller 62 specifies the feature amount of the reference image having the highest similarity with the feature amount of the input image among the feature amounts of the reference image stored in the memory, and The type name of the tip attachment 25 associated with the feature amount may be output to the first controller 61 as the determination result.
  • the feature amount of the reference image is generated in advance by machine learning the images of the plurality of tip attachments 25 having different postures for each of the plurality of types.
  • machine learning for example, neural networks, clustering, Bayesian networks, and support vector machines can be employed.
  • feature amount for example, Haar-LIKE feature amount, pixel difference feature amount, EOH (Edge of Histgram) feature amount, and HOG (Histgram of Oriented Gradients) feature amount etc. can be adopted as the feature amount.
  • the second controller 62 stores, in the memory, a neural network obtained by machine learning the images of the plurality of tip attachments 25 having the type name of the tip attachment 25 as a teacher signal. Then, the second controller 62 inputs the input image acquired from the first controller 61 to the neural network, and outputs the type name of the tip attachment 25 output from the neural network to the first controller 61 as a discrimination result. It is also good.
  • the second controller 62 stores the plurality of feature amounts of the images of the plurality of detection frames F and the plurality stored in the memory.
  • the type of the tip attachment 25 may be determined by majority comparison with each of the feature amounts of the reference image. That is, the second controller 62 may determine the type of the tip attachment 25 most frequently determined as the final type of the tip attachment 25 in the determination results for each of the images of the plurality of detection frames F.
  • the imaging angle of the camera 40 with respect to the tip attachment 25 is limited as compared with the case where the camera 40 is not fixed to the upper swing body 13. Ru. Therefore, when the camera 40 is fixed to the upper swinging body 13, it is possible to reduce the reference image required to determine the type of the tip attachment 25. This facilitates the collection of reference images.
  • step S50 the first controller 61 outputs the determination result input from the second controller 62 to the monitor 50.
  • the first controller 61 may output the determination result to the monitor 50 by outputting a display command for displaying the determination result to the monitor 50.
  • the monitor 50 may display, for example, a character string indicating the type name of the tip attachment 25 or may display an icon indicating the type of the tip attachment 25 graphically, and a character string and an icon Both may be displayed.
  • the determination result may be used for the interference prevention control of the work machine 10.
  • the first controller 61 obtains the tip position of the tip attachment 25 using the determination result of the tip attachment 25, the boom 21 angle, the arm 23 angle, and the tip attachment 25 angle.
  • the operation speed of the work device 20 is reduced or the operation of the work device 20 is stopped. It is sufficient to execute prevention control.
  • a distance sensor such as a TOF (Time Of Flight) sensor has a narrow angle of view, and thus has a narrower detection range than a monocular camera. Therefore, it is conceivable to measure the distance distribution around the tip attachment 25 using a distance sensor in a state in which the working device 20 is in a specific limited attitude, such as the attitude in which the tip attachment 25 is in contact with the ground.
  • a specific limited attitude such as the attitude in which the tip attachment 25 is in contact with the ground.
  • the type of the tip attachment 25 is determined, it is necessary to set the working device 20 in a specific posture, which takes time and effort.
  • the posture of the working device 20 can be made almost arbitrary.
  • the degree of freedom of the posture of the working device 20 at the time of determining the type of the tip attachment 25 is high. More specifically, in the present embodiment, the posture of the working device 20 is arbitrary except that the type of the tip attachment 25 is not determined as in the case of YES in S31 and NO in S33 of FIG. The type of the tip attachment 25 can be determined. The conditions under which the type of the tip attachment 25 is not determined can be set variously.
  • the tip attachment determination device 1 includes a work device 20, a camera 40, a work device posture sensor 30, and a controller 60.
  • the work device 20 is attached to the upper swing body 13 of the work machine 10.
  • the work device 20 has a plurality of types of tip attachments 25 at the tip portion (tip portion of the work device 20) configured to be replaceable.
  • the camera 40 is attached to the upper swing body 13 and can capture an image within the movable range of the tip attachment 25.
  • the work device posture sensor 30 detects the posture of the work device 20.
  • the controller 60 detects a detection frame F in an area including the tip attachment 25 with respect to the image captured by the camera 40 based on the attitude of the work device 20 detected by the work device attitude sensor 30 (see FIG. Set 4).
  • FIG. 4 is referred for the detection frame F.
  • the controller 60 determines the type of the tip attachment 25 based on the image of the tip attachment 25 in the detection frame F.
  • the controller 60 determines the type of the tip attachment 25 based on an image. Therefore, the controller 60 can determine the type of the tip attachment 25 without using the distance distribution. As a result, the cost of the camera 40 can be reduced as compared to the case where the camera 40 needs to acquire the distance distribution.
  • the type of the tip attachment 25 is determined based on an image, it can be said that there is less information for determination by the distance information than in the case where it is performed using the distance distribution. Therefore, it is important to secure the accuracy of discrimination of the type of the tip attachment 25 even if the information for discrimination is small.
  • the manner in which the tip attachment 25 in the camera image Im appears changes.
  • the controller 60 sets the detection frame F including the tip attachment 25 based on the posture of the work device 20. Therefore, the controller 60 can set the detection frame F suitable for determining the type of the tip attachment 25. For example, the controller 60 can set the detection frame F so that the entire tip attachment 25 is included and the background portion around the tip attachment 25 is as small as possible. Therefore, compared with the case where the setting of the detection frame F based on the attitude
  • the imaging angle of the camera 40 with respect to the tip attachment 25 is limited as compared with the case where the camera 40 is not fixed to the upper swing body 13. Therefore, the amount of information required to determine the type of the tip attachment 25 can be reduced.
  • the controller 60 sequentially changes the setting of the detection frame F in accordance with the change in the posture of the work device 20 detected by the work device posture sensor 30.
  • the controller 60 can determine the type of the tip attachment 25 even if the posture of the working device 20 changes.
  • the controller 60 sets the detection frame F based on the information of the structure of the work machine 10.
  • the controller 60 detects the detection frame F based on the posture of the work device 20 detected by the work device posture sensor 30 and the information of the structure of the work machine 10 Set Therefore, the controller 60 can set the detection frame F suitable for determining the type of the tip attachment 25 as compared to the case where the detection frame F is set based on only the posture of the work device 20.
  • the camera 40 has a zoom function.
  • the controller 60 calculates the distance from the tip attachment 25 to the camera 40 based on the posture of the work device 20 detected by the work device posture sensor 30, and the zoom position of the camera 40 is set to the telephoto side as the distance increases. Do.
  • the resolution of the image of the tip attachment 25 in the detection frame F is increased by setting the zoom position of the camera 40 to the telephoto side even if the distance from the tip attachment 25 to the camera 40 increases. Can. Therefore, the accuracy of determination of the type of the tip attachment 25 can be improved.
  • the controller 60 is a condition of the posture of the work device 20, and is on the Z2 side opposite to the Z1 side where the work machine 10 is disposed with respect to the ground plane A of the work machine 10.
  • a predetermined posture condition that is a condition under which the tip attachment 25 can be arranged is set in advance.
  • the controller 60 controls the tip attachment shown in FIG. 6 when the posture of the work device 20 detected by the work device posture sensor 30 satisfies the predetermined posture condition (YES in step S31 of FIG. 3). Do not determine the 25 types.
  • the tip attachment determination device 1 includes the above [Configuration 6-2]. Therefore, it can suppress that the controller 60 misjudges the kind of front-end
  • the controller 60 acquires the corresponding distance L corresponding to the distance from the tip attachment 25 to the camera 40 based on the posture of the working device 20 detected by the working device posture sensor 30.
  • the tip attachment determination device 1 includes the above [Configuration 7-2]. Therefore, it can suppress that the controller 60 misjudges the kind of front-end
  • the tip attachment determination device 1 may be provided outside the work machine 10.
  • the second controller 62 shown in FIG. 2 may be provided outside the work machine 10.
  • the monitor 50 may not be provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Shovels (AREA)
  • Image Analysis (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Manipulator (AREA)

Abstract

作業装置２０は、複数種類に交換可能な先端アタッチメント２５を先端部に有する。カメラ４０は、先端アタッチメント２５の可動範囲内の画像を撮影可能である。作業装置姿勢センサ３０は、作業装置２０の姿勢を検出する。コントローラ６０は、作業装置姿勢センサ３０に検出された作業装置２０の姿勢に基づいて、カメラ４０に撮影された画像内の先端アタッチメント２５を含む範囲の枠である検出枠（Ｆ）を設定する。コントローラ６０は、検出枠（Ｆ）内の先端アタッチメント２５の画像に基づいて、先端アタッチメント２５の種類を判別する。

Description

先端アタッチメント判別装置
　本発明は、作業機械の先端アタッチメントの種類を判別する先端アタッチメント判別装置に関する。
　例えば特許文献１に、先端アタッチメント（同文献におけるアタッチメント）を含む距離分布を距離センサが計測し、距離分布に基づいて先端アタッチメントを認識する技術が記載されている（同文献の請求項１などを参照）。
　同文献に記載の技術では、距離分布に基づいて先端アタッチメントの種類などが認識されているが、距離分布を計測するために、距離センサが用いられている。しかし、距離センサは、単眼カメラなどに比べ、コストが高い場合がある。また、先端アタッチメントの種類の判別を行う際、判別の精度を確保することが重要である。
特開２０１７－１５７０１６号公報
　そこで、本発明は、距離分布を用いなくても、精度よく、先端アタッチメントの種類を判別できる、先端アタッチメント判別装置を提供することを目的とする。
　本開示の一態様における先端アタッチメント判別装置は、下部走行体と、前記下部走行体の上部に設けられた上部旋回体と、複数種類の先端アタッチメントが交換可能に取り付けられる先端部を有し、前記上部旋回体に取り付けられる作業装置とを備える作業機械の先端アタッチメント判別装置であって、
　前記上部旋回体に取り付けられ、前記先端アタッチメントの可動範囲内の画像を撮影可能なカメラと、
　前記作業装置の姿勢を検出する作業装置姿勢センサと、
　コントローラと、
　を備え、
　前記コントローラは、
　前記作業装置姿勢センサにより検出された前記作業装置の姿勢に基づいて、前記カメラにより撮影された画像に対して前記先端アタッチメントを含む領域に検出枠を設定し、
　前記検出枠内の前記先端アタッチメントの画像に基づいて、前記先端アタッチメントの種類を判別する。
　上記構成により、距離分布を用いなくても、精度よく、先端アタッチメントの種類を判別できる。
作業機械１０を横から見た図である。 図１に示す作業機械１０に設けられる先端アタッチメント判別装置１のブロック図である。 図２に示す先端アタッチメント判別装置１のフローチャートである。 図１に示すカメラ４０に撮影された画像である。 図１に示すカメラ４０に撮影された画像である。 図１に示す先端アタッチメント２５がカメラ４０の死角に入っている状態を示す図１相当図である。
　図１～図６を参照して、図１に示す先端アタッチメント判別装置１について説明する。
　先端アタッチメント判別装置１は、先端アタッチメント２５の種類を自動的に判別する装置であり、作業機械１０に設けられる。作業機械１０は、建設作業などの作業を行う建設機械で構成される。建設機械としては、例えば、油圧ショベル、ハイブリッドショベル、クレーン等の作業機械１０が採用できる。作業機械１０は、下部走行体１１と、上部旋回体１３と、作業装置２０と、作業装置姿勢センサ３０と、カメラ４０とを備える。さらに、作業機械１０は、図２に示すモニタ５０と、コントローラ６０とを備える。なお、本明細書において、上部旋回体１３の正面の方向を前方、上部旋回体１３の後面の方向を後方、前方及び後方を総称して前後方向と記述する。また、後方から前方に見て左側を左方、右側を右方、左方及び右方を総称して左右方向と記述する。また、前後方向及び左右方向のそれぞれに直行する方向を上下方向、上下方向の上側を上方、上下方向の下側を下方と記述する。
　下部走行体１１は、図１に示すように、例えば、クローラで構成され、作業機械１０を走行させる。下部走行体１１の底面１１ｂ（作業機械１０の底面）は、接地面Ａに接する。上部旋回体１３は、下部走行体１１の上側に設けられ、下部走行体１１に対して上下方向を中心に旋回可能に構成されている。上部旋回体１３は、キャブ１３ｃ（運転室）を備える。
　作業装置２０は、上部旋回体１３に取り付けられた作業を行う装置である。作業装置２０は、ブーム２１と、アーム２３と、先端アタッチメント２５と、を備える。ブーム２１は、上部旋回体１３に対して回転可能に取り付けられる。アーム２３は、ブーム２１に回転可能に取り付けられる。
　先端アタッチメント２５は、作業装置２０の先端部に設けられる。先端アタッチメント２５は、複数種類に交換可能である。先端アタッチメント２５の種類には、バケット（図１に示す例）、クラムシェル、ハサミ状の装置、ハンマ、マグネットなどがある。先端アタッチメント２５は、アーム２３に回転可能に取り付けられる。先端アタッチメント２５の基準となる位置を、基準位置２５ｂとする。基準位置２５ｂは、先端アタッチメント２５の種類によらず決まる位置である。基準位置２５ｂは、例えば、先端アタッチメント２５の基端部であり、例えば、アーム２３に対する先端アタッチメント２５の回転軸（バケットピンなど）である。なお、図２および図３では、先端アタッチメント２５を「先端ＡＴＴ」と記載した。ブーム２１、アーム２３、及び先端アタッチメント２５は、それぞれ、ブームシリンダ（図略）、アームシリンダ（図略）、及びアタッチメントシリンダ（図略）によって駆動される。
　作業装置姿勢センサ３０は、図１に示す作業装置２０の姿勢を検出するセンサである。作業装置姿勢センサ３０は、ブーム角度センサ３１と、アーム角度センサ３３と、先端アタッチメント角度センサ３５と、を備える。ブーム角度センサ３１は、上部旋回体１３に対するブーム２１の角度（ブーム２１角度）を検出する。ブーム角度センサ３１は、例えば、ブーム２１の基端部に設けられた、エンコーダ等の角度センサで構成される。
　ここで、ブーム角度センサ３１は、例えば、ブーム２１を駆動させるブームシリンダの伸縮量を検出するセンサで構成されてもよい。この場合、ブーム角度センサ３１は、ブームシリンダの伸縮量を、ブーム２１角度に変換して、コントローラ６０に出力すればよい。或いは、ブーム角度センサ３１は、検出した伸縮量をコントローラ６０に出力し、コントローラ６０が伸縮量をブーム２１角度に変換してもよい。シリンダの伸縮量を検出することで角度を検出する構成は、アーム角度センサ３３および先端アタッチメント角度センサ３５についても適用可能である。アーム角度センサ３３は、ブーム２１に対するアーム２３の角度（アーム２３角度）を検出する。先端アタッチメント角度センサ３５は、アーム２３に対する先端アタッチメント２５の角度（先端アタッチメント２５角度）を検出する。
　カメラ４０（撮像装置）は、先端アタッチメント２５の可動範囲内の画像を撮影可能に構成されている。カメラ４０は、作業装置２０およびその周囲の画像を撮影する。カメラ４０は、先端アタッチメント２５の可動範囲として想定される全範囲を撮影可能に構成されていることが好ましい。カメラ４０は、上部旋回体１３に取り付けられ、例えば、キャブ１３ｃ（例えば左前上部など）に取り付けられ、例えば、上部旋回体１３のうちキャブ１３ｃ以外の部分に取り付けられてもよい。カメラ４０は、上部旋回体１３に対して固定される。カメラ４０は、上部旋回体１３に対して移動（例えば回動）可能に構成されてもよい。カメラ４０は、例えば単眼カメラで構成されてもよい。カメラ４０のコストを低くするために、カメラ４０は単眼カメラであることが好ましい。カメラ４０は、例えば、光学ズーム機能等のズーム機能を有することが好ましい。具体的には、カメラ４０のズーム位置（焦点距離）が、望遠側と広角側との間で連続的に可変であることが好ましい。なお、図１に、カメラ４０の画角４０ａの一例を示す。
　モニタ５０は、各種情報を表示する。モニタ５０は、カメラ４０に撮影された、例えば、図４に示されるような画像を表示してもよい。モニタ５０は、検出枠Ｆ（図４参照）を表示してもよい。検出枠Ｆの詳細は後述する。モニタ５０は、先端アタッチメント２５の種類の判別結果を表示してもよい。
　コントローラ６０（制御部）は、図２に示すように、信号（情報）の入出力、および演算（判定、算出）などを行う。コントローラ６０は、第１コントローラ６１（主制御部）と、第２コントローラ６２（補助制御部）と、を備える。第１コントローラ６１は、例えば、ＣＰＵ等のプロセッサおよび半導体メモリ等のメモリを含むコンピュータで構成され、作業機械１０（図１参照）の作動の制御などを行う。第１コントローラ６１は、作業機械１０に関する情報の取得、処理、および記憶などを行う。第１コントローラ６１には、作業装置姿勢センサ３０、カメラ４０、およびモニタ５０が接続される。第２コントローラ６２は、例えば、ＣＰＵ等のプロセッサおよび半導体メモリ等のメモリを含むコンピュータで構成され、先端アタッチメント２５（図４参照）を含む画像情報から、先端アタッチメント２５の種類を判別（特定）する。第２コントローラ６２は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）による画像認識を実行する、認識手段である。なお、第１コントローラ６１と第２コントローラ６２とは、一つに統合されていてもよい。また、第１コントローラ６１および第２コントローラ６２の少なくともいずれかが、より細かく分けられてもよい。例えば、第１コントローラ６１および第２コントローラ６２は、異なる種類の機能別に分けられていてもよい。
　（作動）
　図３に示すフローチャートを参照して、先端アタッチメント判別装置１の作動（主にコントローラ６０の作動）を説明する。なお、以下では、先端アタッチメント判別装置１の各構成要素（カメラ４０、コントローラ６０など）については主に図１を参照し、フローチャートの各ステップについては図３を参照して説明する。
　ステップＳ１１では、カメラ４０は、先端アタッチメント２５を含む画像を撮影する。ここで、カメラ４０は、時間的に連続して先端アタッチメント２５を含む画像を撮影すればよい。コントローラ６０は、図４に示すようなカメラ４０に撮影された画像（以下、「カメラ画像Ｉｍ」という）を取得する。カメラ４０が撮影したカメラ画像Ｉｍの例を、図４および図５に示す。図５では、図４に示す近接状態に比べ、先端アタッチメント２５がカメラ４０から遠ざかった遠隔状態を示す。なお、図４および図５では、作業機械１０以外の部分の図示を省略した。
　ステップＳ１３では、作業装置姿勢センサ３０が、作業装置２０の姿勢を検出する。さらに詳しくは、ブーム角度センサ３１は、ブーム２１角度を検出し、アーム角度センサ３３は、アーム２３角度を検出し、先端アタッチメント角度センサ３５は、先端アタッチメント２５角度を検出する。そして、コントローラ６０の第１コントローラ６１は、作業装置姿勢センサ３０により検出された作業装置２０の姿勢情報を取得する。第１コントローラ６１は、ブーム２１角度とアーム２３角度とに基づいて、上部旋回体１３に対する基準位置２５ｂの相対位置を算出する。第１コントローラ６１は、基準位置２５ｂの位置と先端アタッチメント２５角度とに基づいて、先端アタッチメント２５のおおよその位置を算出できる。この算出の詳細については後述する。
　ステップＳ２０では、第１コントローラ６１は、図４に示すようにカメラ画像Ｉｍに対して検出枠Ｆを設定する。検出枠Ｆは、カメラ４０（図１参照）に撮影されたカメラ画像Ｉｍ内の枠であって、先端アタッチメント２５を含む領域に設定された枠である。検出枠Ｆの内側の画像は、先端アタッチメント２５の種類の判別に用いられる。検出枠Ｆの外側の画像は、先端アタッチメント２５の種類の判別には用いられない。
　（検出枠Ｆの設定）
　カメラ画像Ｉｍにおける検出枠Ｆの位置、大きさ、および形状などは、次のように設定される。検出枠Ｆは、先端アタッチメント２５の外形全体が検出枠Ｆの内側に含まれるように設定される。
　カメラ画像Ｉｍにおける、先端アタッチメント２５の外形よりも外側の背景部分は、先端アタッチメント２５の判別時において、余計な情報、すなわち、ノイズとなる。そのため、検出枠Ｆは、検出枠Ｆ内の背景部分ができるだけ少なくなるように設定されることが好ましい。すなわち、検出枠Ｆは、先端アタッチメント２５の外形全体が検出枠Ｆの内側に収まり、且つ、可能な限り小さなサイズで設定されることが好ましい。例えば、先端アタッチメント２５が、検出枠Ｆ内部の中央部に映ることが好ましい。
　（作業装置２０の姿勢に基づく検出枠Ｆの設定）
　カメラ画像Ｉｍのどの位置に、どのような大きさで、先端アタッチメント２５が映るかは、作業装置２０の姿勢によって変わる。例えば、図５に示すようにカメラ４０に対して先端アタッチメント２５が遠いほど、先端アタッチメント２５がカメラ画像Ｉｍにおいて小さく映る。例えば、先端アタッチメント２５が高い位置にあるほど、先端アタッチメント２５が、カメラ画像Ｉｍにおいて上側の位置に映る。例えば、アーム２３に対する先端アタッチメント２５の角度によって、カメラ画像Ｉｍにおける先端アタッチメント２５の縦横比が変わる。
　そこで、検出枠Ｆは、作業装置２０の姿勢に基づいて設定される。例えば、検出枠Ｆは、カメラ画像Ｉｍにおける基準位置２５ｂの位置に基づいて設定される。例えば、カメラ画像Ｉｍにおける基準位置２５ｂの位置は、ブーム２１角度およびアーム２３角度に基づいて算出される。例えば、カメラ画像Ｉｍにおける基準位置２５ｂの位置は、ブーム２１角度およびアーム２３角度に基づいて求められた、上部旋回体１３又は図１に示すカメラ４０に対する基準位置２５ｂの位置に基づいて取得される。また、検出枠Ｆは、先端アタッチメント２５角度に基づいて設定される。
　具体的には、基準位置２５ｂは例えば下記のようにして算出される。第１コントローラ６１は、ブーム２１角度およびアーム２３角度とカメラ画像Ｉｍ上での基準位置２５ｂとの対応関係を予め定めた基準位置決定テーブルをメモリ（図略）から読み出す。そして、第１コントローラ６１は、ブーム角度センサ３１が検出したブーム３１角度及びアーム角度センサ３３が検出したアーム２３角度に対応する基準位置２５ｂを基準位置決定テーブルから特定することで、基準位置２５ｂを取得すればよい。
　ここで、基準位置決定テーブルは、例えば、特定の作業機械１０を用いたシミュレーションによって事前に作成されたものである。このシミュレーションでは、ブーム２１角度およびアーム２３角度のそれぞれを変化させながら、カメラ４０によって作業装置２０が撮影される。そして、得られたカメラ画像Ｉｍのそれぞれについて基準位置２５ｂの位置が特定され、基準位置２５ｂとブーム２１角度およびアーム２３角度とが対応づけられた複数のデータセットが生成され、位置決定テーブルに記憶される。以上によって、位置決定テーブルが作成される。なお、この作業は人物により行われてもよいし、画像処理により行われてもよい。
　また、検出枠Ｆは、下記のようにしてカメラ画像Ｉｍに設定される。第１コントローラ６１は、ブーム２１角度、アーム２３角度、及び先端アタッチメント２５角度と、検出枠Ｆのサイズを示す検出枠情報との対応関係を予め定めた検出枠決定テーブルをメモリ（図略）から読み出す。ここで、検出枠情報には、例えば、検出枠Ｆの縦辺の長さと、横辺の長さと、基準位置２５ｂに対して検出枠Ｆ内のどの位置を位置決めすればよいかを示す位置決め情報等が含まれる。そして、第１コントローラ６１は、ブーム角度センサ３１が検出したブーム２１角度、アーム角度センサ３３が検出したアーム２３角度、及び先端アタッチメント角度センサ３５が検出した先端アタッチメント２５角度に対応する検出枠情報を検出枠決定テーブルから特定する。そして、第１コントローラ６１は、特定した検出枠情報が示す検出枠Ｆをカメラ画像Ｉｍに設定すればよい。このとき、第１コントローラ６１は、検出枠情報に含まれる位置決め情報が示す検出枠Ｆ内の位置に基準位置２５ｂが位置するように検出枠Ｆを設定すればよい。
　ここで、検出枠決定テーブルは、例えば、バケット等の特定の先端アタッチメント２５が装着された特定の作業機械１０を用いたシミュレーションによって事前に作成されたものである。このシミュレーションでは、ブーム２１角度、アーム２３角度、および先端アタッチメント２５角度のそれぞれを変化させながら、カメラ４０によって作業装置２０が撮影される。そして、得られたカメラ画像Ｉｍのそれぞれについて先端アタッチメント２５を含む一定の領域が抽出され、抽出された領域が検出枠Ｆとして設定される。ここで、検出枠Ｆとしては、例えば、カメラ画像Ｉｍにおける先端アタッチメント２５に外接する四角形の領域が採用されてもよいし、前記外接する四角形より多少サイズの大きな四角形の領域が採用されてもよい。この作業は人物により行われてもよいし、画像処理により行われてもよい。
　このように、第１コントローラ６１は、作業装置２０の姿勢に基づいて、検出枠Ｆを設定する。よって、第１コントローラ６１は、カメラ画像Ｉｍの全域に対して、先端アタッチメント２５を検出するための処理である物体検出アルゴリズムを使用する必要がない。よって、その分、第１コントローラ６１の計算負荷を少なくできる。また、カメラ画像Ｉｍの全域に対して物体検出アルゴリズムを使用する必要がないので、種類の判別の対象となる先端アタッチメント２５の検出位置を誤認識することがない。例えば、アーム２３に取り付けられた先端アタッチメント２５とは別の先端アタッチメント２５がカメラ４０の画角内に位置しており、カメラ画像Ｉｍに映っているケースを想定する。この場合、前記別の先端アタッチメント２５は、作業機械１０に取り付けられていないため、種類の判別の対象ではない。また、この場合、前記別の先端アタッチメント２５は、基準位置２５ｂから離れて位置しているため、カメラ画像Ｉｍにおいて検出枠Ｆの外に映る。そのため、本実施形態は、前記別の先端アタッチメント２５が種類の判別の対象とされることを防止できる。
　（作業機械１０の構造の情報に基づく検出枠Ｆの設定）
　カメラ画像Ｉｍのどの位置に、どのような大きさで、先端アタッチメント２５が映るかは、作業機械１０の構造によって変わる。例えば、ブーム２１の長さ、およびアーム２３の長さによって、カメラ画像Ｉｍにおける先端アタッチメント２５の位置、大きさなどが変わる。また、例えば、作業機械１０の大きさ（例えば「○○トン級」など）によって、作業装置２０に設けられると想定される先端アタッチメント２５の種類が変わる。すると、カメラ画像Ｉｍにおける先端アタッチメント２５の位置、大きさなどが変わる。
　そこで、検出枠Ｆは、作業装置姿勢センサ３０の検出値だけでなく、作業機械１０の構造を示す構造情報にも基づいて設定されることが好ましい。この構造情報は、例えば、作業機械１０の主要諸元に含まれる。この構造情報は、例えば、第１コントローラ６１に予め設定（記憶）されてもよく、何らかの手段により取得されてもよい。この構造情報には、例えば、上部旋回体１３の情報、ブーム２１の情報、およびアーム２３の情報が含まれる。この構造情報には、例えば、上部旋回体１３、ブーム２１、およびアーム２３のそれぞれの、大きさ（寸法）、および相対的な位置が含まれる。この構造情報には、上部旋回体１３に対するカメラ４０の位置が含まれる。コントローラ６０は、作業装置姿勢センサ３０の検出値だけでなく、作業機械１０の構造情報も用いることで、作業装置２０の姿勢をより正確に算出でき、例えば、基準位置２５ｂをより正確に算出できる。その結果、検出枠Ｆ内の背景部分をより少なくでき、先端アタッチメント２５の種類判別の精度を向上させることができる。
　作業機械１０の構造情報を用いて検出枠Ｆを設定する場合、第１コントローラ６１は、次の［例Ａ１］または［例Ａ２］のように処理できる。
　［例Ａ１］まず、作業機械１０の構造情報を用いずに、作業装置２０の姿勢に基づいて、おおまかな検出枠Ｆが設定される。その後、作業機械１０の構造情報に基づいて、検出枠Ｆが補正されてもよい。
　具体的には、第１コントローラ６１は、まず、上述した検出枠決定テーブルを参照して、検出枠Ｆのサイズを求める。次に、第１コントローラ６１は、検出枠決定テーブルを作成する際に用いられた特定の作業機械１０の重量情報と、自身の構造情報に含まれる重量情報との比率を算出し、検出枠決定テーブルから特定した検出枠Ｆのサイズにその比率を乗じることで、検出枠Ｆのサイズを補正すればよい。なお、重量情報とは、上述した「○○トン級」といった作業機械１０の大きさを示す情報である。
　［例Ａ２］上記［例Ａ１］のような補正を行わずに、最初から、作業機械１０の構造情報および作業装置２０の姿勢に基づいて、検出枠Ｆが設定されてもよい。なお、検出枠Ｆの形状は、図４に示す例では長方形であるが、四角形以外の多角形、円形、楕円形、またはこれらに近い形状などでもよい。
　具体的には、第１コントローラ６１は、構造情報に含まれるブーム２１の長さ及びアーム２３の長さと、ブーム角度センサ３１により検出されたブーム２１角度及びアーム角度センサ３３により検出されたアーム２３角度とを用いて作業機械１０の３次元座標系における基準位置２５ｂを算出する。そして、第１コントローラ６１は、３次元座標系における基準位置２５ｂをカメラ４０の撮影面に投影することでカメラ画像Ｉｍ上での基準位置２５ｂを算出する。そして、第１コントローラ６１は、上述した検出枠決定テーブルを用いて検出枠Ｆをカメラ画像Ｉｍに設定すればよい。このとき、コントローラ６０は、例Ａ１で示したように検出枠Ｆのサイズを補正してもよい。
　なお、作業機械１０の構造情報がなくても、作業機械１０の構造は、おおよそ決まっており、ある範囲内に限定される。よって、コントローラ６０は、作業機械１０の構造情報を取得しない場合でも、先端アタッチメント２５を含むように検出枠Ｆを設定できる。
　（検出枠Ｆの変化）
　第１コントローラ６１は、作業装置２０の姿勢の変化に応じて、検出枠Ｆの設定を逐次変える。具体的には例えば、検出枠Ｆは次のように変えられる。カメラ画像Ｉｍにおける基準位置２５ｂの位置が変化した場合、第１コントローラ６１は、基準位置２５ｂの変化後の位置に応じて、検出枠Ｆの位置を変える。基準位置２５ｂがカメラ４０から遠ざかり、カメラ画像Ｉｍに映る先端アタッチメント２５が小さくなる場合、第１コントローラ６１は、検出枠Ｆを小さくする。同様に、基準位置２５ｂがカメラ４０に近づき、カメラ画像Ｉｍに映る先端アタッチメント２５が大きくなる場合、コントローラ６０は、検出枠Ｆを大きくする。アーム２３に対する先端アタッチメント２５の角度が変化し、カメラ画像Ｉｍに映る先端アタッチメント２５の縦横比が変わると想定される場合、第１コントローラ６１は、検出枠Ｆの縦横比を変える。なお、上述した検出枠決定テーブルにおいては、カメラ画像Ｉｍに現れる先端アタッチメント２５に対して外接する四角形の領域又は前記外接する四角形よりも多少サイズの大きな四角形の領域が検出枠Ｆとして設定されている。そのため、検出枠決定テーブルを用いて検出枠Ｆを設定すれば、基準位置２５ｂがカメラ４０から遠ざかるにつれて検出枠Ｆのサイズは小さく設定され、基準位置２５ｂがカメラ４０に近づくにつれて検出枠Ｆのサイズは大きくされる。
　ステップＳ３１では、第１コントローラ６１は、図６に示すように、先端アタッチメント２５の位置がカメラ４０の死角になり得る位置か否かを判定する。例えば、作業機械１０の掘削作業時などに、先端アタッチメント２５がカメラ４０の死角に入る場合がある。この判定を行うために、第１コントローラ６１は、所定姿勢条件が予め設定された情報をメモリに記憶させている。所定姿勢条件は、作業装置２０の姿勢の条件であって、先端アタッチメント２５の位置がカメラ４０の死角になり得る条件である。具体的には、作業機械１０の接地面Ａに対してカメラ４０が配置されるＺ１側とは反対側のＺ２側に、先端アタッチメント２５の少なくとも一部が配置され得る条件である。接地面Ａは、底面１１ｂと平行、かつ、底面１１ｂを含む仮想面である。接地面Ａが水平面の場合は、上記「Ｚ２側」は、接地面Ａに対して下側である。
　このステップＳ３１の時点では、先端アタッチメント２５の種類が不明であり、先端アタッチメント２５の構造（寸法、形状など）が不明である。そのため、作業装置２０の姿勢が分かっても、実際に先端アタッチメント２５が接地面ＡよりもＺ２側に配置されるかどうかは不明である。そこで、例えば、作業装置２０に設けられると想定される先端アタッチメント２５の中で最も大きい先端アタッチメント２５が、接地面Ａに対してＺ２側に配置されるような作業装置２０の姿勢を、所定姿勢条件としてもよい。例えば、接地面Ａから基準位置２５ｂまでの距離に基づいて、所定姿勢条件が設定されてもよい。
　具体的には、第１コントローラ６１は、想定される最大の先端アタッチメント２５が装着されていると仮定した上で、ブーム角度センサ３１、アーム角度センサ３３、及び先端アタッチメント角度センサ３５のそれぞれが検出したブーム２１角度、アーム２３角度、及び先端アタッチメント２５角度から先端アタッチメント２５の先端の位置を求める。そして、第１コントローラ６１は、先端アタッチメント２５の先端の位置と基準位置２５ｂとの上下方向の距離が、基準位置２５ｂから接地面Ａまでの上下方向の距離よりも大きい場合、所定姿勢条件を満たすと判定すればよい。
　図１に示すように、作業装置姿勢センサ３０に検出された作業装置２０の姿勢が、所定姿勢条件を満たさない場合（ステップＳ３１でＮＯ）、先端アタッチメント２５の種類の判別を行うために、処理はステップＳ３３に進む。図６に示すように、作業装置２０の姿勢が、所定姿勢条件を満たす場合（Ｓ３１でＹＥＳ）、第１コントローラ６１は、先端アタッチメント２５の種類の判別を行わない。この場合、今回のフローが終了され、例えば「開始」に戻る。このように、カメラ４０の死角になり得る位置に先端アタッチメント２５が配置される場合には、先端アタッチメント２５の種類の判別が行われないので、誤判別をなくすことができ、不要な処理をなくすことができる。
　なお、図３に示すフローチャートでは、図１に示すカメラ４０の画像情報が取得（Ｓ１１）された後に、作業装置２０の姿勢情報が取得され（Ｓ１３）、ステップＳ３１の判定が行われた。但し、これは一例であり、本発明は、カメラ４０の画像情報が取得されていない状態、すなわちＳ１１の処理が行われていない状態で、作業装置２０の姿勢情報が取得され（Ｓ１３）、ステップＳ３１の判定が行われてもよい。このことは、ステップＳ３３及びステップＳ３５の判定も同様である。これは、ステップＳ３１、Ｓ３３、Ｓ３５の処理は、カメラ画像Ｉｍが不要だからである。そして、作業装置２０の姿勢が、所定姿勢条件を満たす場合（ステップＳ３１でＹＥＳ）、今回のフローが終了されてもよい。このことは、ステップＳ３３でＮＯの場合も同様である。この場合は、第１コントローラ６１は、先端アタッチメント２５の種類の判別を行わないケースにおいて、カメラ４０の画像情報を取得するステップＳ１１の処理を省くことができる。なお、この場合、ステップＳ１１の処理は、ステップＳ３５とステップＳ３７との間に設けられればよい。
　ステップＳ３３では、第１コントローラ６１は、カメラ４０から先端アタッチメント２５までの距離に対応する対応距離Ｌを判定する。対応距離Ｌが遠すぎると、図５に示すカメラ画像Ｉｍにおいて先端アタッチメント２５が小さく映り、先端アタッチメント２５の部分の画像を拡大しても不鮮明となり、先端アタッチメント２５の種類の判別の精度を確保できない場合がある。そこで、図１に示す対応距離Ｌが、判別の精度を確保できる大きさかどうかが判定される。さらに詳しくは、第１コントローラ６１は、作業装置姿勢センサ３０に検出された作業装置２０の姿勢に基づいて、先端アタッチメント２５からカメラ４０までの距離に対応する対応距離Ｌを取得する。
　このステップＳ３３の時点では、先端アタッチメント２５の種類が不明であり、先端アタッチメント２５の構造が不明である。そのため、カメラ４０から先端アタッチメント２５までの実際の距離は不明である。そこで、ステップＳ３３の判定では、カメラ４０から先端アタッチメント２５までの実際の距離に対応する対応距離Ｌが用いられる。例えば、対応距離Ｌは、カメラ４０から基準位置２５ｂまでの前後方向の距離である。このことは、ステップＳ３５も同様である。或いは、対応距離Ｌは、例えば作業装置２０に設けられると想定される先端アタッチメント２５の中で最も大きい先端アタッチメント２５と、カメラ４０との間の前後方向の距離でもよい。このことは、ステップＳ３５においても同様である。
　対応距離Ｌが、予め定められた第１所定距離以下の場合（ステップＳ３３でＹＥＳ）、先端アタッチメント２５の種類の判別を行うために処理はステップＳ３５に進む。第１所定距離の値は、第１コントローラ６１に予め設定される。第１所定距離は、先端アタッチメント２５の判別の精度が確保できるか否かに応じて設定される。例えば、第１所定距離は、カメラ４０の性能、および、第２コントローラ６２の判別の能力などに応じて設定されるこのことは、ステップＳ３５で用いられる第２所定距離も同様である。なお、例えば、カメラ４０のズーム機能が用いられる場合は、ズーム位置を最も望遠側にした状態で先端アタッチメント２５の判別の精度が確保できればよい。第１所定距離は、図３に示す例では５ｍであるが、様々に設定可能である。
　対応距離Ｌが、第１所定距離よりも大きい場合（ステップＳ３３でＮＯ）、第１コントローラ６１は、先端アタッチメント２５の種類の判別を行わない。この場合、今回のフローが終了され、例えば「開始」に戻る。このように、カメラ４０から先端アタッチメント２５までの距離に対応する対応距離Ｌが大きく、先端アタッチメント２５の種類の判別の精度を確保できないおそれがある場合には、先端アタッチメント２５の種類の判別が行われない。よって、誤判別をなくすことができ、不要な処理をなくすことができる。
　ステップＳ３５では、第１コントローラ６１は、対応距離Ｌに基づいて、カメラ４０のズーム位置を最も広角側よりも望遠側の位置にするか否かを判定する。対応距離Ｌが、第２所定距離以上の場合（ステップＳ３５でＹＥＳ）、処理はステップＳ３７に進む。第２所定距離の値は、コントローラ６０に予め設定される。第２所定距離は、第１所定距離よりも小さい。第２所定距離は、図３に示す例では３ｍであるが、様々に設定可能である。対応距離Ｌが、第２所定距離未満の場合（ステップＳ３５でＮＯ）、カメラ４０のズーム位置を最も広角側とし、処理はステップＳ４０に進む。なお、どの距離を対応距離Ｌにするかは様々に設定可能である。例えば、ステップＳ３３の判定で用いられる対応距離Ｌと、ステップＳ３５の判定で用いられる対応距離Ｌとは、同じでもよく、相違してもよい。
　ステップＳ３７では、第１コントローラ６１が、カメラ４０のズーム位置を、最も広角側よりも望遠側の位置にする。対応距離Ｌが遠くなるほど、カメラ４０のズーム位置が、望遠側に設定され、検出枠Ｆを含む画像が拡大される。この制御が行われるのは、対応距離Ｌが、第１所定値以下（Ｓ３３でＹＥＳ）（例えば５ｍ以下）、かつ、第２所定値以上（Ｓ３５でＹＥＳ）（例えば３ｍ以上）の場合である。カメラ４０のズーム位置を望遠側にすることで、先端アタッチメント２５の画像をそのまま引き延ばして拡大するよりも、先端アタッチメント２５の画像が鮮明になり、先端アタッチメント２５の種類の判別の精度を向上させることができる。
　なお、ステップＳ３７において、カメラ４０のズーム位置が望遠側に設定された場合、第１コントローラ６１は、望遠率に応じて検出枠Ｆのサイズを変更すればよい。この場合、第１コントローラ６１は、望遠率と、望遠率に応じた検出枠Ｆの拡大率との対応関係が予め定義づけられたテーブルをメモリから読み出し、そのテーブルを参照して望遠率に応じた検出枠Ｆの拡大率を特定し、特定した拡大率でステップＳ２０で設定した検出枠Ｆを拡大すればよい。このテーブルには、例えば、望遠することで撮影されたカメラ画像Ｉｍにおいて先端アタッチメントの画像の全域が含まれるようなサイズに検出枠Ｆのサイズが拡大されるように検出枠Ｆの拡大率が記憶されている。
　ステップＳ４０では、コントローラ６０の第２コントローラ６２は、先端アタッチメント２５の種類を判別する。この判別は、検出枠Ｆ内の先端アタッチメント２５の画像に基づいて行われる。この判別は、検出枠Ｆ内の先端アタッチメント２５の画像から取得される先端アタッチメント２５の特徴量と、第２コントローラ６２に予め設定された特徴量と、の比較により行われる。判別に用いられる特徴量は、例えば先端アタッチメント２５の輪郭の形状（外形）である。
　さらに詳しくは、図２に示す第１コントローラ６１は、カメラ画像Ｉｍから検出枠Ｆ（図４参照）内の画像を、任意の条件、タイミングで切り出す。すなわち、第１コントローラ６１は、カメラ画像Ｉｍから検出枠Ｆ以外の領域を除去する。切り出される検出枠Ｆ内の画像の数は、１つでもよく、複数でもよい。具体的には、第１コントローラ６１は、時系列に連続する複数のカメラ画像Ｉｍのそれぞれから検出枠Ｆを切り出すことにより、複数の検出枠Ｆを切り出せばよい。
　第１コントローラ６１は、切り出した画像を、第２コントローラ６２に出力する。第２コントローラ６２のメモリには、先端アタッチメント２５の種類の判別の基準となる基準画像の特徴量が先端アタッチメント２５の種類名と対応付けられて予め記憶されている。基準画像には、様々な種類の先端アタッチメント２５の、様々な姿勢の画像が含まれる。第２コントローラ６２は、第１コントローラ６１から入力された検出枠Ｆ内の画像を入力画像として取得し、その入力画像から、特徴量を算出する。ここで、特徴量としては、例えば、検出枠Ｆ内の画像の輪郭形状が採用できる。第２コントローラ６２は、取得した入力画像に対して、例えば、所定のエッジ検出フィルタを適用することにより、検出枠Ｆ内の画像の輪郭形状を抽出し、その輪郭形状を特徴量として算出すればよい。
　そして、第２コントローラ６２は、入力画像の特徴量と、基準画像の特徴量と、を比較することで、先端アタッチメント２５の種類を判別する。入力画像の特徴量と、基準画像の特徴量と、の傾向が一致するほど、先端アタッチメント２５の種類判別の精度が高くなる。また、基準画像が多く学習量が多いほど、先端アタッチメント２５の種類判別の精度が高くなる。そして、第２コントローラ６２は、判別結果を第１コントローラ６１に出力する。
　具体的には、第２コントローラ６２は、メモリに記憶された基準画像の特徴量のうち、入力画像の特徴量との類似度が最も高い基準画像の特徴量を特定し、特定した基準画像の特徴量に対応付けられた先端アタッチメント２５の種類名を判別結果として第１コントローラ６１に出力すればよい。
　基準画像の特徴量は、複数種類のそれぞれについて、姿勢が異なる複数の先端アタッチメント２５の画像を機械学習することで予め生成されたものである。機械学習としては、例えば、ニューラルネットワーク、クラスタリング、ベイジアンネットワーク、及びサポートベクターマシーン等が採用できる。特徴量としては、輪郭形状の他、例えば、Ｈａａｒ－ＬＩＫＥ特徴量、ピクセル差分特徴量、ＥＯＨ（Ｅｄｇｅ　ｏｆ　Ｈｉｓｔｇｒａｍ）特徴量、及びＨＯＧ（Ｈｉｓｔｇｒａｍ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ）特徴量等が採用できる。
　或いは、第２コントローラ６２は、先端アタッチメント２５の種類名を教師信号とする複数の先端アタッチメント２５の画像を機械学習することで得られたニューラルネットワークをメモリに記憶しておく。そして、第２コントローラ６２は、このニューラルネットワークに第１コントローラ６１から取得した入力画像を入力し、このニューラルネットワークから出力される先端アタッチメント２５の種類名を判別結果として第１コントローラ６１に出力してもよい。
　なお、第１コントローラ６１から複数の検出枠Ｆの画像が入力される態様が採用された場合、第２コントローラ６２は、複数の検出枠Ｆの画像の特徴量のそれぞれとメモリに記憶された複数の基準画像の特徴量のそれぞれとを比較し、多数決により先端アタッチメント２５の種類を判定すればよい。すなわち、第２コントローラ６２は、複数の検出枠Ｆの画像のそれぞれに対する判別結果において、最も多く判別された先端アタッチメント２５の種類を最終的な先端アタッチメント２５の種類として判定すればよい。
　ここで、図１に示すカメラ４０が上部旋回体１３に固定されている場合は、カメラ４０が上部旋回体１３に固定されていない場合に比べ、先端アタッチメント２５に対するカメラ４０の撮影角度が限定される。よって、カメラ４０を上部旋回体１３に固定した場合は、先端アタッチメント２５の種類の判別に必要な基準画像を減らすことができる。これにより、基準画像の収集が容易になる。
　ステップＳ５０では、第１コントローラ６１は、第２コントローラ６２から入力された判別結果をモニタ５０に出力する。この場合、第１コントローラ６１は、判別結果を表示するための表示指令をモニタ５０に出力することで、モニタ５０に判別結果を出力してもよい。ここで、モニタ５０は、例えば、先端アタッチメント２５の種類名を示す文字列を表示してもよいし、先端アタッチメント２５の種類をグラフィカルに示すアイコンを表示してもよいし、文字列とアイコンとの両方を表示してもよい。
　なお、判別結果は、作業機械１０の干渉防止制御に用いられてもよい。具体的には、第１コントローラ６１は、先端アタッチメント２５の判別結果と、ブーム２１角度と、アーム２３角度と、先端アタッチメント２５角度とを用いて、先端アタッチメント２５の先端位置を求める。そして、第１コントローラ６１は、先端位置が作業機械１０の周囲に設定された干渉防止領域に位置すると判定した場合、作業装置２０の動作速度を減速させる又は作業装置２０の動作を停止させるといった干渉防止制御を実行すればよい。
　（距離センサを用いた技術との比較）
　図１に示す先端アタッチメント２５の種類の判別が、距離センサにより検出された距離分布（距離画像、深度分布）に基づいて行われる場合について検討する。この場合、距離センサは、単眼カメラよりもコストが高いという問題がある。また、距離センサは、単眼カメラよりも、埃による影響が大きいという問題がある。一方、本実施形態では、カメラ４０として単眼カメラを使える。カメラ４０が単眼カメラの場合は、これらの問題をなくすことができる。
　また、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）センサなどの距離センサは、画角が狭いため、単眼カメラよりも検知範囲が限られる。そこで、例えば先端アタッチメント２５を地面に接触させた姿勢など、作業装置２０を特定の限られた姿勢にした状態で、距離センサを用いて先端アタッチメント２５周辺の距離分布を計測することが考えられる。しかし、この場合、先端アタッチメント２５の種類を判別する際、作業装置２０を特定の姿勢にする必要があるので、手間がかかる。一方、本実施形態では、先端アタッチメント２５の種類を判別する際、作業装置２０の姿勢を、ほぼ任意の姿勢にできる。よって、本実施形態では、先端アタッチメント２５の種類の判別時の、作業装置２０の姿勢の自由度が高い。さらに詳しくは、本実施形態では、図３のＳ３１でＹＥＳの場合及びＳ３３でＮＯの場合のように先端アタッチメント２５の種類の判別を行わない状態を除いて、任意の作業装置２０の姿勢で、先端アタッチメント２５の種類の判別を行える。なお、先端アタッチメント２５の種類の判別を行わない条件は、様々に設定可能である。
　（効果）
　図１に示す先端アタッチメント判別装置１による効果は次の通りである。
　（第１の発明の効果）
　先端アタッチメント判別装置１は、作業装置２０と、カメラ４０と、作業装置姿勢センサ３０と、コントローラ６０と、を備える。作業装置２０は、作業機械１０の上部旋回体１３に取り付けられる。作業装置２０は、複数種類の先端アタッチメント２５が交換可能に構成される先端部（作業装置２０の先端部）に有する。カメラ４０は、上部旋回体１３に取り付けられ、先端アタッチメント２５の可動範囲内の画像を撮影可能である。作業装置姿勢センサ３０は、作業装置２０の姿勢を検出する。
　［構成１－１］コントローラ６０は、作業装置姿勢センサ３０に検出された作業装置２０の姿勢に基づいて、カメラ４０に撮影された画像に対して先端アタッチメント２５を含む領域に検出枠Ｆ（図４参照）を設定する。以下、検出枠Ｆについては図４が参照される。
　［構成１－２］コントローラ６０は、検出枠Ｆ内の先端アタッチメント２５の画像に基づいて、先端アタッチメント２５の種類を判別する。
　上記［構成１－２］では、コントローラ６０は、先端アタッチメント２５の種類の判別を、画像に基づいて行う。よって、コントローラ６０は、距離分布を用いなくても、先端アタッチメント２５の種類の判別を行える。その結果、カメラ４０が距離分布を取得する必要がある場合に比べ、カメラ４０にかかるコストを低減できる。
　一方、先端アタッチメント２５の種類の判別が、画像に基づいて行われる場合は、距離分布を用いて行われる場合に比べ、距離の情報の分、判別のための情報が少ないと言える。そのため、判別のための情報が少なくても、先端アタッチメント２５の種類の判別の精度を確保することが重要になる。ここで、作業装置２０の姿勢によって、カメラ画像Ｉｍにおける先端アタッチメント２５の映り方（例えば位置、大きさ、形状など）が変わる。
　そこで、上記［構成１－１］では、コントローラ６０は、先端アタッチメント２５を含む検出枠Ｆを、作業装置２０の姿勢に基づいて設定する。よって、コントローラ６０は、先端アタッチメント２５の種類の判別に適した検出枠Ｆを設定できる。例えば、コントローラ６０は、先端アタッチメント２５の全体が含まれ、かつ、先端アタッチメント２５の周囲の背景部分ができるだけ少なくなるように、検出枠Ｆを設定できる。よって、作業装置２０の姿勢に基づいた検出枠Ｆの設定を行わない場合に比べ、先端アタッチメント２５の種類の判別の精度を向上させることができる。したがって、先端アタッチメント判別装置１は、距離分布を用いなくても、精度よく、先端アタッチメント２５の種類の判別を行える。
　（第２の発明の効果）
　［構成２］カメラ４０は、上部旋回体１３に固定される。
　上記［構成２］により、カメラ４０が上部旋回体１３に固定されない場合に比べ、先端アタッチメント２５に対するカメラ４０の撮影角度が限定される。よって、先端アタッチメント２５の種類の判別に必要な情報量を減らすことができる。
　（第３の発明の効果）
　［構成３］コントローラ６０は、作業装置姿勢センサ３０に検出された作業装置２０の姿勢の変化に応じて、検出枠Ｆの設定を逐次変える。
　上記［構成３］により、検出枠Ｆが設定された後、作業装置２０の姿勢が変化しても、コントローラ６０は、先端アタッチメント２５の種類の判別を行える。
　（第４の発明の効果）
　［構成４］コントローラ６０は、作業機械１０の構造の情報に基づいて検出枠Ｆを設定する。
　上記［構成１－１］および［構成４］では、コントローラ６０は、作業装置姿勢センサ３０に検出された作業装置２０の姿勢、および、作業機械１０の構造の情報に基づいて、検出枠Ｆを設定する。よって、コントローラ６０は、作業装置２０の姿勢のみに基づいて検出枠Ｆが設定される場合に比べ、先端アタッチメント２５の種類の判別により適した検出枠Ｆを設定できる。
　（第５の発明の効果）
　［構成５］カメラ４０は、ズーム機能を備える。コントローラ６０は、作業装置姿勢センサ３０に検出された作業装置２０の姿勢に基づいて、先端アタッチメント２５からカメラ４０までの距離を算出し、前記距離が遠くなるほど、カメラ４０のズーム位置を望遠側にする。
　上記［構成５］により、先端アタッチメント２５からカメラ４０までの距離が遠くなっても、カメラ４０のズーム位置を望遠側にすることで、検出枠Ｆ内の先端アタッチメント２５の画像の解像度を上げることができる。よって、先端アタッチメント２５の種類の判別の精度を向上させることができる。
　（第６の発明の効果）
　図６に示すように、コントローラ６０には、作業装置２０の姿勢の条件であって、作業機械１０の接地面Ａに対して作業機械１０が配置されるＺ１側とは反対側のＺ２側に先端アタッチメント２５が配置され得る条件である所定姿勢条件が予め設定される。
　［構成６－１］コントローラ６０は、作業装置姿勢センサ３０に検出された作業装置２０の姿勢が、所定姿勢条件を満たさない場合（図３のステップＳ３１でＮＯの場合）、図６に示す先端アタッチメント２５の種類の判別を行う。
　［構成６－２］コントローラ６０は、作業装置姿勢センサ３０に検出された作業装置２０の姿勢が、所定姿勢条件を満たす場合（図３のステップＳ３１でＹＥＳの場合）、図６に示す先端アタッチメント２５の種類の判別を行わない。
　接地面Ａに対してＺ２側に先端アタッチメント２５が配置され得る場合、先端アタッチメント２５の少なくとも一部が、カメラ４０の死角に入る場合がある。すると、先端アタッチメント２５の種類の判別ができない、または、判別の精度を確保できない場合がある。そこで、先端アタッチメント判別装置１は、上記［構成６－２］を備える。よって、コントローラ６０が先端アタッチメント２５の種類を誤判別することを抑制でき、また、コントローラ６０の無駄な処理をなくすことができる。また、上記［構成６－２］により、先端アタッチメント２５の種類の判別の精度を確保しやすい状態で、先端アタッチメント２５の種類の判別を行うことが可能となる。その結果、先端アタッチメント２５の種類の判別の精度を向上させることができる。
　（第７の発明の効果）
　コントローラ６０は、作業装置姿勢センサ３０により検出された作業装置２０の姿勢に基づいて、先端アタッチメント２５からカメラ４０までの距離に対応する対応距離Ｌを取得する。
　［構成７－１］コントローラ６０は、対応距離Ｌが、予め定められた第１所定距離（所定距離）以下の場合（図３のステップＳ３３でＹＥＳの場合）、図１に示す先端アタッチメント２５の種類の判別を行う。
　［構成７－２］コントローラ６０は、対応距離Ｌが、第１所定距離よりも大きい場合（図３のステップＳ３３でＮＯの場合）、図１に示す先端アタッチメント２５の種類の判別を行わない。
　対応距離Ｌが大きくなり、カメラ４０から先端アタッチメント２５までの距離が遠くなるほど、カメラ画像Ｉｍ（図４参照）において先端アタッチメント２５が小さく映り、先端アタッチメント２５の種類の判別の精度の確保が難しくなる可能性がある。そこで、先端アタッチメント判別装置１は、上記［構成７－２］を備える。よって、コントローラ６０が先端アタッチメント２５の種類を誤判別することを抑制でき、また、コントローラ６０の無駄な処理をなくすことができる。また、上記［構成７－１］により、先端アタッチメント２５の種類の判別の精度を確保した判別しやすい状態で、先端アタッチメント２５の種類を判別することが可能となる。その結果、先端アタッチメント２５の種類の判別の精度を向上させることができる。
　（変形例）
　上記実施形態は様々に変形されてもよい。例えば、図２に示すブロック図の各ブロックどうしの接続は変更されてもよい。例えば、図３に示すフローチャートのステップの順序は変更されてもよい。例えば、図１および図２に示す先端アタッチメント判別装置１の構成要素の数が変更されてもよく、構成要素の一部が設けられなくてもよい。
　先端アタッチメント判別装置１の構成要素の一部が、作業機械１０の外部に設けられてもよい。例えば、図２に示す第２コントローラ６２は、作業機械１０の外部に設けられてもよい。例えば、モニタ５０は設けられなくてもよい。
 

Claims (7)

  1. 　下部走行体と、前記下部走行体の上部に設けられた上部旋回体と、複数種類の先端アタッチメントが交換可能に取り付けられる先端部を有し、前記上部旋回体に取り付けられる作業装置とを備える作業機械の先端アタッチメント判別装置であって、
    　前記上部旋回体に取り付けられ、前記先端アタッチメントの可動範囲内の画像を撮影可能なカメラと、
    　前記作業装置の姿勢を検出する作業装置姿勢センサと、
    　コントローラと、
    　を備え、
    　前記コントローラは、
    　前記作業装置姿勢センサにより検出された前記作業装置の姿勢に基づいて、前記カメラにより撮影された画像に対して前記先端アタッチメントを含む領域に検出枠を設定し、
    　前記検出枠内の前記先端アタッチメントの画像に基づいて、前記先端アタッチメントの種類を判別する、
    　先端アタッチメント判別装置。
  2. 　請求項１に記載の先端アタッチメント判別装置であって、
    　前記カメラは、前記上部旋回体に固定される、
    　先端アタッチメント判別装置。
  3. 　請求項１または２に記載の先端アタッチメント判別装置であって、
    　前記コントローラは、前記作業装置姿勢センサにより検出された前記作業装置の姿勢の変化に応じて、前記検出枠の設定を逐次変える、
    　先端アタッチメント判別装置。
  4. 　請求項１～３のいずれか１項に記載の先端アタッチメント判別装置であって、
    　前記コントローラは、前記作業機械の構造の情報に基づいて前記検出枠を設定する、
    　先端アタッチメント判別装置。
  5. 　請求項１～４のいずれか１項に記載の先端アタッチメント判別装置であって、
    　前記カメラは、ズーム機能を備え、
    　前記コントローラは、
    　前記作業装置姿勢センサに検出された前記作業装置の姿勢に基づいて、前記先端アタッチメントから前記カメラまでの距離を算出し、前記距離が遠くなるほど、前記カメラのズーム位置を望遠側に設定する、
    　先端アタッチメント判別装置。
  6. 　請求項１～５のいずれか１項に記載の先端アタッチメント判別装置であって、
    　前記コントローラには、前記作業機械の接地面に対して前記カメラが配置される側とは反対側に前記先端アタッチメントが配置された姿勢が所定姿勢条件として予め設定され、
    　前記コントローラは、
    　前記作業装置姿勢センサに検出された前記作業装置の姿勢が、前記所定姿勢条件を満たさない場合、前記先端アタッチメントの種類を判別する処理を実行し、
    　前記作業装置姿勢センサに検出された前記作業装置の姿勢が、前記所定姿勢条件を満たす場合、前記先端アタッチメントの種類を判別する処理を実行しない、
    　先端アタッチメント判別装置。
  7. 　請求項１～６のいずれか１項に記載の先端アタッチメント判別装置であって、
    　前記コントローラは、
    　前記作業装置姿勢センサにより検出された前記作業装置の姿勢に基づいて、前記先端アタッチメントから前記カメラまでの距離に対応する対応距離を取得し、
    　前記対応距離が、予め定められた所定距離以下の場合、前記先端アタッチメントの種類を判別する処理を実行し、
    　前記対応距離が、前記所定距離よりも大きい場合、前記先端アタッチメントの種類を判別する処理を実行しない、
    　先端アタッチメント判別装置。
PCT/JP2018/044473 2018-01-19 2018-12-04 先端アタッチメント判別装置 WO2019142523A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/962,118 US20200347579A1 (en) 2018-01-19 2018-12-04 Tip attachment discrimination device
EP18900720.6A EP3723039A4 (en) 2018-01-19 2018-12-04 ADVANCED ACCESSORIES DIFFERENTIATION DEVICE
CN201880086353.4A CN111587448A (zh) 2018-01-19 2018-12-04 远端附属设备辨别装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018007324A JP7114907B2 (ja) 2018-01-19 2018-01-19 先端アタッチメント判別装置
JP2018-007324 2018-01-19

Publications (1)

Publication Number Publication Date
WO2019142523A1 true WO2019142523A1 (ja) 2019-07-25

Family

ID=67301008

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/044473 WO2019142523A1 (ja) 2018-01-19 2018-12-04 先端アタッチメント判別装置

Country Status (5)

Country Link
US (1) US20200347579A1 (ja)
EP (1) EP3723039A4 (ja)
JP (1) JP7114907B2 (ja)
CN (1) CN111587448A (ja)
WO (1) WO2019142523A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2016414417B2 (en) * 2016-07-15 2022-11-24 Cqms Pty Ltd A wear member monitoring system
KR20220102804A (ko) * 2021-01-14 2022-07-21 현대두산인프라코어(주) 건설기계의 제어 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157932A (ja) * 2002-11-08 2004-06-03 Matsushita Electric Ind Co Ltd 物体認識装置および物体認識プログラム
JP2008060988A (ja) * 2006-08-31 2008-03-13 Matsushita Electric Ind Co Ltd 走行環境情報取得装置
JP2017157016A (ja) 2016-03-02 2017-09-07 株式会社神戸製鋼所 アタッチメント認識装置
JP2018005555A (ja) * 2016-07-01 2018-01-11 ソニー株式会社 画像処理装置、情報処理装置、および方法、並びにプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9437005B2 (en) * 2011-07-08 2016-09-06 Canon Kabushiki Kaisha Information processing apparatus and information processing method
CN102642207B (zh) * 2012-04-12 2014-08-06 华北电力大学 核电站作业多功能执行器及其控制方法
US9495615B2 (en) * 2012-09-20 2016-11-15 Volvo Construction Equipment Ab Method for automatically recognizing and setting attachment and device therefor
US20160312432A1 (en) * 2015-04-23 2016-10-27 Caterpillar Inc. Computer Vision Assisted Work Tool Recognition and Installation
JP6013655B2 (ja) * 2015-09-30 2016-10-25 株式会社小松製作所 クローラ式作業機械の周辺監視装置
KR20170048231A (ko) * 2015-09-30 2017-05-08 가부시키가이샤 고마쓰 세이사쿠쇼 촬상 장치의 교정 시스템, 작업 기계 및 촬상 장치의 교정 방법
US10094093B2 (en) * 2015-11-16 2018-10-09 Caterpillar Inc. Machine onboard activity and behavior classification
US10011976B1 (en) * 2017-01-03 2018-07-03 Caterpillar Inc. System and method for work tool recognition
US10519631B2 (en) * 2017-09-22 2019-12-31 Caterpillar Inc. Work tool vision system
CN111148878B (zh) * 2018-01-10 2023-08-04 住友建机株式会社 挖土机及挖土机的管理系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157932A (ja) * 2002-11-08 2004-06-03 Matsushita Electric Ind Co Ltd 物体認識装置および物体認識プログラム
JP2008060988A (ja) * 2006-08-31 2008-03-13 Matsushita Electric Ind Co Ltd 走行環境情報取得装置
JP2017157016A (ja) 2016-03-02 2017-09-07 株式会社神戸製鋼所 アタッチメント認識装置
JP2018005555A (ja) * 2016-07-01 2018-01-11 ソニー株式会社 画像処理装置、情報処理装置、および方法、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3723039A4

Also Published As

Publication number Publication date
JP2019125314A (ja) 2019-07-25
EP3723039A4 (en) 2021-04-21
EP3723039A1 (en) 2020-10-14
CN111587448A (zh) 2020-08-25
JP7114907B2 (ja) 2022-08-09
US20200347579A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
JP5227841B2 (ja) 周囲監視装置
KR20140009148A (ko) 작업 기계의 주변 감시 장치
WO2015182455A1 (ja) 作業機の作動状態検出システム及び作業機
US20170146343A1 (en) Outside Recognition Device
JP2003098424A (ja) 画像処理測距装置
WO2019142523A1 (ja) 先端アタッチメント判別装置
JP7023813B2 (ja) 作業機械
KR20210034070A (ko) 교정 작업 지원 시스템
WO2023025262A1 (zh) 一种挖掘机运行模式切换的控制方法、装置和挖掘机
EP3907336A1 (en) Monitoring device and construction machine
CN110942520A (zh) 作业设备辅助定位方法、装置、系统及存储介质
CN115362297B (zh) 工程机械的周边检测装置
EP3078779A2 (en) Method of displaying a dead zone of a construction machine and apparatus for performing the same
US10565690B2 (en) External interference removal device
JP6802999B2 (ja) 区画線検出システム
CN115457096A (zh) 作业机械的辅助控制方法、装置、系统及作业机械
JP6954145B2 (ja) 先端アタッチメント寸法計測装置
JP7428052B2 (ja) 作業機械の周囲検知装置
US20230340759A1 (en) Work vehicle having controlled transitions between different display modes for a moveable area of interest
US11680387B1 (en) Work vehicle having multi-purpose camera for selective monitoring of an area of interest
US20230279643A1 (en) System and method for maintaining a view of an area of interest proximate a work vehicle
WO2023189216A1 (ja) 作業支援システム
WO2021145304A1 (ja) 画像処理システム
CN116695819A (zh) 具有作业机具和传感器的作业车辆
JP2021156000A (ja) 作業機械

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18900720

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018900720

Country of ref document: EP

Effective date: 20200706

NENP Non-entry into the national phase

Ref country code: DE