WO2019142523A1 - 先端アタッチメント判別装置 - Google Patents

先端アタッチメント判別装置 Download PDF

Info

Publication number
WO2019142523A1
WO2019142523A1 PCT/JP2018/044473 JP2018044473W WO2019142523A1 WO 2019142523 A1 WO2019142523 A1 WO 2019142523A1 JP 2018044473 W JP2018044473 W JP 2018044473W WO 2019142523 A1 WO2019142523 A1 WO 2019142523A1
Authority
WO
WIPO (PCT)
Prior art keywords
tip attachment
camera
controller
posture
tip
Prior art date
Application number
PCT/JP2018/044473
Other languages
English (en)
French (fr)
Inventor
涼太 羽馬
細 幸広
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to US16/962,118 priority Critical patent/US20200347579A1/en
Priority to EP18900720.6A priority patent/EP3723039A4/en
Priority to CN201880086353.4A priority patent/CN111587448A/zh
Publication of WO2019142523A1 publication Critical patent/WO2019142523A1/ja

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/28Small metalwork for digging elements, e.g. teeth scraper bits
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/96Dredgers; Soil-shifting machines mechanically-driven with arrangements for alternate or simultaneous use of different digging elements
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/267Diagnosing or detecting failure of vehicles

Definitions

  • the present invention relates to a tip attachment determination device that determines the type of tip attachment of a working machine.
  • Patent Document 1 describes a technology in which a distance sensor measures a distance distribution including a tip attachment (an attachment in the document) and recognizes the tip attachment based on the distance distribution (see, for example, reference).
  • the type of tip attachment and the like are recognized based on the distance distribution, but a distance sensor is used to measure the distance distribution.
  • the distance sensor may be more expensive than a monocular camera or the like.
  • it is important to secure the accuracy of the determination.
  • an object of the present invention is to provide a tip attachment determination device that can accurately determine the type of tip attachment without using a distance distribution.
  • the tip attachment determination device includes a lower traveling body, an upper swing body provided at an upper portion of the lower running body, and a tip portion to which a plurality of types of tip attachments are exchangeably attached.
  • a tip attachment determination device for a working machine comprising: a work device attached to the upper revolving superstructure; A camera attached to the upper swing body capable of capturing an image within a movable range of the tip attachment; A work device posture sensor that detects a posture of the work device; Controller, Equipped with The controller Based on the posture of the work device detected by the work device posture sensor, a detection frame is set in an area including the tip attachment for an image captured by the camera, The type of the tip attachment is determined based on the image of the tip attachment in the detection frame.
  • the type of tip attachment can be accurately determined without using a distance distribution.
  • FIG. 1 It is the figure which looked at work machine 10 from the side. It is a block diagram of tip attachment distinction device 1 provided in work machine 10 shown in FIG. It is a flowchart of the tip attachment discrimination device 1 shown in FIG. It is an image photographed by the camera 40 shown in FIG. It is an image photographed by the camera 40 shown in FIG. It is the FIG. 1 equivalent view which shows the state which the tip attachment 25 shown in FIG. 1 has entered into the blind spot of the camera 40.
  • the tip attachment determination device 1 shown in FIG. 1 will be described with reference to FIGS.
  • the tip attachment determination device 1 is a device that automatically determines the type of the tip attachment 25 and is provided in the work machine 10.
  • the work machine 10 is configured by a construction machine that performs work such as construction work.
  • a working machine 10 such as a hydraulic shovel, a hybrid shovel, or a crane can be adopted.
  • the work machine 10 includes a lower traveling body 11, an upper swing body 13, a work device 20, a work device posture sensor 30, and a camera 40. Furthermore, the work machine 10 includes a monitor 50 shown in FIG. 2 and a controller 60.
  • the direction of the front of the upper swing body 13 will be referred to as the front, and the direction of the rear surface of the upper swing body 13 as the rear, the front and the rear will be collectively referred to as the front-rear direction.
  • the left side is referred to as the left side
  • the right side is referred to as the right side
  • the left side and the right side are collectively referred to as the left-right direction, as viewed from the rear to the front.
  • the direction orthogonal to each of the front and rear direction and the left and right direction is described as the vertical direction, the upper side in the vertical direction as upper, and the lower side in the vertical direction as lower.
  • the lower traveling body 11 is configured by, for example, a crawler as shown in FIG.
  • the bottom surface 11 b of the lower traveling body 11 (the bottom surface of the work machine 10) is in contact with the ground contact surface A.
  • the upper swing body 13 is provided on the upper side of the lower traveling body 11 and is configured to be pivotable with respect to the lower traveling body 11 around the vertical direction.
  • the upper swing body 13 includes a cab 13 c (driver's cab).
  • the work device 20 is a device that performs work attached to the upper swing body 13.
  • the working device 20 includes a boom 21, an arm 23, and a tip attachment 25.
  • the boom 21 is rotatably attached to the upper swing body 13.
  • the arm 23 is rotatably attached to the boom 21.
  • the tip attachment 25 is provided at the tip of the working device 20.
  • the tip attachment 25 can be replaced with a plurality of types.
  • the types of tip attachments 25 include buckets (example shown in FIG. 1), clamshells, scissors-like devices, hammers, magnets, and the like.
  • the tip attachment 25 is rotatably attached to the arm 23.
  • a reference position of the tip attachment 25 is referred to as a reference position 25b.
  • the reference position 25 b is a position determined regardless of the type of the tip attachment 25.
  • the reference position 25 b is, for example, a proximal end portion of the distal end attachment 25, and is, for example, a rotation axis (a bucket pin or the like) of the distal end attachment 25 with respect to the arm 23.
  • the tip attachment 25 is described as “tip ATT”.
  • the boom 21, the arm 23, and the tip attachment 25 are driven by a boom cylinder (not shown), an arm cylinder (not shown), and an attachment cylinder (not shown
  • the work device posture sensor 30 is a sensor that detects the posture of the work device 20 shown in FIG. 1.
  • the work device attitude sensor 30 includes a boom angle sensor 31, an arm angle sensor 33, and a tip attachment angle sensor 35.
  • the boom angle sensor 31 detects an angle of the boom 21 (boom 21 angle) with respect to the upper swing body 13.
  • the boom angle sensor 31 is configured by, for example, an angle sensor such as an encoder provided at the base end of the boom 21.
  • the boom angle sensor 31 may be configured of, for example, a sensor that detects the amount of expansion and contraction of a boom cylinder that drives the boom 21.
  • the boom angle sensor 31 may convert the extension amount of the boom cylinder into the boom 21 angle and output it to the controller 60.
  • the boom angle sensor 31 may output the detected amount of expansion and contraction to the controller 60, and the controller 60 may convert the amount of expansion and contraction to the boom 21 angle.
  • the configuration for detecting the angle by detecting the amount of expansion and contraction of the cylinder is also applicable to the arm angle sensor 33 and the tip attachment angle sensor 35.
  • the arm angle sensor 33 detects an angle of the arm 23 (arm 23 angle) with respect to the boom 21.
  • the tip attachment angle sensor 35 detects an angle of the tip attachment 25 (tip attachment 25 angle) with respect to the arm 23.
  • the camera 40 (imaging device) is configured to be able to capture an image within the movable range of the tip attachment 25.
  • the camera 40 captures an image of the work device 20 and the periphery thereof. It is preferable that the camera 40 be configured to be capable of capturing the entire range assumed as the movable range of the tip attachment 25.
  • the camera 40 may be attached to the upper swing body 13, for example, attached to the cab 13c (for example, upper left front etc.), and may be attached to a portion of the upper swing body 13 other than the cab 13c, for example.
  • the camera 40 is fixed to the upper swing body 13.
  • the camera 40 may be configured to be movable (e.g., pivotable) with respect to the upper swing body 13.
  • the camera 40 may be configured by, for example, a monocular camera. In order to reduce the cost of the camera 40, the camera 40 is preferably a monocular camera.
  • the camera 40 preferably has, for example, a zoom function such as an optical zoom function. Specifically, it is preferable that the zoom position (focal length) of the camera 40 be continuously variable between the telephoto side and the wide angle side. Note that FIG. 1 shows an example of the angle of view 40 a of the camera 40.
  • the monitor 50 displays various information.
  • the monitor 50 may display an image captured by the camera 40, for example, as shown in FIG.
  • the monitor 50 may display a detection frame F (see FIG. 4). Details of the detection frame F will be described later.
  • the monitor 50 may display the determination result of the type of the tip attachment 25.
  • the controller 60 (control unit) performs input / output of signals (information), calculation (determination, calculation), and the like as shown in FIG.
  • the controller 60 includes a first controller 61 (main control unit) and a second controller 62 (auxiliary control unit).
  • the first controller 61 is constituted by, for example, a computer including a processor such as a CPU and a memory such as a semiconductor memory, and controls the operation of the work machine 10 (see FIG. 1).
  • the first controller 61 performs acquisition, processing, storage, and the like of information related to the work machine 10.
  • the first controller 61 is connected to the work device attitude sensor 30, the camera 40, and the monitor 50.
  • the second controller 62 is constituted by a computer including a processor such as a CPU and a memory such as a semiconductor memory, for example, and determines (specifies) the type of the tip attachment 25 from image information including the tip attachment 25 (see FIG. 4). .
  • the second controller 62 is a recognition unit that executes image recognition by artificial intelligence (AI).
  • AI artificial intelligence
  • the first controller 61 and the second controller 62 may be integrated into one. Also, at least one of the first controller 61 and the second controller 62 may be divided more finely. For example, the first controller 61 and the second controller 62 may be divided into different types of functions.
  • step S11 the camera 40 captures an image including the tip attachment 25.
  • the camera 40 may capture an image including the tip attachment 25 continuously in time.
  • the controller 60 acquires an image (hereinafter referred to as “camera image Im”) captured by the camera 40 as shown in FIG. 4. Examples of the camera image Im captured by the camera 40 are shown in FIGS. 4 and 5.
  • FIG. 5 shows a remote state in which the tip attachment 25 is farther from the camera 40 than in the close state shown in FIG.
  • illustration of parts other than the working machine 10 was abbreviate
  • the work device posture sensor 30 detects the posture of the work device 20. More specifically, the boom angle sensor 31 detects the boom 21 angle, the arm angle sensor 33 detects the arm 23 angle, and the tip attachment angle sensor 35 detects the tip attachment 25 angle. Then, the first controller 61 of the controller 60 acquires posture information of the work device 20 detected by the work device posture sensor 30. The first controller 61 calculates the relative position of the reference position 25b to the upper swing body 13 based on the boom 21 angle and the arm 23 angle. The first controller 61 can calculate the approximate position of the tip attachment 25 based on the position of the reference position 25 b and the tip attachment 25 angle. Details of this calculation will be described later.
  • step S20 the first controller 61 sets a detection frame F on the camera image Im as shown in FIG.
  • the detection frame F is a frame in the camera image Im captured by the camera 40 (see FIG. 1), and is a frame set in a region including the tip attachment 25.
  • the image inside the detection frame F is used to determine the type of the tip attachment 25.
  • the image outside the detection frame F is not used to determine the type of the tip attachment 25.
  • the position, size, and shape of the detection frame F in the camera image Im are set as follows.
  • the detection frame F is set such that the entire outer shape of the tip attachment 25 is included inside the detection frame F.
  • the detection frame F is preferably set so that the background portion in the detection frame F is as small as possible. That is, it is preferable that the detection frame F be set in such a size that the entire outer shape of the tip attachment 25 fits inside the detection frame F, and that the size be as small as possible. For example, it is preferable that the tip attachment 25 be seen at the center of the inside of the detection frame F.
  • the position of the camera image Im and the size and the size of the tip attachment 25 appear depend on the posture of the working device 20. For example, as shown in FIG. 5, as the tip attachment 25 is farther from the camera 40, the tip attachment 25 appears smaller in the camera image Im. For example, as the tip attachment 25 is at a higher position, the tip attachment 25 appears in the upper position in the camera image Im. For example, depending on the angle of the tip attachment 25 with respect to the arm 23, the aspect ratio of the tip attachment 25 in the camera image Im changes.
  • the detection frame F is set based on the posture of the work device 20.
  • the detection frame F is set based on the position of the reference position 25b in the camera image Im.
  • the position of the reference position 25b in the camera image Im is calculated based on the boom 21 angle and the arm 23 angle.
  • the position of the reference position 25b in the camera image Im is acquired based on the position of the reference position 25b with respect to the upper swing body 13 or the camera 40 shown in FIG. 1 determined based on the boom 21 angle and the arm 23 angle.
  • the detection frame F is set based on the tip attachment 25 angle.
  • the reference position 25b is calculated, for example, as follows.
  • the first controller 61 reads out from a memory (not shown) a reference position determination table in which the correspondence relationship between the boom 21 angle and the arm 23 angle and the reference position 25b on the camera image Im is predetermined. Then, the first controller 61 identifies the reference position 25b from the reference position determination table by specifying the reference position 25b corresponding to the boom 31 angle detected by the boom angle sensor 31 and the arm 23 angle detected by the arm angle sensor 33. You just need to get it.
  • the reference position determination table is created in advance by simulation using a specific work machine 10, for example.
  • the working device 20 is photographed by the camera 40 while changing each of the boom 21 angle and the arm 23 angle.
  • the position of the reference position 25b is specified, and a plurality of data sets in which the reference position 25b is associated with the boom 21 angle and the arm 23 angle are generated and stored in the position determination table Be done.
  • the position determination table is created. Note that this work may be performed by a person or may be performed by image processing.
  • the detection frame F is set to the camera image Im as follows.
  • the first controller 61 uses a memory (not shown) for a detection frame determination table in which the correspondence between the boom 21 angle, the arm 23 angle, and the tip attachment 25 angle and detection frame information indicating the size of the detection frame F is predetermined. read out.
  • the detection frame information for example, positioning information indicating the position in the detection frame F with respect to the length of the vertical side and the length of the horizontal side of the detection frame F and the reference position 25b. Etc. are included.
  • the first controller 61 detects detection frame information corresponding to the boom 21 angle detected by the boom angle sensor 31, the arm 23 angle detected by the arm angle sensor 33, and the tip attachment 25 angle detected by the tip attachment angle sensor 35. Identify from the detection frame determination table.
  • the first controller 61 may set the detection frame F indicated by the specified detection frame information to the camera image Im. At this time, the first controller 61 may set the detection frame F so that the reference position 25b is positioned at the position in the detection frame F indicated by the positioning information included in the detection frame information.
  • the detection frame determination table is created in advance by simulation using a specific work machine 10 on which a specific tip attachment 25 such as a bucket or the like is mounted.
  • the working device 20 is photographed by the camera 40 while changing each of the boom 21 angle, the arm 23 angle, and the tip attachment 25 angle.
  • a predetermined area including the tip attachment 25 is extracted for each of the obtained camera images Im, and the extracted area is set as the detection frame F.
  • the detection frame F for example, a rectangular area circumscribing the tip attachment 25 in the camera image Im may be adopted, or a rectangular area slightly larger than the circumscribed square may be adopted.
  • This work may be performed by a person or by image processing.
  • the first controller 61 sets the detection frame F based on the posture of the work device 20. Therefore, the first controller 61 does not have to use an object detection algorithm which is processing for detecting the tip attachment 25 for the entire area of the camera image Im. Therefore, the calculation load of the first controller 61 can be reduced accordingly.
  • the object detection algorithm since it is not necessary to use an object detection algorithm for the entire area of the camera image Im, there is no erroneous recognition of the detection position of the tip attachment 25 which is the target of type discrimination. For example, it is assumed that the distal end attachment 25 different from the distal end attachment 25 attached to the arm 23 is located within the angle of view of the camera 40 and is reflected in the camera image Im.
  • the present embodiment can prevent the other tip attachment 25 from being a target of type discrimination.
  • the detection frame F is set based not only on the detection value of the work device posture sensor 30 but also on structure information indicating the structure of the work machine 10.
  • This structural information is, for example, included in the main specifications of the work machine 10.
  • This structure information may be preset (stored) in the first controller 61, for example, or may be acquired by some means.
  • the structure information includes, for example, information on the upper swing body 13, information on the boom 21, and information on the arm 23.
  • This structural information includes, for example, the sizes (sizes) and relative positions of the upper swing body 13, the boom 21, and the arm 23, respectively.
  • the structural information includes the position of the camera 40 with respect to the upper swing body 13.
  • the controller 60 can calculate the posture of the work device 20 more accurately by using not only the detection value of the work device posture sensor 30 but also the structure information of the work machine 10, and can calculate the reference position 25b more accurately, for example .
  • the background portion in the detection frame F can be further reduced, and the accuracy of the type determination of the tip attachment 25 can be improved.
  • the first controller 61 can perform processing as in the following [Example A1] or [Example A2].
  • the rough detection frame F is set based on the posture of the work device 20 without using the structure information of the work machine 10. Thereafter, the detection frame F may be corrected based on the structure information of the work machine 10.
  • the first controller 61 first determines the size of the detection frame F with reference to the detection frame determination table described above. Next, the first controller 61 calculates the ratio between the weight information of the specific work machine 10 used when creating the detection frame determination table and the weight information included in its own structure information, and determines the detection frame. The size of the detection frame F may be corrected by multiplying the size of the detection frame F specified from the table by the ratio.
  • weight information is information which shows the magnitude
  • the detection frame F may be set from the beginning based on the structure information of the work machine 10 and the posture of the work device 20 without performing the correction as in the above [Example A1].
  • the shape of the detection frame F is a rectangle in the example shown in FIG. 4, but it may be a polygon other than a quadrangle, a circle, an ellipse, or a shape close to these.
  • the first controller 61 controls the length of the boom 21 and the length of the arm 23 included in the structure information, and the arm 21 detected by the boom angle sensor 31 and the arm 23 detected by the arm angle sensor 33.
  • the reference position 25b in the three-dimensional coordinate system of the work machine 10 is calculated using the angle.
  • the first controller 61 projects the reference position 25b in the three-dimensional coordinate system on the photographing surface of the camera 40 to calculate the reference position 25b on the camera image Im.
  • the first controller 61 may set the detection frame F to the camera image Im using the above-described detection frame determination table.
  • the controller 60 may correct the size of the detection frame F as shown in the example A1.
  • the detection frame F can be set so as to include the tip attachment 25.
  • the first controller 61 sequentially changes the setting of the detection frame F according to the change of the posture of the work device 20. Specifically, for example, the detection frame F is changed as follows. When the position of the reference position 25b in the camera image Im changes, the first controller 61 changes the position of the detection frame F according to the position after the change of the reference position 25b. When the reference position 25 b moves away from the camera 40 and the tip attachment 25 shown in the camera image Im becomes smaller, the first controller 61 reduces the detection frame F. Similarly, the controller 60 enlarges the detection frame F when the reference position 25 b approaches the camera 40 and the tip attachment 25 reflected in the camera image Im becomes large.
  • the first controller 61 changes the aspect ratio of the detection frame F when it is assumed that the angle of the tip attachment 25 with respect to the arm 23 changes and the aspect ratio of the tip attachment 25 shown in the camera image Im changes.
  • a rectangular area circumscribing the tip attachment 25 appearing in the camera image Im or a rectangular area slightly larger than the circumscribed square is set as the detection frame F. . Therefore, if the detection frame F is set using the detection frame determination table, the size of the detection frame F is set smaller as the reference position 25b moves away from the camera 40, and the size of the detection frame F as the reference position 25b approaches the camera 40. Is enlarged.
  • the first controller 61 determines whether or not the position of the tip attachment 25 can be a blind spot of the camera 40.
  • the tip attachment 25 may enter a blind spot of the camera 40 at the time of excavating work of the work machine 10 or the like.
  • the first controller 61 stores information in which a predetermined posture condition is preset in the memory.
  • the predetermined posture condition is a condition of the posture of the working device 20, and is a condition under which the position of the tip attachment 25 can be a blind spot of the camera 40.
  • at least a part of the tip attachment 25 may be disposed on the Z2 side opposite to the Z1 side where the camera 40 is disposed with respect to the ground plane A of the work machine 10.
  • the ground plane A is a virtual plane parallel to the bottom surface 11 b and including the bottom surface 11 b. When the ground contact surface A is a horizontal surface, the “Z2 side” is lower than the ground contact surface A.
  • the type of the tip attachment 25 is unknown, and the structure (size, shape, etc.) of the tip attachment 25 is unknown. Therefore, even if the posture of the working device 20 is known, it is unclear whether the tip attachment 25 is actually disposed closer to the Z2 side than the ground plane A. Therefore, for example, the posture of the working device 20 is set such that the largest tip attachment 25 of the tip attachments 25 assumed to be provided to the working device 20 is disposed on the Z2 side with respect to the ground plane A. It may be a condition.
  • the predetermined posture condition may be set based on the distance from the ground plane A to the reference position 25b.
  • the first controller 61 detects each of the boom angle sensor 31, the arm angle sensor 33, and the tip attachment angle sensor 35. The position of the tip of the tip attachment 25 is determined from the boom 21 angle, the arm 23 angle, and the tip attachment 25 angle. Then, when the vertical distance between the position of the tip of the tip attachment 25 and the reference position 25b is larger than the distance from the reference position 25b to the ground plane A, the first controller 61 satisfies the predetermined posture condition. It may be determined that
  • step S31 when the posture of the work device 20 detected by the work device posture sensor 30 does not satisfy the predetermined posture condition (NO in step S31), processing is performed to determine the type of the tip attachment 25.
  • the process proceeds to step S33.
  • the first controller 61 when the attitude of the working device 20 satisfies the predetermined attitude condition (YES in S31), the first controller 61 does not determine the type of the tip attachment 25. In this case, the current flow is ended and, for example, the process returns to "start".
  • the tip attachment 25 is disposed at a position where the camera 40 can become a blind spot, the type of the tip attachment 25 is not determined, so erroneous determination can be eliminated and unnecessary processing is eliminated. be able to.
  • the posture information of the working device 20 is acquired (S13), and the determination of step S31 is performed.
  • the posture information of the working device 20 is acquired in a state in which the image information of the camera 40 is not acquired, that is, in a state in which the processing of S11 is not performed (S13).
  • the determination of S31 may be performed. The same applies to the determination in step S33 and step S35. This is because the processes of steps S31, S33, and S35 do not require the camera image Im.
  • step S31 when the posture of the work device 20 satisfies the predetermined posture condition (YES in step S31), the current flow may be ended.
  • NO at step S33 the process of step S11 for acquiring the image information of the camera 40 can be omitted.
  • the process of step S11 may be provided between step S35 and step S37.
  • step S33 the first controller 61 determines the corresponding distance L corresponding to the distance from the camera 40 to the tip attachment 25. If the corresponding distance L is too long, the tip attachment 25 appears small in the camera image Im shown in FIG. 5, and even if the image of the tip attachment 25 is enlarged, it becomes unclear and the accuracy of discrimination of the type of the tip attachment 25 can not be ensured. There is a case. Therefore, it is determined whether the corresponding distance L shown in FIG. 1 is a size that can ensure the accuracy of the determination. More specifically, the first controller 61 obtains a corresponding distance L corresponding to the distance from the tip attachment 25 to the camera 40 based on the posture of the work device 20 detected by the work device posture sensor 30.
  • the corresponding distance L corresponding to the actual distance from the camera 40 to the tip attachment 25 is used.
  • the corresponding distance L is the distance in the front-rear direction from the camera 40 to the reference position 25b.
  • the corresponding distance L may be, for example, a distance in the front-rear direction between the largest tip attachment 25 of the tip attachments 25 assumed to be provided to the working device 20 and the camera 40. The same applies to step S35.
  • the process proceeds to step S35 in order to determine the type of the tip attachment 25.
  • the value of the first predetermined distance is preset in the first controller 61.
  • the first predetermined distance is set in accordance with whether or not the determination accuracy of the tip attachment 25 can be ensured.
  • the first predetermined distance is set in accordance with the performance of the camera 40, the determination ability of the second controller 62, and the like. The same applies to the second predetermined distance used in step S35.
  • the first predetermined distance is 5 m in the example shown in FIG. 3, but can be set variously.
  • the first controller 61 When the corresponding distance L is larger than the first predetermined distance (NO in step S33), the first controller 61 does not determine the type of the tip attachment 25. In this case, the current flow is ended and, for example, the process returns to "start".
  • the corresponding distance L corresponding to the distance from the camera 40 to the distal end attachment 25 is large and there is a possibility that the accuracy of the determination of the type of the distal end attachment 25 can not be secured, the determination of the type of the distal end attachment 25 I can not do it. Therefore, erroneous determination can be eliminated, and unnecessary processing can be eliminated.
  • step S35 the first controller 61 determines, based on the corresponding distance L, whether or not the zoom position of the camera 40 is to be on the telephoto side rather than the wide-angle side. If the corresponding distance L is equal to or greater than the second predetermined distance (YES in step S35), the process proceeds to step S37.
  • the value of the second predetermined distance is preset in the controller 60.
  • the second predetermined distance is smaller than the first predetermined distance.
  • the second predetermined distance is 3 m in the example shown in FIG. 3, but can be set variously.
  • the zoom position of the camera 40 is set to the widest angle side, and the process proceeds to step S40. Note that which distance is to be the corresponding distance L can be set variously. For example, the corresponding distance L used in the determination of step S33 and the corresponding distance L used in the determination of step S35 may be the same or different.
  • step S37 the first controller 61 sets the zoom position of the camera 40 to a position closer to the telephoto side than to the wide angle side. As the corresponding distance L is farther, the zoom position of the camera 40 is set to the telephoto side, and the image including the detection frame F is enlarged.
  • This control is performed when the corresponding distance L is equal to or less than the first predetermined value (YES in S33) (for example, 5 m or less) and equal to or more than the second predetermined value (YES in S35) (for example, 3 m or more) .
  • the zoom position of the camera 40 By setting the zoom position of the camera 40 to the telephoto side, the image of the tip attachment 25 becomes clearer than when the image of the tip attachment 25 is stretched and enlarged as it is, and the accuracy of determination of the type of the tip attachment 25 is improved. Can.
  • the first controller 61 may change the size of the detection frame F according to the telephoto ratio.
  • the first controller 61 reads out from the memory a table in which the correspondence between the telephoto ratio and the enlargement ratio of the detection frame F according to the telephoto ratio is defined in advance from the memory, and refers to the table according to the telephoto ratio.
  • the enlargement ratio of the detection frame F may be specified, and the detection frame F set in step S20 may be enlarged at the specified enlargement ratio.
  • the enlargement ratio of the detection frame F is stored so that the size of the detection frame F is enlarged to such a size that the entire area of the image of the tip attachment is included in the camera image Im captured by telephoto. It is done.
  • step S40 the second controller 62 of the controller 60 determines the type of the tip attachment 25. This determination is performed based on the image of the tip attachment 25 in the detection frame F. This determination is performed by comparing the feature amount of the tip attachment 25 acquired from the image of the tip attachment 25 in the detection frame F with the feature amount set in advance in the second controller 62.
  • the feature amount used for the determination is, for example, the shape (outer shape) of the outline of the tip attachment 25.
  • the first controller 61 shown in FIG. 2 cuts out an image within the detection frame F (see FIG. 4) from the camera image Im under an arbitrary condition and timing. That is, the first controller 61 removes the area other than the detection frame F from the camera image Im.
  • the number of images in the detection frame F to be cut out may be one or more.
  • the first controller 61 may cut out the plurality of detection frames F by cutting out the detection frames F from each of the plurality of camera images Im continuous in time series.
  • the first controller 61 outputs the clipped image to the second controller 62.
  • the feature amount of the reference image serving as a reference for determining the type of the tip attachment 25 is stored in advance in association with the type name of the tip attachment 25.
  • the reference image includes images of various postures of various types of tip attachments 25.
  • the second controller 62 acquires an image within the detection frame F input from the first controller 61 as an input image, and calculates a feature amount from the input image.
  • the feature amount for example, the contour shape of the image in the detection frame F can be adopted.
  • the second controller 62 extracts the contour shape of the image in the detection frame F, for example, by applying a predetermined edge detection filter to the acquired input image, and calculates the contour shape as a feature amount. Good.
  • the second controller 62 determines the type of the tip attachment 25 by comparing the feature amount of the input image and the feature amount of the reference image. As the tendency of the feature amount of the input image and the feature amount of the reference image is matched, the accuracy of the type determination of the tip attachment 25 becomes higher. In addition, as the number of reference images is large and the amount of learning is large, the accuracy of type determination of the tip attachment 25 is high. Then, the second controller 62 outputs the determination result to the first controller 61.
  • the second controller 62 specifies the feature amount of the reference image having the highest similarity with the feature amount of the input image among the feature amounts of the reference image stored in the memory, and The type name of the tip attachment 25 associated with the feature amount may be output to the first controller 61 as the determination result.
  • the feature amount of the reference image is generated in advance by machine learning the images of the plurality of tip attachments 25 having different postures for each of the plurality of types.
  • machine learning for example, neural networks, clustering, Bayesian networks, and support vector machines can be employed.
  • feature amount for example, Haar-LIKE feature amount, pixel difference feature amount, EOH (Edge of Histgram) feature amount, and HOG (Histgram of Oriented Gradients) feature amount etc. can be adopted as the feature amount.
  • the second controller 62 stores, in the memory, a neural network obtained by machine learning the images of the plurality of tip attachments 25 having the type name of the tip attachment 25 as a teacher signal. Then, the second controller 62 inputs the input image acquired from the first controller 61 to the neural network, and outputs the type name of the tip attachment 25 output from the neural network to the first controller 61 as a discrimination result. It is also good.
  • the second controller 62 stores the plurality of feature amounts of the images of the plurality of detection frames F and the plurality stored in the memory.
  • the type of the tip attachment 25 may be determined by majority comparison with each of the feature amounts of the reference image. That is, the second controller 62 may determine the type of the tip attachment 25 most frequently determined as the final type of the tip attachment 25 in the determination results for each of the images of the plurality of detection frames F.
  • the imaging angle of the camera 40 with respect to the tip attachment 25 is limited as compared with the case where the camera 40 is not fixed to the upper swing body 13. Ru. Therefore, when the camera 40 is fixed to the upper swinging body 13, it is possible to reduce the reference image required to determine the type of the tip attachment 25. This facilitates the collection of reference images.
  • step S50 the first controller 61 outputs the determination result input from the second controller 62 to the monitor 50.
  • the first controller 61 may output the determination result to the monitor 50 by outputting a display command for displaying the determination result to the monitor 50.
  • the monitor 50 may display, for example, a character string indicating the type name of the tip attachment 25 or may display an icon indicating the type of the tip attachment 25 graphically, and a character string and an icon Both may be displayed.
  • the determination result may be used for the interference prevention control of the work machine 10.
  • the first controller 61 obtains the tip position of the tip attachment 25 using the determination result of the tip attachment 25, the boom 21 angle, the arm 23 angle, and the tip attachment 25 angle.
  • the operation speed of the work device 20 is reduced or the operation of the work device 20 is stopped. It is sufficient to execute prevention control.
  • a distance sensor such as a TOF (Time Of Flight) sensor has a narrow angle of view, and thus has a narrower detection range than a monocular camera. Therefore, it is conceivable to measure the distance distribution around the tip attachment 25 using a distance sensor in a state in which the working device 20 is in a specific limited attitude, such as the attitude in which the tip attachment 25 is in contact with the ground.
  • a specific limited attitude such as the attitude in which the tip attachment 25 is in contact with the ground.
  • the type of the tip attachment 25 is determined, it is necessary to set the working device 20 in a specific posture, which takes time and effort.
  • the posture of the working device 20 can be made almost arbitrary.
  • the degree of freedom of the posture of the working device 20 at the time of determining the type of the tip attachment 25 is high. More specifically, in the present embodiment, the posture of the working device 20 is arbitrary except that the type of the tip attachment 25 is not determined as in the case of YES in S31 and NO in S33 of FIG. The type of the tip attachment 25 can be determined. The conditions under which the type of the tip attachment 25 is not determined can be set variously.
  • the tip attachment determination device 1 includes a work device 20, a camera 40, a work device posture sensor 30, and a controller 60.
  • the work device 20 is attached to the upper swing body 13 of the work machine 10.
  • the work device 20 has a plurality of types of tip attachments 25 at the tip portion (tip portion of the work device 20) configured to be replaceable.
  • the camera 40 is attached to the upper swing body 13 and can capture an image within the movable range of the tip attachment 25.
  • the work device posture sensor 30 detects the posture of the work device 20.
  • the controller 60 detects a detection frame F in an area including the tip attachment 25 with respect to the image captured by the camera 40 based on the attitude of the work device 20 detected by the work device attitude sensor 30 (see FIG. Set 4).
  • FIG. 4 is referred for the detection frame F.
  • the controller 60 determines the type of the tip attachment 25 based on the image of the tip attachment 25 in the detection frame F.
  • the controller 60 determines the type of the tip attachment 25 based on an image. Therefore, the controller 60 can determine the type of the tip attachment 25 without using the distance distribution. As a result, the cost of the camera 40 can be reduced as compared to the case where the camera 40 needs to acquire the distance distribution.
  • the type of the tip attachment 25 is determined based on an image, it can be said that there is less information for determination by the distance information than in the case where it is performed using the distance distribution. Therefore, it is important to secure the accuracy of discrimination of the type of the tip attachment 25 even if the information for discrimination is small.
  • the manner in which the tip attachment 25 in the camera image Im appears changes.
  • the controller 60 sets the detection frame F including the tip attachment 25 based on the posture of the work device 20. Therefore, the controller 60 can set the detection frame F suitable for determining the type of the tip attachment 25. For example, the controller 60 can set the detection frame F so that the entire tip attachment 25 is included and the background portion around the tip attachment 25 is as small as possible. Therefore, compared with the case where the setting of the detection frame F based on the attitude
  • the imaging angle of the camera 40 with respect to the tip attachment 25 is limited as compared with the case where the camera 40 is not fixed to the upper swing body 13. Therefore, the amount of information required to determine the type of the tip attachment 25 can be reduced.
  • the controller 60 sequentially changes the setting of the detection frame F in accordance with the change in the posture of the work device 20 detected by the work device posture sensor 30.
  • the controller 60 can determine the type of the tip attachment 25 even if the posture of the working device 20 changes.
  • the controller 60 sets the detection frame F based on the information of the structure of the work machine 10.
  • the controller 60 detects the detection frame F based on the posture of the work device 20 detected by the work device posture sensor 30 and the information of the structure of the work machine 10 Set Therefore, the controller 60 can set the detection frame F suitable for determining the type of the tip attachment 25 as compared to the case where the detection frame F is set based on only the posture of the work device 20.
  • the camera 40 has a zoom function.
  • the controller 60 calculates the distance from the tip attachment 25 to the camera 40 based on the posture of the work device 20 detected by the work device posture sensor 30, and the zoom position of the camera 40 is set to the telephoto side as the distance increases. Do.
  • the resolution of the image of the tip attachment 25 in the detection frame F is increased by setting the zoom position of the camera 40 to the telephoto side even if the distance from the tip attachment 25 to the camera 40 increases. Can. Therefore, the accuracy of determination of the type of the tip attachment 25 can be improved.
  • the controller 60 is a condition of the posture of the work device 20, and is on the Z2 side opposite to the Z1 side where the work machine 10 is disposed with respect to the ground plane A of the work machine 10.
  • a predetermined posture condition that is a condition under which the tip attachment 25 can be arranged is set in advance.
  • the controller 60 controls the tip attachment shown in FIG. 6 when the posture of the work device 20 detected by the work device posture sensor 30 satisfies the predetermined posture condition (YES in step S31 of FIG. 3). Do not determine the 25 types.
  • the tip attachment determination device 1 includes the above [Configuration 6-2]. Therefore, it can suppress that the controller 60 misjudges the kind of front-end
  • the controller 60 acquires the corresponding distance L corresponding to the distance from the tip attachment 25 to the camera 40 based on the posture of the working device 20 detected by the working device posture sensor 30.
  • the tip attachment determination device 1 includes the above [Configuration 7-2]. Therefore, it can suppress that the controller 60 misjudges the kind of front-end
  • the tip attachment determination device 1 may be provided outside the work machine 10.
  • the second controller 62 shown in FIG. 2 may be provided outside the work machine 10.
  • the monitor 50 may not be provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Shovels (AREA)
  • Image Analysis (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Manipulator (AREA)

Abstract

作業装置20は、複数種類に交換可能な先端アタッチメント25を先端部に有する。カメラ40は、先端アタッチメント25の可動範囲内の画像を撮影可能である。作業装置姿勢センサ30は、作業装置20の姿勢を検出する。コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢に基づいて、カメラ40に撮影された画像内の先端アタッチメント25を含む範囲の枠である検出枠(F)を設定する。コントローラ60は、検出枠(F)内の先端アタッチメント25の画像に基づいて、先端アタッチメント25の種類を判別する。

Description

先端アタッチメント判別装置
 本発明は、作業機械の先端アタッチメントの種類を判別する先端アタッチメント判別装置に関する。
 例えば特許文献1に、先端アタッチメント(同文献におけるアタッチメント)を含む距離分布を距離センサが計測し、距離分布に基づいて先端アタッチメントを認識する技術が記載されている(同文献の請求項1などを参照)。
 同文献に記載の技術では、距離分布に基づいて先端アタッチメントの種類などが認識されているが、距離分布を計測するために、距離センサが用いられている。しかし、距離センサは、単眼カメラなどに比べ、コストが高い場合がある。また、先端アタッチメントの種類の判別を行う際、判別の精度を確保することが重要である。
特開2017-157016号公報
 そこで、本発明は、距離分布を用いなくても、精度よく、先端アタッチメントの種類を判別できる、先端アタッチメント判別装置を提供することを目的とする。
 本開示の一態様における先端アタッチメント判別装置は、下部走行体と、前記下部走行体の上部に設けられた上部旋回体と、複数種類の先端アタッチメントが交換可能に取り付けられる先端部を有し、前記上部旋回体に取り付けられる作業装置とを備える作業機械の先端アタッチメント判別装置であって、
 前記上部旋回体に取り付けられ、前記先端アタッチメントの可動範囲内の画像を撮影可能なカメラと、
 前記作業装置の姿勢を検出する作業装置姿勢センサと、
 コントローラと、
 を備え、
 前記コントローラは、
 前記作業装置姿勢センサにより検出された前記作業装置の姿勢に基づいて、前記カメラにより撮影された画像に対して前記先端アタッチメントを含む領域に検出枠を設定し、
 前記検出枠内の前記先端アタッチメントの画像に基づいて、前記先端アタッチメントの種類を判別する。
 上記構成により、距離分布を用いなくても、精度よく、先端アタッチメントの種類を判別できる。
作業機械10を横から見た図である。 図1に示す作業機械10に設けられる先端アタッチメント判別装置1のブロック図である。 図2に示す先端アタッチメント判別装置1のフローチャートである。 図1に示すカメラ40に撮影された画像である。 図1に示すカメラ40に撮影された画像である。 図1に示す先端アタッチメント25がカメラ40の死角に入っている状態を示す図1相当図である。
 図1~図6を参照して、図1に示す先端アタッチメント判別装置1について説明する。
 先端アタッチメント判別装置1は、先端アタッチメント25の種類を自動的に判別する装置であり、作業機械10に設けられる。作業機械10は、建設作業などの作業を行う建設機械で構成される。建設機械としては、例えば、油圧ショベル、ハイブリッドショベル、クレーン等の作業機械10が採用できる。作業機械10は、下部走行体11と、上部旋回体13と、作業装置20と、作業装置姿勢センサ30と、カメラ40とを備える。さらに、作業機械10は、図2に示すモニタ50と、コントローラ60とを備える。なお、本明細書において、上部旋回体13の正面の方向を前方、上部旋回体13の後面の方向を後方、前方及び後方を総称して前後方向と記述する。また、後方から前方に見て左側を左方、右側を右方、左方及び右方を総称して左右方向と記述する。また、前後方向及び左右方向のそれぞれに直行する方向を上下方向、上下方向の上側を上方、上下方向の下側を下方と記述する。
 下部走行体11は、図1に示すように、例えば、クローラで構成され、作業機械10を走行させる。下部走行体11の底面11b(作業機械10の底面)は、接地面Aに接する。上部旋回体13は、下部走行体11の上側に設けられ、下部走行体11に対して上下方向を中心に旋回可能に構成されている。上部旋回体13は、キャブ13c(運転室)を備える。
 作業装置20は、上部旋回体13に取り付けられた作業を行う装置である。作業装置20は、ブーム21と、アーム23と、先端アタッチメント25と、を備える。ブーム21は、上部旋回体13に対して回転可能に取り付けられる。アーム23は、ブーム21に回転可能に取り付けられる。
 先端アタッチメント25は、作業装置20の先端部に設けられる。先端アタッチメント25は、複数種類に交換可能である。先端アタッチメント25の種類には、バケット(図1に示す例)、クラムシェル、ハサミ状の装置、ハンマ、マグネットなどがある。先端アタッチメント25は、アーム23に回転可能に取り付けられる。先端アタッチメント25の基準となる位置を、基準位置25bとする。基準位置25bは、先端アタッチメント25の種類によらず決まる位置である。基準位置25bは、例えば、先端アタッチメント25の基端部であり、例えば、アーム23に対する先端アタッチメント25の回転軸(バケットピンなど)である。なお、図2および図3では、先端アタッチメント25を「先端ATT」と記載した。ブーム21、アーム23、及び先端アタッチメント25は、それぞれ、ブームシリンダ(図略)、アームシリンダ(図略)、及びアタッチメントシリンダ(図略)によって駆動される。
 作業装置姿勢センサ30は、図1に示す作業装置20の姿勢を検出するセンサである。作業装置姿勢センサ30は、ブーム角度センサ31と、アーム角度センサ33と、先端アタッチメント角度センサ35と、を備える。ブーム角度センサ31は、上部旋回体13に対するブーム21の角度(ブーム21角度)を検出する。ブーム角度センサ31は、例えば、ブーム21の基端部に設けられた、エンコーダ等の角度センサで構成される。
 ここで、ブーム角度センサ31は、例えば、ブーム21を駆動させるブームシリンダの伸縮量を検出するセンサで構成されてもよい。この場合、ブーム角度センサ31は、ブームシリンダの伸縮量を、ブーム21角度に変換して、コントローラ60に出力すればよい。或いは、ブーム角度センサ31は、検出した伸縮量をコントローラ60に出力し、コントローラ60が伸縮量をブーム21角度に変換してもよい。シリンダの伸縮量を検出することで角度を検出する構成は、アーム角度センサ33および先端アタッチメント角度センサ35についても適用可能である。アーム角度センサ33は、ブーム21に対するアーム23の角度(アーム23角度)を検出する。先端アタッチメント角度センサ35は、アーム23に対する先端アタッチメント25の角度(先端アタッチメント25角度)を検出する。
 カメラ40(撮像装置)は、先端アタッチメント25の可動範囲内の画像を撮影可能に構成されている。カメラ40は、作業装置20およびその周囲の画像を撮影する。カメラ40は、先端アタッチメント25の可動範囲として想定される全範囲を撮影可能に構成されていることが好ましい。カメラ40は、上部旋回体13に取り付けられ、例えば、キャブ13c(例えば左前上部など)に取り付けられ、例えば、上部旋回体13のうちキャブ13c以外の部分に取り付けられてもよい。カメラ40は、上部旋回体13に対して固定される。カメラ40は、上部旋回体13に対して移動(例えば回動)可能に構成されてもよい。カメラ40は、例えば単眼カメラで構成されてもよい。カメラ40のコストを低くするために、カメラ40は単眼カメラであることが好ましい。カメラ40は、例えば、光学ズーム機能等のズーム機能を有することが好ましい。具体的には、カメラ40のズーム位置(焦点距離)が、望遠側と広角側との間で連続的に可変であることが好ましい。なお、図1に、カメラ40の画角40aの一例を示す。
 モニタ50は、各種情報を表示する。モニタ50は、カメラ40に撮影された、例えば、図4に示されるような画像を表示してもよい。モニタ50は、検出枠F(図4参照)を表示してもよい。検出枠Fの詳細は後述する。モニタ50は、先端アタッチメント25の種類の判別結果を表示してもよい。
 コントローラ60(制御部)は、図2に示すように、信号(情報)の入出力、および演算(判定、算出)などを行う。コントローラ60は、第1コントローラ61(主制御部)と、第2コントローラ62(補助制御部)と、を備える。第1コントローラ61は、例えば、CPU等のプロセッサおよび半導体メモリ等のメモリを含むコンピュータで構成され、作業機械10(図1参照)の作動の制御などを行う。第1コントローラ61は、作業機械10に関する情報の取得、処理、および記憶などを行う。第1コントローラ61には、作業装置姿勢センサ30、カメラ40、およびモニタ50が接続される。第2コントローラ62は、例えば、CPU等のプロセッサおよび半導体メモリ等のメモリを含むコンピュータで構成され、先端アタッチメント25(図4参照)を含む画像情報から、先端アタッチメント25の種類を判別(特定)する。第2コントローラ62は、AI(Artificial Intelligence)による画像認識を実行する、認識手段である。なお、第1コントローラ61と第2コントローラ62とは、一つに統合されていてもよい。また、第1コントローラ61および第2コントローラ62の少なくともいずれかが、より細かく分けられてもよい。例えば、第1コントローラ61および第2コントローラ62は、異なる種類の機能別に分けられていてもよい。
 (作動)
 図3に示すフローチャートを参照して、先端アタッチメント判別装置1の作動(主にコントローラ60の作動)を説明する。なお、以下では、先端アタッチメント判別装置1の各構成要素(カメラ40、コントローラ60など)については主に図1を参照し、フローチャートの各ステップについては図3を参照して説明する。
 ステップS11では、カメラ40は、先端アタッチメント25を含む画像を撮影する。ここで、カメラ40は、時間的に連続して先端アタッチメント25を含む画像を撮影すればよい。コントローラ60は、図4に示すようなカメラ40に撮影された画像(以下、「カメラ画像Im」という)を取得する。カメラ40が撮影したカメラ画像Imの例を、図4および図5に示す。図5では、図4に示す近接状態に比べ、先端アタッチメント25がカメラ40から遠ざかった遠隔状態を示す。なお、図4および図5では、作業機械10以外の部分の図示を省略した。
 ステップS13では、作業装置姿勢センサ30が、作業装置20の姿勢を検出する。さらに詳しくは、ブーム角度センサ31は、ブーム21角度を検出し、アーム角度センサ33は、アーム23角度を検出し、先端アタッチメント角度センサ35は、先端アタッチメント25角度を検出する。そして、コントローラ60の第1コントローラ61は、作業装置姿勢センサ30により検出された作業装置20の姿勢情報を取得する。第1コントローラ61は、ブーム21角度とアーム23角度とに基づいて、上部旋回体13に対する基準位置25bの相対位置を算出する。第1コントローラ61は、基準位置25bの位置と先端アタッチメント25角度とに基づいて、先端アタッチメント25のおおよその位置を算出できる。この算出の詳細については後述する。
 ステップS20では、第1コントローラ61は、図4に示すようにカメラ画像Imに対して検出枠Fを設定する。検出枠Fは、カメラ40(図1参照)に撮影されたカメラ画像Im内の枠であって、先端アタッチメント25を含む領域に設定された枠である。検出枠Fの内側の画像は、先端アタッチメント25の種類の判別に用いられる。検出枠Fの外側の画像は、先端アタッチメント25の種類の判別には用いられない。
 (検出枠Fの設定)
 カメラ画像Imにおける検出枠Fの位置、大きさ、および形状などは、次のように設定される。検出枠Fは、先端アタッチメント25の外形全体が検出枠Fの内側に含まれるように設定される。
 カメラ画像Imにおける、先端アタッチメント25の外形よりも外側の背景部分は、先端アタッチメント25の判別時において、余計な情報、すなわち、ノイズとなる。そのため、検出枠Fは、検出枠F内の背景部分ができるだけ少なくなるように設定されることが好ましい。すなわち、検出枠Fは、先端アタッチメント25の外形全体が検出枠Fの内側に収まり、且つ、可能な限り小さなサイズで設定されることが好ましい。例えば、先端アタッチメント25が、検出枠F内部の中央部に映ることが好ましい。
 (作業装置20の姿勢に基づく検出枠Fの設定)
 カメラ画像Imのどの位置に、どのような大きさで、先端アタッチメント25が映るかは、作業装置20の姿勢によって変わる。例えば、図5に示すようにカメラ40に対して先端アタッチメント25が遠いほど、先端アタッチメント25がカメラ画像Imにおいて小さく映る。例えば、先端アタッチメント25が高い位置にあるほど、先端アタッチメント25が、カメラ画像Imにおいて上側の位置に映る。例えば、アーム23に対する先端アタッチメント25の角度によって、カメラ画像Imにおける先端アタッチメント25の縦横比が変わる。
 そこで、検出枠Fは、作業装置20の姿勢に基づいて設定される。例えば、検出枠Fは、カメラ画像Imにおける基準位置25bの位置に基づいて設定される。例えば、カメラ画像Imにおける基準位置25bの位置は、ブーム21角度およびアーム23角度に基づいて算出される。例えば、カメラ画像Imにおける基準位置25bの位置は、ブーム21角度およびアーム23角度に基づいて求められた、上部旋回体13又は図1に示すカメラ40に対する基準位置25bの位置に基づいて取得される。また、検出枠Fは、先端アタッチメント25角度に基づいて設定される。
 具体的には、基準位置25bは例えば下記のようにして算出される。第1コントローラ61は、ブーム21角度およびアーム23角度とカメラ画像Im上での基準位置25bとの対応関係を予め定めた基準位置決定テーブルをメモリ(図略)から読み出す。そして、第1コントローラ61は、ブーム角度センサ31が検出したブーム31角度及びアーム角度センサ33が検出したアーム23角度に対応する基準位置25bを基準位置決定テーブルから特定することで、基準位置25bを取得すればよい。
 ここで、基準位置決定テーブルは、例えば、特定の作業機械10を用いたシミュレーションによって事前に作成されたものである。このシミュレーションでは、ブーム21角度およびアーム23角度のそれぞれを変化させながら、カメラ40によって作業装置20が撮影される。そして、得られたカメラ画像Imのそれぞれについて基準位置25bの位置が特定され、基準位置25bとブーム21角度およびアーム23角度とが対応づけられた複数のデータセットが生成され、位置決定テーブルに記憶される。以上によって、位置決定テーブルが作成される。なお、この作業は人物により行われてもよいし、画像処理により行われてもよい。
 また、検出枠Fは、下記のようにしてカメラ画像Imに設定される。第1コントローラ61は、ブーム21角度、アーム23角度、及び先端アタッチメント25角度と、検出枠Fのサイズを示す検出枠情報との対応関係を予め定めた検出枠決定テーブルをメモリ(図略)から読み出す。ここで、検出枠情報には、例えば、検出枠Fの縦辺の長さと、横辺の長さと、基準位置25bに対して検出枠F内のどの位置を位置決めすればよいかを示す位置決め情報等が含まれる。そして、第1コントローラ61は、ブーム角度センサ31が検出したブーム21角度、アーム角度センサ33が検出したアーム23角度、及び先端アタッチメント角度センサ35が検出した先端アタッチメント25角度に対応する検出枠情報を検出枠決定テーブルから特定する。そして、第1コントローラ61は、特定した検出枠情報が示す検出枠Fをカメラ画像Imに設定すればよい。このとき、第1コントローラ61は、検出枠情報に含まれる位置決め情報が示す検出枠F内の位置に基準位置25bが位置するように検出枠Fを設定すればよい。
 ここで、検出枠決定テーブルは、例えば、バケット等の特定の先端アタッチメント25が装着された特定の作業機械10を用いたシミュレーションによって事前に作成されたものである。このシミュレーションでは、ブーム21角度、アーム23角度、および先端アタッチメント25角度のそれぞれを変化させながら、カメラ40によって作業装置20が撮影される。そして、得られたカメラ画像Imのそれぞれについて先端アタッチメント25を含む一定の領域が抽出され、抽出された領域が検出枠Fとして設定される。ここで、検出枠Fとしては、例えば、カメラ画像Imにおける先端アタッチメント25に外接する四角形の領域が採用されてもよいし、前記外接する四角形より多少サイズの大きな四角形の領域が採用されてもよい。この作業は人物により行われてもよいし、画像処理により行われてもよい。
 このように、第1コントローラ61は、作業装置20の姿勢に基づいて、検出枠Fを設定する。よって、第1コントローラ61は、カメラ画像Imの全域に対して、先端アタッチメント25を検出するための処理である物体検出アルゴリズムを使用する必要がない。よって、その分、第1コントローラ61の計算負荷を少なくできる。また、カメラ画像Imの全域に対して物体検出アルゴリズムを使用する必要がないので、種類の判別の対象となる先端アタッチメント25の検出位置を誤認識することがない。例えば、アーム23に取り付けられた先端アタッチメント25とは別の先端アタッチメント25がカメラ40の画角内に位置しており、カメラ画像Imに映っているケースを想定する。この場合、前記別の先端アタッチメント25は、作業機械10に取り付けられていないため、種類の判別の対象ではない。また、この場合、前記別の先端アタッチメント25は、基準位置25bから離れて位置しているため、カメラ画像Imにおいて検出枠Fの外に映る。そのため、本実施形態は、前記別の先端アタッチメント25が種類の判別の対象とされることを防止できる。
 (作業機械10の構造の情報に基づく検出枠Fの設定)
 カメラ画像Imのどの位置に、どのような大きさで、先端アタッチメント25が映るかは、作業機械10の構造によって変わる。例えば、ブーム21の長さ、およびアーム23の長さによって、カメラ画像Imにおける先端アタッチメント25の位置、大きさなどが変わる。また、例えば、作業機械10の大きさ(例えば「○○トン級」など)によって、作業装置20に設けられると想定される先端アタッチメント25の種類が変わる。すると、カメラ画像Imにおける先端アタッチメント25の位置、大きさなどが変わる。
 そこで、検出枠Fは、作業装置姿勢センサ30の検出値だけでなく、作業機械10の構造を示す構造情報にも基づいて設定されることが好ましい。この構造情報は、例えば、作業機械10の主要諸元に含まれる。この構造情報は、例えば、第1コントローラ61に予め設定(記憶)されてもよく、何らかの手段により取得されてもよい。この構造情報には、例えば、上部旋回体13の情報、ブーム21の情報、およびアーム23の情報が含まれる。この構造情報には、例えば、上部旋回体13、ブーム21、およびアーム23のそれぞれの、大きさ(寸法)、および相対的な位置が含まれる。この構造情報には、上部旋回体13に対するカメラ40の位置が含まれる。コントローラ60は、作業装置姿勢センサ30の検出値だけでなく、作業機械10の構造情報も用いることで、作業装置20の姿勢をより正確に算出でき、例えば、基準位置25bをより正確に算出できる。その結果、検出枠F内の背景部分をより少なくでき、先端アタッチメント25の種類判別の精度を向上させることができる。
 作業機械10の構造情報を用いて検出枠Fを設定する場合、第1コントローラ61は、次の[例A1]または[例A2]のように処理できる。
 [例A1]まず、作業機械10の構造情報を用いずに、作業装置20の姿勢に基づいて、おおまかな検出枠Fが設定される。その後、作業機械10の構造情報に基づいて、検出枠Fが補正されてもよい。
 具体的には、第1コントローラ61は、まず、上述した検出枠決定テーブルを参照して、検出枠Fのサイズを求める。次に、第1コントローラ61は、検出枠決定テーブルを作成する際に用いられた特定の作業機械10の重量情報と、自身の構造情報に含まれる重量情報との比率を算出し、検出枠決定テーブルから特定した検出枠Fのサイズにその比率を乗じることで、検出枠Fのサイズを補正すればよい。なお、重量情報とは、上述した「○○トン級」といった作業機械10の大きさを示す情報である。
 [例A2]上記[例A1]のような補正を行わずに、最初から、作業機械10の構造情報および作業装置20の姿勢に基づいて、検出枠Fが設定されてもよい。なお、検出枠Fの形状は、図4に示す例では長方形であるが、四角形以外の多角形、円形、楕円形、またはこれらに近い形状などでもよい。
 具体的には、第1コントローラ61は、構造情報に含まれるブーム21の長さ及びアーム23の長さと、ブーム角度センサ31により検出されたブーム21角度及びアーム角度センサ33により検出されたアーム23角度とを用いて作業機械10の3次元座標系における基準位置25bを算出する。そして、第1コントローラ61は、3次元座標系における基準位置25bをカメラ40の撮影面に投影することでカメラ画像Im上での基準位置25bを算出する。そして、第1コントローラ61は、上述した検出枠決定テーブルを用いて検出枠Fをカメラ画像Imに設定すればよい。このとき、コントローラ60は、例A1で示したように検出枠Fのサイズを補正してもよい。
 なお、作業機械10の構造情報がなくても、作業機械10の構造は、おおよそ決まっており、ある範囲内に限定される。よって、コントローラ60は、作業機械10の構造情報を取得しない場合でも、先端アタッチメント25を含むように検出枠Fを設定できる。
 (検出枠Fの変化)
 第1コントローラ61は、作業装置20の姿勢の変化に応じて、検出枠Fの設定を逐次変える。具体的には例えば、検出枠Fは次のように変えられる。カメラ画像Imにおける基準位置25bの位置が変化した場合、第1コントローラ61は、基準位置25bの変化後の位置に応じて、検出枠Fの位置を変える。基準位置25bがカメラ40から遠ざかり、カメラ画像Imに映る先端アタッチメント25が小さくなる場合、第1コントローラ61は、検出枠Fを小さくする。同様に、基準位置25bがカメラ40に近づき、カメラ画像Imに映る先端アタッチメント25が大きくなる場合、コントローラ60は、検出枠Fを大きくする。アーム23に対する先端アタッチメント25の角度が変化し、カメラ画像Imに映る先端アタッチメント25の縦横比が変わると想定される場合、第1コントローラ61は、検出枠Fの縦横比を変える。なお、上述した検出枠決定テーブルにおいては、カメラ画像Imに現れる先端アタッチメント25に対して外接する四角形の領域又は前記外接する四角形よりも多少サイズの大きな四角形の領域が検出枠Fとして設定されている。そのため、検出枠決定テーブルを用いて検出枠Fを設定すれば、基準位置25bがカメラ40から遠ざかるにつれて検出枠Fのサイズは小さく設定され、基準位置25bがカメラ40に近づくにつれて検出枠Fのサイズは大きくされる。
 ステップS31では、第1コントローラ61は、図6に示すように、先端アタッチメント25の位置がカメラ40の死角になり得る位置か否かを判定する。例えば、作業機械10の掘削作業時などに、先端アタッチメント25がカメラ40の死角に入る場合がある。この判定を行うために、第1コントローラ61は、所定姿勢条件が予め設定された情報をメモリに記憶させている。所定姿勢条件は、作業装置20の姿勢の条件であって、先端アタッチメント25の位置がカメラ40の死角になり得る条件である。具体的には、作業機械10の接地面Aに対してカメラ40が配置されるZ1側とは反対側のZ2側に、先端アタッチメント25の少なくとも一部が配置され得る条件である。接地面Aは、底面11bと平行、かつ、底面11bを含む仮想面である。接地面Aが水平面の場合は、上記「Z2側」は、接地面Aに対して下側である。
 このステップS31の時点では、先端アタッチメント25の種類が不明であり、先端アタッチメント25の構造(寸法、形状など)が不明である。そのため、作業装置20の姿勢が分かっても、実際に先端アタッチメント25が接地面AよりもZ2側に配置されるかどうかは不明である。そこで、例えば、作業装置20に設けられると想定される先端アタッチメント25の中で最も大きい先端アタッチメント25が、接地面Aに対してZ2側に配置されるような作業装置20の姿勢を、所定姿勢条件としてもよい。例えば、接地面Aから基準位置25bまでの距離に基づいて、所定姿勢条件が設定されてもよい。
 具体的には、第1コントローラ61は、想定される最大の先端アタッチメント25が装着されていると仮定した上で、ブーム角度センサ31、アーム角度センサ33、及び先端アタッチメント角度センサ35のそれぞれが検出したブーム21角度、アーム23角度、及び先端アタッチメント25角度から先端アタッチメント25の先端の位置を求める。そして、第1コントローラ61は、先端アタッチメント25の先端の位置と基準位置25bとの上下方向の距離が、基準位置25bから接地面Aまでの上下方向の距離よりも大きい場合、所定姿勢条件を満たすと判定すればよい。
 図1に示すように、作業装置姿勢センサ30に検出された作業装置20の姿勢が、所定姿勢条件を満たさない場合(ステップS31でNO)、先端アタッチメント25の種類の判別を行うために、処理はステップS33に進む。図6に示すように、作業装置20の姿勢が、所定姿勢条件を満たす場合(S31でYES)、第1コントローラ61は、先端アタッチメント25の種類の判別を行わない。この場合、今回のフローが終了され、例えば「開始」に戻る。このように、カメラ40の死角になり得る位置に先端アタッチメント25が配置される場合には、先端アタッチメント25の種類の判別が行われないので、誤判別をなくすことができ、不要な処理をなくすことができる。
 なお、図3に示すフローチャートでは、図1に示すカメラ40の画像情報が取得(S11)された後に、作業装置20の姿勢情報が取得され(S13)、ステップS31の判定が行われた。但し、これは一例であり、本発明は、カメラ40の画像情報が取得されていない状態、すなわちS11の処理が行われていない状態で、作業装置20の姿勢情報が取得され(S13)、ステップS31の判定が行われてもよい。このことは、ステップS33及びステップS35の判定も同様である。これは、ステップS31、S33、S35の処理は、カメラ画像Imが不要だからである。そして、作業装置20の姿勢が、所定姿勢条件を満たす場合(ステップS31でYES)、今回のフローが終了されてもよい。このことは、ステップS33でNOの場合も同様である。この場合は、第1コントローラ61は、先端アタッチメント25の種類の判別を行わないケースにおいて、カメラ40の画像情報を取得するステップS11の処理を省くことができる。なお、この場合、ステップS11の処理は、ステップS35とステップS37との間に設けられればよい。
 ステップS33では、第1コントローラ61は、カメラ40から先端アタッチメント25までの距離に対応する対応距離Lを判定する。対応距離Lが遠すぎると、図5に示すカメラ画像Imにおいて先端アタッチメント25が小さく映り、先端アタッチメント25の部分の画像を拡大しても不鮮明となり、先端アタッチメント25の種類の判別の精度を確保できない場合がある。そこで、図1に示す対応距離Lが、判別の精度を確保できる大きさかどうかが判定される。さらに詳しくは、第1コントローラ61は、作業装置姿勢センサ30に検出された作業装置20の姿勢に基づいて、先端アタッチメント25からカメラ40までの距離に対応する対応距離Lを取得する。
 このステップS33の時点では、先端アタッチメント25の種類が不明であり、先端アタッチメント25の構造が不明である。そのため、カメラ40から先端アタッチメント25までの実際の距離は不明である。そこで、ステップS33の判定では、カメラ40から先端アタッチメント25までの実際の距離に対応する対応距離Lが用いられる。例えば、対応距離Lは、カメラ40から基準位置25bまでの前後方向の距離である。このことは、ステップS35も同様である。或いは、対応距離Lは、例えば作業装置20に設けられると想定される先端アタッチメント25の中で最も大きい先端アタッチメント25と、カメラ40との間の前後方向の距離でもよい。このことは、ステップS35においても同様である。
 対応距離Lが、予め定められた第1所定距離以下の場合(ステップS33でYES)、先端アタッチメント25の種類の判別を行うために処理はステップS35に進む。第1所定距離の値は、第1コントローラ61に予め設定される。第1所定距離は、先端アタッチメント25の判別の精度が確保できるか否かに応じて設定される。例えば、第1所定距離は、カメラ40の性能、および、第2コントローラ62の判別の能力などに応じて設定されるこのことは、ステップS35で用いられる第2所定距離も同様である。なお、例えば、カメラ40のズーム機能が用いられる場合は、ズーム位置を最も望遠側にした状態で先端アタッチメント25の判別の精度が確保できればよい。第1所定距離は、図3に示す例では5mであるが、様々に設定可能である。
 対応距離Lが、第1所定距離よりも大きい場合(ステップS33でNO)、第1コントローラ61は、先端アタッチメント25の種類の判別を行わない。この場合、今回のフローが終了され、例えば「開始」に戻る。このように、カメラ40から先端アタッチメント25までの距離に対応する対応距離Lが大きく、先端アタッチメント25の種類の判別の精度を確保できないおそれがある場合には、先端アタッチメント25の種類の判別が行われない。よって、誤判別をなくすことができ、不要な処理をなくすことができる。
 ステップS35では、第1コントローラ61は、対応距離Lに基づいて、カメラ40のズーム位置を最も広角側よりも望遠側の位置にするか否かを判定する。対応距離Lが、第2所定距離以上の場合(ステップS35でYES)、処理はステップS37に進む。第2所定距離の値は、コントローラ60に予め設定される。第2所定距離は、第1所定距離よりも小さい。第2所定距離は、図3に示す例では3mであるが、様々に設定可能である。対応距離Lが、第2所定距離未満の場合(ステップS35でNO)、カメラ40のズーム位置を最も広角側とし、処理はステップS40に進む。なお、どの距離を対応距離Lにするかは様々に設定可能である。例えば、ステップS33の判定で用いられる対応距離Lと、ステップS35の判定で用いられる対応距離Lとは、同じでもよく、相違してもよい。
 ステップS37では、第1コントローラ61が、カメラ40のズーム位置を、最も広角側よりも望遠側の位置にする。対応距離Lが遠くなるほど、カメラ40のズーム位置が、望遠側に設定され、検出枠Fを含む画像が拡大される。この制御が行われるのは、対応距離Lが、第1所定値以下(S33でYES)(例えば5m以下)、かつ、第2所定値以上(S35でYES)(例えば3m以上)の場合である。カメラ40のズーム位置を望遠側にすることで、先端アタッチメント25の画像をそのまま引き延ばして拡大するよりも、先端アタッチメント25の画像が鮮明になり、先端アタッチメント25の種類の判別の精度を向上させることができる。
 なお、ステップS37において、カメラ40のズーム位置が望遠側に設定された場合、第1コントローラ61は、望遠率に応じて検出枠Fのサイズを変更すればよい。この場合、第1コントローラ61は、望遠率と、望遠率に応じた検出枠Fの拡大率との対応関係が予め定義づけられたテーブルをメモリから読み出し、そのテーブルを参照して望遠率に応じた検出枠Fの拡大率を特定し、特定した拡大率でステップS20で設定した検出枠Fを拡大すればよい。このテーブルには、例えば、望遠することで撮影されたカメラ画像Imにおいて先端アタッチメントの画像の全域が含まれるようなサイズに検出枠Fのサイズが拡大されるように検出枠Fの拡大率が記憶されている。
 ステップS40では、コントローラ60の第2コントローラ62は、先端アタッチメント25の種類を判別する。この判別は、検出枠F内の先端アタッチメント25の画像に基づいて行われる。この判別は、検出枠F内の先端アタッチメント25の画像から取得される先端アタッチメント25の特徴量と、第2コントローラ62に予め設定された特徴量と、の比較により行われる。判別に用いられる特徴量は、例えば先端アタッチメント25の輪郭の形状(外形)である。
 さらに詳しくは、図2に示す第1コントローラ61は、カメラ画像Imから検出枠F(図4参照)内の画像を、任意の条件、タイミングで切り出す。すなわち、第1コントローラ61は、カメラ画像Imから検出枠F以外の領域を除去する。切り出される検出枠F内の画像の数は、1つでもよく、複数でもよい。具体的には、第1コントローラ61は、時系列に連続する複数のカメラ画像Imのそれぞれから検出枠Fを切り出すことにより、複数の検出枠Fを切り出せばよい。
 第1コントローラ61は、切り出した画像を、第2コントローラ62に出力する。第2コントローラ62のメモリには、先端アタッチメント25の種類の判別の基準となる基準画像の特徴量が先端アタッチメント25の種類名と対応付けられて予め記憶されている。基準画像には、様々な種類の先端アタッチメント25の、様々な姿勢の画像が含まれる。第2コントローラ62は、第1コントローラ61から入力された検出枠F内の画像を入力画像として取得し、その入力画像から、特徴量を算出する。ここで、特徴量としては、例えば、検出枠F内の画像の輪郭形状が採用できる。第2コントローラ62は、取得した入力画像に対して、例えば、所定のエッジ検出フィルタを適用することにより、検出枠F内の画像の輪郭形状を抽出し、その輪郭形状を特徴量として算出すればよい。
 そして、第2コントローラ62は、入力画像の特徴量と、基準画像の特徴量と、を比較することで、先端アタッチメント25の種類を判別する。入力画像の特徴量と、基準画像の特徴量と、の傾向が一致するほど、先端アタッチメント25の種類判別の精度が高くなる。また、基準画像が多く学習量が多いほど、先端アタッチメント25の種類判別の精度が高くなる。そして、第2コントローラ62は、判別結果を第1コントローラ61に出力する。
 具体的には、第2コントローラ62は、メモリに記憶された基準画像の特徴量のうち、入力画像の特徴量との類似度が最も高い基準画像の特徴量を特定し、特定した基準画像の特徴量に対応付けられた先端アタッチメント25の種類名を判別結果として第1コントローラ61に出力すればよい。
 基準画像の特徴量は、複数種類のそれぞれについて、姿勢が異なる複数の先端アタッチメント25の画像を機械学習することで予め生成されたものである。機械学習としては、例えば、ニューラルネットワーク、クラスタリング、ベイジアンネットワーク、及びサポートベクターマシーン等が採用できる。特徴量としては、輪郭形状の他、例えば、Haar-LIKE特徴量、ピクセル差分特徴量、EOH(Edge of Histgram)特徴量、及びHOG(Histgram of Oriented Gradients)特徴量等が採用できる。
 或いは、第2コントローラ62は、先端アタッチメント25の種類名を教師信号とする複数の先端アタッチメント25の画像を機械学習することで得られたニューラルネットワークをメモリに記憶しておく。そして、第2コントローラ62は、このニューラルネットワークに第1コントローラ61から取得した入力画像を入力し、このニューラルネットワークから出力される先端アタッチメント25の種類名を判別結果として第1コントローラ61に出力してもよい。
 なお、第1コントローラ61から複数の検出枠Fの画像が入力される態様が採用された場合、第2コントローラ62は、複数の検出枠Fの画像の特徴量のそれぞれとメモリに記憶された複数の基準画像の特徴量のそれぞれとを比較し、多数決により先端アタッチメント25の種類を判定すればよい。すなわち、第2コントローラ62は、複数の検出枠Fの画像のそれぞれに対する判別結果において、最も多く判別された先端アタッチメント25の種類を最終的な先端アタッチメント25の種類として判定すればよい。
 ここで、図1に示すカメラ40が上部旋回体13に固定されている場合は、カメラ40が上部旋回体13に固定されていない場合に比べ、先端アタッチメント25に対するカメラ40の撮影角度が限定される。よって、カメラ40を上部旋回体13に固定した場合は、先端アタッチメント25の種類の判別に必要な基準画像を減らすことができる。これにより、基準画像の収集が容易になる。
 ステップS50では、第1コントローラ61は、第2コントローラ62から入力された判別結果をモニタ50に出力する。この場合、第1コントローラ61は、判別結果を表示するための表示指令をモニタ50に出力することで、モニタ50に判別結果を出力してもよい。ここで、モニタ50は、例えば、先端アタッチメント25の種類名を示す文字列を表示してもよいし、先端アタッチメント25の種類をグラフィカルに示すアイコンを表示してもよいし、文字列とアイコンとの両方を表示してもよい。
 なお、判別結果は、作業機械10の干渉防止制御に用いられてもよい。具体的には、第1コントローラ61は、先端アタッチメント25の判別結果と、ブーム21角度と、アーム23角度と、先端アタッチメント25角度とを用いて、先端アタッチメント25の先端位置を求める。そして、第1コントローラ61は、先端位置が作業機械10の周囲に設定された干渉防止領域に位置すると判定した場合、作業装置20の動作速度を減速させる又は作業装置20の動作を停止させるといった干渉防止制御を実行すればよい。
 (距離センサを用いた技術との比較)
 図1に示す先端アタッチメント25の種類の判別が、距離センサにより検出された距離分布(距離画像、深度分布)に基づいて行われる場合について検討する。この場合、距離センサは、単眼カメラよりもコストが高いという問題がある。また、距離センサは、単眼カメラよりも、埃による影響が大きいという問題がある。一方、本実施形態では、カメラ40として単眼カメラを使える。カメラ40が単眼カメラの場合は、これらの問題をなくすことができる。
 また、TOF(Time Of Flight)センサなどの距離センサは、画角が狭いため、単眼カメラよりも検知範囲が限られる。そこで、例えば先端アタッチメント25を地面に接触させた姿勢など、作業装置20を特定の限られた姿勢にした状態で、距離センサを用いて先端アタッチメント25周辺の距離分布を計測することが考えられる。しかし、この場合、先端アタッチメント25の種類を判別する際、作業装置20を特定の姿勢にする必要があるので、手間がかかる。一方、本実施形態では、先端アタッチメント25の種類を判別する際、作業装置20の姿勢を、ほぼ任意の姿勢にできる。よって、本実施形態では、先端アタッチメント25の種類の判別時の、作業装置20の姿勢の自由度が高い。さらに詳しくは、本実施形態では、図3のS31でYESの場合及びS33でNOの場合のように先端アタッチメント25の種類の判別を行わない状態を除いて、任意の作業装置20の姿勢で、先端アタッチメント25の種類の判別を行える。なお、先端アタッチメント25の種類の判別を行わない条件は、様々に設定可能である。
 (効果)
 図1に示す先端アタッチメント判別装置1による効果は次の通りである。
 (第1の発明の効果)
 先端アタッチメント判別装置1は、作業装置20と、カメラ40と、作業装置姿勢センサ30と、コントローラ60と、を備える。作業装置20は、作業機械10の上部旋回体13に取り付けられる。作業装置20は、複数種類の先端アタッチメント25が交換可能に構成される先端部(作業装置20の先端部)に有する。カメラ40は、上部旋回体13に取り付けられ、先端アタッチメント25の可動範囲内の画像を撮影可能である。作業装置姿勢センサ30は、作業装置20の姿勢を検出する。
 [構成1-1]コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢に基づいて、カメラ40に撮影された画像に対して先端アタッチメント25を含む領域に検出枠F(図4参照)を設定する。以下、検出枠Fについては図4が参照される。
 [構成1-2]コントローラ60は、検出枠F内の先端アタッチメント25の画像に基づいて、先端アタッチメント25の種類を判別する。
 上記[構成1-2]では、コントローラ60は、先端アタッチメント25の種類の判別を、画像に基づいて行う。よって、コントローラ60は、距離分布を用いなくても、先端アタッチメント25の種類の判別を行える。その結果、カメラ40が距離分布を取得する必要がある場合に比べ、カメラ40にかかるコストを低減できる。
 一方、先端アタッチメント25の種類の判別が、画像に基づいて行われる場合は、距離分布を用いて行われる場合に比べ、距離の情報の分、判別のための情報が少ないと言える。そのため、判別のための情報が少なくても、先端アタッチメント25の種類の判別の精度を確保することが重要になる。ここで、作業装置20の姿勢によって、カメラ画像Imにおける先端アタッチメント25の映り方(例えば位置、大きさ、形状など)が変わる。
 そこで、上記[構成1-1]では、コントローラ60は、先端アタッチメント25を含む検出枠Fを、作業装置20の姿勢に基づいて設定する。よって、コントローラ60は、先端アタッチメント25の種類の判別に適した検出枠Fを設定できる。例えば、コントローラ60は、先端アタッチメント25の全体が含まれ、かつ、先端アタッチメント25の周囲の背景部分ができるだけ少なくなるように、検出枠Fを設定できる。よって、作業装置20の姿勢に基づいた検出枠Fの設定を行わない場合に比べ、先端アタッチメント25の種類の判別の精度を向上させることができる。したがって、先端アタッチメント判別装置1は、距離分布を用いなくても、精度よく、先端アタッチメント25の種類の判別を行える。
 (第2の発明の効果)
 [構成2]カメラ40は、上部旋回体13に固定される。
 上記[構成2]により、カメラ40が上部旋回体13に固定されない場合に比べ、先端アタッチメント25に対するカメラ40の撮影角度が限定される。よって、先端アタッチメント25の種類の判別に必要な情報量を減らすことができる。
 (第3の発明の効果)
 [構成3]コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢の変化に応じて、検出枠Fの設定を逐次変える。
 上記[構成3]により、検出枠Fが設定された後、作業装置20の姿勢が変化しても、コントローラ60は、先端アタッチメント25の種類の判別を行える。
 (第4の発明の効果)
 [構成4]コントローラ60は、作業機械10の構造の情報に基づいて検出枠Fを設定する。
 上記[構成1-1]および[構成4]では、コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢、および、作業機械10の構造の情報に基づいて、検出枠Fを設定する。よって、コントローラ60は、作業装置20の姿勢のみに基づいて検出枠Fが設定される場合に比べ、先端アタッチメント25の種類の判別により適した検出枠Fを設定できる。
 (第5の発明の効果)
 [構成5]カメラ40は、ズーム機能を備える。コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢に基づいて、先端アタッチメント25からカメラ40までの距離を算出し、前記距離が遠くなるほど、カメラ40のズーム位置を望遠側にする。
 上記[構成5]により、先端アタッチメント25からカメラ40までの距離が遠くなっても、カメラ40のズーム位置を望遠側にすることで、検出枠F内の先端アタッチメント25の画像の解像度を上げることができる。よって、先端アタッチメント25の種類の判別の精度を向上させることができる。
 (第6の発明の効果)
 図6に示すように、コントローラ60には、作業装置20の姿勢の条件であって、作業機械10の接地面Aに対して作業機械10が配置されるZ1側とは反対側のZ2側に先端アタッチメント25が配置され得る条件である所定姿勢条件が予め設定される。
 [構成6-1]コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢が、所定姿勢条件を満たさない場合(図3のステップS31でNOの場合)、図6に示す先端アタッチメント25の種類の判別を行う。
 [構成6-2]コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢が、所定姿勢条件を満たす場合(図3のステップS31でYESの場合)、図6に示す先端アタッチメント25の種類の判別を行わない。
 接地面Aに対してZ2側に先端アタッチメント25が配置され得る場合、先端アタッチメント25の少なくとも一部が、カメラ40の死角に入る場合がある。すると、先端アタッチメント25の種類の判別ができない、または、判別の精度を確保できない場合がある。そこで、先端アタッチメント判別装置1は、上記[構成6-2]を備える。よって、コントローラ60が先端アタッチメント25の種類を誤判別することを抑制でき、また、コントローラ60の無駄な処理をなくすことができる。また、上記[構成6-2]により、先端アタッチメント25の種類の判別の精度を確保しやすい状態で、先端アタッチメント25の種類の判別を行うことが可能となる。その結果、先端アタッチメント25の種類の判別の精度を向上させることができる。
 (第7の発明の効果)
 コントローラ60は、作業装置姿勢センサ30により検出された作業装置20の姿勢に基づいて、先端アタッチメント25からカメラ40までの距離に対応する対応距離Lを取得する。
 [構成7-1]コントローラ60は、対応距離Lが、予め定められた第1所定距離(所定距離)以下の場合(図3のステップS33でYESの場合)、図1に示す先端アタッチメント25の種類の判別を行う。
 [構成7-2]コントローラ60は、対応距離Lが、第1所定距離よりも大きい場合(図3のステップS33でNOの場合)、図1に示す先端アタッチメント25の種類の判別を行わない。
 対応距離Lが大きくなり、カメラ40から先端アタッチメント25までの距離が遠くなるほど、カメラ画像Im(図4参照)において先端アタッチメント25が小さく映り、先端アタッチメント25の種類の判別の精度の確保が難しくなる可能性がある。そこで、先端アタッチメント判別装置1は、上記[構成7-2]を備える。よって、コントローラ60が先端アタッチメント25の種類を誤判別することを抑制でき、また、コントローラ60の無駄な処理をなくすことができる。また、上記[構成7-1]により、先端アタッチメント25の種類の判別の精度を確保した判別しやすい状態で、先端アタッチメント25の種類を判別することが可能となる。その結果、先端アタッチメント25の種類の判別の精度を向上させることができる。
 (変形例)
 上記実施形態は様々に変形されてもよい。例えば、図2に示すブロック図の各ブロックどうしの接続は変更されてもよい。例えば、図3に示すフローチャートのステップの順序は変更されてもよい。例えば、図1および図2に示す先端アタッチメント判別装置1の構成要素の数が変更されてもよく、構成要素の一部が設けられなくてもよい。
 先端アタッチメント判別装置1の構成要素の一部が、作業機械10の外部に設けられてもよい。例えば、図2に示す第2コントローラ62は、作業機械10の外部に設けられてもよい。例えば、モニタ50は設けられなくてもよい。
 

Claims (7)

  1.  下部走行体と、前記下部走行体の上部に設けられた上部旋回体と、複数種類の先端アタッチメントが交換可能に取り付けられる先端部を有し、前記上部旋回体に取り付けられる作業装置とを備える作業機械の先端アタッチメント判別装置であって、
     前記上部旋回体に取り付けられ、前記先端アタッチメントの可動範囲内の画像を撮影可能なカメラと、
     前記作業装置の姿勢を検出する作業装置姿勢センサと、
     コントローラと、
     を備え、
     前記コントローラは、
     前記作業装置姿勢センサにより検出された前記作業装置の姿勢に基づいて、前記カメラにより撮影された画像に対して前記先端アタッチメントを含む領域に検出枠を設定し、
     前記検出枠内の前記先端アタッチメントの画像に基づいて、前記先端アタッチメントの種類を判別する、
     先端アタッチメント判別装置。
  2.  請求項1に記載の先端アタッチメント判別装置であって、
     前記カメラは、前記上部旋回体に固定される、
     先端アタッチメント判別装置。
  3.  請求項1または2に記載の先端アタッチメント判別装置であって、
     前記コントローラは、前記作業装置姿勢センサにより検出された前記作業装置の姿勢の変化に応じて、前記検出枠の設定を逐次変える、
     先端アタッチメント判別装置。
  4.  請求項1~3のいずれか1項に記載の先端アタッチメント判別装置であって、
     前記コントローラは、前記作業機械の構造の情報に基づいて前記検出枠を設定する、
     先端アタッチメント判別装置。
  5.  請求項1~4のいずれか1項に記載の先端アタッチメント判別装置であって、
     前記カメラは、ズーム機能を備え、
     前記コントローラは、
     前記作業装置姿勢センサに検出された前記作業装置の姿勢に基づいて、前記先端アタッチメントから前記カメラまでの距離を算出し、前記距離が遠くなるほど、前記カメラのズーム位置を望遠側に設定する、
     先端アタッチメント判別装置。
  6.  請求項1~5のいずれか1項に記載の先端アタッチメント判別装置であって、
     前記コントローラには、前記作業機械の接地面に対して前記カメラが配置される側とは反対側に前記先端アタッチメントが配置された姿勢が所定姿勢条件として予め設定され、
     前記コントローラは、
     前記作業装置姿勢センサに検出された前記作業装置の姿勢が、前記所定姿勢条件を満たさない場合、前記先端アタッチメントの種類を判別する処理を実行し、
     前記作業装置姿勢センサに検出された前記作業装置の姿勢が、前記所定姿勢条件を満たす場合、前記先端アタッチメントの種類を判別する処理を実行しない、
     先端アタッチメント判別装置。
  7.  請求項1~6のいずれか1項に記載の先端アタッチメント判別装置であって、
     前記コントローラは、
     前記作業装置姿勢センサにより検出された前記作業装置の姿勢に基づいて、前記先端アタッチメントから前記カメラまでの距離に対応する対応距離を取得し、
     前記対応距離が、予め定められた所定距離以下の場合、前記先端アタッチメントの種類を判別する処理を実行し、
     前記対応距離が、前記所定距離よりも大きい場合、前記先端アタッチメントの種類を判別する処理を実行しない、
     先端アタッチメント判別装置。
PCT/JP2018/044473 2018-01-19 2018-12-04 先端アタッチメント判別装置 WO2019142523A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/962,118 US20200347579A1 (en) 2018-01-19 2018-12-04 Tip attachment discrimination device
EP18900720.6A EP3723039A4 (en) 2018-01-19 2018-12-04 ADVANCED ACCESSORIES DIFFERENTIATION DEVICE
CN201880086353.4A CN111587448A (zh) 2018-01-19 2018-12-04 远端附属设备辨别装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018007324A JP7114907B2 (ja) 2018-01-19 2018-01-19 先端アタッチメント判別装置
JP2018-007324 2018-01-19

Publications (1)

Publication Number Publication Date
WO2019142523A1 true WO2019142523A1 (ja) 2019-07-25

Family

ID=67301008

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/044473 WO2019142523A1 (ja) 2018-01-19 2018-12-04 先端アタッチメント判別装置

Country Status (5)

Country Link
US (1) US20200347579A1 (ja)
EP (1) EP3723039A4 (ja)
JP (1) JP7114907B2 (ja)
CN (1) CN111587448A (ja)
WO (1) WO2019142523A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2016414417B2 (en) * 2016-07-15 2022-11-24 Cqms Pty Ltd A wear member monitoring system
KR20220102804A (ko) * 2021-01-14 2022-07-21 현대두산인프라코어(주) 건설기계의 제어 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157932A (ja) * 2002-11-08 2004-06-03 Matsushita Electric Ind Co Ltd 物体認識装置および物体認識プログラム
JP2008060988A (ja) * 2006-08-31 2008-03-13 Matsushita Electric Ind Co Ltd 走行環境情報取得装置
JP2017157016A (ja) 2016-03-02 2017-09-07 株式会社神戸製鋼所 アタッチメント認識装置
JP2018005555A (ja) * 2016-07-01 2018-01-11 ソニー株式会社 画像処理装置、情報処理装置、および方法、並びにプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9437005B2 (en) * 2011-07-08 2016-09-06 Canon Kabushiki Kaisha Information processing apparatus and information processing method
CN102642207B (zh) * 2012-04-12 2014-08-06 华北电力大学 核电站作业多功能执行器及其控制方法
US9495615B2 (en) * 2012-09-20 2016-11-15 Volvo Construction Equipment Ab Method for automatically recognizing and setting attachment and device therefor
US20160312432A1 (en) * 2015-04-23 2016-10-27 Caterpillar Inc. Computer Vision Assisted Work Tool Recognition and Installation
JP6013655B2 (ja) * 2015-09-30 2016-10-25 株式会社小松製作所 クローラ式作業機械の周辺監視装置
KR20170048231A (ko) * 2015-09-30 2017-05-08 가부시키가이샤 고마쓰 세이사쿠쇼 촬상 장치의 교정 시스템, 작업 기계 및 촬상 장치의 교정 방법
US10094093B2 (en) * 2015-11-16 2018-10-09 Caterpillar Inc. Machine onboard activity and behavior classification
US10011976B1 (en) * 2017-01-03 2018-07-03 Caterpillar Inc. System and method for work tool recognition
US10519631B2 (en) * 2017-09-22 2019-12-31 Caterpillar Inc. Work tool vision system
CN111148878B (zh) * 2018-01-10 2023-08-04 住友建机株式会社 挖土机及挖土机的管理系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157932A (ja) * 2002-11-08 2004-06-03 Matsushita Electric Ind Co Ltd 物体認識装置および物体認識プログラム
JP2008060988A (ja) * 2006-08-31 2008-03-13 Matsushita Electric Ind Co Ltd 走行環境情報取得装置
JP2017157016A (ja) 2016-03-02 2017-09-07 株式会社神戸製鋼所 アタッチメント認識装置
JP2018005555A (ja) * 2016-07-01 2018-01-11 ソニー株式会社 画像処理装置、情報処理装置、および方法、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3723039A4

Also Published As

Publication number Publication date
JP2019125314A (ja) 2019-07-25
EP3723039A4 (en) 2021-04-21
EP3723039A1 (en) 2020-10-14
CN111587448A (zh) 2020-08-25
JP7114907B2 (ja) 2022-08-09
US20200347579A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
JP5227841B2 (ja) 周囲監視装置
KR20140009148A (ko) 작업 기계의 주변 감시 장치
WO2015182455A1 (ja) 作業機の作動状態検出システム及び作業機
US20170146343A1 (en) Outside Recognition Device
JP2003098424A (ja) 画像処理測距装置
WO2019142523A1 (ja) 先端アタッチメント判別装置
JP7023813B2 (ja) 作業機械
KR20210034070A (ko) 교정 작업 지원 시스템
WO2023025262A1 (zh) 一种挖掘机运行模式切换的控制方法、装置和挖掘机
EP3907336A1 (en) Monitoring device and construction machine
CN110942520A (zh) 作业设备辅助定位方法、装置、系统及存储介质
CN115362297B (zh) 工程机械的周边检测装置
EP3078779A2 (en) Method of displaying a dead zone of a construction machine and apparatus for performing the same
US10565690B2 (en) External interference removal device
JP6802999B2 (ja) 区画線検出システム
CN115457096A (zh) 作业机械的辅助控制方法、装置、系统及作业机械
JP6954145B2 (ja) 先端アタッチメント寸法計測装置
JP7428052B2 (ja) 作業機械の周囲検知装置
US20230340759A1 (en) Work vehicle having controlled transitions between different display modes for a moveable area of interest
US11680387B1 (en) Work vehicle having multi-purpose camera for selective monitoring of an area of interest
US20230279643A1 (en) System and method for maintaining a view of an area of interest proximate a work vehicle
WO2023189216A1 (ja) 作業支援システム
WO2021145304A1 (ja) 画像処理システム
CN116695819A (zh) 具有作业机具和传感器的作业车辆
JP2021156000A (ja) 作業機械

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18900720

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018900720

Country of ref document: EP

Effective date: 20200706

NENP Non-entry into the national phase

Ref country code: DE