WO2023089981A1 - ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法 - Google Patents

ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法 Download PDF

Info

Publication number
WO2023089981A1
WO2023089981A1 PCT/JP2022/037477 JP2022037477W WO2023089981A1 WO 2023089981 A1 WO2023089981 A1 WO 2023089981A1 JP 2022037477 W JP2022037477 W JP 2022037477W WO 2023089981 A1 WO2023089981 A1 WO 2023089981A1
Authority
WO
WIPO (PCT)
Prior art keywords
tool
distribution data
robot arm
satisfied
distribution
Prior art date
Application number
PCT/JP2022/037477
Other languages
English (en)
French (fr)
Inventor
大 徳本
智輝 山下
憲一郎 木村
潤太 平山
Original Assignee
株式会社前川製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社前川製作所 filed Critical 株式会社前川製作所
Priority to EP22895267.7A priority Critical patent/EP4327988A1/en
Priority to CA3238662A priority patent/CA3238662A1/en
Priority to CN202280075362.XA priority patent/CN118234603A/zh
Publication of WO2023089981A1 publication Critical patent/WO2023089981A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39468—Changeable hand, tool, code carrier, detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40589—Recognize shape, contour of tool

Definitions

  • the present disclosure relates to a tool check device, tool check program, and tool check method for a robot arm.
  • Patent Literature 1 does not disclose a specific configuration for accurately determining whether the tool conditions are satisfied.
  • the present disclosure is to provide a tool check device, tool check program, and tool check method for a robot arm that can accurately determine whether tool conditions are satisfied.
  • a tool checking device for a robot arm comprises: In an inspection space defined as a three-dimensional coordinate system, the tool is arranged at a first axis coordinate of the three-dimensional coordinate system according to a tool condition relating to at least one of the type and state of the tool to be mounted on the robot arm.
  • a movement controller configured to control the robot arm to
  • a distribution data acquisition configured to acquire distribution data indicated by a combination of a second axis coordinate and a third axis coordinate of the three-dimensional coordinate system of an object in the inspection space after being controlled by the movement control unit.
  • Department and a determination unit configured to determine whether the tool condition is satisfied based on the distribution data.
  • a tool check program for a robot arm comprises: to the computer, In an inspection space defined as a three-dimensional coordinate system, the tool is arranged at a first axis coordinate of the three-dimensional coordinate system according to a tool condition relating to at least one of the type and state of the tool to be mounted on the robot arm.
  • a movement control step for controlling the robot arm to After the movement control step, a distribution data acquisition step for acquiring distribution data of an object in the inspection space indicated by a combination of the second axis coordinate and the third axis coordinate of the three-dimensional coordinate system; and a determining step of determining whether the tool condition is satisfied based on the distribution data.
  • a tool checking method for a robot arm comprises: In an inspection space defined as a three-dimensional coordinate system, the tool is arranged at a first axis coordinate of the three-dimensional coordinate system according to a tool condition relating to at least one of the type and state of the tool to be mounted on the robot arm. a movement control step for controlling the robot arm to After the movement control step, a distribution data acquisition step for acquiring distribution data indicated by a combination of the second axis coordinates and the third axis coordinates of the three-dimensional coordinate system of the objects in the inspection space; and a determining step for determining whether the tool condition is satisfied based on the distribution data.
  • FIG. 1 is a conceptual diagram showing a work machining system according to one embodiment
  • FIG. FIG. 4 is a conceptual illustration of an examination space according to one embodiment
  • FIG. 4 is a conceptual diagram showing a process of acquiring corresponding distribution data according to one embodiment
  • FIG. 4 is a conceptual diagram showing a determination method regarding tool conditions according to one embodiment
  • FIG. 11 is another conceptual diagram showing a determination method regarding tool conditions according to one embodiment
  • FIG. 4 is a conceptual diagram showing an imaging range according to the posture of a 3D camera according to one embodiment
  • 1 is a conceptual diagram showing an electrical configuration of a tool checking device according to one embodiment
  • expressions that express shapes such as squares and cylinders do not only represent shapes such as squares and cylinders in a geometrically strict sense, but also include irregularities and chamfers to the extent that the same effect can be obtained.
  • the shape including the part etc. shall also be represented.
  • the expressions “comprising”, “comprising”, “having”, “including”, or “having” one component are not exclusive expressions excluding the presence of other components.
  • FIG. 1 is a conceptual diagram showing a work machining system 1 according to one embodiment of the present disclosure.
  • the work processing system 1 is configured to process a work 5 using a tool 40 attached to a robot arm 30.
  • Work 5 of this embodiment is food such as agricultural products, livestock products, or marine products. Food may be either fresh food or processed food.
  • the processing of the workpiece 5 is, for example, cutting, clamping, chucking, or a combination thereof.
  • the processing of the workpiece 5 according to another embodiment may be pressing, hitting, ejecting fluid, or irradiating the workpiece 5 with light.
  • a work processing system 1 includes a transport device 7 for transporting a work 5, a robot arm 30 for processing the work 5, and a work 5 transported by the transport device 7.
  • a 3D camera 8 configured and a tool check device 50 for a robot arm (hereinafter sometimes simply referred to as "tool check device 50") are provided.
  • the conveying device 7 is a belt conveyor that conveys the work 5 in the horizontal direction.
  • the robot arm 30 is an industrial robot realized by a vertical articulated robot, a horizontal articulated robot, or a combination thereof.
  • a tool 40 for processing the workpiece 5 is attached to the robot arm 30 .
  • the robotic arm 30 of the present example includes robotic arms 30A, 30B, 30C configured to operate in conjunction with each other.
  • the device to which the tool 40 for processing the workpiece 5 is attached may not be the robot arm 30, and may be, for example, a simpler configuration of a cutting machine or a clamping device.
  • the tool 40 of this embodiment includes a clamper 41 for gripping the work 5 , a chuck 42 for chucking the work 5 , and a knife 43 for cutting the work 5 .
  • chuck 42 includes mutually symmetrical chucks 42L, 42R. Both the clamper 41 and the chuck 42 are connected to an actuator (not shown), which may be an air cylinder, a hydraulic cylinder, a motor, or the like, and are configured to open and close by driving the actuator.
  • the tool 40 of this example is selectively attached to the robot arm 30 .
  • the clamper 41, the chuck 42, and the knife 43 are each selectively attached to one of the robot arms 30A, 30B, 30C.
  • the work 5 is livestock leg meat
  • which tool 40 is attached to the robot arm 30 depends on whether the work 5 is left leg meat or right leg meat.
  • the robot arm 30 processes the workpiece 5 based on the image of the workpiece 5 captured by the 3D camera 8. More specifically, the processing position for the workpiece 5 is specified based on the image captured by the 3D camera 8, and the robot arm 30 is controlled based on the specified result.
  • a controller (not shown) for controlling the robot arm 30 during machining of the workpiece 5 may be the same control device as the tool check device 50, or may be a different control device.
  • the 3D camera 8 of this embodiment is configured to photograph the robot arm 30 on which the tool 40 is attached, in addition to the workpiece 5 .
  • the photographing of the tool 40 and the robot arm 30 may be performed while the workpiece 5 is placed on the transfer device 7, or may be performed at another timing. Also, the robot arm 30 may not be photographed.
  • a tool checking device 50 is configured to check whether tool conditions are satisfied.
  • Tool conditions are conditions regarding at least one of the type and state of the tool 40 to be attached to the robot arm 30 .
  • the tool conditions of this embodiment are set corresponding to each of the robot arms 30A, 30B, and 30C.
  • the tool type and tool state corresponding to the robot arm 30A are "clamper 41" and "open state,” respectively.
  • the tool type and tool state corresponding to the robot arm 30B are "chuck 42L” and “open state” respectively.
  • the tool conditions are not satisfied, for example, when the operator makes an error in mounting the tool 40 .
  • the tool type is not satisfied.
  • an error may occur in the work of connecting the air cylinder as an actuator and the clamper 41 using an air pipe. In this case, when the air cylinder is operated, the clamper 41 is closed when it should be open, and the tool state is not satisfied.
  • the tool 40 is mounted in the reverse mounting posture in the vertical direction, the tool state is not satisfied.
  • mounting of tool 40 may be performed by a robot instead of an operator.
  • only one of the clamper 41, the chuck 42, and the knife 43 may be prepared as the tool 40.
  • FIG. Therefore, only one robot arm 30 may be installed.
  • FIG. 2 is a conceptual illustration of an examination space 99 according to one embodiment of the present disclosure.
  • FIG. 3 is a conceptual diagram showing the process of acquiring corresponding distribution data 120A according to an embodiment of the present disclosure.
  • FIG. 4A is a conceptual diagram illustrating a determination technique regarding tool conditions according to an embodiment of the present disclosure.
  • FIG. 4B is another conceptual diagram illustrating a determination technique regarding tool conditions according to one embodiment of the present disclosure.
  • FIG. 5 is a conceptual diagram showing an imaging range 8A according to the attitude of the 3D camera 8 according to one embodiment of the present disclosure.
  • an inspection space 99 defined as a three-dimensional coordinate system including mutually orthogonal X, Y, and Z axes, is used to determine whether the tool conditions are met. used.
  • the inspection space 99 is the photographing range 8A of the 3D camera 8 as an example.
  • the Z-axis is parallel to the optical axis direction of the 3D camera 8 and extends along the vertical direction.
  • the X and Y axes extend along the horizontal direction.
  • the Z axis may be referred to as "first axis”
  • the X axis and Y axis may be referred to as "second axis" and "third axis", respectively.
  • the tool check device 50 includes a condition acquisition unit 51 for acquiring tool conditions, a movement control unit 53 for controlling the robot arm 30, and a It includes an imaging control unit 54, a distribution data acquisition unit 55 for acquiring distribution data 120 (see FIG. 3) described later, and a determination unit 56 for determining whether tool conditions are satisfied. Details of these components are exemplified below.
  • the condition acquisition unit 51 is configured to acquire tool conditions based on an input operation by an operator of the work machining system 1, for example. In other embodiments, tool conditions may be obtained based on instructions contained in tool check program 95 (see FIG. 6) read by tool check device 50 .
  • the movement control unit 53 is configured to control the robot arm 30 so that the tool 40 is arranged in the inspection space 99 at the first axis coordinates according to the tool conditions acquired by the condition acquisition unit 51 .
  • An inspection space 99 illustrated in FIG. 2 includes three inspection spaces 99A, 99B, and 99C that are divided in order from the 3D camera 8 side along the first axis direction (vertical direction).
  • the movement control unit 53 controls the robot arm 30 so that the chucks 42L, 42R (42), the clamper 41, and the knife 43 are arranged in the inspection spaces 99A, 99B, 99C, respectively. That is, the inspection spaces 99A, 99B, and 99C are prepared according to the type of the tool 40.
  • FIG. In this embodiment, the tool 40 attached to the robot arm 30 changes according to the machining conditions of the workpiece 5 , so the moving path of the robot arm 30 also changes according to the machining conditions of the workpiece 5 .
  • the movement control unit 53 may control the robot arm 30 so that different types of tools 40 are arranged in the inspection space 99A, for example.
  • inspection space 99 may be prepared according to the tool state of tool 40 .
  • the tool 40 attached to the robot arm 30A first moves into the inspection space 99, and it is determined whether the tool conditions are satisfied. Thereafter, after the robot arm 30A is controlled so that this tool 40 leaves the inspection space 99, it is determined whether the tool conditions are satisfied in order for the tools 40 attached to the remaining robot arms 30B and 30C.
  • the inspection space 99 of this embodiment in addition to the inspection spaces 99A to 99C described above, other objects including at least part of the robot arm 30 and at least part of the workpiece 5 are arranged in the inspection space 99.
  • Spaces in which the robot arm 30 is arranged are inspection spaces 99A to 99C.
  • the space in which the workpiece 5 is arranged is located below the inspection space 99C in the inspection space 99 .
  • Other objects may also be placed in the inspection space 99 .
  • the object 98 when collectively referring to the objects arranged inside the inspection space 99, they may simply be referred to as "the object 98". That is, the object 98 of this embodiment is a concept including the tool 40 , the robot arm 30 and the workpiece 5 .
  • the photographing control unit 54 is configured to control the 3D camera 8 and acquire photographed image data after the movement control unit 53 controls.
  • the imaging range 8A of the 3D camera 8 matches the inspection space 99.
  • the 3D camera 8 has a function of photographing an object 98 to be photographed and a function of measuring a photographing distance, which is the distance from the object 98 to the 3D camera 8 .
  • the 3D camera 8 is a stereo camera including two lenses.
  • the object 98 appears in each of the first captured image generated based on the light collected by one lens and the second captured image generated based on the light collected by the other lens.
  • the image areas in which the object 98 is captured are different in each captured image, and the photographing distance can be calculated based on the relative positional relationship between these image areas.
  • a search process is performed to search for the same object in the second captured image as the object 98 captured in the first captured image.
  • PatchMatch is adopted as this search processing, and the efficiency of the search processing is improved.
  • a so-called exhaustive search type algorithm is employed, which compares each of the plurality of pixels forming the first captured image with each of the plurality of pixels forming the second captured image. good too.
  • the 3D camera 8 that measures the shooting distance may be a three-dimensional shape measuring camera that employs a light cutting method instead of a stereo camera, or a ToF camera (Time-of-Flight Camera). good too.
  • Captured image data representing a captured image 70 which is an image generated by the 3D camera 8, will be described with reference to FIG.
  • a photographed image 70A of the clamper 41, a photographed image 70B of the chuck 42, and a photographed image 70C of the knife 43 are illustrated as photographed images 70 photographed when the tool conditions are satisfied.
  • the photographed images 70A to 70C (70) are generated by executing crop processing for cutting out a part of the original original photographed image generated by the 3D camera 8 (details will be described later).
  • the area to be cropped differs according to the type of tool 40 to be photographed. However, the image sizes of the captured images 70A to 70C are the same.
  • Each of the two or more pixels forming the photographed image 70 indicated by the photographed image data is indicated by (Xi, Yj), which is a combination of the second axis coordinates and the third axis coordinates (i is the vertical direction of the photographed image 70).
  • j is an arbitrary natural number equal to or less than the number of pixels in the photographed image 70). Therefore, the photographed image data representing the photographed image 70 showing the object 98 is the distribution data 120 indicated by the combination of the second axis coordinates (Xi) and the third axis coordinates (Yi) of the object 98 in the inspection space 99. It is understood that there are Distribution data 120 indicates the distribution of objects 98 in captured image 70 .
  • a luminance value (L) correlated with the shooting distance is assigned to each of a plurality of pixels forming the captured image 70 indicated by the captured image data as the distribution data 120 . Therefore, the captured image 70 indicated by the captured image data as the distribution data 120 can also be understood as a depth map in the capturing range 8A with the 3D camera 8 as the viewpoint.
  • the luminance value assigned to each pixel becomes lower as the shooting distance becomes shorter. That is, the object 98 appears black in the captured image 70 . Therefore, as shown on the left side of FIG.
  • the luminance value of the chuck 42 reflected in the captured image 70A is the lowest, and the luminance value of the knife 43 reflected in the captured image 70C is the lowest. Highest luminance value.
  • tools 40 with lower luminance values are hatched more finely. It should be noted that pixels in the captured image 70 in which the object 98 does not appear are assigned the maximum luminance value.
  • the distribution data acquisition unit 55 is configured to acquire the distribution data 120 included in the captured image data acquired by the imaging control unit 54 .
  • the distribution data acquisition unit 55 may acquire corresponding distribution data 120A (described later) generated by performing filtering on the distribution data 120, or acquire distribution data 120 that has not undergone filtering. may be obtained.
  • the determination unit 56 is configured to determine whether the tool conditions are satisfied based on the distribution data 120 acquired by the distribution data acquisition unit 55.
  • the difference between the assumed distribution data assumed when the tool condition is satisfied and the distribution data 120 obtained by the distribution data obtaining unit 55 changes depending on whether the tool condition is satisfied. For example, when the chuck 42 should be mounted at a specified position on the robot arm 30 but the clamper 41 is mounted at a position deviated from the specified position, the distribution data acquired by the distribution data acquiring unit 55 120 deviates more than the assumed distribution data. Therefore, the data difference exceeds the threshold, and the determination unit 56 determines that the tool type is not satisfied.
  • the distribution data 120 are determined according to the position and shape of the object 98 in the inspection space 99. Since the movement control unit 53 controls the robot arm 30 so that the tool 40 moves to the first axis coordinates according to the tool condition to be satisfied, the tool 40 satisfying the tool condition is arranged as the object 98 in the inspection space 99.
  • the acquired distribution data 120 varies greatly depending on whether the distribution data 120 is used. Therefore, the determination unit 56 can accurately determine whether the tool conditions are satisfied. As described above, the tool check device 50 that can accurately determine whether the tool conditions are satisfied is realized.
  • the distribution data acquisition unit 55 obtains It is configured to perform filtering to extract distribution data 120 .
  • the distribution data 120 is extracted by filtering.
  • the distribution data 120 that becomes noise is removed.
  • the distribution data 120 as noise that can affect the determination result as to whether the tool conditions are satisfied is removed by executing the filtering process. Therefore, the tool check device 50 can more accurately determine whether the tool conditions are satisfied.
  • the distribution data 120 is data included in the photographed image data of the object 98 generated by the 3D camera 8 having the photographing range 8A as the inspection space 99. Furthermore, the distribution data 120 assigns luminance values to each of a plurality of pixels forming the captured image 70 indicated by a combination of the second axis coordinate (Xi in this example) and the third axis coordinate (Yj in this example). Associate. According to the above configuration, the movement control section 53 controls the robot arm 30 so that the tool 40 is arranged at the first axis coordinates according to the tool conditions.
  • the luminance value of the distribution data 120 changes depending on whether the tool type is satisfied. More specifically, when the chuck 42 is attached to the robot arm 30 even though the tool type is the clamper 41, the chuck 42 is displaced from the inspection space 99B in the first axis direction when the 3D camera 8 captures the image. placed in position. Therefore, the deviation of the chuck 42 in the first axial direction is reflected in the brightness values associated with the distribution data 120 . Therefore, based on the distribution data 120, the determination unit 56 can accurately determine whether the tool type is satisfied.
  • the photographed image 70 can The luminance value of the object 98 reflected in the image changes.
  • the distribution data acquisition unit 55 illustrated in FIG. 3 applies binarization processing, which is an example of filtering processing, to the distribution data 120 as captured image data. More specifically, the distribution data acquisition unit 55 performs binarization processing on the photographed image data using a large luminance threshold value L and a small luminance threshold value S according to the tool conditions, and obtains the above-described corresponding distribution data 120A. is configured to obtain The high luminance threshold value L and the low luminance threshold value S of this embodiment are prepared according to the tool type of the tool conditions.
  • the high luminance threshold value L and the low luminance threshold value S are prepared corresponding to the inspection spaces 99A to 99C having a one-to-one relationship with the tool type.
  • a large luminance threshold L1 and a small luminance threshold S1 are prepared so that a binarization process for extracting a luminance value image of an object 98 placed in the inspection space 99A is executed. If the binarization process using the high luminance threshold value L1 and the low luminance threshold value S1 is executed, the photographed image data showing only the object 98 placed in the inspection space 99A (see FIG. 2) is extracted and extracted. The photographed image data in which the object 98 located at a position deviated from the first axis coordinate is removed.
  • a high luminance threshold L2 and a low luminance threshold S2 are prepared for the inspection space 99B, and a high luminance threshold L3 and a low luminance threshold S3 are prepared for the inspection space 99C.
  • the magnitude relationship between these large luminance thresholds L1 to L3(L) and small luminance thresholds S1 to S3(S) is as shown in FIG.
  • the photographed image data of the workpiece 5 which is an example of another object 98 located at a position shifted in the first axis direction from the inspection space 99A, is removed.
  • the distribution data 120 of the work 5 that can induce an erroneous determination by the determination unit 56 is removed.
  • the captured image data (distribution data 120) that has undergone the binarization process is acquired by the distribution data acquisition unit 55 as corresponding distribution data 120A. After that, the determination unit 56 determines whether the tool conditions are satisfied based on the correspondence distribution data 120A.
  • luminance within the range defined by the high luminance threshold value L and the low luminance threshold value S is assigned to the pixels of the captured image 70 indicated by the combination of the second axis coordinates and the third axis coordinates.
  • Captured image data containing only pixels is acquired as corresponding distribution data 120A.
  • the distribution data 120 as noise of the object 98 other than the tool 40 included in the photographed image data is removed.
  • the determination unit 56 determines whether the tool conditions are satisfied based on the correspondence distribution data 120A. Therefore, the tool check device 50 can accurately determine whether the tool conditions are satisfied.
  • a first specific example of the determination process will be described with reference to FIG. 4A.
  • the determination unit 56 identifies the distribution area of the object 98 appearing in the captured image 70B based on the corresponding distribution data 120A, which is the captured image data of the binarized captured image 70B (70).
  • the distribution area correlates with the shape of the object 98 in the first axial view. Therefore, if the object 98 is the chuck 42, the distribution area satisfies the specified condition (for example, the distribution area has a value equal to or greater than the specified value). Thereby, the determination unit 56 can determine that the tool type is satisfied.
  • the tool 40 when a tool 40 other than the clamper 41 is attached to the robot arm 30, the tool 40 is arranged at a position deviated from the inspection space 99B (see FIG. 2). It does not appear in the image 70B. That is, the distribution area does not satisfy the specified condition (for example, the distribution area has a value less than the specified value), so the determination unit 56 can determine that the tool type is not satisfied.
  • the specified condition for example, the distribution area has a value less than the specified value
  • the distribution area does not satisfy the prescribed conditions. Also, when the tool 40 is not attached to the robot arm 30, the distribution area does not satisfy the specified condition. That is, the determination method described in the first specific example can also be applied to determine whether the tool state is satisfied. In other situations, the same determination result can be obtained even if the determination method described as the first specific example is applied to the photographed image data (distribution data 120) before being binarized. In addition, the tool 40 may cause halation in the photographed image 70 due to the upside down mounting posture of the tool 40 .
  • the knife 43 should be mounted so that the blade is positioned on the lower side, but the mounted position is upside down, halation is likely to occur (not shown) because the blade is positioned on the upper side. In this case, it is difficult for the knife 43 to appear in the photographed image 70 before the filtering process is performed, and the distribution area described above becomes extremely small. That is, the distribution area does not satisfy the specified condition. Therefore, if the mounting posture of the knife 43 is upside down, it is determined that the tool state is not satisfied.
  • the determination unit 56 determines whether the tool conditions are satisfied based on the distribution area of the object 98 indicated by the distribution data 120. Since the distribution area of the objects 98 changes greatly depending on whether the tool conditions are satisfied, the tool check device 50 can simplify the process of determining whether the tool conditions are satisfied.
  • a second specific example of determination processing will be described with reference to FIG. 4A.
  • the determination unit 56 identifies the limited area 88 based on the position of the center of gravity of the distribution area indicated by the corresponding distribution data 120A. After that, the determination unit 56 determines whether the tool state is satisfied based on the distribution area in the limited area 88 .
  • a limited area 88 is a part of the binarized photographed image 70B (70), and is an area whose distribution area changes depending on whether the tool state is satisfied.
  • the determination unit 56 regards, as the limited area 88, an area having a specified positional relationship with the center of gravity of the distribution area indicated by the corresponding distribution data 120A.
  • the limited area 88 illustrated in FIG. 4A no chuck 42 in the open state is arranged, and at least part of the chuck 42 in the closed state is arranged (the chuck 42 in the closed state is virtually shown).
  • the determination unit 56 determines whether the tool state is satisfied.
  • the determination method described as the second specific example can also be applied to determine whether the tool type is satisfied. For example, if an area whose distribution area changes depending on whether the tool type is satisfied is set in advance as the limited area 88, the determination unit 56 can determine whether the tool type is satisfied by a similar method. .
  • the determination unit 56 if the barycentric position of the distribution area satisfying the tool condition and the limited area 88 whose distribution area changes depending on whether the tool condition is satisfied are set in association with each other, the determination unit 56 , it can be determined whether the tool condition is satisfied based on the distribution area in the confined area 88 . Accordingly, the determination unit 56 can make an appropriate determination according to the tool conditions to be determined.
  • a third specific example of determination processing by the determination unit 56 will be described with reference to FIG. 4B.
  • the chuck 42L has an asymmetrical shape.
  • the third axial length (dimension M1) of the chuck 42L on one side in the second axial direction is the third axial length (dimension M2) of the chuck 42L on the other side in the second axial direction. ).
  • the determination unit 56 is configured to determine whether the tool condition is satisfied based on the relationship between the length in the second axis direction of the distribution area indicated by the corresponding distribution data 120A and the coordinates of the third axis. More specifically, the determination unit 56 estimates the distribution area of the chuck 42L from the distribution area indicated by the corresponding distribution data 120A (the distribution area of the robot arm 30 and the chuck 42L in the example of FIG. 4B). This estimation process may be set in advance based on the shapes of the robot arm 30 and the chuck 42L. After that, the determination unit 56 specifies the maximum dimension of each of the one side and the other side in the second axial direction in the distribution area of the chuck 42L.
  • the determination unit 56 does not satisfy the tool type. can be determined.
  • the determination method described as the third specific example can also be applied to determine whether the tool state is satisfied. For example, if a tool 40 is used in which the magnitude relationship of the maximum dimension described above is switched according to the tool state, this determination method may be applied.
  • the determination unit 56 determines whether the tool condition is satisfied. It can be determined based on the relationship. Accordingly, the determination unit 56 can make an appropriate determination according to the tool conditions to be determined.
  • the tool check device 50 includes an orientation acquisition unit 52 configured to acquire orientation data indicating the orientation of the 3D camera 8 .
  • the posture acquisition unit 52 acquires posture data to specify the amount of deviation.
  • a plate (not shown) having a prescribed positional relationship with respect to the origin position of the position and orientation of the robot arm 30 is prepared. This plate may be installed according to the timing at which the position and orientation data is acquired, or may be installed all the time.
  • a 3D camera 8 photographs a plurality of marks shown on the surface of the plate to generate an original photographed image of the plurality of marks.
  • Posture data is acquired by applying a prescribed calculation formula to the positional relationship of the plurality of marks appearing in the original captured image. Note that the original captured image is an image generated by the 3D camera 8 that has not been cropped.
  • the distribution data acquisition unit 55 obtains the portion of the original captured image (see the two-dot chain line 71 in FIG. 5) captured by the 3D camera 8 based on the posture data acquired by the posture acquisition unit 52. It is configured to specify a captured image 70 that is an area and acquire distribution data 120 in the captured image 70 . That is, the area of the original captured image that is cropped changes according to the orientation data. As a result, it is possible to suppress variation in the image area in which the tool 40 is displayed based on the photographed image 70 .
  • the photographing range 8A of the 3D camera 8 also changes. Therefore, when the distribution data 120 of a fixed partial area in the original captured image is acquired, the following problems may occur. That is, although the tool condition is actually satisfied, at least part of the tool 40 does not appear in the captured image 70, so the determination unit 56 erroneously determines that the tool condition is not satisfied. On the contrary, since the inappropriate tool 40 appears in the photographed image 70 even though the tool conditions are not actually satisfied, the determination unit 56 erroneously determines that the tool conditions are satisfied.
  • the photographed image 70 is acquired reflecting the deviation of the attitude of the 3D camera 8, and the distribution data 120 of the photographed image 70 is acquired. Therefore, when the tool conditions are satisfied, the tool 40 appears at the prescribed position of the photographed image 70 . Also, the tool 40 that should not appear in the captured image 70 is not shown. Therefore, the tool check device 50 can more accurately determine whether the tool conditions are satisfied.
  • FIG. 6 is a conceptual diagram showing the electrical configuration of the tool check device 50 according to one embodiment of the present disclosure.
  • the work machining system 1 includes a processor 91 .
  • Processor 91 is configured to read tool check program 95 stored in ROM 92 , load it into RAM 93 , and execute instructions contained in loaded tool check program 95 .
  • the processor 91 is a CPU, GPU, MPU, DSP, various arithmetic devices other than these, or a combination thereof.
  • Processor 91 may be implemented by an integrated circuit such as PLD, ASIC, FPGA, and MCU.
  • the ROM 92 and RAM 93 are examples of storage devices.
  • a memory 94 stores various parameters necessary to determine whether the tool conditions are satisfied.
  • Various parameters include a large luminance threshold L and a small luminance threshold S.
  • FIG. The large luminance threshold L is a threshold larger than the small luminance threshold S.
  • the processor 91 of this embodiment is connected to the input unit 6, the transport device 7, the robot arm 30, the 3D camera 8, and the reporting device 9 via interfaces.
  • Tool conditions are input by the operator through the input unit 6, which may be, for example, a touch panel.
  • the processor 91 acquires tool conditions by acquiring data output from the input unit 6 .
  • the transport device 7 , robot arm 30 , 3D camera 8 , and alarm device 9 of one embodiment each operate according to control signals received from the processor 91 .
  • the 3D camera 8 performs photography in accordance with the received control signal and outputs the generated photographed image data to the processor 91 .
  • the notification device 9 is configured to notify the operator when it is determined that the tool conditions are not satisfied.
  • the alarm device 9 of this embodiment is an image display device, a speaker, a light emitting device, or a combination thereof.
  • Tool check processing is processing for determining whether tool conditions are satisfied.
  • the processor 91 performs the following steps by loading the RAM 93 with a tool check program 95 stored in the ROM 92 . Data processed by the processor 91 as the process is executed is stored in the RAM 93 or the memory 94 as appropriate.
  • step may be abbreviated as "S”.
  • the processor 91 acquires the attitude data of the 3D camera 8 by the method described above (S10).
  • the processor 91 that executes S10 functions as the attitude acquisition unit 52 described above.
  • the processor 91 acquires tool conditions (S11).
  • the operator inputs tool conditions corresponding to each of the robot arms 30A, 30B, and 30C to the input section 6 .
  • the processor 91 that executes S11 functions as the condition acquisition unit 51 described above.
  • the processor 91 controls the movement of the robot arm 30 so that the tool 40 is arranged at the first axis coordinates according to the tool conditions acquired in S11 (S13). For example, the processor 91 controls movement of the robot arm 30A based on tool conditions associated with the robot arm 30A. As a result, if the tool 40 is properly attached to the robot arm 30A, the tool 40 is placed in one of the inspection spaces 99A-99C.
  • the processor 91 that executes S13 functions as the movement control unit 53 described above.
  • the processor 91 controls the 3D camera 8 to acquire the above-described captured image data (S15).
  • the image indicated by the actual captured image data is the original captured image.
  • the processor 91 that executes S15 functions as the photographing control section 54 described above.
  • the processor 91 acquires the distribution data 120 included in the photographed image data acquired in S15 (S17).
  • the processor 91 performs cropping processing on the captured image data indicating the original captured image acquired in S15 based on the posture data acquired in S10. Thereby, the processor 91 acquires the captured image data representing the captured image 70 .
  • the photographed image data is subjected to binarization processing according to the tool conditions acquired in S11, and the processor 91 acquires corresponding distribution data 120A.
  • the processor 91 that executes S17 functions as the distribution data acquisition unit 55 described above.
  • the processor 91 determines whether the tool conditions are satisfied based on the corresponding distribution data 120A acquired in S17 (S19).
  • the processor 91 that executes S19 functions as the determination unit 56 described above. Details of the determination process will be described later.
  • the processor 91 determines whether there is an abnormality in the tool 40 (S21) based on the determination result of the determination process (S19). If it is determined that there is no abnormality (S21: NO), the processor 91 determines whether to end the tool check process (S23). In this example, if the determination of all tool conditions corresponding to each of the robot arms 30A to 30C has not been completed (S23: NO), the processor 91 returns the process to S13. By repeating S13 to S23, it is determined whether the tool conditions for each of the robot arms 30A, 30B, and 30C are satisfied. If the determination is completed for all tool conditions (S23: YES), the processor 91 terminates the determination process.
  • the processor 91 controls the alarm device 9 to issue a specific abnormality (S25).
  • S25 a specific abnormality
  • the operator can take measures in the workpiece machining system 1 in accordance with the content of the notification (a specific method of specifying an abnormality will be described later).
  • the processor 91 ends the tool check process.
  • Processor 91 determines whether the tool type is satisfied using any of the methods described above (S31). When it is determined that the tool type is not satisfied (S31: NO), the processor 91 stores a specific abnormality (S35). For example, processor 91 stores error data in memory 94 indicating that the correct type of tool 40 is not attached to robot arm 30 . The error data stored in the memory 94 is used in the above-described notification process of S25. After executing S25, the processor 91 ends the determination process and returns to the tool check process (see FIG. 7).
  • the processor 91 uses any of the methods described above to determine whether the tool state is satisfied (S33). When it is determined that the tool state is not satisfied (S33: NO), the processor 91 shifts the process to S35. At this time, the processor 91 stores error data indicating that the state of the tool 40 is not proper in the memory 94 (S35). If it is determined that the tool state is satisfied (S33: YES), the processor 91 terminates the determination process.
  • the work processing system 1 of the present disclosure is not limited to including the 3D camera 8 and the imaging control section 54 .
  • an ultrasonic device may be provided instead of the 3D camera 8.
  • Distribution data 120 can be obtained if the distance between the object 98 in the examination space 99 and the ultrasound system is measured using ultrasound.
  • a CT scan, MRI, or the like may be employed instead of the ultrasonic device.
  • a tool checking device (50) for a robot arm In an inspection space (99) defined as a three-dimensional coordinate system, a first coordinate system of the three-dimensional coordinate system according to tool conditions relating to at least one of the type and state of the tool (40) to be mounted on the robot arm (30).
  • a movement controller (53) configured to control said robot arm (30) to position said tool (40) in axial coordinates;
  • the distribution data (120 ) After control by the movement control unit (53), the distribution data (120 ), a distribution data acquisition unit (55) configured to acquire a determination unit (56) configured to determine whether the tool condition is satisfied based on the distribution data (120).
  • the distribution data (120) is determined according to the position and shape of the object (98) in the inspection space (99). Since the movement control unit (53) controls the robot arm (30) to move the tool (40) to the first axis coordinate according to the tool condition to be satisfied, the tool (40) satisfying the tool condition is inspected.
  • the acquired distribution data (120) varies greatly depending on how the object (98) is placed in the space (99). Therefore, the determination unit (56) can accurately determine whether the tool conditions are satisfied.
  • a tool check device (5) for a robot arm that can accurately determine whether the tool conditions are satisfied is realized.
  • a tool checking device (50) for a robotic arm comprising: The distribution data acquisition unit (55) extracts corresponding distribution data (120A), which is the distribution data (120) in the first axis coordinates according to the tool conditions, for the distribution data (120). configured to perform filtering on The determination unit (56) is configured to determine whether the tool condition is satisfied based on the corresponding distribution data (120A).
  • Distribution data (120) as noise of another object (98) at a position shifted from the tool (40) in the first axis direction is the original distribution data (120) obtained by the distribution data obtaining unit (55) may be included in In this respect, according to the configuration of 2)) above, the distribution data (120) as noise is removed by executing the filtering process. Satisfaction can be determined more accurately.
  • a tool checking device (50) for a robotic arm comprising:
  • the distribution data (120) is data included in the captured image data of the object (98) generated by the 3D camera (8) whose imaging range is the inspection space (99), and the second axis coordinates Data in which each of a plurality of pixels constituting a photographed image indicated by a combination of and the third axis coordinate is associated with a luminance value correlated with the distance from the object (98) to the 3D camera (8) is.
  • the movement control unit (53) controls the robot arm (30) so that the tool (40) is arranged at the first axis coordinate according to the tool condition, so the photographed image (70) and the luminance values correlated with the distance from the object (98) to the 3D camera (8) vary greatly depending on whether the tool conditions are satisfied. do. Therefore, the tool checking device (50) for the robot arm can more accurately determine whether the tool conditions are satisfied.
  • a tool checking device (50) for a robotic arm comprising:
  • the distribution data acquisition unit (55) uses a large luminance threshold (L) and a small luminance threshold (S) according to the tool conditions for the photographed image data generated by the 3D camera (8). is configured to perform binarization processing on the tool condition to obtain corresponding distribution data (120A), which is the distribution data (120) at the first axis coordinates according to the tool condition.
  • Image data including only pixels to which luminance within the range is assigned is acquired as corresponding distribution data (120A). This removes the distribution data (120) as noise of an object (98) other than the tool (40) included in the captured image data.
  • a determination unit (56) determines whether the tool conditions are satisfied based on the corresponding distribution data (120A). Therefore, the tool checking device (50) for the robot arm can accurately determine whether the tool conditions are satisfied.
  • a tool checking device (50) for a robotic arm comprising: a pose acquisition unit (52) configured to acquire pose data indicative of a pose of the 3D camera (8) in the examination space (99);
  • the distribution data acquisition unit (55) acquires the distribution data (120) in the photographed image, which is a partial area determined based on the posture data in the original photographed image photographed by the 3D camera (8). configured to
  • the photographed image (70) reflecting the deviation of the posture of the 3D camera (8) is obtained, and the distribution data (120) of this photographed image (70) is obtained. Therefore, when the tool conditions are satisfied, the tool (40) appears at the specified position of the captured image (70). Therefore, the determination unit (56) can more accurately determine whether the tool conditions are satisfied.
  • a tool checking device (50) for a robotic arm according to any one of 1) to 5) above, comprising: The determination unit (56) is configured to determine whether the tool condition is satisfied based on the distribution area of the objects (98) indicated by the distribution data (120).
  • the distribution area of the object (98) indicated by the distribution data (120) changes depending on whether the tool conditions are satisfied. For example, when a tool (40) of an inappropriate type is attached to the robot arm (30), or a tool (40) in an inappropriate state such as being damaged is attached to the robot arm (30). , the distribution area of the distribution data (120) deviates from the proper value or proper range. Since the distribution area of the objects (98) varies greatly depending on whether the tool conditions are satisfied, the tool check device (50) can simplify the process of determining whether the tool conditions are satisfied.
  • a tool checking device (50) for a robotic arm comprising: The determination unit (56) specifies a limited area (88) based on the position of the center of gravity of the distribution area indicated by the distribution data (120), and based on the distribution area in the limited area (88), the tool condition is It is configured to determine if it is satisfied.
  • the determination unit (56) can determine whether the tool condition is satisfied based on the distribution area in the limited area (88). This allows the determination section (56) to make an appropriate determination according to the tool conditions to be determined.
  • a tool checking device (50) for a robotic arm according to any one of 1) to 7) above, comprising: The determination unit (56) satisfies the tool condition based on the relationship between the length of the distribution area indicated by the distribution data (120) in the third axis direction of the three-dimensional coordinate system and the second axis coordinates. is configured to determine whether the
  • the determination unit (56) determines that the tool condition is satisfied. can be determined based on this relationship. This allows the determination section (56) to make an appropriate determination according to the tool conditions to be determined.
  • a tool check program (95) for a robotic arm comprising: to the computer, In an inspection space (99) defined as a three-dimensional coordinate system, a first coordinate system of the three-dimensional coordinate system according to tool conditions relating to at least one of the type and state of the tool (40) to be mounted on the robot arm (30).
  • a movement control step (S13) for controlling the robot arm (30) so that the tool (40) is positioned at axis coordinates;
  • the distribution data (120) indicated by the combination of the second axis coordinates and the third axis coordinates of the three-dimensional coordinate system of the object (98) in the inspection space (99) a distribution data acquisition step (S17) for acquiring A judgment step (S19) for judging whether the tool condition is satisfied based on the distribution data (120) is executed.
  • a tool checking method for a robotic arm comprising: In an inspection space (99) defined as a three-dimensional coordinate system, a first coordinate system of the three-dimensional coordinate system according to tool conditions relating to at least one of the type and state of the tool (40) to be mounted on the robot arm (30).
  • a movement control step (S13) for controlling the robot arm (30) so that the tool (40) is positioned at the axis coordinates; After the movement control step (S13), distribution data (120) of an object (98) in the inspection space (99) indicated by a combination of second and third axis coordinates of the three-dimensional coordinate system

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

ロボットアーム用のツールチェック装置は、３次元座標系として定義される検査空間において、ロボットアームに装着されるべきツールの種別または状態の少なくとも一方に関するツール条件に応じた３次元座標系の第１軸座標に、ツールが配置されるようロボットアームを制御するように構成される移動制御部と、移動制御部による制御後、検査空間にある物体の、３次元座標系の第２軸座標と第３軸座標との組み合わせによって示される分布データを取得するように構成される分布データ取得部と、ツール条件が充足されるか分布データに基づき判定するように構成される判定部を備える。

Description

ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法
　本開示は、ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法に関する。
　従来、物体に対して加工又は操作を実行するためのツールが交換可能に装着されるロボットアームが知られている。例えば、特許文献１に開示されるロボットアームでは、物体に対する加工などに応じて、複数種類のいずれかのツールがロボットアームに装着される。上記ロボットアームは、ツールを開閉させることによって物体を把持することが可能である。
特開２０１８－１５８４０５号公報
　上記ロボットアームによる加工などの作業が適切になされるためには、実行される加工に応じて、装着されたツールが適正な種別であること、装着されたツールが適正な状態（例えば開状態又は閉状態）であること、といったツール条件が充足される必要がある。この点、特許文献１には、ツール条件が充足されるか精度良く判定するための具体的構成の開示はない。
　本開示は、ツール条件が充足されるか精度良く判定できるロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法を提供することである。
　本開示の少なくとも一実施形態に係るロボットアーム用のツールチェック装置は、
　３次元座標系として定義される検査空間において、ロボットアームに装着されるべきツールの種別または状態の少なくとも一方に関するツール条件に応じた前記３次元座標系の第１軸座標に、前記ツールが配置されるよう前記ロボットアームを制御するように構成される移動制御部と、
　前記移動制御部による制御後、前記検査空間にある物体の、前記３次元座標系の第２軸座標と第３軸座標との組み合わせによって示される分布データを取得するように構成される分布データ取得部と、
　前記ツール条件が充足されるか前記分布データに基づき判定するように構成される判定部と
を備える。
　本開示の少なくとも一実施形態に係るロボットアーム用のツールチェックプログラムは、
　コンピュータに、
　３次元座標系として定義される検査空間において、ロボットアームに装着されるべきツールの種別または状態の少なくとも一方に関するツール条件に応じた前記３次元座標系の第１軸座標に、前記ツールが配置されるよう前記ロボットアームを制御するための移動制御ステップと、
　前記移動制御ステップ後、前記検査空間にある物体の、前記３次元座標系の第２軸座標と第３軸座標との組み合わせによって示される分布データを取得するための分布データ取得ステップと、
　前記ツール条件が充足されるか前記分布データに基づき判定する判定ステップと
を実行させる。
　本開示の少なくとも一実施形態に係るロボットアーム用のツールチェック方法は、
　３次元座標系として定義される検査空間において、ロボットアームに装着されるべきツールの種別または状態の少なくとも一方に関するツール条件に応じた前記３次元座標系の第１軸座標に、前記ツールが配置されるよう前記ロボットアームを制御するための移動制御工程と、
　前記移動制御工程の後、前記検査空間にある物体の、前記３次元座標系の第２軸座標と第３軸座標との組み合わせによって示される分布データを取得するための分布データ取得工程と、
　前記ツール条件が充足されるか前記分布データに基づき判定するための判定工程と
を備える。
　本開示によれば、ツール条件が充足されるか精度良く判定できるロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法を提供できる。
一実施形態に係るワーク加工システムを示す概念図である。 一実施形態に係る検査空間の概念的な説明図である。 一実施形態に係る対応分布データが取得される過程を示す概念図である。 一実施形態に係るツール条件に関する判定手法を示す概念図である。 一実施形態に係るツール条件に関する判定手法を示す別の概念図である。 一実施形態に係る３Ｄカメラの姿勢に応じた撮影範囲を示す概念図である。 一実施形態に係るツールチェック装置の電気的構成を示す概念図である。 一実施形態に係るツールチェック処理のフローチャートである。 一実施形態に係る判定処理のフローチャートである。
　以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載され又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
　例えば、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
　例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
　例えば、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
　一方、一つの構成要素を「備える」、「具える」、「具備する」、「含む」、又は「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。
＜１．ワーク加工システム１の概要＞
　図１を参照し、本開示の一実施形態に係るワーク加工システム１の概要を例示する。図１は、本開示の一実施形態に係るワーク加工システム１を示す概念図である。
　ワーク加工システム１は、ロボットアーム３０に装着されたツール４０を用いてワーク５を加工するように構成される。本実施形態のワーク５は農産物、畜産物、又は水産物などの食品である。食品は生鮮食品又は加工食品のいずれであってもよい。ワーク５に対する加工は、一例として、ワーク５に対する切断、クランプ、チャック、またはこれらの組み合わせである。他の実施形態に係るワーク５に対する加工は、ワーク５に対する押圧、叩き、流体の吐出、または光の照射などであってもよい。
　本開示の一実施形態に係るワーク加工システム１は、ワーク５を搬送するための搬送装置７、ワーク５を加工するためのロボットアーム３０、搬送装置７によって搬送されたワーク５を撮影するように構成される３Ｄカメラ８、及びロボットアーム用のツールチェック装置５０（以下、単に「ツールチェック装置５０」という場合がある）を備える。搬送装置７はワーク５を水平方向に搬送するベルトコンベアである。ロボットアーム３０は、垂直多関節ロボット、水平多関節ロボット、又はこれらの組み合わせによって実現される産業用ロボットである。ロボットアーム３０にはワーク５を加工するためのツール４０が装着される。本例のロボットアーム３０は、互いに連動して動作するように構成されるロボットアーム３０Ａ、３０Ｂ、３０Ｃを含む。他の実施形態では、ワーク５を加工するためのツール４０が装着される装置は、ロボットアーム３０でなくてもよく、例えば、より簡易な構成の切断機またはクランプ装置などであってもよい。
　本実施形態のツール４０は、ワーク５を掴むためのクランパ４１、ワーク５をチャックするためのチャック４２、及びワーク５を切断するためのナイフ４３を含む。さらに、チャック４２は、互いに対称なチャック４２Ｌ、４２Ｒを含む。クランパ４１とチャック４２はいずれも、エアシリンダ、油圧シリンダ、またはモータなどであってもよいアクチュエータ（図示外）と接続されており、アクチュエータの駆動によって開閉するように構成される。また、本例のツール４０は、選択的にロボットアーム３０に装着される。具体的には、クランパ４１、チャック４２、およびナイフ４３はそれぞれ、ロボットアーム３０Ａ、３０Ｂ、３０Ｃのいずれかに選択的に装着される。例えばワーク５が家畜の肢肉である実施形態においては、ロボットアーム３０にいずれのツール４０が装着されるかは、ワーク５が左肢肉であるか右肢肉であるかに応じて決まる。
　本実施形態では、３Ｄカメラ８によって撮影されるワーク５の画像に基づき、ロボットアーム３０はワーク５を加工する。より具体的には、３Ｄカメラ８が撮影した画像に基づいてワーク５に対する加工位置が特定され、特定結果に基づきロボットアーム３０は制御される。ワーク５の加工時にロボットアーム３０を制御するためのコントローラ（図示外）は、ツールチェック装置５０と同一な制御装置であってもよいし、別な制御装置であってもよい。
　本実施形態の３Ｄカメラ８は、ワーク５の他に、ツール４０が装着されたロボットアーム３０を撮影するように構成される。ツール４０とロボットアーム３０の撮影は、ワーク５が搬送装置７に配置されているときに実行されてもよいし、別のタイミングで実行されてもよい。また、ロボットアーム３０は撮影されなくてもよい。
　本開示の一実施形態に係るツールチェック装置５０は、ツール条件が充足されるかをチェックするように構成される。ツール条件は、ロボットアーム３０に装着されるべきツール４０の種別または状態の少なくとも一方に関する条件である。本実施形態のツール条件はロボットアーム３０Ａ、３０Ｂ、３０Ｃのそれぞれに対応して設定される。例えば、ロボットアーム３０Ａに開状態のクランパ４１が装着されるべき場合には、ロボットアーム３０Ａに対応するツール種別とツール状態はそれぞれ、「クランパ４１」と「開状態」である。別の例を挙げると、ロボットアーム３０Ｂに開状態のチャック４２Ｌが装着されるべき場合には、ロボットアーム３０Ｂに対応するツール種別とツール状態はそれぞれ、「チャック４２Ｌ」と「開状態」である。
　ツール条件は、例えば、オペレータによるツール４０の装着作業に誤りがあった場合に充足されない。より具体的な一例として、装着されるべきツール４０とは別種別のツール４０がロボットアーム３０に誤って装着された場合には、ツール種別は充足されない。別の一例を挙げると、アクチュエータとしてのエアシリンダとクランパ４１とを空気管を用いて接続する作業に誤りが発生する場合がある。この場合、エアシリンダの作動時にクランパ４１が開状態となるべきところ閉状態となり、ツール状態は充足されない。さらに別の一例を挙げると、ツール４０の装着姿勢が上下方向において逆に装着された場合、ツール状態は充足されない。
　なお他の実施形態では、ツール４０の装着は、オペレータの代わりにロボットによって実行されてもよい。また、ツール４０は、クランパ４１、チャック４２、またはナイフ４３のいずれか１種のみしか用意されなくてもよい。従って、ロボットアーム３０は１台しか設置されなくてもよい。
＜２．ツールチェック装置５０の詳細＞
　図１～図５を参照し、本開示の一実施形態に係るツールチェック装置５０の詳細を例示する。図２は、本開示の一実施形態に係る検査空間９９の概念的な説明図である。図３は、本開示の一実施形態に係る対応分布データ１２０Ａが取得される過程を示す概念図である。
図４Ａは、本開示の一実施形態に係るツール条件に関する判定手法を示す概念図である。図４Ｂは、本開示の一実施形態に係るツール条件に関する判定手法を示す別の概念図である。図５は、本開示の一実施形態に係る３Ｄカメラ８の姿勢に応じた撮影範囲８Ａを示す概念図である。
　図１、図２で例示される実施形態では、互いに直交するＸ軸、Ｙ軸、及びＺ軸を含む３次元座標系として定義される検査空間９９が、ツール条件が充足されるかの判定に利用される。検査空間９９は一例として３Ｄカメラ８の撮影範囲８Ａである。Ｚ軸は３Ｄカメラ８の光軸方向と平行であり、鉛直方向に沿って延在する。Ｘ軸とＹ軸は水平方向に沿って延在する。以下の説明では、Ｚ軸を「第１軸」という場合があり、Ｘ軸とＹ軸をそれぞれ「第２軸」と「第３軸」という場合がある。
＜２－１．ツールチェック装置５０の基本的な構成要素＞
　図１で例示されるように、ツールチェック装置５０は、ツール条件を取得するための条件取得部５１と、ロボットアーム３０を制御するための移動制御部５３と、３Ｄカメラ８を制御するための撮影制御部５４と、後述の分布データ１２０（図３参照）を取得するための分布データ取得部５５と、ツール条件が充足されるか判定するための判定部５６とを備える。以下、これらの構成要素の詳細を例示する。
　条件取得部５１は、例えばワーク加工システム１のオペレータによる入力操作に基づきツール条件を取得するように構成される。他の実施形態では、ツールチェック装置５０によって読み出されるツールチェックプログラム９５（図６参照）に含まれる命令に基づいてツール条件は取得されてもよい。
　移動制御部５３は、検査空間９９において、条件取得部５１によって取得されたツール条件に応じた第１軸座標にツール４０が配置されるよう、ロボットアーム３０を制御するように構成される。図２で例示される検査空間９９は、第１軸方向（鉛直方向）に沿って３Ｄカメラ８側から順に３つに分けられた検査空間９９Ａ、９９Ｂ、９９Ｃを含む。検査空間９９Ａ、９９Ｂ、９９Ｃのそれぞれにチャック４２Ｌ、４２Ｒ（４２）、クランパ４１、ナイフ４３が配置されるよう、移動制御部５３はロボットアーム３０を制御する。つまり、検査空間９９Ａ、９９Ｂ、９９Ｃは、ツール４０の種別に応じて用意される。本実施形態では、ワーク５の加工条件に応じてロボットアーム３０に装着されるツール４０が変化するので、ロボットアーム３０の移動経路もワーク５の加工条件に応じて変化する。
　なお他の実施形態では、例えば検査空間９９Ａにおいて、異なる種別のツール４０が配置されるよう、移動制御部５３はロボットアーム３０を制御してもよい。あるいは、検査空間９９はツール４０のツール状態に応じて用意されてもよい。
　本実施形態では、ロボットアーム３０Ａ、３０Ｂ、３０Ｃのそれぞれに装着されるツール４０について順に、ツール条件が充足されるかについて判定される。より具体的には、ロボットアーム３０Ａに装着されたツール４０がはじめに検査空間９９に移動し、ツール条件が充足れるか判定される。その後、このツール４０が検査空間９９から退出するようロボットアーム３０Ａが制御された後、残るロボットアーム３０Ｂ、３０Ｃに装着されるツール４０について順に、ツール条件が充足されるか判定される。
　本実施形態の検査空間９９には、上述した検査空間９９Ａ～９９Ｃに加えて、ロボットアーム３０の少なくとも一部およびワーク５の少なくとも一部を含む他の物体が検査空間９９に配置される。ロボットアーム３０が配置される空間は、検査空間９９Ａ～９９Ｃである。ワーク５が配置される空間は、検査空間９９のうち検査空間９９Ｃよりも下側にある。また、その他の物体が検査空間９９に配置されていてもよい。以下の説明では、検査空間９９の内側に配置される物体を総称する場合に、単に「物体９８」という場合がある。つまり、本実施形態の物体９８は、ツール４０、ロボットアーム３０、およびワーク５を含む概念である。
　図１に戻り、撮影制御部５４は、移動制御部５３による制御後、３Ｄカメラ８を制御して撮影画像データを取得するように構成される。本実施形態では、３Ｄカメラ８の撮影範囲８Ａが検査空間９９と一致する。３Ｄカメラ８は、撮影対象となる物体９８を撮影する機能に加えて、物体９８から３Ｄカメラ８までの距離である撮影距離を計測する機能を有する。一例として３Ｄカメラ８は、２つのレンズを含むステレオカメラである。一方のレンズによって集められた光に基づき生成される第１撮像画像と、他方のレンズによって集められた光に基づき生成される第２撮像画像とのそれぞれに物体９８は映る。各々の撮像画像において物体９８が映る画像領域は異なり、これら画像領域の互いの相対的な位置関係に基づいて撮影距離は算出可能である。
　本実施形態では、物体９８が映る画像領域の相対的な位置関係を特定するために、第１撮像画像に映る物体９８と同一物を第２撮像画像において探索する探索処理が実行される。本例ではこの探索処理として、ＰａｔｃｈＭａｔｃｈが採用され、探索処理の効率化が図られる。他の実施形態に係る探索処理として、第１撮像画像を構成する複数の画素の各々を、第２撮像画像を構成する複数の画素の各々と比較する、いわゆる全探索型のアルゴリズムが採用されてもよい。また、撮影距離を測定する３Ｄカメラ８は、ステレオカメラである代わりに、光切断方法を採用した３次元形状計測カメラであってもよいし、ＴｏＦカメラ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ　Ｃａｍｅｒａ）であってもよい。
　図３を参照し、３Ｄカメラ８によって生成される画像である撮影画像７０を示す撮影画像データを説明する。同図では、ツール条件が充足された場合に撮影された撮影画像７０として、クランパ４１の撮影画像７０Ａ、チャック４２の撮影画像７０Ｂ、及びナイフ４３の撮影画像７０Ｃが例示される。撮影画像７０Ａ～７０Ｃ（７０）は、３Ｄカメラ８によって生成される当初のオリジナル撮影画像の一部を切り出すクロップ処理が実行されることで生成される（詳細は後述する）。クロップされる領域は、撮影対象となるツール４０の種別に応じて異なる。ただし、撮影画像７０Ａ～７０Ｃのそれぞれの画像サイズは互いに同じである。
　撮影画像データが示す撮影画像７０を構成する２以上の画素のそれぞれは、第２軸座標と第３軸座標との組み合わせである（Ｘｉ、Ｙｊ）によって示される（ｉは撮影画像７０の縦方向の画素数以下の任意の自然数であり、ｊは撮影画像７０の横方向の画素数以下の任意の自然数である）。従って、物体９８が映る撮影画像７０を示す撮影画像データは、検査空間９９にある物体９８の、第２軸座標（Ｘｉ）と第３軸座標（Ｙｉ）との組み合わせによって示される分布データ１２０であると了解される。分布データ１２０によって、撮影画像７０における物体９８の分布が示される。
　本実施形態では、分布データ１２０としての撮影画像データが示す撮影画像７０を構成する複数の画素にはそれぞれ、撮影距離と相関した輝度値（Ｌ）が割り当てられている。従って、分布データ１２０としての撮影画像データが示す撮影画像７０は、３Ｄカメラ８を視点とする撮影範囲８Ａにおけるデプスマップであると理解することもできる。各画素に割り当てられる輝度値は、撮影距離が短いほど低くなる。即ち、物体９８は撮影画像７０に黒く映る。従って、図３の左側で示されるように、撮影画像７０Ａ、７０Ｂ、７０Ｃのそれぞれに映るツール４０うちで、撮影画像７０Ａに映るチャック４２の輝度値が最も低く、撮影画像７０Ｃに映るナイフ４３の輝度値が最も高い。図３では、輝度値が低いツール４０ほど細かいハッチングが施されている。なお、撮影画像７０のうちで物体９８が映らない画素には、輝度値の最大値が割り当てられる。
　分布データ取得部５５は、撮影制御部５４によって取得された撮影画像データに含まれる分布データ１２０を取得するように構成される。分布データ取得部５５は、分布データ１２０に対してフィルタ処理が実行されることで生成される対応分布データ１２０Ａ（後述）を取得してもよいし、フィルタ処理を実行すれていない分布データ１２０を取得してもよい。
　図１に戻り、判定部５６は、ツール条件が充足されるか、分布データ取得部５５によって取得された分布データ１２０に基づき判定するように構成される。ツール条件が充足されるときに想定される想定分布データと、分布データ取得部５５によって取得された分布データ１２０との差異は、ツール条件が充足されるかに応じて変化する。例えば、ロボットアーム３０における規定位置にてチャック４２が装着されるべきにも関わらず、該規定位置からずれた位置にてクランパ４１が装着された場合、分布データ取得部５５によって取得される分布データ１２０は、想定分布データよりも大きく乖離する。従って、データの差異は閾値を超え、判定部５６は、ツール種別が充足されないと判定する。別の例を挙げると、ロボットアーム３０Ａに開状態のクランパ４１が装着されるべきにも関わらず、ロボットアーム３０Ａに閉状態のクランパ４１が装着されたとする。この場合、クランパ４１の実際の形状が、想定される形状とは大きくことなる。つまり、分布データ取得部５５によって取得される分布データ１２０は、想定分布データから大きく乖離する。この場合、判定部５６は、ツール状態が充足されないと判定する。判定部５６にって実行される判定処理のより詳細な説明は後述する。
　上記構成によれば、分布データ１２０は検査空間９９にある物体９８の位置及び形状に応じて定まる。充足されるべきツール条件に応じた第１軸座標にツール４０が移動するよう移動制御部５３がロボットアーム３０を制御するので、ツール条件を充足するツール４０が検査空間９９内の物体９８として配置されているかによって、取得される分布データ１２０は大きく変化する。従って、判定部５６はツール条件が充足されるかを正確に判定できる。以上より、ツール条件が充足されているかを正確に判定することができるツールチェック装置５０が実現する。
＜２－３．分布データ取得部５５によって実行される取得処理＞
　図３を参照し、本開示の一実施形態に係る分布データ取得部５５によって実行される分布データ１２０の取得処理の詳細を例示する。検査空間９９である撮影範囲８Ａには、チェック対象となるツール４０の他に、ワーク５などの他の物体９８が配置されることがある。この場合、撮影画像７０には、ツール４０とは別の他の物体９８が映るので、撮影画像データである分布データ１２０には、他の物体９８の分布データ１２０がノイズとして含まれる。本実施形態では、チェック対象となるツール４０と他の物体９８が互いに異なる第１軸座標に配置される原理を利用して、分布データ取得部５５は、ツール条件に応じた第１軸座標における分布データ１２０を抽出するためのフィルタ処理を実行するように構成される。撮影画像７０を示す撮影画像データとしての分布データ１２０から、ツール条件に対応する第１軸座標の分布データ１２０（以下、対応分布データ１２０Ａという）が、フィルタ処理によって抽出される。つまり、ノイズとなる分布データ１２０は除去される。なお、フィルタ処理のさらなる詳細な説明は後述する。
　上記構成によれば、フィルタ処理が実行されることで、ツール条件が充足されるかの判定結果に影響を及ぼし得るノイズとしての分布データ１２０が除去される。よって、ツールチェック装置５０は、ツール条件が充足されているかをより正確に判定することができる。
　また、分布データ１２０は、撮影範囲８Ａを検査空間９９とする３Ｄカメラ８によって生成される物体９８の撮影画像データに含まれるデータである。さらに、分布データ１２０は、第２軸座標（本例ではＸｉ）と第３軸座標（本例ではＹｊ）との組み合わせによって示される撮影画像７０を構成する複数の画素のそれぞれに、輝度値を対応付ける。上記構成によれば、ツール条件に応じた第１軸座標にツール４０が配置されるよう移動制御部５３はロボットアーム３０を制御する。従って、撮影画像７０の画素と、物体９８から３Ｄカメラ８までの距離である撮影距離と相関する輝度値とを対応付けた分布データ１２０は、ツール条件が充足されるかに応じて大きく変化する。よって、ツールチェック装置５０は、ツール条件が充足されているかをより正確に判定することができる。
　例えば、ツール４０の種別に応じてロボットアーム３０におけるツール装着位置が第１軸方向に異なる実施形態では、ツール種別が充足されるかに応じて分布データ１２０の輝度値が変化する。より具体的には、ツール種別がクランパ４１であるにも関わらず、チャック４２がロボットアーム３０に装着された場合、３Ｄカメラ８の撮影時にチャック４２は検査空間９９Ｂから第１軸方向にずれた位置に配置される。従って、チャック４２の第１軸方向におけるずれが分布データ１２０に対応付けられた輝度値に反映される。よって、判定部５６は、分布データ１２０に基づいて、ツール種別が充足されるか正確に判定することができる。
　本実施形態では、検査空間９９Ａ、９９Ｂ、９９Ｃが第１軸方向において並ぶため（図２参照）、物体９８が検査空間９９Ａ、９９Ｂ、９９Ｃのいずれに配置されるかに応じて、撮影画像７０に映る物体９８の輝度値は変化する。図３で例示される分布データ取得部５５はこの原理を利用して、撮影画像データとしての分布データ１２０に対して、フィルタ処理の一例である２値化処理を施す。より具体的には、分布データ取得部５５は、撮影画像データに対してツール条件に応じた大輝度閾値Ｌと小輝度閾値Ｓとを用いて２値化処理を施し、上述の対応分布データ１２０Ａを取得するように構成される。本実施形態の大輝度閾値Ｌと小輝度閾値Ｓは、ツール条件のツール種別に応じて用意される。より詳細には、ツール種別と１対１の関係にある検査空間９９Ａ～９９Ｃに対応して、大輝度閾値Ｌと小輝度閾値Ｓは用意される。本例では、検査空間９９Ａに配置される物体９８の輝度値の画像を抽出する２値化処理が実行されるよう、大輝度閾値Ｌ１と小輝度閾値Ｓ１とが用意される。大輝度閾値Ｌ１と小輝度閾値Ｓ１とを用いた２値化処理が実行されれば、検査空間９９Ａ（図２参照）に配置される物体９８のみが映る撮影画像データが抽出され、検査空間９９Ａから第１軸座標にずれた位置にある物体９８が映る撮影画像データは除去される。同様に、検査空間９９Ｂに対応して大輝度閾値Ｌ２と小輝度閾値Ｓ２とが用意され、検査空間９９Ｃに対応して大輝度閾値Ｌ３と小輝度閾値Ｓ３とが用意される。これらの大輝度閾値Ｌ１～Ｌ３（Ｌ）と小輝度閾値Ｓ１～Ｓ３（Ｓ）の大小関係は、図３で示す通りである。
　大輝度閾値Ｌ１と小輝度閾値Ｓ１を用いた２値化処理の一例を説明する。この２値化処理が実行されることにより、検査空間９９Ａから第１軸方向にずれた位置にある他の物体９８の一例であるワーク５の撮影画像データが除去される。つまり、判定部５６の誤判定を誘発し得るワーク５の分布データ１２０は除去される。２値化処理が実行された撮影画像データ（分布データ１２０）は、対応分布データ１２０Ａとして分布データ取得部５５によって取得される。その後、判定部５６は対応分布データ１２０Ａに基づき、ツール条件が充足されるか判定する。
　上記構成によれば、第２軸座標と第３軸座標の組み合わせによって示される撮影画像７０の画素のうち、大輝度閾値Ｌと小輝度閾値Ｓとによって規定される範囲内の輝度が割り当てられた画素のみを含む撮影画像データが対応分布データ１２０Ａとして取得される。これにより、撮影画像データに含まれるツール４０とは別の他の物体９８のノイズとしての分布データ１２０が除去される。判定部５６は、対応分布データ１２０Ａに基づき、ツール条件が充足されるかを判定する。よって、ツールチェック装置５０は、ツール条件が充足されるかを正確に判定することができる。
＜２－４．判定部５６によって実行される判定処理の詳細＞
　図４Ａ、図４Ｂを参照して、本開示の一実施形態に係る判定部５６によって実行される判定処理の第１、第２、および第３の具体例を説明する。
＜２－４－１．判定処理の第１の具体例＞
　図４Ａを参照して、判定処理の第１の具体例を説明する。第１の具体例では、ツール種別（チャック４２）が充足されるか判定される。判定部５６は、２値化処理された撮影画像７０Ｂ（７０）の撮影画像データである対応分布データ１２０Ａに基づき、撮影画像７０Ｂに映る物体９８の分布面積を特定する。分布面積は、第１軸方向視における物体９８の形状と相関する。従って、物体９８がチャック４２であれば、分布面積は規定条件を充足する（例えば、分布面積は規定値以上の値となる）。これにより、判定部５６は、ツール種別が満たされると判定できる。他方で、ロボットアーム３０にクランパ４１以外のツール４０が装着される場合、該ツール４０は、検査空間９９Ｂ（図２参照）からずれた位置に配置されているので、２値化処理された撮影画像７０Ｂには映らない。つまり、分布面積が規定条件を充足しない（例えば、分布面積は規定値未満の値となる）ので、判定部５６は、ツール種別が満たされないと判定できる。
　なお、ロボットアーム３０に装着されたツール４０がチャック４２であっても、該チャック４２が破損している場合には、分布面積は規定条件を充足しない。また、ロボットアーム３０にツール４０が装着されない場合も、分布面積は規定条件を充足しない。つまり、第１の具体例で説明した判定手法は、ツール状態が充足されるかの判定にも適用可能である。また、他の事態では、第１の具体例として説明した判定手法は、２値化処理される前の撮影画像データ（分布データ１２０）に適用しても、同様の判定結果が得られる。また、ツール４０の装着姿勢が上下逆になることで、撮影画像７０においてツール４０がハレーションを起こすことがある。例えば、刃が下側に配置されるようナイフ４３が装着されるべきにも関わらず装着姿勢が上下逆になる場合、刃が上側に配置されるためハレーションが起こりやすい（図示外）。この場合、フィルタ処理が実行される前の撮影画像７０にはナイフ４３が映りづらく、上述の分布面積が極端に小さくなる。つまり、分布面積が規定条件を充足しない。従って、ナイフ４３の装着姿勢が上下逆になると、ツール状態が充足されないと判定される。
　上記構成によれば判定部５６は、分布データ１２０によって示される物体９８の分布面積に基づき、ツール条件が充足されるか判定する。ツール条件の充足されるかに応じて物体９８の分布面積は大きく変わるので、ツールチェック装置５０は、ツール条件が充足されるかの判定処理を簡易にすることができる。
＜２－４－２．判定処理の第２の具体例＞
　引き続き、図４Ａを参照し、判定処理の第２の具体例を説明する。第２の具体例では、チャック４２のツール状態（開状態）が充足されるか判定される。判定部５６は、対応分布データ１２０Ａによって示される分布領域の重心位置に基づき限定領域８８を特定する。その後、判定部５６は、限定領域８８での分布面積に基づきツール状態が充足されるか判定する。限定領域８８は、２値化処理された撮影画像７０Ｂ（７０）の一部であり、ツール状態が充足されるかに応じて分布面積が変化する領域である。例えば、判定部５６は、対応分布データ１２０Ａによって示される分布領域の重心位置と規定の位置関係にある領域を限定領域８８とみなす。図４Ａで例示される限定領域８８には、開状態のチャック４２が配置されず、閉状態のチャック４２の少なくとも一部が配置される（閉状態のチャック４２は、二点鎖線によって仮想的に図示されている）。この限定領域８８の分布面積が規定条件を充足するかに応じて、判定部５６は、ツール状態が充足されるかを判定する。
　なお、第２の具体例として説明した判定手法は、ツール種別が充足されるかの判定にも適用可能である。例えば、ツール種別が充足されるかに応じて分布面積が変わる領域を限定領域８８として予め設定しておけば、ツール種別が充足されるかを判定部５６は同様の手法によって判定することができる。
　上記構成によれば、ツール条件が充足される分布領域の重心位置と、ツール条件が充足されるかに応じて分布面積が変化する限定領域８８とを対応付けて設定すれば、判定部５６は、限定領域８８における分布面積に基づきツール条件が充足されるかを判定できる。これにより、判定対象となるツール条件に応じた適正な判定を判定部５６は行うことができる。
＜２－４－３．判定処理の第３の具体例＞
　図４Ｂを参照し、判定部５６による判定処理の第３の具体例を説明する。第３の具体例では、ツール種別（チャック４２Ｌ）が充足されるか判定される。なお、チャック４２Ｌは非対称な形状を呈する。図４Ｂの例では、第２軸方向の一方側におけるチャック４２Ｌの第３軸方向長さ（寸法Ｍ１）は、第２軸方向の他方側におけるチャック４２Ｌの第３軸方向の長さ（寸法Ｍ２）よりも長い。
　判定部５６は、対応分布データ１２０Ａが示す分布領域の第２軸方向における長さと、第３軸座標との関係に基づきツール条件が充足されるかを判定するように構成される。より具体的には、判定部５６は、対応分布データ１２０Ａが示す分布領域（図４Ｂの例では、ロボットアーム３０とチャック４２Ｌの分布領域）からチャック４２Ｌの分布領域を推定する。この推定処理は、ロボットアーム３０とチャック４２Ｌの形状に基づいて予め設定されておけばよい。その後、判定部５６は、チャック４２Ｌの分布領域において、第２軸方向の一方側と他方側のそれぞれの最大寸法を特定する。それぞれの最大寸法の大小関係が、規定条件を満たせばツール種別（チャック４２Ｌ）が充足されると判定される。他方で、チャック４２Ｌと対称な形状を呈するチャック４２Ｒが誤って装着されていた場合、上記の最大寸法の大小関係は逆になり、規定条件を充足されないので、判定部５６はツール種別が充足されないと判定することができる。
　第３の具体例として説明した判定手法は、ツール状態が充足されるかの判定にも適用可能である。例えば、上述の最大寸法の大小関係が、ツール状態に応じて切り替わるツール４０が用いられるのであれば、本判定手法を適用すればよい。
　上記構成によれば、ツール条件が充足される分布領域の第３軸方向における長さと、第２軸座標との関係を予め設定すれば、判定部５６は、ツール条件が充足されるかをこの関係に基づき判定することができる。これにより、判定対象となるツール条件に応じた適正な判定を判定部５６は行うことができる。
＜２－５．ツールチェック装置５０の追加的な構成要素＞
　図１、図５を参照し、ツールチェック装置５０の追加的な構成要素を説明する。ツールチェック装置５０は、３Ｄカメラ８の姿勢を示す姿勢データを取得するように構成される姿勢取得部５２を備える。３Ｄカメラ８がワーク加工システム１に取り付けられるとき、取付用の部品の寸法公差または取付作業のばらつきなどに起因して、３Ｄカメラ８の姿勢が理想的な姿勢からずれる場合がある。姿勢取得部５２はこのずれ量を特定するために姿勢データを取得する。
　姿勢データの取得方法の一例は以下の通りである。ロボットアーム３０の位置姿勢の原点位置に対して規定の位置関係にあるプレート（図示外）が用意される。このプレートは、位置姿勢データが取得されるタイミングに応じて設置されてもよいし、常に設置されていてもよい。プレートの表面において示される複数のマークを３Ｄカメラ８が撮影し、複数のマークのオリジナル撮影画像が生成される。このオリジナル撮影画像に映る複数のマークの位置関係に規定の算出式が適用されることで、姿勢データは取得される。なお、オリジナル撮影画像は、３Ｄカメラ８によって生成される、クロップ処理がなされていない画像である。
　一実施形態に係る分布データ取得部５５は、３Ｄカメラ８によって撮影されるオリジナル撮影画像（図５において二点鎖線７１を参照）のうち、姿勢取得部５２によって取得された姿勢データに基づき求まる部分領域である撮影画像７０を特定し、撮影画像７０における分布データ１２０を取得するように構成される。つまり、オリジナル撮影画像のうちクロップ処理される領域が、姿勢データに応じて変わる。これにより、撮影画像７０を基準としたツール４０が映る画像領域がばらつくのを抑制できる。
　３Ｄカメラ８の姿勢が変わると、３Ｄカメラ８の撮影範囲８Ａも変わる。従って、オリジナル撮影画像における決まった部分領域の分布データ１２０が取得されると、以下の不具合が発生し得る。即ち、ツール条件が実際には充足されているにも関わらず、撮影画像７０にツール４０の少なくとも一部が映らないために、判定部５６はツール条件が充足されていないと誤判定する。反対に、ツール条件が実際には充足されていないにも関わらず、不適正なツール４０が撮影画像７０に映ってしまうために、判定部５６はツール条件が充足されていると誤判定する。この点、上記構成によれば、３Ｄカメラ８の姿勢のずれを反映して撮影画像７０が取得され、この撮影画像７０の分布データ１２０が取得される。従って、ツール条件が充足される場合には、撮影画像７０の規定位置にツール４０が映る。また、撮影画像７０に映るべきではないツール４０は映らない。よって、ツールチェック装置５０は、ツール条件が充足されるかをより正確に判定することができる。
＜３．ツールチェック装置５０の電気的構成＞
　図６は、本開示の一実施形態に係るツールチェック装置５０の電気的構成を示す概念図である。ワーク加工システム１は、プロセッサ９１を含む。プロセッサ９１は、ＲＯＭ９２に記憶されるツールチェックプログラム９５を読み出してＲＡＭ９３にロードし、ロードしたツールチェックプログラム９５に含まれる命令を実行するように構成される。プロセッサ９１は、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＤＳＰ、これら以外の各種演算装置、又はこれらの組み合わせである。プロセッサ９１は、ＰＬＤ、ＡＳＩＣ、ＦＰＧＡ、及びＭＣＵ等の集積回路により実現されてもよい。ＲＯＭ９２およびＲＡＭ９３は記憶装置の一例である。メモリ９４は、ツール条件が充足されるかを判定するために必要な各種パラメータを記憶する。各種パラメータは、大輝度閾値Ｌおよび小輝度閾値Ｓを含む。大輝度閾値Ｌは小輝度閾値Ｓよりも大きな閾値である。
　本実施形態のプロセッサ９１は、インターフェースを介して、入力部６と、搬送装置７と、ロボットアーム３０と、３Ｄカメラ８と、発報装置９とに接続されている。例えばタッチパネルなどであってもよい入力部６では、オペレータによってツール条件が入力される。プロセッサ９１は、入力部６から出力されるデータを取得することで、ツール条件を取得する。
　一実施形態の搬送装置７と、ロボットアーム３０と、３Ｄカメラ８と、発報装置９は、各々、プロセッサ９１から受信する制御信号に応じて作動する。３Ｄカメラ８は、受信した制御信号に応じて撮影を実行し、生成した撮影画像データをプロセッサ９１に出力する。発報装置９は、ツール条件が充足されないと判定された場合に、オペレータに発報するように構成される。本実施形態の発報装置９は、画像表示装置、スピーカ、発光装置、又はこれらの組み合わせである。
＜４．ツールチェック処理＞
　図７、図８を参照して、本開示の一実施形態に係るツールチェック処理の詳細を例示する。ツールチェック処理は、ツール条件が充足されるかを判定するための処理である。本実施形態では、プロセッサ９１が、ＲＯＭ９２に記憶されるツールチェックプログラム９５をＲＡＭ９３にロードすることによって、以下のステップを実行する。処理の実行に伴いプロセッサ９１が処理するデータは、ＲＡＭ９３又はメモリ９４に適宜記憶される。以下の説明では、「ステップ」を「Ｓ」と略記する場合がある。
　はじめに、プロセッサ９１は、上述した方法によって３Ｄカメラ８の姿勢データを取得する（Ｓ１０）。Ｓ１０を実行するプロセッサ９１は、既述の姿勢取得部５２として機能する。次いで、プロセッサ９１はツール条件を取得する（Ｓ１１）。本例では、オペレータがロボットアーム３０Ａ、３０Ｂ、３０Ｃのそれぞれに対応するツール条件を入力部６に入力する。Ｓ１１を実行するプロセッサ９１は、既述の条件取得部５１として機能する。
　プロセッサ９１は、Ｓ１１において取得されたツール条件に応じた第１軸座標にツール４０が配置されるよう、ロボットアーム３０を移動制御する（Ｓ１３）。例えば、プロセッサ９１は、ロボットアーム３０Ａに対応付けられたツール条件に基づき、ロボットアーム３０Ａを移動制御する。これにより、ロボットアーム３０Ａにツール４０が適正に装着されているのであれば、このツール４０は、検査空間９９Ａ～９９Ｃのいずれかに配置される。Ｓ１３を実行するプロセッサ９１は、既述の移動制御部５３として機能する。
　プロセッサ９１は、３Ｄカメラ８を制御して既述の撮影画像データを取得する（Ｓ１５）。本撮影画像データによって示される画像は、オリジナル撮影画像である。Ｓ１５を実行するプロセッサ９１は、既述の撮影制御部５４として機能する。
　プロセッサ９１は、Ｓ１５において取得された撮影画像データに含まれる分布データ１２０を取得する（Ｓ１７）。本例では、プロセッサ９１は、Ｓ１０において取得された姿勢データに基づき、Ｓ１５において取得されたオリジナル撮影画像を示す撮影画像データに対してクロップ処理を施す。これにより、プロセッサ９１は、撮影画像７０を示す撮影画像データを取得する。さらに、この撮影画像データに対して、Ｓ１１において取得されたツール条件に応じた２値化処理が施され、プロセッサ９１は対応分布データ１２０Ａを取得する。Ｓ１７を実行するプロセッサ９１は、既述の分布データ取得部５５として機能する。
　プロセッサ９１は、Ｓ１７において取得された対応分布データ１２０Ａに基づき、ツール条件が充足されるかを判定する（Ｓ１９）。Ｓ１９を実行するプロセッサ９１は、既述の判定部５６として機能する。判定処理の詳細は後述する。
　プロセッサ９１は、判定処理（Ｓ１９）の判定結果に基づき、ツール４０に関する異常があるかを判定する（Ｓ２１）。異常がないと判定されれば（Ｓ２１：ＮＯ）、プロセッサ９１は、ツールチェック処理を終了するかを判定する（Ｓ２３）。本例では、ロボットアーム３０Ａ～３０Ｃのそれぞれに対応する全てのツール条件について判定が終了していなければ（Ｓ２３：ＮＯ）、プロセッサ９１は処理をＳ１３に戻す。Ｓ１３～Ｓ２３が繰り返されることで、ロボットアーム３０Ａ、３０Ｂ、３０Ｃのそれぞれのツール条件が充足されるか判定される。全てのツール条件について判定が終了すれば（Ｓ２３：ＹＥＳ）、プロセッサ９１は判定処理を終了する。
　ツール４０に関する異常があると判定された場合（Ｓ２１：ＹＥＳ）、プロセッサ９１は、発報装置９を制御して、具体的な異常を発報する（Ｓ２５）。これにより、オペレータは、発報内容に応じた処置をワーク加工システム１において施すことができる（具体的な異常の特定方法は後述する）。Ｓ２５の実行後、プロセッサ９１はツールチェック処理を終了する。
　図８を参照して、判定処理の詳細を説明する。プロセッサ９１は、既述の方法のいずれかを用いて、ツール種別が充足されるかを判定する（Ｓ３１）。ツール種別が充足されないと判定された場合（Ｓ３１：ＮＯ）、プロセッサ９１は具体的な異常を記憶する（Ｓ３５）。例えば、プロセッサ９１は、適正な種別のツール４０がロボットアーム３０に装着されていないことを示すエラーデータをメモリ９４に記憶する。メモリ９４に記憶されるエラーデータは、上述のＳ２５の発報処理で利用される。Ｓ２５の実行後、プロセッサ９１は判定処理を終了して、ツールチェック処理（図７参照）に戻る。
　ツール種別が充足されると判定された場合（Ｓ３１：ＹＥＳ）、プロセッサ９１は、既述の方法のいずれかを用いて、ツール状態が充足されるかを判定する（Ｓ３３）。ツール状態が充足されないと判定された場合（Ｓ３３：ＮＯ）、プロセッサ９１は処理をＳ３５に移行する。このとき、プロセッサ９１は、ツール４０の状態が適正でないことを示すエラーデータをメモリ９４に記憶する（Ｓ３５）。ツール状態が充足されると判定された場合（Ｓ３３：ＹＥＳ）、プロセッサ９１は判定処理を終了する。
＜５．他の実施形態の例示＞
　なお、本開示のワーク加工システム１は、３Ｄカメラ８と撮影制御部５４を備えることに限定されない。例えば、３Ｄカメラ８に代えて超音波装置が設けられてもよい。超音波を用いて検査空間９９における物体９８と、超音波装置との距離が測定されれば、分布データ１２０を取得することは可能である。さらに超音波装置によって生成される分布データ１２０に対して、規定値以上の距離がある物体の距離データを除去するフィルタ処理を施すことも可能である。また、超音波装置に代えてＣＴスキャンまたはＭＲＩなどが採用されてもよい。
＜６．まとめ＞
　上述した幾つかの実施形態に記載の内容は、例えば以下のように把握される。
（１）本開示の一実施形態に係るロボットアーム用のツールチェック装置（５０）は、
　３次元座標系として定義される検査空間（９９）において、ロボットアーム（３０）に装着されるべきツール（４０）の種別または状態の少なくとも一方に関するツール条件に応じた前記３次元座標系の第１軸座標に、前記ツール（４０）が配置されるよう前記ロボットアーム（３０）を制御するように構成される移動制御部（５３）と、
　前記移動制御部（５３）による制御後、前記検査空間（９９）にある物体（９８）の、前記３次元座標系の第２軸座標と第３軸座標との組み合わせによって示される分布データ（１２０）を取得するように構成される分布データ取得部（５５）と、
　前記ツール条件が充足されるか前記分布データ（１２０）に基づき判定するように構成される判定部（５６）とを備える。
　上記１）の構成によれば、分布データ（１２０）は、検査空間（９９）にある物体（９８）の位置及び形状に応じて定まる。充足されるべきツール条件に応じた第１軸座標にツール（４０）が移動するよう移動制御部（５３）がロボットアーム（３０）を制御するので、ツール条件を充足するツール（４０）が検査空間（９９）内の物体（９８）として配置されているかによって、取得される分布データ（１２０）は大きく変化する。従って、判定部（５６）はツール条件が充足されるかを正確に判定できる。以上より、ツール条件が充足されるかを正確に判定することができるロボットアーム用のツールチェック装置（５）が実現する。
２）幾つかの実施形態では、上記１）に記載のロボットアーム用のツールチェック装置（５０）であって、
　前記分布データ取得部（５５）は、前記分布データ（１２０）に対して、前記ツール条件に応じた前記第１軸座標における前記分布データ（１２０）である対応分布データ（１２０Ａ）を抽出するためのフィルタ処理を実行するように構成され、
　前記判定部（５６）は、前記ツール条件が充足されるかを前記対応分布データ（１２０Ａ）に基づき判定するように構成される。
　第１軸方向においてツール（４０）からずれた位置にある他の物体（９８）のノイズとしての分布データ（１２０）が、分布データ取得部（５５）によって取得される当初の分布データ（１２０）に含まれる場合がある。この点、上記２））の構成によれば、フィルタ処理が実行されることでノイズとしての分布データ（１２０）が除去されるので、ロボットアーム用のツールチェック装置（５０）は、ツール条件が充足されているかをより正確に判定することができる。
３）幾つかの実施形態では、上記１）または２）に記載のロボットアーム用のツールチェック装置（５０）であって、
　前記分布データ（１２０）は、撮影範囲を前記検査空間（９９）とする３Ｄカメラ（８）によって生成される前記物体（９８）の撮影画像データに含まれるデータであって、前記第２軸座標と前記第３軸座標との組み合わせによって示される撮影画像を構成する複数の画素のそれぞれと、前記物体（９８）から前記３Ｄカメラ（８）までの距離に相関する輝度値とを対応付けたデータである。
　上記３）の構成によれば、ツール条件に応じた第１軸座標にツール（４０）が配置されるよう移動制御部（５３）はロボットアーム（３０）を制御するので、撮影画像（７０）を構成する複数の画素と、物体（９８）から３Ｄカメラ（８）までの距離と相関する輝度値とを対応付けた分布データ（１２０）は、ツール条件が充足されるかに応じて大きく変化する。よって、ロボットアーム用のツールチェック装置（５０）は、ツール条件が充足されているかをより正確に判定することができる。
４）幾つかの実施形態では、上記３）に記載のロボットアーム用のツールチェック装置（５０）であって、
　前記分布データ取得部（５５）は、前記３Ｄカメラ（８）によって生成される前記撮影画像データに対して、前記ツール条件に応じた大輝度閾値（Ｌ）と小輝度閾値（Ｓ）とを用いて２値化処理を施し、前記ツール条件に応じた前記第１軸座標における前記分布データ（１２０）である対応分布データ（１２０Ａ）を取得するように構成される。
　上記４）の構成によれば、第２軸座標と第３軸座標の組み合わせによって示される撮影画像（７０）の画素のうち、大輝度閾値（Ｌ）と小輝度閾値（Ｓ）とによって規定される範囲内の輝度が割り当てられた画素のみを含む画像データが対応分布データ（１２０Ａ）として取得される。これにより、撮影画像データに含まれるツール（４０）とは別の他の物体（９８）のノイズとしての分布データ（１２０）が除去される。判定部（５６）は、この対応分布データ（１２０Ａ）に基づき、ツール条件が充足されるかを判定する。よって、ロボットアーム用のツールチェック装置（５０）は、ツール条件が充足されるかを正確に判定することができる。
５）幾つかの実施形態では、上記３）または４）に記載のロボットアーム用のツールチェック装置（５０）であって、
　前記検査空間（９９）における前記３Ｄカメラ（８）の姿勢を示す姿勢データを取得するように構成される姿勢取得部（５２）と、
　前記分布データ取得部（５５）は、前記３Ｄカメラ（８）によって撮影されるオリジナル撮影画像のうちで前記姿勢データに基づき定まる部分領域である前記撮影画像における前記分布データ（１２０）を取得するように構成される。
　上記５）の構成によれば、３Ｄカメラ（８）の姿勢のズレを反映した撮影画像（７０）が取得され、この撮影画像（７０）の分布データ（１２０）が取得される。従って、ツール条件が充足される場合には、撮影画像（７０）の規定位置にツール（４０）が映る。よって、判定部（５６）は、ツール条件が充足されるかをより正確に判定することができる。
６）幾つかの実施形態では、上記１）から５）のいずれかに記載のロボットアーム用のツールチェック装置（５０）であって、
　前記判定部（５６）は、前記ツール条件が充足されるかを前記分布データ（１２０）によって示される前記物体（９８）の分布面積に基づき判定するように構成される。
　ツール条件が充足されるかに応じて、分布データ（１２０）によって示される物体（９８）の分布面積は変わる。例えば、種別が不適正なツール（４０）がロボットアーム（３０）に装着される場合、または、破損しているなどの不適正な状態のツール（４０）がロボットアーム（３０）に装着される場合、分布データ（１２０）の分布面積は、適正値または適正範囲から外れる。このようにツール条件が充足されるかに応じて物体（９８）の分布面積は大きく変わるので、ツールチェック装置（５０）はツール条件が充足されるかの判定処理を簡易にすることができる。
７）幾つかの実施形態では、上記６）に記載のロボットアーム用のツールチェック装置（５０）であって、
　前記判定部（５６）は、前記分布データ（１２０）が示す分布領域の重心位置に基づき限定領域（８８）を特定し、前記限定領域（８８）での前記分布面積に基づき、前記ツール条件が充足されるかを判定するように構成される。
　上記７）の構成によれば、ツール条件が充足される分布領域の重心位置と、ツール条件が充足されるかに応じて分布面積が変化する限定領域（８８）とを対応付けて設定すれば、判定部（５６）は、限定領域（８８）における分布面積に基づきツール条件が充足されるかを判定できる。これにより、判定対象となるツール条件に応じた適正な判定を判定部（５６）は行うことができる。
８）幾つかの実施形態では、上記１）から７）のいずれかに記載のロボットアーム用のツールチェック装置（５０）であって、
　前記判定部（５６）は、前記分布データ（１２０）が示す分布領域の、前記３次元座標系の第３軸方向における長さと、前記第２軸座標との関係に基づき、前記ツール条件が充足されるかを判定するように構成される。
　上記８）の構成によれば、ツール条件が充足される分布領域の第３軸方向における長さと、第２軸座標との関係を予め設定すれば、判定部（５６）は、ツール条件が充足されるかをこの関係に基づき判定することができる。これにより、判定対象となるツール条件に応じた適正な判定を判定部（５６）は行うことができる。
９）本開示の少なくとも一実施形態に係るロボットアーム用のツールチェックプログラム（９５）は、
　コンピュータに、
　３次元座標系として定義される検査空間（９９）において、ロボットアーム（３０）に装着されるべきツール（４０）の種別または状態の少なくとも一方に関するツール条件に応じた前記３次元座標系の第１軸座標に、前記ツール（４０）が配置されるよう前記ロボットアーム（３０）を制御するための移動制御ステップ（Ｓ１３）と、
　前記移動制御ステップ（Ｓ１３）後、前記検査空間（９９）にある物体（９８）の、前記３次元座標系の第２軸座標と第３軸座標との組み合わせによって示される分布データ（１２０）を取得するための分布データ取得ステップ（Ｓ１７）と、
　前記ツール条件が充足されるか前記分布データ（１２０）に基づき判定する判定ステップ（Ｓ１９）とを実行させる。
　上記９）の構成によれば、上記１）と同様の理由により、ツール条件が充足されるかを正確に判定することができるロボットアーム用のツールチェックプログラム（９５）が実現する。
１０）本開示の少なくとも一実施形態に係るロボットアーム用のツールチェック方法は、
　３次元座標系として定義される検査空間（９９）において、ロボットアーム（３０）に装着されるべきツール（４０）の種別または状態の少なくとも一方に関するツール条件に応じた前記３次元座標系の第１軸座標に、前記ツール（４０）が配置されるよう前記ロボットアーム（３０）を制御するための移動制御工程（Ｓ１３）と、
　前記移動制御工程（Ｓ１３）の後、前記検査空間（９９）にある物体（９８）の、前記３次元座標系の第２軸座標と第３軸座標との組み合わせによって示される分布データ（１２０）を取得するための分布データ取得工程（Ｓ１７）と、
　前記ツール条件が充足されるか前記分布データ（１２０）に基づき判定するための判定工程（Ｓ１９）とを備える。
　上記１０）の構成によれば、上記１）と同様の理由により、ツール条件が充足されるかを正確に判定することができるロボットアーム用のツールチェック方法が実現する。
８　　　　：３Ｄカメラ
８Ａ　　　：撮影範囲
３０　　　：ロボットアーム
４０　　　：ツール
５０　　　：ツールチェック装置
５２　　　：姿勢取得部
５３　　　：移動制御部
５５　　　：分布データ取得部
５６　　　：判定部
７０　　　：撮影画像
８８　　　：限定領域
９５　　　：ツールチェックプログラム
９８　　　：物体
９９　　　：検査空間
１２０　　：分布データ
１２０Ａ　：対応分布データ
Ｓ　　　　：小輝度閾値
Ｌ　　　　：大輝度閾値

 

Claims (10)

  1. 　３次元座標系として定義される検査空間において、ロボットアームに装着されるべきツールの種別または状態の少なくとも一方に関するツール条件に応じた前記３次元座標系の第１軸座標に、前記ツールが配置されるよう前記ロボットアームを制御するように構成される移動制御部と、
    　前記移動制御部による制御後、前記検査空間にある物体の、前記３次元座標系の第２軸座標と第３軸座標との組み合わせによって示される分布データを取得するように構成される分布データ取得部と、
    　前記ツール条件が充足されるか前記分布データに基づき判定するように構成される判定部と
    を備えるロボットアーム用のツールチェック装置。
  2. 　前記分布データ取得部は、前記分布データに対して、前記ツール条件に応じた前記第１軸座標における前記分布データである対応分布データを抽出するためのフィルタ処理を実行するように構成され、
    　前記判定部は、前記ツール条件が充足されるかを前記対応分布データに基づき判定するように構成される
    請求項１に記載のロボットアーム用のツールチェック装置。
  3. 　前記分布データは、撮影範囲を前記検査空間とする３Ｄカメラによって生成される前記物体の撮影画像データに含まれるデータであって、前記第２軸座標と前記第３軸座標との組み合わせによって示される撮影画像を構成する複数の画素のそれぞれと、前記物体から前記３Ｄカメラまでの距離に相関する輝度値とを対応付けたデータである
    請求項１または２に記載のロボットアーム用のツールチェック装置。
  4. 　前記分布データ取得部は、前記３Ｄカメラによって生成される前記撮影画像データに対して、前記ツール条件に応じた大輝度閾値と小輝度閾値とを用いて２値化処理を施し、前記ツール条件に応じた前記第１軸座標における前記分布データである対応分布データを取得するように構成される
    請求項３に記載のロボットアーム用のツールチェック装置。
  5. 　前記検査空間における前記３Ｄカメラの姿勢を示す姿勢データを取得するように構成される姿勢取得部と、
    　前記分布データ取得部は、前記３Ｄカメラによって撮影されるオリジナル撮影画像のうちで前記姿勢データに基づき定まる部分領域である前記撮影画像における前記分布データを取得するように構成される
    請求項３または４に記載のロボットアーム用のツールチェック装置。
  6. 　前記判定部は、前記ツール条件が充足されるかを前記分布データによって示される前記物体の分布面積に基づき判定するように構成される
    請求項１乃至５の何れか１項に記載のロボットアーム用のツールチェック装置。
  7. 　前記判定部は、前記分布データが示す分布領域の重心位置に基づき限定領域を特定し、前記限定領域での前記分布面積に基づき、前記ツール条件が充足されるかを判定するように構成される
    請求項６に記載のロボットアーム用のツールチェック装置。
  8. 　前記判定部は、前記分布データが示す分布領域の、前記３次元座標系の第３軸方向における長さと、前記第２軸座標との関係に基づき、前記ツール条件が充足されるかを判定するように構成される
    請求項１乃至７の何れか１項に記載のロボットアーム用のツールチェック装置。
  9. 　コンピュータに、
    　３次元座標系として定義される検査空間において、ロボットアームに装着されるべきツールの種別または状態の少なくとも一方に関するツール条件に応じた前記３次元座標系の第１軸座標に、前記ツールが配置されるよう前記ロボットアームを制御するための移動制御ステップと、
    　前記移動制御ステップ後、前記検査空間にある物体の、前記３次元座標系の第２軸座標と第３軸座標との組み合わせによって示される分布データを取得するための分布データ取得ステップと、
    　前記ツール条件が充足されるか前記分布データに基づき判定する判定ステップと
    を実行させるためのロボットアーム用のツールチェックプログラム。
  10. 　３次元座標系として定義される検査空間において、ロボットアームに装着されるべきツールの種別または状態の少なくとも一方に関するツール条件に応じた前記３次元座標系の第１軸座標に、前記ツールが配置されるよう前記ロボットアームを制御するための移動制御工程と、
    　前記移動制御工程の後、前記検査空間にある物体の、前記３次元座標系の第２軸座標と第３軸座標との組み合わせによって示される分布データを取得するための分布データ取得工程と、
    　前記ツール条件が充足されるか前記分布データに基づき判定するための判定工程と
    を備えるロボットアーム用のツールチェック方法。

     
PCT/JP2022/037477 2021-11-18 2022-10-06 ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法 WO2023089981A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22895267.7A EP4327988A1 (en) 2021-11-18 2022-10-06 Tool checking device for robot arm, tool checking program, and tool checking method
CA3238662A CA3238662A1 (en) 2021-11-18 2022-10-06 Tool check device, tool check program, and tool check method for robot arm
CN202280075362.XA CN118234603A (zh) 2021-11-18 2022-10-06 机器人臂用的工具检查装置、工具检查程序以及工具检查方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-187595 2021-11-18
JP2021187595A JP2023074599A (ja) 2021-11-18 2021-11-18 ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法

Publications (1)

Publication Number Publication Date
WO2023089981A1 true WO2023089981A1 (ja) 2023-05-25

Family

ID=86396734

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/037477 WO2023089981A1 (ja) 2021-11-18 2022-10-06 ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法

Country Status (5)

Country Link
EP (1) EP4327988A1 (ja)
JP (1) JP2023074599A (ja)
CN (1) CN118234603A (ja)
CA (1) CA3238662A1 (ja)
WO (1) WO2023089981A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010234451A (ja) * 2009-03-30 2010-10-21 J-Net:Kk ワーク加工方法、マシニングセンタ
JP2018058153A (ja) * 2016-10-05 2018-04-12 リンテック株式会社 切断装置および切断手段の装着方法
JP2018158405A (ja) 2017-03-22 2018-10-11 キヤノン株式会社 ロボットハンド、ツール交換ユニット、およびロボットハンドの制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010234451A (ja) * 2009-03-30 2010-10-21 J-Net:Kk ワーク加工方法、マシニングセンタ
JP2018058153A (ja) * 2016-10-05 2018-04-12 リンテック株式会社 切断装置および切断手段の装着方法
JP2018158405A (ja) 2017-03-22 2018-10-11 キヤノン株式会社 ロボットハンド、ツール交換ユニット、およびロボットハンドの制御方法

Also Published As

Publication number Publication date
CA3238662A1 (en) 2023-05-25
CN118234603A (zh) 2024-06-21
JP2023074599A (ja) 2023-05-30
EP4327988A1 (en) 2024-02-28

Similar Documents

Publication Publication Date Title
JP7352260B2 (ja) 自動物体検出機構を備えたロボットシステム、および、その動作方法
CN113196337B (zh) 图像处理装置、作业机器人、基板检查装置及检体检查装置
JP6725587B2 (ja) バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法
JP2004090183A (ja) 物品の位置姿勢検出装置及び物品取出し装置
JP5156601B2 (ja) 形状測定装置およびプログラム
CN113146172A (zh) 一种基于多视觉的检测与装配系统及方法
JP5858773B2 (ja) ３次元計測方法、３次元計測プログラム及びロボット装置
JP6621351B2 (ja) レーザー加工用の画像処理装置及び画像処理方法
CN110980276A (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
US10712288B2 (en) Surface damage inspection system for workpiece
WO2023089981A1 (ja) ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法
CN116818668A (zh) Pcb缺陷检测设备、方法、装置、计算机设备及存储介质
US20210318251A1 (en) Auto focus function for vision inspection system
CN116175542B (zh) 确定夹具抓取顺序的方法、装置、电子设备和存储介质
US20240033933A1 (en) Tool checking device, storage device storing tool checking program, and tool checking method for robot arm
Luo et al. Vision-based 3-D object pick-and-place tasks of industrial manipulator
CN116188559A (zh) 图像数据处理方法、装置、电子设备和存储介质
US20240033934A1 (en) Tool checking device, storage device storing tool checking program, and tool checking method for robot arm
JP2021074799A (ja) 制御装置、その制御方法、及び制御システム
Chiu Dual laser 3D scanner for Random Bin Picking system
CN116197885B (zh) 基于压叠检测的图像数据过滤方法、装置、设备和介质
WO2021059438A1 (ja) 高さ測定装置
Sypniewski et al. Probabilistic approach to seam tracking of butt welding
JP2023069348A (ja) 外観検査装置及び外観検査方法
TW202212810A (zh) 自動物件取像方法及裝置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22895267

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18559815

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 22 895 267.7

Country of ref document: EP

Ref document number: 2022895267

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022895267

Country of ref document: EP

Effective date: 20231122

ENP Entry into the national phase

Ref document number: 3238662

Country of ref document: CA

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112024009419

Country of ref document: BR