WO2022138234A1 - ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法 - Google Patents

ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法 Download PDF

Info

Publication number
WO2022138234A1
WO2022138234A1 PCT/JP2021/045535 JP2021045535W WO2022138234A1 WO 2022138234 A1 WO2022138234 A1 WO 2022138234A1 JP 2021045535 W JP2021045535 W JP 2021045535W WO 2022138234 A1 WO2022138234 A1 WO 2022138234A1
Authority
WO
WIPO (PCT)
Prior art keywords
tool
robot arm
image
condition
satisfied
Prior art date
Application number
PCT/JP2021/045535
Other languages
English (en)
French (fr)
Inventor
潤太 平山
大 徳本
智輝 山下
憲一郎 木村
Original Assignee
株式会社前川製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社前川製作所 filed Critical 株式会社前川製作所
Priority to CA3202968A priority Critical patent/CA3202968A1/en
Priority to EP21910383.5A priority patent/EP4249187A4/en
Priority to US18/265,718 priority patent/US20240033933A1/en
Priority to CN202180086341.3A priority patent/CN116685444A/zh
Publication of WO2022138234A1 publication Critical patent/WO2022138234A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0052—Gripping heads and other end effectors multiple gripper units or multiple end effectors
    • B25J15/0066—Gripping heads and other end effectors multiple gripper units or multiple end effectors with different types of end effectors, e.g. gripper and welding gun
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39468—Changeable hand, tool, code carrier, detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40589—Recognize shape, contour of tool

Definitions

  • This disclosure relates to a tool check device for a robot arm, a tool check program, and a tool check method.
  • a robot arm in which a tool for performing processing or operation on an object is interchangeably attached.
  • a tool for performing processing or operation on an object is interchangeably attached.
  • one of a plurality of types of tools is attached to the robot arm depending on the processing of an object or the like.
  • the robot arm can grip an object by opening and closing the tool.
  • Patent Document 1 does not disclose a specific configuration for accurately determining whether or not the tool satisfies the tool condition.
  • An object of the present disclosure is to provide a tool check device, a tool check program, and a tool check method for a robot arm that can accurately determine whether a tool satisfies a tool condition.
  • the tool check device for a robot arm is The captured image of the tool attached to the robot arm is subjected to image processing associated with the tool condition related to the tool type or tool state to be satisfied by the tool, and the related area associated with the tool condition is extracted.
  • An image processing unit for generating images, and A determination unit configured to determine whether or not the tool mounted on the robot arm satisfies the tool condition is provided based on the processed image.
  • the tool check program for a robot arm is A program for checking tools for robot arms, On the computer Image processing associated with the tool conditions related to the tool type or tool state to be satisfied by the tool is applied to the captured image of the tool mounted on the robot arm, and the related area associated with the tool condition is extracted. Image processing steps to generate a finished image, and Based on the processed image, a determination step for determining whether the tool mounted on the robot arm satisfies the tool condition is executed.
  • the tool check method for a robot arm is A way to check the tools for the robot arm, Image processing associated with the tool conditions related to the tool type or tool state to be satisfied by the tool is applied to the captured image of the tool mounted on the robot arm, and the related area associated with the tool condition is extracted. Image processing process for generating finished images and A determination step for determining whether or not the tool mounted on the robot arm satisfies the tool condition is provided based on the processed image.
  • a tool check device a tool check program, and a tool check method for a robot arm that can accurately determine whether a tool satisfies a tool condition.
  • expressions such as “same”, “equal”, and “homogeneous” that indicate that things are in the same state not only represent exactly the same state, but also have tolerances or differences to the extent that the same function can be obtained. It shall also represent the existing state.
  • an expression representing a shape such as a square shape or a cylindrical shape not only represents a shape such as a square shape or a cylindrical shape in a geometrically strict sense, but also an uneven portion or a chamfering within a range where the same effect can be obtained. It shall also represent the shape including the part and the like.
  • the expressions “to have”, “to have”, “to include”, or "to have” one component are not exclusive expressions that exclude the existence of other components.
  • the work processing system 1 according to the embodiment will be described.
  • the work processing system 1 of one embodiment is provided for processing the work 5 by using the tool 40.
  • the work 5 is a processing target of the tool 40.
  • the work 5 is a food product such as an agricultural product, a livestock product, or a marine product.
  • the food may be either fresh food or processed food.
  • the first, second, and third embodiments in which the work 5 is fresh meat will be described.
  • the work processing system 1a (1) according to the first embodiment exemplified in FIG. 1 is for photographing a transfer device 7 for conveying the work 5, a robot arm 30 for processing the work 5, and a tool 40.
  • the imaging device 8 is provided, a lighting unit 4 for illuminating the imaging area of the imaging device 8, and a tool check device 50a (50) for the robot arm.
  • the transport device 7 of one embodiment is a belt conveyor that transports the work 5 in the horizontal direction.
  • the photographing device 8 of one embodiment is provided so as to photograph the tool 40 from above.
  • the captured image 15 of the photographing device 8 is a plan view image.
  • the robot arm 30 is configured to mount the tool 40.
  • the tool check device 50 checks whether the tool 40 is appropriate or not by using the captured image 15. Details of the configurations of the robot arm 30, the tool 40, and the tool check device 50a will be described later.
  • the transport device 7 may grip and transport the work 5 in a suspended posture.
  • the photographing device 8 may be configured to photograph the tool 40 along the horizontal direction, or may be configured to photograph the tool 40 along the direction inclined with respect to the horizontal direction.
  • the work processing system 1a does not have to include the lighting unit 4. In this case, the function of the lighting unit 4 may be included in the photographing device 8.
  • the configuration of the robot arm 30 will be described.
  • the robot arm 30 of one embodiment is an industrial robot. More specifically, as an example, the robot arm 30 is an articulated robot.
  • the robot arm 30 may be a vertical articulated robot, a horizontal articulated robot, or a combination thereof.
  • the robot arm 30 of one embodiment includes robot arms 30a, 30b, 30c.
  • the tool 40 mounted on the robot arm 30 is made of a metal material.
  • the tool 40 of one embodiment has a surface that easily reflects light as compared with, for example, the work 5.
  • the tool 40 of one embodiment includes a clamper 41 for gripping the work 5, a chuck 42 for chucking the work 5, and a knife 43 for cutting the work 5.
  • the clamper 41 is attached to the robot arm 30a, and the chuck 42 and the knife 43 are attached to the robot arm 30b or the robot arm 30c.
  • a symmetrical tool 40 is prepared so that the work 5 can be used properly according to the type.
  • the chuck 42 includes chucks 42L and 42R
  • the knife 43 includes knives 43L and 43R
  • these tools 40 are selectively mounted on the robot arms 30b and 30c.
  • the chuck 42L and the knife 43R are attached to each of the robot arms 30b and 30c.
  • the knife 43L and the chuck 42R are attached to each of the robot arms 30b and 30c.
  • these mounting operations are performed by an operator. In other embodiments, these mounting operations may be performed by another robot.
  • the clamper 41 and the chuck 42 of one embodiment obtain a driving force from a driving source to perform an opening / closing operation.
  • a driving source to perform an opening / closing operation.
  • an air cylinder (not shown) is adopted as the drive source.
  • the inlet and outlet provided in each of the clamper 41 and the chuck 42 are connected to the air cylinder via an air pipe.
  • a hydraulic cylinder or a motor may be adopted as the drive source.
  • the work processing system 1a does not have to be provided with a symmetrical tool 40.
  • the chuck 42 may include only one of the chucks 42L and 42R.
  • the knife 43 may include only one of them.
  • each of the plurality of robot arms 30 may be equipped with only a single tool 40.
  • the work processing system 1a is not limited to the provision of a plurality of robot arms 30.
  • the single robot arm 30 may selectively mount a plurality of types of tools 40, or may mount only a single tool 40.
  • the configuration of the tool check device 50 for the robot arm (hereinafter, may be referred to as the tool check device 50) will be described.
  • the tool check device 50 adopts a tool condition related to a tool type or a tool state to be satisfied by the tool 40 as a check determination criterion.
  • the tool check is performed based on the processed image 18 (described later) in which the captured image 15 is image-processed.
  • the tool type is the type of the tool 40 to be attached to the robot arm 30.
  • the tool type of one embodiment is either a clamper 41, a chuck 42, or a knife 43.
  • a clamper 41 for example, when the knife 43L is attached to the robot arm 30b even though the chuck 42L should be attached, the tool condition regarding the tool type is not satisfied. Such cases may occur, for example, when the operator replaces the tool 40 with a defect.
  • the tool state is a state to be satisfied by the tool 40 mounted on the robot arm 30.
  • the tool state of one embodiment includes an open state or a closed state of the clamper 41 and the chuck 42, and a normal state of the knife 43.
  • the clamper 41 or chuck 42 should be in the closed state but these tools 40 are in the open state, the tool conditions relating to the tool state are not satisfied.
  • Such cases may occur, for example, if there is a defect in the work of connecting the clamper 41 or the chuck 42 and the air cylinder with an air pipe.
  • the knife 43 should be in the normal state but the knife 43 is missing, the tool condition for the tool state is not satisfied. Such cases can occur, for example, with the continuous use of the knife 43.
  • the above tool types and tool states are managed in association with each other. Therefore, the tool check device 50 can check whether the type and state of the tool 40 are appropriate by one check. As a specific example, the tool check device 50 can determine whether or not the tool condition is satisfied with the clamper 41 as the tool type and the open state as the tool state in one check. Alternatively, it can be determined by a single check whether or not the tool condition with the knife 43L as the tool type and the normal state as the tool state is satisfied.
  • the tool type and the tool state may not be associated with each other.
  • the tool check device 50 may individually determine whether each of the tool condition regarding the tool type and the tool condition regarding the tool state is satisfied.
  • the tool condition may be a condition relating only to the tool type. That is, it may be determined only whether the type of the tool 40 attached to the robot arm 30 is appropriate.
  • the tool condition may be a condition relating only to the tool state. For example, in the embodiment in which the robot arm 30 is equipped with only a single tool 40, it is only necessary to determine whether the state of the tool 40 is appropriate.
  • the configuration of the tool check device 50a (50) will be described.
  • the tool check device 50a of one embodiment includes a condition acquisition unit 51, a tool movement control unit 52, a shooting control unit 53, an image processing unit 55a (55), a brightness value acquisition unit 56, and determination units 59a and 59b (59). Be prepared.
  • the functions of these components are realized by the processor 91 (see FIG. 4) as described below.
  • the condition acquisition unit 51 of one embodiment is configured to acquire the tool conditions according to the work schedule (operation schedule) of the robot arm 30 after it is determined that the tool conditions are satisfied. For example, if the work by the clamper 41 in the open state is scheduled as the work after it is determined that the tool condition is satisfied, the tool condition in which the tool type is the clamper 41 and the tool state is in the open state. Is acquired by the condition acquisition unit 51.
  • the tool movement control unit 52 of one embodiment is provided to control the robot arm 30 so that the tool 40 moves to a predetermined position included in the shooting area of the shooting device 8.
  • the specified position of one embodiment is a different position depending on each of the robot arms 30a, 30b, and 30c. The same specified position may be set for any of the robot arms 30a, 30b, and 30c. Alternatively, the specified position may be set according to the tool conditions.
  • the photographing control unit 53 of one embodiment is provided to control the photographing device 8 so that the tool 40 that has moved to the specified position is photographed.
  • the image processing unit 55a (55) of one embodiment is configured to perform image processing associated with the tool conditions to be satisfied by the tool 40 on the captured image 15 of the tool 40 mounted on the robot arm 30. .. In one embodiment, the image processing unit 55a performs image processing associated with the tool conditions acquired by the condition acquisition unit 51 among the plurality of tool conditions prepared in advance on the captured image 15.
  • the image processing unit 55a of one embodiment is configured to perform the above image processing to generate a processed image 18a (18) from which the related region 17a (17) is extracted (see FIGS. 3A and 3B). ..
  • the related region 17a of one embodiment is a region set so that a difference occurs in the image depending on whether the tool condition is satisfied or not.
  • the processed image 18a from which the related area 17a is extracted is used for determining whether the tool condition is satisfied.
  • the related area 17a of one embodiment is set in association with the tool condition.
  • the related area 17a associated with the tool condition relating to the tool state of the clamper 41 is an area in which at least a part of the movable portion of the clamper 41 enters or exits depending on the state (open state or closed state) of the clamper 41. Is set to be.
  • the related area 17a may be set at the time of determination by the determination unit 59a, or may be set in advance before the determination.
  • the related region 17a of one embodiment is a region along at least a part of the contour of the tool 40 satisfying the tool condition, and is a region to be trimmed.
  • the image processing unit 55a executes mask processing for extracting the related region 17a.
  • the luminance value acquisition unit 56 of one embodiment is configured to acquire the luminance value of the processed image 18a (18). In one embodiment, the RGB luminance value of each pixel of the processed image 18a is acquired.
  • the determination units 59a and 59b (59) of one embodiment are configured to determine whether the tool 40 mounted on the robot arm 30 satisfies the tool condition based on the processed image 18a (18). In one embodiment, the determination units 59a and 59b determine whether or not the tool conditions acquired by the condition acquisition unit 51 are satisfied based on the brightness value acquired by the luminance value acquisition unit 56. The determination method of the determination units 59a and 59b will be described later.
  • condition acquisition unit 51 may not be provided.
  • the image processing unit 55a may perform image processing associated with the tool conditions to generate the processed image 18a, and the determination units 59a and 59b may perform the image processing. It may be determined whether the tool condition is satisfied based on the processed image 18a.
  • the tool movement control unit 52 may not be provided. For example, when the tool check device 50a is provided at a location remote from the robot arm 30, the tool check device 50a does not have to include the tool movement control unit 52.
  • FIG. 2 is a diagram showing reference image data 96, which is data of the reference image 14 for executing the image processing according to the embodiment.
  • the reference image 14 of one embodiment is associated with a tool condition.
  • the image processing unit 55a of one embodiment masks the captured image 15 using the reference image 14 associated with the tool conditions. As a result, an image obtained by extracting the related region 17a associated with the tool condition is generated as the processed image 18a (see FIGS. 3A and 3B).
  • a total of eight types of reference images 14a to 14h are prepared in association with the tool conditions.
  • the reference image 14 of one embodiment may be an image having the same size as the captured image 15 generated by the photographing device 8.
  • an image having a size smaller than that of the captured image 15 may be used.
  • a part of the captured image 15 is cropped and then masked using the reference image 14.
  • the area to be cropped of the shot image 15 may change depending on the tool type.
  • FIGS. 3A and 3B are diagrams illustrating a determination method by the determination units 59a and 59b (59) according to the embodiment.
  • the tool condition to be satisfied is the clamper 41 in the open state.
  • “Check A” in the figure shows the check process of the clamper 41 in the open state that satisfies the above tool conditions.
  • “check B” in the figure shows a check process of the clamper 41 in the closed state that does not satisfy the above tool conditions.
  • the work 5 is arranged below the tool 40 during shooting by the shooting device 8 (in FIGS. 3A and 3B, hatching is performed on the work 5 for the convenience of making the drawings easier to see. Is given).
  • the image processing unit 55a performs mask processing on each captured image 15 using the reference image 14a associated with the above tool conditions, and each processed image 18a ( 18) is generated.
  • the luminance value acquisition units 56a and 56b (56) acquire the luminance value of the processed image 18a.
  • the luminance value acquisition unit 56a shown in FIG . 3A is configured to acquire the sum X2 of the luminance values in the processed image 18a.
  • the image is acquired by the luminance value acquisition unit 56a.
  • the sum X 2 of the obtained luminance values is defined by the equation (2). Note that i is an arbitrary natural number equal to or less than the number of pixels in the horizontal direction of the processed image 18a, and j is an arbitrary natural number equal to or less than the number of pixels in the vertical direction.
  • the luminance value in the related region 17a of the processed image 18a is acquired by the equation (2).
  • the process of acquiring the luminance value of the pixel only in the related region 17a may be executed. Even in this case, the same value as in the equation (2) is acquired.
  • the determination unit 59a of one embodiment is configured to determine whether or not the tool condition is satisfied based on the total sum X2 of the acquired luminance values. In one embodiment, the determination unit 59a determines whether the tool conditions are satisfied by the checks A and B based on the total sum X2 of the luminance values acquired by the luminance value acquisition unit 56a in each of the checks A and B. .. For example, in the check A, the clamper 41 appears over almost the entire area of the related region 17a of the processed image 18a, and the object other than the clamper 41 (for example, the work 5) hardly appears in the related region 17a.
  • the total luminance value X2 of the processed image 18a acquired by the luminance value acquisition unit 56a exceeds the threshold value T2 which is the determination standard, and the determination unit 59a can determine that the tool condition is satisfied.
  • the proportion of the clamper 41 in the related region 17a of the processed image 18a becomes small (most of the movable parts of the clamper 41 exit from the related region 17a).
  • the proportion of other objects (for example, work 5) in the related region 17a increases.
  • the total luminance value X2 in the processed image 18a is equal to or less than the threshold value T2, and the determination unit 59a can determine that the tool condition is not satisfied.
  • the luminance value acquisition unit 56b shown in FIG. 3B uses the following equation using the luminance value Bij for each pixel in the processed image 18a and the luminance value Bsij set for each pixel according to the tool conditions. It is configured to acquire the total sum X1 of the differences of the luminance values specified by ( 1 ).
  • the luminance value acquisition unit 56b of one embodiment has the luminance value Bij in each pixel of the processed image 18a and each pixel of the normal image 12 corresponding to each pixel of the processed image 18. The total sum X1 of the difference from the luminance value Bs ij is acquired.
  • the image processing unit 55a performs mask processing on the captured image 15 of the tool 40 that is determined to satisfy the tool conditions.
  • a normal image 12 which is a processed image extracted from the related region 17a related to the tool condition is generated in advance.
  • the luminance value acquisition unit 56b acquires the luminance value Bs ij by acquiring the normal image 12.
  • the image processing unit 55a does not have to generate the normal image 12.
  • the luminance value Bs ij set in association with each pixel of the processed image 18b may be stored in some memory in advance.
  • Bij may be a brightness value for each pixel only in the related region 17a instead of the brightness value for each pixel in the processed image 18a. In this case, Bs ij also indicates the luminance value of the pixel corresponding to only the related region 17a.
  • the determination unit 59b of one embodiment determines whether or not the tool condition is satisfied based on the total sum X1 of the differences of the acquired luminance values.
  • the determination unit 59b of one embodiment determines whether the tool conditions are satisfied in each of the checks A and B based on the total sum X1 of the differences in the luminance values acquired by the luminance value acquisition unit 56b in each of the checks A and B. ..
  • the determination unit 59b is the tool condition. Can be determined to be satisfied.
  • the determination unit 59b can determine that the tool conditions are not satisfied.
  • FIGS. 3A and 3B show an example in which the tool 40 that does not satisfy the tool condition is the clamper 41 in the closed state, the same applies even if another tool 40 that does not satisfy the tool condition is the determination target.
  • the determination method is applied and similar determination results are obtained.
  • the clamper 41 in the open state is mentioned as an example of the tool conditions to be satisfied, but even if other tool conditions are to be determined, the same determination method is applied and the same is true. Judgment result is obtained.
  • FIG. 4 is a block diagram showing an electrical configuration of the work processing system 1a according to the embodiment.
  • the components of the tool check device 50a (50) described above are realized by the machining control unit 90 shown in FIG. The specific method of realization will be described later with reference to FIG.
  • the work processing system 1 includes a processing control unit 90 including a processor 91.
  • the processor 91 is configured to read the machining control program (tool check program) 95 stored in the ROM 92, load it into the RAM 93, and execute the instructions included in the loaded machining control program 95.
  • the processor 91 is a CPU, GPU, MPU, DSP, various arithmetic units other than these, or a combination thereof.
  • the processor 91 may be realized by an integrated circuit such as a PLD, an ASIC, an FPGA, and an MCU.
  • ROM 92 is an example of a storage device.
  • the memory 94 which is a component of the processing control unit 90, is a non-volatile memory for storing the reference image data 96.
  • the processor 91 of one embodiment is connected to a reception button 6, a transfer device 7, a robot arm 30, a photographing device 8, and an alarm device 9 via an interface (not shown).
  • the reception button 6 of one embodiment accepts the tool conditions that the tool 40 should satisfy.
  • the reception button 6 may be a button having a mechanical structure or a touch panel button.
  • the tool condition is input to the reception button 6.
  • the tool conditions to be input may be, for example, a plurality of conditions according to the number of robot arms 30.
  • the reception button 6 outputs the received tool condition to the processor 91.
  • the operator may also input the robot arm 30 corresponding to the tool condition.
  • the processor 91 acquires the tool condition by acquiring the data output from the reception button 6.
  • the reception button 6 may not be provided. In this case, the processor 91 may acquire, for example, the tool conditions indicated by the data included in the machining control program 95.
  • the transport device 7, the robot arm 30, the photographing device 8, and the alarm device 9 of one embodiment each operate in response to a control signal received from the processor 91.
  • the robot arm 30 of one embodiment moves the tool 40 to a specified position according to a received control signal.
  • the robot arm 30 further performs machining work on the work 5 according to the received control signal.
  • the photographing device 8 of one embodiment executes photography according to the received control signal, and outputs the generated photographed image 15 to the processor 91.
  • the processor 91 of one embodiment outputs the image acquired from the photographing apparatus 8 to the RAM 93.
  • the captured image 15 may be stored in the memory 94 instead of the RAM 93.
  • the alarm device 9 of one embodiment is a device for issuing an alarm according to a received control signal when the processor 91 determines that the tool conditions are not satisfied.
  • the alarm device 9 of one embodiment may be an image display device, a speaker, a light emitting device, or a combination thereof.
  • FIG. 5 shows a flowchart of the machining control process according to the embodiment.
  • the machining control process executes the following steps by loading the machining control program 95 stored in the ROM 92 into the RAM 93 by the processor 91.
  • the information processed by the processor 91 with the execution of the processing is appropriately stored in the RAM 93 or the memory 94.
  • step is abbreviated as "S”.
  • the processor 91 controls the transfer device 7 so that the work 5 is transferred to the machining area (S11). Next, the processor 91 acquires the tool conditions to be satisfied by the tool 40 (S13). For example, the processor 91 acquires the tool condition based on the data output from the reception button 6.
  • the processor 91 that executes S11 functions as the condition acquisition unit 51. In the embodiment in which a plurality of robot arms 30 are provided, the processor 91 may acquire tool conditions corresponding to each robot arm 30.
  • the processor 91 controls the robot arm 30 so that the tool 40 moves to a specified position according to the tool conditions acquired in S13 (S15). For example, when the tool condition acquired in S11 includes the "clamper 41 in the open state", the clamper 41 mounted on the robot arm 30a moves to a specified position under the control of the processor 91, and moves to the robot arms 30b and 30c. The mounted chuck 42 and knife 43 are retracted to other positions.
  • the processor 91 that executes S15 functions as a tool movement control unit 52.
  • the processor 91 controls the photographing device 8 so that the tool 40 moved to the specified position by the execution of S15 is photographed (S17).
  • the processor 91 stores the photographed image 15 generated by the photographing apparatus 8 in, for example, the RAM 93.
  • the processor 91 that executes S17 functions as a shooting control unit 53.
  • the processor 91 processes the captured image 15 generated in S17 (S19).
  • the processor 91 refers to the reference image data 96 stored in the memory 94, and acquires the reference image 14 according to the tool conditions acquired in S13. Then, using the acquired reference image 14, mask processing is performed on the captured image 15 acquired in S17. As a result, the processor 91 generates an image obtained by extracting the related region 17a (17) associated with the tool condition as the processed image 18a (18).
  • the processor 91 that executes S19 functions as the image processing unit 55a (55).
  • the processor 91 acquires the luminance value of the processed image 18a (17) based on the generated processed image 18a (S21). In one embodiment, the processor 91 acquires the total sum X1 of the differences in the luminance values or the sum X 2 of the luminance values based on, for example, the above-mentioned equation (1) or equation ( 2 ). When the processor 91 acquires the total sum X1 of the differences in the luminance values, the processor 91 may refer to the normal image 12 stored in the memory 94 and acquire the luminance values Bs ij of each pixel.
  • the processor 91 that executes S21 functions as the luminance value acquisition units 56a and 56b (56).
  • the processor 91 determines whether the tool condition acquired in S13 is satisfied (S23). For example, the processor 91 determines whether or not the tool condition is satisfied by comparing the total sum X 1 of the above-mentioned differences of the luminance values or the sum X 2 of the luminance values with the threshold value T 1 or the threshold value T 2 .
  • the processor 91 that executes S23 functions as the determination units 59a and 59b (59).
  • the processor 91 controls the alarm device 9 so that the alarm is executed (S25), and ends this control process.
  • the operator recognizes that the tool condition is not satisfied, and replaces the tool 40 with respect to the robot arm 30 so that the tool condition is satisfied. Can be done.
  • the processor 91 determines whether the tool check is completed (S27). For example, when the tool condition for which the presence / absence of satisfaction is not determined remains among the plurality of tool conditions acquired in S13 (S27: NO), the processor 91 repeats S15 to S23. On the other hand, when the determination of all the tool conditions is completed (S27: YES), the processor 91 advances the process to S29.
  • the processor 91 controls the robot arm 30 so that the tool 40 at the specified position retracts to another position (S29). After that, the processor 91 controls the photographing device 8 so that the work 5 is photographed (S31), and analyzes the image generated by the photographing device 8 (S33). In one embodiment, the processor 91 performs image analysis to perform processing suitable for the photographed work 5. As a specific example, when the work 5 is a livestock bone-in limb, image analysis is performed to identify the position of the bone contained in the work 5. The analysis may be performed, for example, by inputting an image taken in S31 to a learning model that has been machine-learned in advance. In this case, the processor 91 may include a GPU for executing arithmetic processing based on the machine-learned learning model. The processor 91 controls the robot arm 30 so that the machining work of the work 5 based on the result of the image analysis is performed (S35). After the processing of the work 5 is completed, the processor 91 ends the main control process.
  • the execution timing of S11 may be after it is determined that the tool check is completed (S27: YES). In this case, in the shooting executed in S17, the work 5 is not reflected in the shot image 15. In another embodiment, for example, when the tool condition to be determined is uniquely determined, neither S13 nor S27 may be executed.
  • the uniquely determined tool condition means not only a single tool condition but also a plurality of tool conditions.
  • FIG. 6 is a diagram showing a work processing system 1b (1) according to the second embodiment.
  • the same components as those in the first embodiment are designated by the same reference numerals in the drawings, and detailed description thereof will be omitted (the same applies to the third embodiment described later).
  • the work processing system 1b includes a tool check device 50b (50) instead of the tool check device 50a (50).
  • the tool check device 50b includes a storage unit 54, an evaluation data acquisition unit 58, and a determination unit 59c (59) in place of the luminance value acquisition unit 56 and the determination unit 59a (59).
  • the trained model 57 stored in the storage unit 54 relates to whether the tool 40 satisfies the tool condition when data regarding the processed image 18a (18) generated by the image processing unit 55a is input. It is configured to output evaluation data.
  • the trained model 57 of one embodiment is a model in which deep learning has been performed.
  • the trained model 57 is a GAN (Generative Adversarial Network). More specifically, GAN is EGBAD (Efficient GAN-Based Anomaly Detection).
  • the trained model 57 may be a CNN (Convolutional Neural Network) or an RNN (Recurrent Neural Network).
  • the evaluation data acquisition unit 58 of one embodiment is configured to acquire evaluation data output by inputting the processed image 18a generated by the image processing unit 55a into the trained model 57.
  • a dedicated GPU unit may be provided separately from the condition acquisition unit 51, the tool movement control unit 52, and the like.
  • the determination unit 59c (59) of one embodiment is configured to determine whether or not the tool conditions are satisfied based on the acquired evaluation data. The details of the determination method will be described later.
  • FIG. 7 is a diagram showing a trained model 57 associated with a tool condition according to an embodiment.
  • the trained model 57 of one embodiment is stored in the storage unit 54 in association with the tool conditions.
  • the trained models 57a to 57f (57) of one embodiment are stored in the storage unit 54 in association with the tool conditions related to the tool type and the tool state.
  • the trained model 57 may be stored in the storage unit 54 in association with the tool conditions relating to either the tool type or the tool state.
  • the storage unit 54 may store only a single trained model 57.
  • FIG. 8 is a diagram showing a generation process of the trained model 57a (57) according to the embodiment.
  • the pre-learning model 67a (67) of the trained model 57a corresponding to the tool condition of the clamper 41 in the open state is prepared.
  • the normal image 12 in which the image processing unit 55a has subjected to image processing on the plurality of captured images 15 that are confirmed to satisfy the tool state is input to the pre-learning model 67a as teacher data 65.
  • the pre-learning model 67a performs machine learning, and the trained model 57a is generated. Since the generation process of other trained models 57b to 57h is the same, detailed description thereof will be omitted.
  • the image that becomes the teacher data 65 may be the captured image 15 before image processing.
  • FIG. 9 is a diagram illustrating a determination method by the determination unit 59c (59) according to the embodiment.
  • the tool conditions to be satisfied, the tool 40 to be determined in each of the checks A and B, and the captured image 15 to be image-processed are the same as those in FIGS. 3A and 3B.
  • the processed images 18a (18) similar to those in FIGS. 3A and 3B are generated by the image processing unit 55a (55) through each of the checks A and B.
  • the evaluation data acquisition unit 58 that acquires the processed image 18a uses the trained model 57a corresponding to the tool state (clamper 41 in the open state).
  • the evaluation data acquisition unit 58 inputs each processed image 18a into the trained model 57a, and acquires a value X 3 which is each evaluation data.
  • the determination unit 59c determines whether or not the tool condition is satisfied by comparing the acquired value X 3 with the threshold value T 3 as a determination criterion. For example, in the embodiment in which EGBAD is adopted as the trained model 57, the value X 3 output from the Discriminator (not shown), which is a component of the trained model 57, is less than the threshold value T 3 in the check A, and is checked. In B, the threshold value T 3 or more is obtained.
  • the determination unit 59c can determine that the tool condition is satisfied in the check A and can determine that the tool condition is not satisfied in the check B.
  • the value X 3 of the evaluation data may exceed the threshold value T 3 in the check A.
  • FIG. 10 is a diagram showing a work processing system 1c (1) according to a third embodiment.
  • the work processing system 1c includes a clamper 41a (tool 40) and a tool check device 50c (50) in place of the clamper 41 (tool 40) and tool check device 50a (50) of the work processing system 1a.
  • the clamper 41a includes a support portion 44 and a pair of movable portions 47 rotatably supported by the support portion 44.
  • a pair of movable portions 47 are opened and closed by a driving force supplied from an air cylinder (not shown).
  • one of the pair of movable portions 47 may be a fixed portion fixed to the support portion 44.
  • the clamper 41a further includes an outer surface 46 marked with a mark 45.
  • the outer surface 46 is included on each surface of the support 44 and the pair of movable portions 47.
  • the mark 45 of one embodiment is formed on each of the support portion 44 and the one movable portion 47.
  • the mark 45 is a character, a figure, a symbol, or a combination thereof.
  • the mark 45 of one embodiment is a character.
  • the mark 45 is formed by applying electrolytic marking to the tool 40. In this embodiment, the cleanliness of the tool 40 can be maintained as compared with the embodiment in which the mark 45 is attached by attaching the sticker to the tool 40, and compared with the embodiment in which the mark 45 is attached by laser engraving. Therefore, the increase in cost can be suppressed.
  • the tool check device 50c replaces the image processing unit 55a (55), the luminance value acquisition unit 56, and the determination unit 59a (59) with the image processing unit 55b (55), the storage device 66, the specific processing unit 64, and the determination unit.
  • a unit 59d (59) is provided.
  • the image processing unit 55b of one embodiment is configured to perform image processing associated with the tool conditions of the tool 40 having the outer surface 46 marked with the mark 45 on the captured image 15.
  • the image processing unit 55b may perform mask processing using a reference image (not shown) on the captured image 15, or may perform crop processing on the captured image 15. By the image processing on the captured image 15, the processed image 18b (18) from which the related region 17b is extracted is generated.
  • the storage device 66 of one embodiment stores the related area data 21 in which the related area 17b extracted by the image processing unit 55b is associated with the tool condition.
  • the related region 17b of one embodiment is an inner region of the contour of the tool 40 satisfying the tool condition, and more specifically, a region including the mark 45 of the tool 40 satisfying the tool condition.
  • the related region 17b of one embodiment may or may not be a region along the contour of the tool 40.
  • the specific processing unit 64 of one embodiment is configured to execute a process for specifying the mark 45 on the generated processed image 18b (18). For example, in the embodiment in which the mark 45 is a character, the specific processing unit 64 is configured to execute the process of specifying the character as the mark 45 on the processed image 18b.
  • the process of specifying a character is, for example, an optical character recognition process.
  • the determination unit 59d of one embodiment is configured to determine whether or not the tool condition is satisfied based on the result of processing by the specific processing unit 64. For example, in the embodiment in which the specific processing unit 64 executes the optical character recognition process, the determination unit 59d determines whether or not the tool condition is satisfied depending on whether the processed image 18b includes the character mark 45. You may.
  • the determination unit 59d may determine whether or not the tool conditions are satisfied according to the specific characters recognized by the specific processing unit 64.
  • the mark 45 may be a figure such as a straight line or a circle instead of the character. Even in this case, the determination unit 59d can determine whether or not the tool condition is satisfied by specifying the presence or absence of the mark 45 by the specific processing unit 64.
  • FIG. 11 shows the related area data 21 according to the embodiment.
  • the related area data 21 includes the related area data 21a referred to when determining the tool condition relating to the tool type and the related area data 21b referenced when determining the tool condition relating to the tool state.
  • the data stored in the related area data 21a is assigned to each type of tool 40 (clamper 41, chuck 42L, 42R, knife 43L, 43R).
  • the related region 17b indicated by the data A1 assigned to the clamper 41 indicates a region including the mark 45 regardless of whether the clamper 41 is in the open state or the closed state. More specifically, as an example, the data A1 is a related region 17b including a mark 45 attached to the support 44.
  • the data stored in the related area data 21b is assigned to each type of tool 40 (clamper 41, chuck 42L, 42R).
  • the related region 17b indicated by the data A2 assigned to the clamper 41 indicates an region in which the mark 45 is arranged inside only when the clamper 41 is in the open state.
  • the related region 17b indicated by the data A2 may be a region in which the mark 45 is arranged inside only when the clamper 41 is in the closed state.
  • data may be assigned according to each of the states of the tool 40 (for example, the open state and the closed state of the clamper 41).
  • the related area 17b indicated by the data assigned to each state of the tool 40 may be an area in which the mark 45 is arranged inside.
  • FIG. 12 is a diagram showing a determination method by the determination unit 59d (59) according to the embodiment.
  • the tool conditions to be satisfied, the tool 40 to be determined in each of the checks A and B, and the captured image 15 to be image-processed are the same as those in FIGS. 3A and 3B.
  • the processed image 18b (18) is generated by the image processing unit 55b (55) through each of the checks A and B.
  • the image processing unit 55b performs mask processing on the captured image 15 using a reference image (not shown) corresponding to the tool condition to be satisfied, and extracts the related region 17b.
  • the processed image 18b is acquired.
  • the masked image area is not shown.
  • the specific processing unit 64 is a mark 45 in each of the related areas 17b indicated by the data A1 and A2 of the related area data 21 in the processed image 18b (the image of the captured image 15) acquired from the image processing unit 55b. (For example, optical character recognition processing) is executed.
  • the determination unit 59d determines that the tool condition is satisfied because the mark 45 can be recognized for each of the tool type and the tool state.
  • the specific processing unit 64 recognizes that the mark 45 is in the related area 17b related to the tool type, but recognizes that the mark 45 is not in the related area 17b related to the tool state. In this case, the determination unit 59d determines that the tool condition is not satisfied because the tool condition related to the tool state is not satisfied.
  • the determination unit 59 may determine that the tool condition regarding the tool type is satisfied, and may determine that the tool condition regarding the tool state is not satisfied.
  • the image processing unit 55b has processed the captured image 15 by executing a crop process for extracting each related area 17b indicated by the data A1 and A2 of the related area data 21. Image 18b may be generated.
  • the related area 17b and the processed image 18b are the same image as shown in FIG.
  • the determination unit 59d can obtain the same determination result as described above by executing the process of specifying the mark 45 by the identification processing unit 64.
  • the tool check device 50 for the robot arm the tool check program for the robot arm (machining control program 95), and the tool check method for the robot arm according to some embodiments will be described.
  • the tool check device 50 for a robot arm is The captured image 15 of the tool 40 mounted on the robot arm 30 is subjected to image processing associated with the tool conditions related to the tool type or tool state to be satisfied by the tool 40, and the related area 17 associated with the tool conditions is performed.
  • the image processing unit 55 configured to generate the processed image 18 extracted from the image, and Based on the processed image 18, the tool 40 mounted on the robot arm 30 includes a determination unit 59 configured to determine whether or not the tool condition is satisfied.
  • the related area 17 associated with the tool condition is extracted to generate the processed image 18, and the determination unit 59 determines the tool condition based on the generated processed image 18. Determine if there is satisfaction. Therefore, it can be accurately determined whether the tool 40 satisfies the tool condition.
  • the photographing apparatus 8 that generates the captured image 15 that is the source of the processed image 18 also generates another image used for the image analysis process (S31). That is, the photographing apparatus 8 has both a function of generating an image for determining whether or not the tool condition is satisfied and a function of generating an image for image analysis processing. As a result, the complexity of the configuration of the tool check device 50 is avoided, and the increase in the cost of the work processing system 1 is suppressed.
  • the tool 40 it is not necessary to provide the tool 40 with a dedicated sensor for determining whether or not the tool condition is satisfied.
  • the space for processing the work 5 tends to be moist.
  • a method of determining whether or not the tool condition is satisfied it is conceivable to provide the robot arm 30 and the tool 40 with an engaging mechanism in which only a specific tool 40 can be attached to the robot arm 30.
  • the tool check device 50a further includes brightness value acquisition units 56a and 56b (56) configured to acquire the brightness value of the processed image 18a (18).
  • the determination units 59a and 59b (59) are configured to determine whether or not the tool conditions are satisfied based on the acquired luminance value.
  • the determination units 59a and 59b can perform a quantitative determination based on the brightness value of the processed image 18a as to whether or not the tool condition is satisfied. Therefore, it can be accurately determined whether the tool 40 satisfies the tool condition.
  • the luminance value acquisition unit 56a is configured to acquire the sum X2 of the luminance values in the processed image 18a (18).
  • the determination unit 59a is configured to determine whether or not the tool conditions are satisfied based on the total sum X2 of the acquired luminance values.
  • the determination unit 59a determines whether or not the tool condition is satisfied based on the sum of the luminance values over the entire region of the processed image 18a. Therefore, even when the shooting conditions of the tool 40 change, it is possible to accurately determine whether or not the tool conditions are satisfied.
  • the shooting conditions of the tool 40 include the position of the tool 40 at the time of shooting, the degree of reflection of an object other than the tool 40 (for example, the work 5), a slight change in the position of the shooting device 8, or a combination thereof.
  • the brightness value acquisition unit 56b is a Bij (i is an arbitrary natural number equal to or less than the number of pixels in the horizontal direction of the processed image 18), which is a brightness value for each pixel in the processed image 18a (18).
  • the determination unit 59b is configured to determine whether or not the tool conditions are satisfied based on the total sum X1 of the acquired differences in the luminance values.
  • the tool check device 50b is A storage unit that stores a trained model 57 configured to output evaluation data as to whether the tool 40 satisfies the tool condition when data related to the processed image 18 is input.
  • the evaluation data acquisition unit 58 configured to acquire the evaluation data output by inputting the processed image 18a (18) generated by the image processing unit 55a (55) into the trained model 57.
  • the determination unit 59c (59) is configured to determine whether or not the tool conditions are satisfied based on the acquired evaluation data.
  • the determination unit 59c determines whether or not the tool condition is satisfied based on the evaluation data output from the trained model 57. Therefore, it can be accurately determined whether the tool 40 satisfies the tool condition.
  • the image processing unit 55 is configured to perform the image processing associated with the tool conditions of the tool 40 having the outer surface 46 marked with the mark 45 on the captured image 15.
  • the tool check device 50c (50) further includes a specific processing unit 64 configured to execute a process for specifying the mark 45 on the generated processed image 18b (18).
  • the determination unit 59d is configured to determine whether or not the tool conditions are satisfied based on the result of processing by the specific processing unit 64.
  • the processed image 18b (18) associated with the tool condition is changed so that the specific result of the specific processing unit 64 changes depending on whether or not the tool condition is satisfied. Is generated, it can be accurately determined whether the tool 40 satisfies the tool condition.
  • the specific processing unit 64 is configured to execute a process of specifying a character as the mark 45 on the processed image 18b.
  • the determination unit 59d determines whether or not the tool condition is satisfied based on the result of the processing for specifying the character as the mark 45 by the specific processing unit 64. Therefore, it can be accurately determined whether the tool 40 satisfies the tool condition.
  • the tool check device 50 is With the condition acquisition unit 51 configured to acquire the tool conditions according to the work schedule of the robot arm 30 after the determination units 59a and 59b (59) determine that the tool conditions are satisfied.
  • the image processing unit 55a (55) applies the image processing associated with the tool condition acquired by the condition acquisition unit 51 to the captured image 15 among the plurality of tool conditions prepared in advance.
  • the determination units 59a and 59b (59) are configured to determine whether or not the tool conditions acquired by the condition acquisition unit 51 are satisfied.
  • the determination units 59a and 59b determine whether or not the tool conditions corresponding to the work schedule of the robot arm 30 are satisfied. Therefore, the determination units 59a and 59b can accurately determine whether or not the robot arm 30 should execute the scheduled work.
  • the image processing unit 55a (55) masked the captured image 15 using the reference image 14 associated with the tool condition, and extracted the related region 17 associated with the tool condition.
  • the image is configured to be generated as the processed image 18.
  • the determination units 59a and 59b can accurately determine whether the tool 40 satisfies the tool condition or not based on the processed image 18a (18).
  • the tool check program (machining control program 95) for checking the tool 40 for the robot arm according to at least one embodiment of the present invention is provided.
  • the captured image 15 of the tool 40 mounted on the robot arm 30 is subjected to image processing associated with the tool conditions relating to the tool type or tool state to be satisfied by the tool 40, and the related area associated with the tool conditions is performed.
  • a method for checking the tool 40 for a robot arm is The captured image 15 of the tool 40 mounted on the robot arm 30 is subjected to image processing associated with the tool conditions relating to the tool type or tool state to be satisfied by the tool 40, and the related area associated with the tool conditions is performed.
  • the present disclosure is not limited to the above-described embodiments, and includes a modified form of the above-described embodiments and a combination of these embodiments as appropriate.
  • the determination unit 59 determines that the tool condition is satisfied only when both the acquisition result of the luminance value acquisition unit 56 and the output result of the trained model 57 indicate that the tool condition is satisfied. You may. As a result, it is possible to prevent the determination unit 59 from erroneously determining that the tool condition is satisfied even though the actual tool 40 does not satisfy the tool condition.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

ロボットアーム用のツールチェック装置は、ロボットアームに装着されたツールの撮影画像に対して、ツールが満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、ツール条件に関連付けられた関連領域を抽出した処理済画像を生成するように構成された画像処理部と、処理済画像に基づき、ロボットアームに装着されたツールがツール条件を満たすかを判定するように構成された判定部とを備える。

Description

ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法
　本開示は、ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法に関する。
　従来、物体に対して加工又は操作を実行するためのツールが交換可能に装着されるロボットアームが知られている。例えば、特許文献１に開示されるロボットアームでは、物体に対する加工などに応じて、複数種類のいずれかのツールがロボットアームに装着される。上記ロボットアームは、ツールを開閉させることによって物体を把持することが可能である。
特開２０１８－１５８４０５号公報
　上記ロボットアームによる加工などの作業が適切になされるためには、実行される加工に応じて、装着されたツールが適正な種別であること、装着されたツールが適正な状態（例えば開状態又は閉状態）であること、といったツール条件を満たす必要がある。この点、特許文献１には、ツールがツール条件を満たすか精度良く判定するための具体的構成の開示はない。
　本開示の目的は、ツールがツール条件を満たすか精度良く判定できるロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法を提供することである。
　本発明の少なくとも一実施形態に係るロボットアーム用のツールチェック装置は、
　ロボットアームに装着されたツールの撮影画像に対して、前記ツールが満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域を抽出した処理済画像を生成するための画像処理部と、
　前記処理済画像に基づき、前記ロボットアームに装着された前記ツールが前記ツール条件を満たすかを判定するように構成された判定部と
　を備える。
　本発明の少なくとも一実施形態に係るロボットアーム用のツールチェックプログラムは、
　ロボットアーム用のツールをチェックするためのプログラムであって、
　コンピュータに、
　ロボットアームに装着された前記ツールの撮影画像に対して、前記ツールが満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域を抽出した処理済画像を生成するための画像処理ステップと、
　前記処理済画像に基づき、前記ロボットアームに装着された前記ツールが前記ツール条件を満たすかを判定するための判定ステップと
　を実行させる。
　本発明の少なくとも一実施形態に係るロボットアーム用のツールチェック方法は、
　ロボットアーム用のツールをチェックするための方法であって、
　ロボットアームに装着された前記ツールの撮影画像に対して、前記ツールが満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域を抽出した処理済画像を生成するための画像処理工程と、
　前記処理済画像に基づき、前記ロボットアームに装着された前記ツールが前記ツール条件を満たすかを判定するための判定工程と
　を備える。
　幾つかの実施形態によれば、ツールがツール条件を満たすか精度良く判定できるロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法を提供できる。
第１の実施形態に係るワーク加工システムを示す図である。 一実施形態に係る画像処理を実行するための基準画像のデータである基準画像データを示す図である。 第１の実施形態に係る判定部による判定手法を説明する図である。 第１の実施形態に係る判定部による判定手法を説明する別の図である。 一実施形態に係るワーク加工システムの電気的構成を示すブロック図である。 一実施形態に係る加工制御処理のフローチャートである。 第２の実施形態に係るワーク加工システムを示す図である。 一実施形態に係るツール条件に対応付けられた学習済モデルを示す図である。 一実施形態に係る学習済モデルの生成過程を示す図である。 第２の実施形態に係る判定部による判定手法を説明する図である。 第３の実施形態に係るワーク加工システムを示す図である。 一実施形態に係る関連領域データ２１を示す図である。 第３の実施形態に係る判定部による判定手法を説明する図である。
　以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載され又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
　例えば、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
　例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
　例えば、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
　一方、一つの構成要素を「備える」、「具える」、「具備する」、「含む」、又は「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。
　一実施形態に係るワーク加工システム１を説明する。一実施形態のワーク加工システム１は、ツール４０を用いてワーク５を加工するために設けられる。ワーク５はツール４０の加工対象である。一例として、ワーク５は農産物、畜産物、水産物などの食品である。食品は生鮮食品又は加工食品のいずれであってもよい。以下では、ワーク５が生鮮肉となる第１、第２、及び第３の実施形態をそれぞれ説明する。
（第１の実施形態）
　図１で例示される第１の実施形態に係るワーク加工システム１ａ（１）は、ワーク５を搬送するための搬送装置７、ワーク５を加工するためのロボットアーム３０、ツール４０を撮影するための撮影装置８、撮影装置８の撮影領域を照らすための照明部４、及びロボットアーム用のツールチェック装置５０ａ（５０）を備える。
　一実施形態の搬送装置７はワーク５を水平方向に搬送するベルトコンベアである。
　一実施形態の撮影装置８は、上方からツール４０を撮影するように設けられる。この実施形態では撮影装置８の撮影画像１５は平面視の画像となる。図１では、ツール４０の一例であるクランパ４１（後述）の撮影画像１５を例示している。
　一実施形態では、ロボットアーム３０はツール４０を装着するように構成される。一実施形態では、ツールチェック装置５０は該ツール４０が適正かどうか撮影画像１５を用いてチェックする。ロボットアーム３０、ツール４０、及びツールチェック装置５０ａの構成の詳細は後述する。
　なお他の実施形態では、搬送装置７は、ワーク５を吊り下げた姿勢で把持して搬送してもよい。また、撮影装置８は水平方向に沿ってツール４０を撮影するよう構成されてもよいし、水平方向に対して傾斜する方向に沿ってツール４０を撮影するよう構成されてもよい。さらに、ワーク加工システム１ａは照明部４を備えなくてもよい。この場合、照明部４の機能が撮影装置８に含まれてもよい。
　ロボットアーム３０の構成を説明する。一実施形態のロボットアーム３０は、産業用ロボットである。より詳細には一例として、ロボットアーム３０は多関節ロボットである。ロボットアーム３０は、垂直多関節ロボット、水平多関節ロボット、又はこれらの組み合わせであってもよい。
　一実施形態のロボットアーム３０は、ロボットアーム３０ａ、３０ｂ、３０ｃを含む。一実施形態において、このロボットアーム３０に装着されるツール４０は、金属材料により形成される。また、一実施形態のツール４０は、例えばワーク５などに比べて、光を反射し易い表面を有する。
　一実施形態のツール４０は、ワーク５を掴むためのクランパ４１、ワーク５をチャックするためのチャック４２、及びワーク５を切断するためのナイフ４３を含む。
　一実施形態では、クランパ４１はロボットアーム３０ａに装着され、チャック４２とナイフ４３はロボットアーム３０ｂ又はロボットアーム３０ｃに装着される。
　一実施形態では、ワーク５の種類に応じた使い分けがなされるよう左右対称なツール４０が用意される。具体的な一例として、チャック４２はチャック４２Ｌ、４２Ｒを含み、ナイフ４３はナイフ４３Ｌ、４３Ｒを含み、これらのツール４０が選択的にロボットアーム３０ｂ、３０ｃに装着される。例えば、搬送装置７により搬送されるワーク５が家畜の左肢肉又は右肢肉のいずれか一方である場合には、ロボットアーム３０ｂ、３０ｃの各々にチャック４２Ｌ、ナイフ４３Ｒが装着される。また、ワーク５がいずれか他方である場合には、ロボットアーム３０ｂ、３０ｃの各々にナイフ４３Ｌ、チャック４２Ｒが装着される。一実施形態では、これらの装着作業は作業者により行われる。他の実施形態では、これらの装着作業が別のロボットによって行われてもよい。
　一実施形態のクランパ４１とチャック４２は駆動源から駆動力を得て開閉動作を行う。一実施形態では、駆動源として、図示外のエアシリンダが採用される。この場合、クランパ４１とチャック４２の各々に設けられた流入口及び流出口が空気管を介してエアシリンダに接続される。なお、駆動源として油圧シリンダ又はモータが採用されてもよい。
　他の実施形態では、ワーク加工システム１ａは、左右対称なツール４０を備えなくてもよい。例えば、チャック４２はチャック４２Ｌ、４２Ｒのいずれか一方しか含まなくてもよい。同様にナイフ４３もいずれか一方しか含まなくてもよい。さらに別の実施形態では、複数のロボットアーム３０は各々、単一のツール４０しか装着しなくてもよい。
　また、ロボットアーム３０が複数設けられることにワーク加工システム１ａは限定されない。単一のロボットアーム３０が、複数種類のツール４０を選択的に装着してもよいし、単一のツール４０しか装着しなくてもよい。
　ロボットアーム用のツールチェック装置５０（以下、ツールチェック装置５０という場合がある）の構成を説明する。ツールチェック装置５０はチェックの判定基準として、ツール４０が満たすべきツール種別又はツール状態に関するツール条件を採用する。一実施形態では、撮影画像１５に画像処理が施された処理済画像１８（後述）に基づきツールチェックは行われる。
　ツール種別は、ロボットアーム３０に装着されるべきツール４０の種別である。一実施形態のツール種別は、クランパ４１、チャック４２、又はナイフ４３のいずれかである。例えば、チャック４２Ｌが装着されるべきであるにも関わらず、ナイフ４３Ｌがロボットアーム３０ｂに装着された場合には、ツール種別に関するツール条件は満たされない。こういった事例は、例えば作業者によるツール４０の交換作業に不備があると生じ得る。
　ツール状態は、ロボットアーム３０に装着されているツール４０が満たすべき状態である。一実施形態のツール状態は、クランパ４１及びチャック４２の開状態又は閉状態と、ナイフ４３の正常状態とを含む。例えば、クランパ４１又はチャック４２が閉状態であるべきにも関わらず、これらのツール４０が開状態である場合には、ツール状態に関するツール条件は満たされない。こういった事例は、例えば、クランパ４１又はチャック４２とエアシリンダとを空気管で接続させる作業に不備があると生じ得る。あるいは、ナイフ４３が正常状態であるべきにも関わらず、ナイフ４３が欠損している場合には、ツール状態に関するツール条件は満たされない。こういった事例は、例えば、ナイフ４３が継続的に使用されることで生じ得る。
　一実施形態では、上記のツール種別とツール状態が対応付けて管理される。従って、ツールチェック装置５０は、一度のチェックで、ツール４０の種別と状態のそれぞれが適正かチェックできる。具体的な一例として、ツールチェック装置５０は、ツール種別としてクランパ４１、ツール状態として開状態が対応付けられたツール条件の充足の有無を一度のチェックで判定できる。あるいは、ツール種別としてナイフ４３Ｌ、ツール状態として正常状態が対応付けられたツール条件の充足の有無を一度のチェックで判定できる。
　なお他の実施形態では、ツール種別とツール状態は対応付けられなくてもよい。例えば、ツールチェック装置５０は、ツール種別に関するツール条件と、ツール状態に関するツール条件との各々の条件が充足されるか、個別に判定してもよい。
　他の実施形態では、ツール条件はツール種別のみに関する条件であってもよい。つまり、ロボットアーム３０に装着されたツール４０の種別が適正かどうかだけ、判定されてもよい。あるいは、ツール条件はツール状態のみに関する条件であってもよい。例えば、ロボットアーム３０が単一のツール４０しか装着しない実施形態においては、ツール４０の状態が適正かどうかだけ、判定されればよい。
　ツールチェック装置５０ａ（５０）の構成を説明する。一実施形態のツールチェック装置５０ａは、条件取得部５１、ツール移動制御部５２、撮影制御部５３、画像処理部５５ａ（５５）、輝度値取得部５６、及び判定部５９ａ、５９ｂ（５９）を備える。これらの構成要素の機能は後述するようにプロセッサ９１（図４参照）によって実現される。
　一実施形態の条件取得部５１は、ツール条件が充足されると判定された後のロボットアーム３０の作業予定（動作予定）に応じて、ツール条件を取得するように構成される。例えば、ツール条件が充足されると判定された後の作業として、開状態のクランパ４１による作業が予定されているのであれば、ツール種別がクランパ４１で、且つツール状態が開状態となるツール条件を条件取得部５１は取得する。
　一実施形態のツール移動制御部５２は、撮影装置８の撮影領域に含まれる規定位置にツール４０が移動するようロボットアーム３０を制御するために設けられる。一実施形態の規定位置は、ロボットアーム３０ａ、３０ｂ、３０ｃのそれぞれに応じて異なる位置である。なお、ロボットアーム３０ａ、３０ｂ、３０ｃのいずれにも同じ規定位置が設定されてもよい。あるいは、ツール条件に応じて規定位置が設定されてもよい。
　一実施形態の撮影制御部５３は、規定位置まで移動したツール４０が撮影されるように撮影装置８を制御するために設けられる。
　一実施形態の画像処理部５５ａ（５５）は、ロボットアーム３０に装着されたツール４０の撮影画像１５に対して、ツール４０が満たすべきツール条件に関連付けられた画像処理を施すように構成される。一実施形態では、画像処理部５５ａは、予め用意された複数のツール条件のうち、条件取得部５１によって取得されたツール条件に関連付けられた画像処理を撮影画像１５に対して施す。
　一実施形態の画像処理部５５ａは、上記の画像処理を施して、関連領域１７ａ（１７）を抽出した処理済画像１８ａ（１８）を生成するように構成される（図３Ａ、図３Ｂ参照）。一実施形態の関連領域１７ａは、ツール条件が満たされる場合と満たされない場合とで、画像に違いが生じるように設定された領域である。この関連領域１７ａを抽出した処理済画像１８ａが、ツール条件が満たされるかの判定に利用される。
　一実施形態の関連領域１７ａはツール条件に対応付けて設定される。例えば、クランパ４１のツール状態に関するツール条件に対応付けられた関連領域１７ａは、クランパ４１の状態（開状態又は閉状態）に応じて、クランパ４１の可動部の少なくとも一部が進入又は退出する領域となるよう設定される。なお、関連領域１７ａは、判定部５９ａの判定時に設定されてもよいし、判定前に予め設定されてもよい。
　一実施形態の関連領域１７ａは、ツール条件を満たすツール４０の輪郭の少なくとも一部に沿った領域であり、トリミング対象となる領域である。一実施形態では、画像処理部５５ａは、関連領域１７ａを抽出するマスク処理を実行する。
　一実施形態の輝度値取得部５６は、処理済画像１８ａ（１８）の輝度値を取得するように構成される。一実施形態では、処理済画像１８ａの各々の画素のＲＧＢ輝度値が取得される。
　一実施形態の判定部５９ａ、５９ｂ（５９）は、処理済画像１８ａ（１８）に基づきロボットアーム３０に装着されたツール４０がツール条件を満たすか判定するように構成される。一実施形態では、判定部５９ａ、５９ｂは、条件取得部５１により取得されたツール条件の充足の有無を、輝度値取得部５６により取得された輝度値に基づき判定する。判定部５９ａ、５９ｂの判定手法は後述する。
　なお、他の実施形態では、条件取得部５１が設けられなくてもよい。例えば、ツール条件が一意に定まっているのであれば、画像処理部５５ａは、該ツール条件に関連付けられた画像処理を施して処理済画像１８ａを生成すればよいし、判定部５９ａ、５９ｂは該処理済画像１８ａに基づきツール条件を満たすか判定すればよい。
　また、他の実施形態では、ツール移動制御部５２が設けられなくてもよい。例えば、ツールチェック装置５０ａが、ロボットアーム３０に対して遠隔となる場所に設けられている場合、ツールチェック装置５０ａはツール移動制御部５２を備えていなくてもよい。
　図２は、一実施形態に係る画像処理を実行するための基準画像１４のデータである基準画像データ９６を示す図である。
　一実施形態の基準画像１４はツール条件に関連付けられる。
　一実施形態の画像処理部５５ａは、撮影画像１５に対して、ツール条件に関連付けられた基準画像１４を用いてマスク処理を施す。これにより、ツール条件に関連付けられた関連領域１７ａを抽出した画像が処理済画像１８ａとして生成される（図３Ａ、図３Ｂ参照）。
　一実施形態では、一例として、ツール条件に対応付けて計８種の基準画像１４ａ～１４ｈが用意されている。
　なお、一実施形態の基準画像１４は、撮影装置８で生成される撮影画像１５と同一サイズの画像であってもよい。あるいは、撮影画像１５よりも小さなサイズの画像であってもよく、この場合、撮影画像１５の一部がクロップ処理されてから、基準画像１４を用いたマスク処理が施される。例えば、撮影時のツール４０の規定位置がツール条件に応じて異なる場合、撮影画像１５のクロップ対象となる領域は、ツール種別に応じて変わってもよい。
　図３Ａ、図３Ｂは、一実施形態に係る判定部５９ａ、５９ｂ（５９）による判定手法を説明する図である。
　図３Ａ、図３Ｂで示される判定においては、満たされるべきツール条件が開状態のクランパ４１であるとする。図中の「チェックＡ」は上記ツール条件を満たす開状態のクランパ４１のチェック過程を示す。また、同図の「チェックＢ」は、上記ツール条件を満たさない閉状態のクランパ４１のチェック過程を示す。
　一実施形態では、チェックＡ、Ｂのいずれにおいても、撮影装置８による撮影時にワーク５がツール４０の下方に配置されている（図３Ａ、図３Ｂでは、図面を見易くする都合、ワーク５にハッチングを施している）。なお、撮影装置８による撮影時、ツール４０の背景にワーク５が写らなくてもよい。
　一実施形態では、チェックＡ、Ｂの実行時に、画像処理部５５ａが、上記ツール条件に関連付けられた基準画像１４ａを用いて各々の撮影画像１５にマスク処理を施し、各々の処理済画像１８ａ（１８）を生成する。その後、この処理済画像１８ａの輝度値を輝度値取得部５６ａ、５６ｂ（５６）が取得する。
　図３Ａで示される輝度値取得部５６ａは、処理済画像１８ａにおける輝度値の総和Ｘ２を取得するよう構成される。
　例えば処理済画像１８ａのｘ方向（横方向）の画素数をＭとし、ｙ方向（縦方向）の画素数をＮとし、任意の画素における輝度値をＢとすると、輝度値取得部５６ａによって取得される輝度値の総和Ｘ２は、式（２）によって定義される。なお、ｉは処理済画像１８ａの横方向における画素数以下の任意の自然数であり、ｊは縦方向における画素数以下の任意の自然数である。
Figure JPOXMLDOC01-appb-M000002
 　処理済画像１８ａにおけるマスク領域の輝度値は０であるので、式（２）によって、処理済画像１８ａの関連領域１７ａにおける輝度値が取得される。
　なお、他の実施形態では、関連領域１７ａのみのピクセルの輝度値を取得する処理が実行されてもよい。この場合であっても、式（２）と同じ値が取得される。
　一実施形態の判定部５９ａは、取得された輝度値の総和Ｘ２に基づき、ツール条件の充足の有無を判定するように構成される。
　一実施形態では、判定部５９ａは、チェックＡ、Ｂの各々において輝度値取得部５６ａによって取得された輝度値の総和Ｘ２に基づき、チェックＡ、Ｂでツール条件が充足されるかを判定する。例えば、チェックＡでは、処理済画像１８ａの関連領域１７ａのほぼ全域にわたってクランパ４１が写り、クランパ４１以外の物体（例えばワーク５）は関連領域１７ａには殆ど映らない。この場合、輝度値取得部５６ａによって取得される処理済画像１８ａの輝度値の総和Ｘ２は判定基準となる閾値Ｔ２を超え、判定部５９ａはツール条件が満たされていると判定できる。
　一方、チェックＢでは、処理済画像１８ａの関連領域１７ａにおいてクランパ４１が占める割合は小さくなる（クランパ４１の可動部の殆どは関連領域１７ａから退出する）。結果、関連領域１７ａにおいて、他の物体（例えばワーク５）が占める割合が大きくなる。これにより、処理済画像１８ａにおける輝度値の総和Ｘ２は閾値Ｔ２以下となり、判定部５９ａはツール条件が満たされていないと判定できる。
　図３Ｂで示される輝度値取得部５６ｂは、処理済画像１８ａにおける画素ごとの輝度値Ｂｉｊと、ツール条件に対応して該画素ごとに設定された輝度値Ｂｓｉｊとを用いた以下の式（１）によって特定される輝度値の差分の総和Ｘ１を取得するように構成される。
Figure JPOXMLDOC01-appb-M000003
 　一実施形態の輝度値取得部５６ｂは、チェックＡ、Ｂの各々において、処理済画像１８ａの各画素における輝度値Ｂｉｊと、処理済画像１８の各画素に対応する正常画像１２の各画素の輝度値Ｂｓｉｊとの差分の総和Ｘ１を取得する。
　一実施形態では、事前準備として、ツール条件を満たすことが確定しているツール４０の撮影画像１５に対して画像処理部５５ａがマスク処理を施す。これにより、ツール条件に関連する関連領域１７ａを抽出した処理済みの画像である正常画像１２が予め生成されている。輝度値取得部５６ｂは、正常画像１２を取得することで、輝度値Ｂｓｉｊを取得する。
　なお、他の実施形態では、画像処理部５５ａが正常画像１２を生成しなくてもよい。例えば、処理済画像１８ｂの各画素に対応付けて設定された輝度値Ｂｓｉｊが予め何かしらのメモリに記憶されていればよい。
　また、他の実施形態では、Ｂｉｊが、処理済画像１８ａにおける画素ごとの輝度値の代わりに、関連領域１７ａのみにおける画素ごとの輝度値であってもよい。この場合、Ｂｓｉｊも関連領域１７ａのみに対応する画素の輝度値を示す。
　一実施形態の判定部５９ｂは、取得された輝度値の差分の総和Ｘ１に基づき、ツール条件の充足の有無を判定する。
　一実施形態の判定部５９ｂは、チェックＡ、Ｂの各々において輝度値取得部５６ｂによって取得された輝度値の差分の総和Ｘ１に基づき、各々のチェックでツール条件が充足されるかを判定する。例えば、チェックＡでは、処理済画像１８ａと正常画像１２との間で画像の違いが小さいため、輝度値の差分の総和Ｘ１は判定基準となる閾値Ｔ１を下回り、判定部５９ｂはツール条件が満たされていると判定できる。
　一方、チェックＢでは、処理済画像１８ａと正常画像１２との画像の違いが大きいため、輝度値の差分の総和Ｘ１は、閾値Ｔ１以上となる。これにより、判定部５９ｂはツール条件が満たされていないと判定できる。
　なお、図３Ａ、図３Ｂでは、ツール条件を満たさないツール４０が、閉状態のクランパ４１である例を示したが、ツール条件を満たさない他のツール４０が判定対象になっても、同様の判定手法が適用されて、同様の判定結果が得られる。
　また、図３Ａ、図３Ｂでは、満たされるべきツール条件の例として、開状態のクランパ４１を挙げたが、その他のツール条件が判定対象になっても、同様の判定手法が適用されて、同様の判定結果が得られる。
　図４は、一実施形態に係るワーク加工システム１ａの電気的構成を示すブロック図である。既述のツールチェック装置５０ａ（５０）の構成要素は、図４で示される加工制御部９０によって実現される。具体的な実現の仕方は、図５を用いて後述する。
　ワーク加工システム１は、プロセッサ９１を含む加工制御部９０を備える。
　プロセッサ９１は、ＲＯＭ９２に記憶される加工制御プログラム（ツールチェックプログラム）９５を読み出してＲＡＭ９３にロードし、ロードした加工制御プログラム９５に含まれる命令を実行するように構成される。プロセッサ９１は、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＤＳＰ、これら以外の各種演算装置、又はこれらの組み合わせである。プロセッサ９１は、ＰＬＤ、ＡＳＩＣ、ＦＰＧＡ、及びＭＣＵ等の集積回路により実現されてもよい。ＲＯＭ９２は記憶装置の一例である。
　加工制御部９０の構成要素であるメモリ９４は、基準画像データ９６を記憶する不揮発性メモリである。
　一実施形態のプロセッサ９１は、図示外のインターフェースを介して、受付ボタン６、搬送装置７、ロボットアーム３０、撮影装置８、及び発報装置９に接続されている。
　一実施形態の受付ボタン６は、ツール４０が満たすべきツール条件を受付ける。受付ボタン６は、機械的な構造を有するボタンであってもよいし、タッチパネルボタンであってもよい。
　一実施形態では、作業者が、ツール４０をロボットアーム３０に装着する際に、ツール条件を受付ボタン６に入力する。入力されるツール条件は、例えばロボットアーム３０の個数に応じた複数条件であってもよい。受付ボタン６は受付けたツール条件をプロセッサ９１に出力する。なお、作業者は、ツール条件を受付ボタン６に入力する際、該ツール条件に対応するロボットアーム３０も併せて入力してもよい。
　プロセッサ９１は、受付ボタン６から出力されるデータを取得することで、ツール条件を取得する。
　なお他の実施形態では、受付ボタン６が設けられなくてもよい。この場合、プロセッサ９１は、例えば加工制御プログラム９５に含まれるデータが示すツール条件を取得してもよい。
　一実施形態の搬送装置７、ロボットアーム３０、撮影装置８、及び発報装置９は、各々、プロセッサ９１から受信する制御信号に応じて作動する。一実施形態のロボットアーム３０は、受信する制御信号に応じてツール４０を規定位置まで移動させる。一実施形態ではさらに、ロボットアーム３０は、受信する制御信号に応じて、ワーク５に対して加工作業を行う。
　一実施形態の撮影装置８は、受信した制御信号に応じて撮影を実行し、生成した撮影画像１５をプロセッサ９１に出力する。一実施形態のプロセッサ９１は、撮影装置８から取得した画像をＲＡＭ９３に出力する。なお、撮影画像１５は、ＲＡＭ９３に代えてメモリ９４に記憶されてもよい。
　一実施形態の発報装置９は、ツール条件が満たされていないとプロセッサ９１が判定した場合、受信した制御信号に応じて発報するための装置である。一実施形態の発報装置９は、画像表示装置、スピーカ、発光装置、又はこれらの組み合わせであってもよい。
　図５は、一実施形態に係る加工制御処理のフローチャートを示す。加工制御処理は、プロセッサ９１がＲＯＭ９２に記憶される加工制御プログラム９５をＲＡＭ９３にロードすることによって、以下のステップを実行する。処理の実行に伴いプロセッサ９１が処理する情報は、適宜、ＲＡＭ９３又はメモリ９４に記憶される。以下の説明では、「ステップ」を「Ｓ」と略記する。
　プロセッサ９１は、加工領域までワーク５が搬送されるよう、搬送装置７を制御する（Ｓ１１）。
　次いで、プロセッサ９１は、ツール４０が満たすべきツール条件を取得する（Ｓ１３）。例えば、プロセッサ９１は、受付ボタン６から出力されるデータに基づき、ツール条件を取得する。Ｓ１１を実行するプロセッサ９１が条件取得部５１として機能する。なお、ロボットアーム３０が複数設けられる実施形態においては、プロセッサ９１は、各々のロボットアーム３０に応じたツール条件を取得してもよい。
　プロセッサ９１は、Ｓ１３で取得したツール条件に応じてツール４０が規定位置まで移動するよう、ロボットアーム３０を制御する（Ｓ１５）。例えば、Ｓ１１で取得されたツール条件に「開状態のクランパ４１」が含まれる場合、プロセッサ９１による制御によって、ロボットアーム３０ａに装着されたクランパ４１は規定位置まで移動し、ロボットアーム３０ｂ、３０ｃに装着されたチャック４２、ナイフ４３は他の位置まで退避する。Ｓ１５を実行するプロセッサ９１はツール移動制御部５２として機能する。
　プロセッサ９１は、Ｓ１５の実行によって規定位置まで移動したツール４０が撮影されるよう撮影装置８を制御する（Ｓ１７）。プロセッサ９１は、撮影装置８で生成された撮影画像１５を例えばＲＡＭ９３に記憶する。Ｓ１７を実行するプロセッサ９１は撮影制御部５３として機能する。
　プロセッサ９１はＳ１７で生成された撮影画像１５を画像処理する（Ｓ１９）。一実施形態では、プロセッサ９１は、メモリ９４に記憶された基準画像データ９６を参照し、Ｓ１３で取得されたツール条件に応じた基準画像１４を取得する。そして、取得した基準画像１４を用いて、Ｓ１７で取得された撮影画像１５に対してマスク処理を施す。これにより、プロセッサ９１は、ツール条件に関連付けられた関連領域１７ａ（１７）を抽出した画像を処理済画像１８ａ（１８）として生成する。なお、Ｓ１９を実行するプロセッサ９１が画像処理部５５ａ（５５）として機能する。
　プロセッサ９１は、生成された処理済画像１８ａに基づき、処理済画像１８ａ（１７）の輝度値を取得する（Ｓ２１）。一実施形態では、プロセッサ９１は、例えば上述の式（１）又は式（２）に基づき、輝度値の差分の総和Ｘ１又は輝度値の総和Ｘ２を取得する。
　なお、プロセッサ９１は、輝度値の差分の総和Ｘ１を取得する場合、メモリ９４に記憶された正常画像１２を参照し、各画素の輝度値Ｂｓｉｊを取得してもよい。
　Ｓ２１を実行するプロセッサ９１は輝度値取得部５６ａ、５６ｂ（５６）として機能する。
　プロセッサ９１は取得された輝度値に基づき、Ｓ１３で取得されたツール条件が満たされているかを判定する（Ｓ２３）。
　例えば、プロセッサ９１は、上述の輝度値の差分の総和Ｘ１又は輝度値の総和Ｘ２と、閾値Ｔ１又は閾値Ｔ２とを比較することによって、ツール条件の充足の有無を判定する。Ｓ２３を実行するプロセッサ９１が判定部５９ａ、５９ｂ（５９）として機能する。
　ツール条件が満たされていないと判定された場合（Ｓ２３：ＮＯ）、プロセッサ９１は、発報が実行されるように発報装置９を制御し（Ｓ２５）、本制御処理を終了する。
　一実施形態では、発報がなされることにより、作業者は、ツール条件が満たされていないことを認識し、ツール条件が満たされるようロボットアーム３０に対してツール４０の交換作業などを行うことができる。
　一実施形態では、ツール条件が満たされていると判定された場合（Ｓ２３：ＹＥＳ）、プロセッサ９１はツールチェックが完了したかを判定する（Ｓ２７）。例えば、Ｓ１３で取得された複数のツール条件のうちで、充足の有無を判定していないツール条件が残っている場合（Ｓ２７：ＮＯ）、プロセッサ９１はＳ１５～Ｓ２３を繰り返す。一方、全てのツール条件の判定が完了した場合（Ｓ２７：ＹＥＳ）、プロセッサ９１は処理をＳ２９に進める。
　プロセッサ９１は、規定位置にあったツール４０が別の位置まで退避するようロボットアーム３０を制御する（Ｓ２９）。その後、プロセッサ９１は、ワーク５が撮影されるよう撮影装置８を制御し（Ｓ３１）、撮影装置８で生成された画像を分析する（Ｓ３３）。一実施形態では、プロセッサ９１は、撮影されたワーク５に適した加工を行うための画像分析を実行する。具体的な一例として、ワーク５が家畜の骨付き肢肉である場合には、ワーク５に含まれる骨の位置を特定するための画像分析が実行される。該分析は、例えば、予め機械学習された学習モデルに対して、Ｓ３１で撮影された画像が入力されることで実行されてもよい。この場合、プロセッサ９１は、機械学習された学習モデルに基づき演算処理を実行するためのＧＰＵを備えてもよい。プロセッサ９１は、画像分析の結果に基づいたワーク５の加工作業がなされるよう、ロボットアーム３０を制御する（Ｓ３５）。ワーク５の加工が終了した後、プロセッサ９１は本制御処理を終了する。
　なお、他の実施形態では、Ｓ１１の実行タイミングは、ツールチェックが完了したと判定された後（Ｓ２７：ＹＥＳ）であってもよい。この場合、Ｓ１７で実行される撮影では、撮影画像１５にワーク５は映らない。
　他の実施形態では、例えば、判定対象となるツール条件が一意に定まっている場合、Ｓ１３とＳ２７がいずれも実行されてなくてもよい。なお、一意に定まるツール条件とは、単一のツール条件を意味するだけでなく、複数のツール条件をも意味する。
（第２実施形態）
　図６は、第２の実施形態に係るワーク加工システム１ｂ（１）を示す図である。第１実施形態と同一の構成要素については図面において同一の符号が付与されており、詳細な説明は省略する（後述の第３実施形態も同様である）。
　ワーク加工システム１ｂは、ツールチェック装置５０ａ（５０）に代えて、ツールチェック装置５０ｂ（５０）を備える。
　ツールチェック装置５０ｂは、輝度値取得部５６、及び判定部５９ａ（５９）に代えて、記憶部５４、評価データ取得部５８、及び判定部５９ｃ（５９）を備える。
　一実施形態では、記憶部５４に記憶される学習済モデル５７は、画像処理部５５ａにより生成された処理済画像１８ａ（１８）に関するデータが入力されると、ツール４０がツール条件を満たすかに関する評価データを出力するように構成される。
　一実施形態の学習済モデル５７は、深層学習がなされたモデルである。一例として、学習済モデル５７はＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋ）である。より詳細には、ＧＡＮは、ＥＧＢＡＤ（Ｅｆｆｉｃｉｅｎｔ　ＧＡＮ－Ｂａｓｅｄ　Ａｎｏｍａｌｙ　Ｄｅｔｅｃｔｉｏｎ）である。なお、他の実施形態では、学習済モデル５７は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）又は、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）であってもよい。
　一実施形態の評価データ取得部５８は、画像処理部５５ａによって生成された処理済画像１８ａを学習済モデル５７に入力することで出力される評価データを取得するように構成される。なお、評価データ取得部５８の機能を果たすプロセッサユニットとして、条件取得部５１、ツール移動制御部５２などとは別に専用のＧＰＵユニットが設けられてもよい。
　一実施形態の判定部５９ｃ（５９）は、取得された評価データに基づき、ツール条件の充足の有無を判定するように構成される。判定手法の詳細は後述する。
　図７は、一実施形態に係るツール条件に対応付けられた学習済モデル５７を示す図である。
　一実施形態の学習済モデル５７は、ツール条件に対応付けて記憶部５４に記憶される。例えば、図７に示すように、一実施形態の学習済モデル５７ａ～５７ｆ（５７）は、ツール種別とツール状態とに関するツール条件に対応付けて記憶部５４に記憶される。
　なお他の実施形態では、ツール種別又はツール状態のいずれかに関するツール条件に対応付けて学習済モデル５７が記憶部５４に記憶されてもよい。あるいは、記憶部５４は、単一の学習済モデル５７のみを記憶してもよい。
　図８は一実施形態に係る学習済モデル５７ａ（５７）の生成過程を示す図である。
　例えば、開状態のクランパ４１のツール条件に対応する学習済モデル５７ａの学習前モデル６７ａ（６７）が用意される。さらに、該ツール状態を満たしていることが確定している複数の撮影画像１５に対して画像処理部５５ａが画像処理を施した正常画像１２を、教師データ６５として学習前モデル６７ａに入力する。これにより、学習前モデル６７ａは機械学習を行い、学習済モデル５７ａが生成される。
　その他の学習済モデル５７ｂ～５７ｈの生成過程も同様であるので、詳細な説明は省略する。
　他の実施形態では、教師データ６５となる画像は画像処理前の撮影画像１５であってもよい。
　図９は、一実施形態に係る判定部５９ｃ（５９）による判定手法を説明する図である。
　図９において、満たされるべきツール条件、及びチェックＡ、Ｂの各々において判定対象となるツール４０と画像処理対象となる撮影画像１５は、いずれも図３Ａ、図３Ｂと同様である。
　図９で示される判定では、チェックＡ、Ｂの各々を通じて、画像処理部５５ａ（５５）により図３Ａ、３Ｂと同様の処理済画像１８ａ（１８）が生成される。
　上記処理済画像１８ａを取得する評価データ取得部５８は、ツール状態（開状態のクランパ４１）に対応する学習済モデル５７ａを用いる。具体的には、評価データ取得部５８は、それぞれの処理済画像１８ａを学習済モデル５７ａに入力し、各々の評価データである値Ｘ３を取得する。
　一実施形態では、判定部５９ｃは、取得された値Ｘ３と、判定基準となる閾値Ｔ３とを比較することによってツール条件の充足の有無を判定する。例えば、学習済モデル５７としてＥＧＢＡＤが採用されている実施形態では、学習済モデル５７の構成要素であるＤｉｓｃｒｉｍｉｎａｔｏｒ（図示外）から出力される値Ｘ３は、チェックＡでは閾値Ｔ３未満となり、チェックＢでは閾値Ｔ３以上となる。これにより、判定部５９ｃは、チェックＡではツール条件が満たされていると判定でき、チェックＢでは満たされていないと判定できる。
　なお、学習済モデル５７の具体的なモデルに応じて、チェックＡにおいて評価データの値Ｘ３が閾値Ｔ３を超えることがあってもよい。
（第３実施形態）
　図１０は、第３実施形態に係るワーク加工システム１ｃ（１）を示す図である。ワーク加工システム１ｃは、ワーク加工システム１ａのクランパ４１（ツール４０）とツールチェック装置５０ａ（５０）に代えて、クランパ４１ａ（ツール４０）とツールチェック装置５０ｃ（５０）を備える。
　クランパ４１ａは、支持部４４と、支持部４４によって回転可能に支持された一対の可動部４７を含む。一実施形態では、図示外のエアシリンダから供給される駆動力によって、一対の可動部４７は開閉する。なお、他の実施形態では、一対の可動部４７の一方は、支持部４４に固定された固定部であってもよい。
　クランパ４１ａはマーク４５が付された外表面４６をさらに含む。一実施形態では、外表面４６は支持部４４と一対の可動部４７の各々の表面に含まれる。一実施形態のマーク４５は、支持部４４と、一方の可動部４７のそれぞれに形成される。マーク４５は、文字、図形、記号、又はこれらの組み合わせである。一実施形態のマーク４５は文字である。
　一実施形態では、マーク４５はツール４０に電解マーキングが施されることによって形成される。この実施形態では、シールがツール４０に貼付されることでマーク４５が付される実施形態に比べてツール４０の清潔性を保つことができ、レーザ刻印によってマーク４５が付される実施形態に比べてコストの増大を抑制することができる。
　ツールチェック装置５０ｃは、画像処理部５５ａ（５５）、輝度値取得部５６、及び判定部５９ａ（５９）に代えて、画像処理部５５ｂ（５５）、記憶装置６６、特定処理部６４、及び判定部５９ｄ（５９）を備える。
　一実施形態の画像処理部５５ｂは、マーク４５が付された外表面４６を有するツール４０のツール条件に関連付けられた画像処理を撮影画像１５に対して施すように構成される。画像処理部５５ｂは、基準画像（図示外）を用いたマスク処理を撮影画像１５に対して施してもよいし、クロップ処理を撮影画像１５に対して施してもよい。撮影画像１５に対する画像処理によって、関連領域１７ｂを抽出した処理済画像１８ｂ（１８）が生成される。
　一実施形態の記憶装置６６は、画像処理部５５ｂによって抽出される関連領域１７ｂをツール条件に対応付けた関連領域データ２１を記憶する。一実施形態の関連領域１７ｂは、ツール条件を満たすツール４０の輪郭の内側領域であり、より詳細には、ツール条件を満たすツール４０のマーク４５を含む領域である。一実施形態の関連領域１７ｂは、ツール４０の輪郭に沿った領域であってもよいし、輪郭に沿った領域でなくてもよい。
　一実施形態の特定処理部６４は、生成された処理済画像１８ｂ（１８）に対して、マーク４５を特定する処理を実行するように構成される。例えば、マーク４５が文字である実施形態では、特定処理部６４は、マーク４５としての文字を特定する処理を処理済画像１８ｂに対して実行するように構成される。文字を特定する処理は、一例として、光学文字認識処理である。
　一実施形態の判定部５９ｄは、特定処理部６４による処理の結果に基づき、ツール条件の充足の有無を判定するように構成される。例えば、特定処理部６４が光学文字認識処理を実行する実施形態においては、判定部５９ｄは、処理済画像１８ｂに文字であるマーク４５が含まれるかに応じて、ツール条件の充足の有無を判定してもよい。
　なお、他の実施形態では、判定部５９ｄは、特定処理部６４によって認識された具体的な文字に応じて、ツール条件の充足の有無を判定してもよい。
　また、他の実施形態では、マーク４５は文字の代わりに直線又は円などの図形であってもよい。この場合であっても、特定処理部６４がマーク４５の有無を特定することで、判定部５９ｄは、ツール条件の充足の有無を判定できる。
　図１１は、一実施形態に係る関連領域データ２１を示す。一実施形態では、関連領域データ２１は、ツール種別に関するツール条件の判定時に参照される関連領域データ２１ａと、ツール状態に関するツール条件の判定時に参照される関連領域データ２１ｂを含む。
　一実施形態では、関連領域データ２１ａに記憶されるデータは、ツール４０の種別（クランパ４１、チャック４２Ｌ、４２Ｒ、ナイフ４３Ｌ、４３Ｒ）ごとに割り当てられる。例えば、クランパ４１に割り当てられたデータＡ１が示す関連領域１７ｂは、クランパ４１が開状態であるか閉状態であるかによらずマーク４５が含まれる領域を示す。より詳細には一例として、データＡ１は、支持部４４に付されたマーク４５を含む関連領域１７ｂである。
　一実施形態では、関連領域データ２１ｂに記憶されるデータは、ツール４０の種別（クランパ４１、チャック４２Ｌ、４２Ｒ）ごとに割り当てられる。例えば、クランパ４１に割り当てられたデータＡ２が示す関連領域１７ｂは、クランパ４１が開状態である場合にのみマーク４５が内側に配置される領域を示す。なお、データＡ２が示す関連領域１７ｂは、クランパ４１が閉状態である場合にのみマーク４５が内側に配置される領域であってもよい。
　なお、他の実施形態では、関連領域データ２１ｂでは、ツール４０の状態（例えば、クランパ４１の開状態と閉状態）の各々に応じてデータが割り当てられてもよい。この場合、ツール４０の状態ごとに割り当てられたデータが示す関連領域１７ｂは、いずれも、マーク４５が内側に配置される領域であってもよい。
　図１２は、一実施形態に係る判定部５９ｄ（５９）による判定手法を示す図である。図１２において、満たされるべきツール条件、及びチェックＡ、Ｂの各々において判定対象となるツール４０と画像処理対象となる撮影画像１５は、いずれも図３Ａ、図３Ｂと同様である。
　図１２で示される判定では、チェックＡ、Ｂの各々を通じて、画像処理部５５ｂ（５５）により処理済画像１８ｂ（１８）が生成される。
　一実施形態のチェックＡ、Ｂにおいて、画像処理部５５ｂは、満たされるべきツール条件に対応した基準画像（図示外）を用いて撮影画像１５に対してマスク処理を施し、関連領域１７ｂを抽出した処理済画像１８ｂを取得する。図１２では、マスクされた画像領域の図示は省略している。そして、特定処理部６４は、画像処理部５５ｂから取得した処理済画像１８ｂ（撮影画像１５の画像）のうちで、関連領域データ２１のデータＡ１、Ａ２が示す各々の関連領域１７ｂで、マーク４５を特定する処理（例えば光学文字認識処理）を実行する。
　例えば、チェックＡでは、ツール種別とツール状態のそれぞれに関する関連領域１７ｂ内にマーク４５（具体的には「Ａ」という文字）があると認識される。判定部５９ｄは、ツール種別とツール状態のそれぞれに関しマーク４５を認識できていることを理由に、ツール条件が満たされていると判定する。
　一方、チェックＢでは、特定処理部６４は、ツール種別に関する関連領域１７ｂ内にマーク４５があると認識するものの、ツール状態に関する関連領域１７ｂにマーク４５がないと認識する。この場合、ツール状態に関するツール条件が充足されていないことを理由に、判定部５９ｄはツール条件が非充足であると判定する。なお、チェックＢでは、判定部５９は、ツール種別に関するツール条件は満たされていると判定し、ツール状態に関するツール条件は満たされないという判定をしてもよい。
　なお、他の実施形態では、画像処理部５５ｂは、撮影画像１５に対して、関連領域データ２１のデータＡ１、Ａ２が示す各々の関連領域１７ｂを抽出するクロップ処理を実行することで、処理済画像１８ｂを生成してもよい。この場合、関連領域１７ｂと処理済画像１８ｂは、図１２に示すように同一画像となる。この場合であっても、特定処理部６４がマーク４５を特定する処理を実行することにより、判定部５９ｄは上記と同様の判定結果を得ることができる。
　以下、幾つかの実施形態に係るロボットアーム用のツールチェック装置５０、ロボットアーム用のツールチェックプログラム（加工制御プログラム９５）、ロボットアーム用のツールチェック方法を説明する。
（１）本発明の少なくとも一実施形態に係るロボットアーム用のツールチェック装置５０は、
　ロボットアーム３０に装着されたツール４０の撮影画像１５に対して、前記ツール４０が満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域１７を抽出した処理済画像１８を生成するように構成された画像処理部５５と、
　前記処理済画像１８に基づき、前記ロボットアーム３０に装着された前記ツール４０が前記ツール条件を満たすかを判定するように構成された判定部５９と
　を備える。
　上記（１）の構成によれば、ツール条件に関連付けられた関連領域１７が抽出されて、処理済画像１８が生成され、この生成された処理済画像１８に基づき、判定部５９はツール条件の充足の有無を判定する。よって、ツール４０がツール条件を満たすか精度良く判定できる。
　また、処理済画像１８の元となる撮影画像１５を生成する撮影装置８は、画像分析処理（Ｓ３１）に利用される別の画像の生成も行う。つまり、撮影装置８が、ツール条件の充足の有無を判定するための画像を生成する機能と、画像分析処理用の画像を生成する機能とを兼用する。これにより、ツールチェック装置５０の構成の複雑化が回避され、ワーク加工システム１のコストの増大は抑制される。
　また、上記の構成によれば、ツール条件の充足の有無を判定するための専用のセンサをツール４０に設ける必要がなくなる。例えばワーク５が生鮮肉となる実施形態では、ワーク５を加工する空間が湿潤になる傾向がある。このような実施形態においても、上記構成によれば、電子部品であるセンサがツール４０に設けられることに伴う防水対策及び防汚対策をツール４０に施す必要がなくなり、ツール条件の充足の有無を簡便に判定することができる。
　また、ツール条件の充足の有無を判定する方法として、特定のツール４０しかロボットアーム３０に装着できない係合機構を、ロボットアーム３０とツール４０に設けることが考えられる。しかしながら、この方法では機構の複雑化を招き、また、ロボットアーム３０に装着させるツール４０の種類が制限されてしまう。さらに上記方法では、ツール種別に関するツール条件について判定することは可能であるが、ツール状態に関するツール条件について判定することは困難である（例えばクランパ４１の開閉状態を適正に判定することは困難である）。この点、上記の構成に係る一実施形態によれば、機構の複雑化、及び、ツール４０の種類の減少を回避しつつ、ツール種別だけでなくツール状態に関するツール条件についても判定が可能となる。
（２）幾つかの実施形態では、上記（１）の構成において、
　ツールチェック装置５０ａは、前記処理済画像１８ａ（１８）の輝度値を取得するように構成された輝度値取得部５６ａ、５６ｂ（５６）をさらに備え、
　前記判定部５９ａ、５９ｂ（５９）は、取得された前記輝度値に基づき、前記ツール条件の充足の有無を判定するように構成される。
　上記（２）の構成によれば、ツール条件の充足の有無について、判定部５９ａ、５９ｂは処理済画像１８ａの輝度値に基づいて定量的な判定を実行できる。よって、ツール４０がツール条件を満たすか精度良く判定できる。
（３）幾つかの実施形態では、上記（２）の構成において、
　前記輝度値取得部５６ａは、前記処理済画像１８ａ（１８）における輝度値の総和Ｘ２を取得するように構成され、
　前記判定部５９ａは、取得された前記輝度値の前記総和Ｘ２に基づき、前記ツール条件の充足の有無を判定するように構成される。
　上記（３）の構成によれば、判定部５９ａは、処理済画像１８ａの全領域にわたる輝度値の総和に基づき、ツール条件の充足の有無を判定する。従って、ツール４０の撮影条件が変化したときであっても、ツール条件の充足の有無について精度良く判定することができる。
　なお、ツール４０の撮影条件は、撮影時のツール４０の位置、ツール４０以外の物体（例えばワーク５）の映り込みの程度、撮影装置８の位置の微小な変化、又はこれらの組み合わせを含む。
（４）幾つかの実施形態では、上記（２）の構成において、
　前記輝度値取得部５６ｂは、前記処理済画像１８ａ（１８）における画素ごとの輝度値であるＢｉｊ（ｉは前記処理済画像１８の横方向における画素数以下の任意の自然数であり、ｊは縦方向における前記画素数以下の任意の自然数）及び、前記ツール条件に対応して前記画素ごとに設定された輝度値であるＢｓｉｊとを用いた以下の式（１）によって特定される輝度値の差分の総和Ｘ２を取得するように構成され、
　前記判定部５９ｂは、取得された前記輝度値の差分の総和Ｘ１に基づき、前記ツール条件の充足の有無を判定するように構成される。
Figure JPOXMLDOC01-appb-M000004
　上記（４）の構成によれば、式（１）で特定される差分の総和Ｘ１はツール条件の充足の有無に応じて変化するので、ツール４０がツール条件を満たすか精度良く判定できる。
（５）幾つかの実施形態では、上記（１）の構成において、
　ツールチェック装置５０ｂは、
　前記処理済画像１８に関するデータが入力されると、前記ツール４０が前記ツール条件を満たすかに関する評価データを出力するように構成された学習済モデル５７を記憶した記憶部と、
　前記画像処理部５５ａ（５５）によって生成された前記処理済画像１８ａ（１８）を前記学習済モデル５７に入力することで出力される前記評価データを取得するように構成された評価データ取得部５８とをさらに備え、
　前記判定部５９ｃ（５９）は、取得された前記評価データに基づき、前記ツール条件の充足の有無を判定するように構成される。
　上記（５）の構成によれば、判定部５９ｃは、学習済モデル５７から出力される評価データに基づき、ツール条件の充足の有無を判定する。従って、ツール４０がツール条件を満たすか精度良く判定できる。
（６）幾つかの実施形態では、上記（１）の構成において、
　前記画像処理部５５は、マーク４５が付された外表面４６を有する前記ツール４０の前記ツール条件に関連付けられた前記画像処理を前記撮影画像１５に対して施すように構成され、
　ツールチェック装置５０ｃ（５０）は、生成された前記処理済画像１８ｂ（１８）に対して、前記マーク４５を特定する処理を実行するように構成された特定処理部６４をさらに備え、
　前記判定部５９ｄは、前記特定処理部６４による処理の結果に基づき、前記ツール条件の充足の有無を判定するように構成される。
　上記（６）の構成によれば、上記構成によれば、ツール条件の充足の有無に応じて特定処理部６４の特定結果が変化するよう、ツール条件に関連付けられた処理済画像１８ｂ（１８）が生成されれば、ツール４０がツール条件を満たすか精度良く判定できる。
（７）幾つかの実施形態では、上記（６）の構成において、
　前記特定処理部６４は、前記マーク４５としての文字を特定する処理を前記処理済画像１８ｂに対して実行するように構成される。
　上記（７）の構成によれば、特定処理部６４によるマーク４５としての文字を特定する処理の結果に基づき、判定部５９ｄはツール条件の充足の有無を判定する。よって、ツール４０がツール条件を満たすか精度良く判定できる。
（８）幾つかの実施形態では、上記（１）から（７）のいずれかの構成において、
ツールチェック装置５０は、
　前記判定部５９ａ、５９ｂ（５９）により前記ツール条件が充足されると判定された後の前記ロボットアーム３０の作業予定に応じて、前記ツール条件を取得するように構成された条件取得部５１と、
　前記画像処理部５５ａ（５５）は、予め用意された複数の前記ツール条件のうち、前記条件取得部５１により取得された前記ツール条件に関連付けられた前記画像処理を前記撮影画像１５に対して施すように構成され、
　前記判定部５９ａ、５９ｂ（５９）は、前記条件取得部５１により取得された前記ツール条件の充足の有無を判定するように構成される。
　上記（８）の構成によれば、ロボットアーム３０の作業予定に対応したツール条件について、判定部５９ａ、５９ｂは充足の有無を判定する。よって、予定されている作業をロボットアーム３０が実行すべきかどうか、判定部５９ａ、５９ｂは精度良く判定できる。
（９）幾つかの実施形態では、上記（１）から（８）のいずれかの構成において、
　前記画像処理部５５ａ（５５）は、前記撮影画像１５に対して、前記ツール条件に関連付けられた基準画像１４を用いてマスク処理を施し、前記ツール条件に関連付けられた前記関連領域１７を抽出した画像を前記処理済画像１８として生成するように構成される。
　上記（９）の構成によれば、判定部５９ａ、５９ｂは、ツール４０がツール条件を満たすか処理済画像１８ａ（１８）に基づいて精度良く判定できる。
（１０）本発明の少なくとも一実施形態に係るロボットアーム用のツール４０をチェックするためのツールチェックプログラム（加工制御プログラム９５）は、
　コンピュータに、
　ロボットアーム３０に装着された前記ツール４０の撮影画像１５に対して、前記ツール４０が満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域１７を抽出した処理済画像１８を生成するための画像処理ステップ（Ｓ１９）と、
　前記処理済画像１８に基づき、前記ロボットアーム３０に装着された前記ツール４０が前記ツール条件を満たすかを判定するための判定ステップ（Ｓ２３）と
　を実行させる。
　上記（１０）の構成によれば、上記（１）と同様の理由により、ツール４０がツール条件を満たすか精度良く判定できる。
（１１）本発明の少なくとも一実施形態に係るロボットアーム用のツール４０をチェックするための方法は、
　ロボットアーム３０に装着された前記ツール４０の撮影画像１５に対して、前記ツール４０が満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域１７を抽出した処理済画像１８を生成するための画像処理工程（Ｓ１９）と、
　前記処理済画像１８に基づき、前記ロボットアーム３０に装着された前記ツール４０が前記ツール条件を満たすかを判定するための判定工程（Ｓ２３）と
　を備える。
　上記（１１）の構成によれば、上記（１）と同様の理由により、ツール４０がツール条件を満たすか精度良く判定できる。
　以上、本開示の実施形態について説明したが、本開示は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態も含む。
　例えば、上述した第１、第２、及び第３の実施形態の少なくとも２つが組み合わさった実施形態が採用されてもよい。
　具体的な一例として、輝度値取得部５６の取得結果と、学習済モデル５７の出力結果に基づいて、ツール条件の充足の有無が判定されてもよい。この場合、輝度値取得部５６の取得結果と、学習済モデル５７の出力結果の双方がツール条件を満たしていることを示している場合のみ、判定部５９はツール条件が満たされていると判定してもよい。これにより、実際のツール４０はツール条件を満たしていないにも関わらず、判定部５９がツール条件を満たしていると誤判定することを抑制できる。
　別の一例として、輝度値取得部５６の取得結果と、学習済モデル５７の出力結果のいずれか一方だけでもツール条件を満たしていることを示いれば、ツール条件が満たされていると判定されてもよい。これにより、実際のツール４０がツール条件を満たしているにも関わらず、判定部５９がツール条件を満たしていないと誤判定することを抑制できる。
１４　　　：基準画像
１７　　　：関連領域
１８　　　：処理済画像
３０　　　：ロボットアーム
４０　　　：ツール
４１、４１ａ　　　：クランパ
４２、４２Ｌ、４２Ｒ　　　：チャック
４３、４３Ｌ、４３Ｒ　　　：ナイフ
４５　　　：マーク
４６　　　：外表面
５０　　　：ツールチェック装置
５１　　　：条件取得部
５４　　　：記憶部
５５　　　：画像処理部
５６　　　：輝度値取得部
５７　　　：学習済モデル
５７ａ～５７ｈ　　：学習済モデル
５８　　　：評価データ取得部
５９　　　：判定部
６４　　　：特定処理部
９５　　　：ツールチェックプログラム

Claims (11)

  1. 　ロボットアームに装着されたツールの撮影画像に対して、前記ツールが満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域を抽出した処理済画像を生成するように構成された画像処理部と、
    　前記処理済画像に基づき、前記ロボットアームに装着された前記ツールが前記ツール条件を満たすかを判定するように構成された判定部と
    　を備えるロボットアーム用のツールチェック装置。
  2. 　前記処理済画像の輝度値を取得するように構成された輝度値取得部をさらに備え、
    　前記判定部は、取得された前記輝度値に基づき、前記ツール条件の充足の有無を判定するように構成された請求項１に記載のロボットアーム用のツールチェック装置。
  3. 　前記輝度値取得部は、前記処理済画像における輝度値の総和を取得するように構成され、
    　前記判定部は、取得された前記輝度値の前記総和に基づき、前記ツール条件の充足の有無を判定するように構成された請求項２に記載のロボットアーム用のツールチェック装置。
  4. 　前記輝度値取得部は、前記処理済画像における画素ごとの輝度値であるＢｉｊ（ｉは前記処理済画像の横方向における画素数以下の任意の自然数であり、ｊは縦方向における前記画素数以下の任意の自然数）及び、前記ツール条件に対応して前記画素ごとに設定された輝度値であるＢｓｉｊとを用いた以下の式（１）によって特定される輝度値の差分の総和Ｘ１を取得するように構成され、
    　前記判定部は、取得された前記輝度値の差分の総和Ｘ１に基づき、前記ツール条件の充足の有無を判定するように構成された請求項２に記載のロボットアーム用のツールチェック装置。
    Figure JPOXMLDOC01-appb-M000001
  5. 　前記処理済画像に関するデータが入力されると、前記ツールが前記ツール条件を満たすかに関する評価データを出力するように構成された学習済モデルを記憶した記憶部と、
    　前記画像処理部によって生成された前記処理済画像を前記学習済モデルに入力することで出力される前記評価データを取得するように構成された評価データ取得部とをさらに備え、
    　前記判定部は、取得された前記評価データに基づき、前記ツール条件の充足の有無を判定するように構成された請求項１に記載のロボットアーム用のツールチェック装置。
  6. 　前記画像処理部は、マークが付された外表面を有する前記ツールの前記ツール条件に関連付けられた前記画像処理を前記撮影画像に対して施すように構成され、
    　生成された前記処理済画像に対して、前記マークを特定する処理を実行するように構成された特定処理部をさらに備え、
    　前記判定部は、前記特定処理部による処理の結果に基づき、前記ツール条件の充足の有無を判定するように構成された請求項１に記載のロボットアーム用のツールチェック装置。
  7. 　前記特定処理部は、前記マークとしての文字を特定する処理を前記処理済画像に対して実行するように構成された請求項６に記載のロボットアーム用のツールチェック装置。
  8. 　前記判定部により前記ツール条件が充足されると判定された後の前記ロボットアームの作業予定に応じて、前記ツール条件を取得するように構成された条件取得部と、
    　前記画像処理部は、予め用意された複数の前記ツール条件のうち、前記条件取得部により取得された前記ツール条件に関連付けられた前記画像処理を前記撮影画像に対して施すように構成され、
    　前記判定部は、前記条件取得部により取得された前記ツール条件の充足の有無を判定するように構成された請求項１から７のいずれかに記載のロボットアーム用のツールチェック装置。
  9. 　前記画像処理部は、前記撮影画像に対して、前記ツール条件に関連付けられた基準画像を用いてマスク処理を施し、前記ツール条件に関連付けられた前記関連領域を抽出した画像を前記処理済画像として生成するように構成された請求項１から８のいずれかに記載のロボットアーム用のツールチェック装置。
  10. 　ロボットアーム用のツールをチェックするためのプログラムであって、
    　コンピュータに、
    　ロボットアームに装着された前記ツールの撮影画像に対して、前記ツールが満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域を抽出した処理済画像を生成するための画像処理ステップと、
    　前記処理済画像に基づき、前記ロボットアームに装着された前記ツールが前記ツール条件を満たすかを判定するための判定ステップと
    　を実行させるためのロボットアーム用のツールチェックプログラム。
  11. 　ロボットアーム用のツールをチェックするための方法であって、
    　ロボットアームに装着された前記ツールの撮影画像に対して、前記ツールが満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域を抽出した処理済画像を生成するための画像処理工程と、
    　前記処理済画像に基づき、前記ロボットアームに装着された前記ツールが前記ツール条件を満たすかを判定するための判定工程と
    　を備えるロボットアーム用のツールチェック方法。
PCT/JP2021/045535 2020-12-24 2021-12-10 ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法 WO2022138234A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CA3202968A CA3202968A1 (en) 2020-12-24 2021-12-10 Tool checking device, tool checking program, and tool checking method for robot arm
EP21910383.5A EP4249187A4 (en) 2020-12-24 2021-12-10 DEVICE, PROGRAM AND METHOD FOR TOOL VERIFICATION FOR ROBOT ARM
US18/265,718 US20240033933A1 (en) 2020-12-24 2021-12-10 Tool checking device, storage device storing tool checking program, and tool checking method for robot arm
CN202180086341.3A CN116685444A (zh) 2020-12-24 2021-12-10 机械臂用的工具检查装置、工具检查程序及工具检查方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-215840 2020-12-24
JP2020215840A JP2022101324A (ja) 2020-12-24 2020-12-24 ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法

Publications (1)

Publication Number Publication Date
WO2022138234A1 true WO2022138234A1 (ja) 2022-06-30

Family

ID=82157831

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045535 WO2022138234A1 (ja) 2020-12-24 2021-12-10 ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法

Country Status (6)

Country Link
US (1) US20240033933A1 (ja)
EP (1) EP4249187A4 (ja)
JP (1) JP2022101324A (ja)
CN (1) CN116685444A (ja)
CA (1) CA3202968A1 (ja)
WO (1) WO2022138234A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210304382A1 (en) * 2020-03-26 2021-09-30 Hyundai Motor Company Image-based jig inspection system and method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05318239A (ja) * 1992-05-19 1993-12-03 Canon Inc ロボット装置
JPH06134638A (ja) * 1992-10-26 1994-05-17 Osaka Kiko Co Ltd 工具の自動照合認識装置
JP2010234451A (ja) * 2009-03-30 2010-10-21 J-Net:Kk ワーク加工方法、マシニングセンタ
JP2014168823A (ja) * 2013-03-01 2014-09-18 Hitachi Ltd 機械加工方法
JP2018158405A (ja) 2017-03-22 2018-10-11 キヤノン株式会社 ロボットハンド、ツール交換ユニット、およびロボットハンドの制御方法
JP2020110920A (ja) * 2017-09-25 2020-07-27 ファナック株式会社 装置、ロボットシステム、モデル生成方法、及びモデル生成プログラム
JP2020179441A (ja) * 2019-04-24 2020-11-05 オムロン株式会社 制御システム、情報処理装置および制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006046759B4 (de) * 2006-09-29 2018-05-17 Abb Ag Verfahren zur Erhöhung der Sicherheit beim Betrieb eines Roboters
JP2016218550A (ja) * 2015-05-15 2016-12-22 ファナック株式会社 加工に使用する工具の取付け状態を確認する数値制御装置
TWI669484B (zh) * 2018-10-12 2019-08-21 財團法人工業技術研究院 加工程式與對應之切削刀具之匹配辨識方法與系統

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05318239A (ja) * 1992-05-19 1993-12-03 Canon Inc ロボット装置
JPH06134638A (ja) * 1992-10-26 1994-05-17 Osaka Kiko Co Ltd 工具の自動照合認識装置
JP2010234451A (ja) * 2009-03-30 2010-10-21 J-Net:Kk ワーク加工方法、マシニングセンタ
JP2014168823A (ja) * 2013-03-01 2014-09-18 Hitachi Ltd 機械加工方法
JP2018158405A (ja) 2017-03-22 2018-10-11 キヤノン株式会社 ロボットハンド、ツール交換ユニット、およびロボットハンドの制御方法
JP2020110920A (ja) * 2017-09-25 2020-07-27 ファナック株式会社 装置、ロボットシステム、モデル生成方法、及びモデル生成プログラム
JP2020179441A (ja) * 2019-04-24 2020-11-05 オムロン株式会社 制御システム、情報処理装置および制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4249187A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210304382A1 (en) * 2020-03-26 2021-09-30 Hyundai Motor Company Image-based jig inspection system and method
US12073553B2 (en) * 2020-03-26 2024-08-27 Hyundai Motor Company Image-based jig inspection system and method

Also Published As

Publication number Publication date
CA3202968A1 (en) 2022-06-30
EP4249187A1 (en) 2023-09-27
US20240033933A1 (en) 2024-02-01
JP2022101324A (ja) 2022-07-06
CN116685444A (zh) 2023-09-01
EP4249187A4 (en) 2024-05-01

Similar Documents

Publication Publication Date Title
JP4309439B2 (ja) 対象物取出装置
CN109483573B (zh) 机器学习装置、机器人系统以及机器学习方法
JP6734253B2 (ja) ワークを撮像する視覚センサを備える撮像装置
Misimi et al. GRIBBOT–Robotic 3D vision-guided harvesting of chicken fillets
EP3768867B1 (en) Leather inspecting system and method for inspecting leather
JP2018027581A (ja) ピッキングシステム
JP2021030407A (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2019239563A1 (ja) ロボットシステム
JP7337495B2 (ja) 画像処理装置およびその制御方法、プログラム
JP2004050390A (ja) ワーク取出し装置
US10960550B2 (en) Identification code reading apparatus and machine learning device
WO2022138234A1 (ja) ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法
CN114758236A (zh) 一种非特定形状物体识别、定位与机械手抓取系统及方法
KR20220089463A (ko) 피킹 로봇을 위한 비젼 분석 장치
CN111275758B (zh) 混合型3d视觉定位方法、装置、计算机设备及存储介质
CN116337887A (zh) 铸造缸体上表面缺陷检测方法及系统
CN114092428A (zh) 图像数据处理方法、装置、电子设备和存储介质
WO2022138236A1 (ja) ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法
WO2023082417A1 (zh) 抓取点信息获取方法、装置、电子设备和存储介质
Ivanovska et al. Visual Inspection and Error Detection in a Reconfigurable Robot Workcell: An Automotive Light Assembly Example.
WO2023089981A1 (ja) ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法
WO2023199478A1 (ja) ロボット制御装置およびピッキングシステム
KR20230175122A (ko) 대상물의 조작, 특히 픽업을 위한 로봇 제어 방법
KR20230075746A (ko) 광환경 변화를 고려한 피킹 로봇용 비젼 분석 장치
CN116197886A (zh) 图像数据处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21910383

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18265718

Country of ref document: US

ENP Entry into the national phase

Ref document number: 3202968

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 202180086341.3

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2021910383

Country of ref document: EP

Effective date: 20230620

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112023012259

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112023012259

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20230620

NENP Non-entry into the national phase

Ref country code: DE