WO2019207979A1 - 物品把持装置及び物品把持装置の制御装置 - Google Patents

物品把持装置及び物品把持装置の制御装置 Download PDF

Info

Publication number
WO2019207979A1
WO2019207979A1 PCT/JP2019/009698 JP2019009698W WO2019207979A1 WO 2019207979 A1 WO2019207979 A1 WO 2019207979A1 JP 2019009698 W JP2019009698 W JP 2019009698W WO 2019207979 A1 WO2019207979 A1 WO 2019207979A1
Authority
WO
WIPO (PCT)
Prior art keywords
article
gripping
gripping mechanism
measurement result
controller
Prior art date
Application number
PCT/JP2019/009698
Other languages
English (en)
French (fr)
Inventor
弘章 藤原
Original Assignee
株式会社 東芝
東芝インフラシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝, 東芝インフラシステムズ株式会社 filed Critical 株式会社 東芝
Publication of WO2019207979A1 publication Critical patent/WO2019207979A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/06—Gripping heads and other end effectors with vacuum or magnetic holding means

Definitions

  • the gripping mechanism of the robot arm is equipped with a suction pad that sucks on the article.
  • the gripping mechanism can grip the article when the suction pad is in contact with the surface of the article and the inside of the suction pad becomes negative pressure.
  • the robot arm control apparatus moves the gripping mechanism by the arm mechanism based on the operation plan supplied from the information processing apparatus. Further, the control device grips the article by the gripping mechanism, moves the gripping mechanism by the arm mechanism, and moves the article to the destination.
  • the problem to be solved by the present invention is to provide an article gripping apparatus capable of processing an article at a high speed and a control apparatus for the article gripping apparatus.
  • the article gripping apparatus includes a gripping mechanism that grips an article, an arm mechanism that moves the gripping mechanism, a state detection sensor, and a controller.
  • the state detection sensor measures a gripping state when the gripping mechanism grips the article, and outputs a measurement result.
  • the controller is based on a stability evaluation parameter for inferring whether or not the article falls while moving the gripping mechanism that grips the article, and the measurement result of the state detection sensor, The operation of the gripping mechanism and the arm mechanism is controlled.
  • FIG. 1 is an explanatory diagram for explaining a schematic configuration example of the sorting system according to the first embodiment.
  • FIG. 2 is an explanatory diagram for explaining a configuration example of the operation terminal according to the first embodiment.
  • FIG. 3 is an explanatory diagram for explaining a configuration example of the robot arm according to the first embodiment.
  • FIG. 4 is an explanatory diagram for explaining a configuration example of the robot arm according to the first embodiment.
  • FIG. 5 is a flowchart for explaining the operation of the robot arm according to the first embodiment.
  • FIG. 6 is a flowchart for explaining the operation of the robot arm according to the first embodiment.
  • FIG. 7 is an explanatory diagram for explaining an example of gripping an article by the robot arm according to the first embodiment.
  • FIG. 8 is an explanatory diagram for explaining an example of gripping an article by the robot arm according to the first embodiment.
  • FIG. 9 is an explanatory diagram for explaining an example of gripping an article by the robot arm according to the first embodiment.
  • FIG. 10 is an explanatory diagram for explaining an example of gripping an article by the robot arm according to the first embodiment.
  • FIG. 11 is an explanatory diagram for explaining an example of gripping an article by the robot arm according to the first embodiment.
  • FIG. 12 is an explanatory diagram for explaining an example of gripping an article by the robot arm according to the first embodiment.
  • FIG. 13 is an explanatory diagram for explaining a classification process for evaluating the stability of gripping an article based on the stability evaluation parameter.
  • FIG. 14 is a flowchart for explaining an example of processing related to generation of learning data.
  • FIG. 15 is a flowchart for explaining another example of the operation of the robot arm according to the first embodiment.
  • FIG. 16 is an explanatory diagram for explaining a configuration example of the robot arm according to the second embodiment.
  • FIG. 17 is an explanatory diagram for explaining a configuration example of a robot arm according to the second embodiment.
  • FIG. 18 is a flowchart for explaining an example of the operation of the robot arm according to the second embodiment.
  • FIG. 1 is an explanatory diagram for explaining a schematic configuration example of a sorting system 1 according to the first embodiment.
  • the sorting system 1 is a system that sorts the articles 3 to be sorted loaded in the car 2 into a predetermined sorting destination.
  • the car 2 is a container in which a storage unit for storing the article 3 and a caster are combined.
  • the car 2 is an example of a container on which the articles 3 to be sorted are loaded, and may be any container that can load the articles 3 such as a loading platform or a pallet.
  • the sorting destination of the article 3 is, for example, a belt conveyor 4.
  • the sorting destination is not limited to the belt conveyor 4 and may be a sorting basket or a work table.
  • the distance sensor 8 may be configured to split light from an object and enter the light at different positions of the image sensor.
  • the distance sensor 8 may be a one-dimensional scanner using a laser.
  • FIG. 2 is an explanatory diagram for explaining a configuration example of the information processing apparatus 6.
  • the information processing device 6 is a device that supplies an operation plan to the robot arm 5 and a parameter (stability evaluation parameter) for evaluating the stability of gripping by the robot arm 5.
  • the information processing device 6 is configured by a device capable of processing data and storing data, such as a personal computer (PC).
  • the information processing apparatus 6 includes a communication interface 11 and a control unit 12.
  • the communication interface 11 is an interface for communicating with devices other than the information processing apparatus 6.
  • the communication interface 11 includes terminals and circuits corresponding to communication standards for communicating with the robot arm 5, the operation terminal 7, and the distance sensor 8 via the network 9.
  • the communication interface 11 communicates with the robot arm 5, the operation terminal 7, the distance sensor 8, and the like based on the control of the control unit 12.
  • the control unit 12 is a processing unit that executes various processes.
  • the control unit 12 includes a processor 13 and a memory 14.
  • the processor 13 is an arithmetic element that executes arithmetic processing.
  • the processor 13 is configured as a CPU, for example.
  • the processor 13 performs various processes based on the program stored in the memory 14.
  • the memory 14 is a storage device that stores programs and data.
  • the memory 14 includes, for example, one or more of a ROM that is a read-only nonvolatile memory, a RAM that temporarily stores data, and a storage that stores data.
  • the information processing device 6 acquires a car image that is an image of the article 3 mounted on the car 2.
  • the control unit 12 of the information processing device 6 performs image recognition on the car car image, and recognizes an article area that is an area in which the article 3 appears in the car car image. Based on the recognition result of the article region, the control unit 12 determines a picking position that is a position where the robot arm 5 holds the article 3.
  • the control unit 12 generates an operation plan indicating a picking position and a trajectory that is a movement path of the gripping mechanism of the robot arm 5, and supplies the operation plan to the robot arm 5.
  • the operation plan is information including picking position data indicating a picking position and a trajectory.
  • the robot arm moves the gripping mechanism to the picking position indicated by the picking position data of the action plan through the trajectory indicated by the action plan.
  • the locus indicates a path for moving the gripping mechanism of the robot arm 5 to the picking position. More specifically, the trajectory is a plurality of coordinates on a three-dimensional space indicating the movement path of the reference point of the gripping mechanism. Note that the picking position may be included in the trajectory.
  • the reference point of the gripping mechanism may be, for example, the center (center of gravity) of the suction pad or an arbitrary point on the suction pad.
  • the reference point of the gripping mechanism may be, for example, the centers of a plurality of finger mechanisms that configure the gripper.
  • the learning data is data having questions and answers.
  • the learning data includes the measurement result measured by a sensor, which will be described later, of the robot arm 5 in a state where the robot arm 5 holds the article 3, and the article from the robot arm 5 when the article 3 is moved at a certain speed. Information indicating whether or not 3 has fallen.
  • the measurement result by the sensor when the robot arm 5 moves while holding the article 3 corresponds to the problem, and whether or not the article 3 has dropped from the robot arm 5 corresponds to the answer.
  • the processor 13 Based on such learning data, the processor 13 performs machine learning using a neural network for segmentation, for example, so that the article 3 is dropped when the article 3 gripped by the robot arm 5 is moved.
  • a stability evaluation parameter used to determine whether or not to generate is generated.
  • the stability evaluation parameter is a weight count in the neural network for segmentation.
  • the processor 13 may be configured to generate a stability evaluation parameter every time learning data is acquired, or already generated using the stability evaluation parameter generated based on the acquired learning data. It may be configured to adjust (update) the stability evaluation parameter. Further, when adjusting (changing) the already generated stability evaluation parameter, the processor 13 may be configured to limit values that can be adjusted at a time.
  • FIG. 3 is an explanatory diagram for explaining the configuration of the robot arm 5.
  • the robot arm 5 includes a gripping mechanism 21, an arm mechanism 22, and a robot arm control device 23.
  • FIG. 4 is a diagram schematically showing the configuration of the gripping mechanism 21.
  • the gripping mechanism 21 is a mechanism that grips the article 3.
  • the gripping mechanism 21 is fixed to the end portion (final link) of the arm mechanism 22 with a screw or the like. That is, the gripping mechanism 21 is moved in an arbitrary posture by the operation of the arm mechanism 22.
  • the gripping mechanism 21 includes a base member 31, a suction pad group 32, and a state detection sensor 33.
  • the suction pad group 32 includes a plurality of suction pads 35 that are suctioned to the article 3. Each suction pad 35 is attached at a position corresponding to the hole of the base member 31. Each suction pad 35 is made of a material that is low in composition and that can be deformed along the surface shape of the article 3.
  • the plurality of suction pads 35 of the suction pad group 32 are arranged on the base member 31 in a two-dimensional shape (matrix shape) with the pads facing the article 3.
  • the state detection sensor 33 detects the gripping state of the article 3 by the suction pad 35 described above.
  • the state detection sensor 33 is a sensor that detects a value that changes in conjunction with the gripping stability (grip stability) of the article 3 when the gripping mechanism 21 grips the article 3.
  • the gripping stability indicates the strength of the vacuum suction. That is, the gripping stability indicates the durability against stress acting on the contact point (vacuum suction) between the surface of the article 3 and the suction pad 35 when the article 3 gripped by the gripping mechanism 21 is moved. The higher the gripping stability, the faster the article 3 gripped by the gripping mechanism 21 can be moved.
  • the state detection sensor 33 includes a distance sensor 36, a pressure sensor 37, and a force sensor 38 as shown in FIGS.
  • the distance sensor 36 is a sensor that measures the distance to the object.
  • the distance sensor 36 measures the distance to the object using the reflected light of the projected laser.
  • the distance sensor 36 measures one-dimensional (point), two-dimensional (line), or the distance to the image (plane) in the same manner as the distance sensor 8.
  • the distance sensor 36 is provided on the same surface as the surface on which the suction pad group 32 of the base member 31 is provided.
  • the distance sensor 36 measures the distance between the base member 31 of the gripping mechanism 21 and the article 3.
  • the base member 31 is provided with three distance sensors 36 at equal intervals. Thus, based on the measurement results of the three distance sensors 36, it is possible to determine the curvature of the surface of the article 3 and the inclination of the surface on which the three distance sensors 36 are provided with respect to the article 3.
  • the pressure sensor 37 measures the air pressure in the suction pad 35.
  • the pressure sensor 37 is connected in parallel with the plurality of suction pads 35.
  • the pressure sensor 37 measures the air pressure in the space connected to the tube 34 of the base member 31.
  • the pressure sensor 37 outputs a measurement result (for example, an analog signal indicating air pressure).
  • the measurement result output from the pressure sensor 37 is converted from analog to digital, for example, and supplied to the robot arm controller 23.
  • the leakage flow between the suction pad 35 and the surface of the article 3 causes the pressure to increase.
  • the measured value increases. This means that the gripping force due to vacuum suction is reduced.
  • the suction pad 35 and the surface of the article 3 are in close contact with each other and there is almost no leakage flow rate, the measured pressure value decreases. This means that the gripping force by vacuum suction is increasing.
  • the pressure sensor 37 it is possible to determine the increase or decrease of the gripping force due to vacuum suction.
  • the force sensor 38 is provided between the final link (terminal arm) of the arm mechanism 22 and the base member 31.
  • the force sensor 38 measures, for example, gravity, inertial force, external force, and moment acting on the gripping mechanism 21 and the article 3 gripped by the gripping mechanism 21.
  • the force sensor 38 is, for example, a 6-axis force sensor.
  • the robot arm control device 23 controls the operations of the gripping mechanism 21 and the arm mechanism 22 based on the operation plan supplied from the information processing device 6.
  • the robot arm control device 23 includes a communication interface 41, a controller 42, an arm mechanism driving unit 43, a gripping mechanism driving unit 44, and a learning unit 45.
  • the communication interface 41 is an interface for communicating with devices other than the information processing apparatus 6.
  • the communication interface 41 includes terminals and circuits corresponding to a communication standard for communicating with the information processing device 6, the operation terminal 7, and the distance sensor 8 via the network 9.
  • the communication interface 41 communicates with the information processing device 6, the operation terminal 7, the distance sensor 8, and the like based on the control of the controller 42.
  • the controller 42 controls the operation of the robot arm 5.
  • the controller 42 includes a processor 51 and a memory 52.
  • the processor 51 is an arithmetic element that executes arithmetic processing.
  • the processor 51 is configured as a CPU, for example.
  • the processor 51 performs various processes based on the program stored in the memory 52.
  • the arm mechanism driving unit 43 operates the arm mechanism 22 based on the operation plan.
  • the arm mechanism drive unit 43 rotates the joint mechanism (axis) by an angle based on the operation plan at an angular velocity based on the control of the controller 42 based on the operation plan and the control of the controller 42. Thereby, the arm mechanism drive unit 43 moves the gripping mechanism 21 attached to the tip of the arm mechanism 22 to the picking position indicated by the operation plan along the trajectory indicated by the operation plan.
  • the arm mechanism drive unit 43 includes a motor 61 and an encoder 62.
  • the arm mechanism drive unit 43 includes, for example, a motor 61 and an encoder 62 for each joint mechanism of the arm mechanism 22.
  • the compressor 71 is a machine that compresses and discharges air.
  • the discharge port for discharging the air of the compressor 71 is connected to the space inside the base member 31 of the gripping mechanism 21 via the tube 34. That is, the compressor 71 communicates with the plurality of suction pads 35 provided on the base member 31 of the gripping mechanism 21.
  • the compressor 71 can destroy the vacuum suction generated between the suction pad 35 and the surface of the article 3 by sending air into the suction pad 35 of the gripping mechanism 21 based on the control of the controller 42.
  • the compressor 71, the electromagnetic valve 72, and the vacuum generator 73 may be provided in the gripping mechanism 21.
  • the vacuum generator 73 may be replaced with a vacuum pump or a blower. Further, when the vacuum generator 73 is replaced with a vacuum pump or a blower, the compressor 71 may be omitted.
  • the controller 42 determines whether or not the article 3 falls from the gripping mechanism 21 when the arm mechanism 22 is operated at a high speed with the gripping mechanism 21 gripping the article 3, and the arm mechanism 22 is slowed down. It is determined whether or not the article 3 falls from the gripping mechanism 21 when operated.
  • the controller 42 controls the speed at which the arm mechanism 22 is operated based on the determination result.
  • the controller 42 determines whether or not the article 3 has dropped from the gripping mechanism 21 when the arm mechanism 22 is actually operated while the article 3 is gripped by the gripping mechanism 21. For example, the controller 42 determines whether or not the article 3 has dropped from the gripping mechanism 21 based on the measurement result of the state detection sensor 33. For example, the controller 42 determines that the article 3 has fallen from the gripping mechanism 21 when the stress according to the weight of the article 3 is measured by the force sensor 38 and is not measured. Further, the controller 42 may be configured to determine that the article 3 has dropped from the gripping mechanism 21 when the distance from the distance sensor 36 to the surface of the article 3 increases.
  • the controller 42 may be configured to determine that the article 3 has dropped from the gripping mechanism 21 when the pressure measured by the pressure sensor 37 is no longer a negative pressure. Further, the controller 42 may be configured to determine that the article 3 has dropped from the gripping mechanism 21 based on an image obtained by capturing the gripping mechanism 21 and the article 3 with a camera. Further, the controller 42 visually confirms that the operator 3 operating the operation terminal 7 has dropped the article 3 from the gripping mechanism 21, and based on the result of operating the operation terminal 7, the article 3 has fallen from the gripping mechanism 21. It may be configured to determine.
  • the learning unit 45 generates learning data based on the determination result as to whether or not the article 3 has dropped from the gripping mechanism 21. For example, the learning unit 45 uses the measurement result of the state detection sensor 33 as a problem, and generates learning data by answering whether or not the article 3 has dropped from the gripping mechanism 21. More specifically, the learning unit 45 includes the operation speed of the arm mechanism 22, the measurement result of the state detection sensor 33 during the operation of the arm mechanism 22, and the result of whether or not the article 3 has fallen from the gripping mechanism 21. Are associated and supplied to the information processing apparatus 6 as learning data.
  • the learning unit 45 may be provided as hardware in the robot arm control device 23, or may be configured as a program stored in the memory 52 and executed by the processor 51.
  • 5 and 6 are flowcharts for explaining the operation of the robot arm 5.
  • the information processing device 6 performs image recognition on the car car image, and recognizes an article area that is an area in which the article 3 is reflected in the car car image. For example, the information processing apparatus 6 recognizes the article regions by separating them one by one for each article. The information processing device 6 selects one article region based on a predetermined criterion among the plurality of separated article regions. For example, the information processing device 6 selects an article region that exists at the highest position. For example, the information processing device 6 selects an article region having the largest gap with the other article regions. For example, the information processing device 6 selects an article region closest to the center of the car 2. Further, for example, the information processing apparatus 6 selects an article region that is defined in advance as being easy to hold on the database. Furthermore, the information processing apparatus 6 may be configured to select one article region by integrating the plurality of criteria.
  • the information processing device 6 performs image recognition of the car image again, and recognizes the shape, position, and posture of the article corresponding to the selected article region.
  • the information processing apparatus 6 determines a picking position that is a position where the article 3 is gripped by the gripping mechanism 21 of the robot arm 5 based on the recognized shape, position, and posture of the article. Further, the information processing device 6 generates an operation plan indicating the picking position and a trajectory that is a movement path of the gripping mechanism 21, and supplies the operation plan to the robot arm 5.
  • the controller 42 waits for the operation plan to be supplied from the information processing device 6 when the arm mechanism 22 and the gripping mechanism 21 are moved out of the imaging range (step S12).
  • step S12 When the operation plan is supplied from the information processing apparatus 6 (step S12, YES), the controller 42 operates the electromagnetic valve 72 in an airtight state (step S13).
  • the controller 42 operates the vacuum generator 73 (step S14). Since the suction pad 35 is not yet in contact with the surface of the article 3, the suction pad 35 is open to the atmosphere at this time, and the measured value of the pressure sensor 37 does not change.
  • the controller 42 moves the gripping mechanism 21 based on the operation plan (step S15). For example, the controller 42 moves the gripping mechanism 21 to the picking position indicated by the action plan along the trajectory indicated by the action plan. Specifically, the controller 42 moves the gripping mechanism 21 to a position where the reference point of the gripping mechanism 21 and the picking position indicated by the operation plan overlap.
  • the suction pad 35 of the gripping mechanism 21 comes into close contact with the surface of the article 3.
  • the suction pad 35 of the gripping mechanism 21 is in close contact with the surface of the article 3, the space surrounded by the inside of the suction pad 35 and the surface of the article 3 becomes negative due to the operation of the vacuum generator 73. Adsorb in a vacuum.
  • the controller 42 determines whether or not the measurement result of the pressure sensor 37 is less than a preset threshold value (step S16).
  • the preset threshold value is, for example, atmospheric pressure. That is, the controller 42 determines whether or not the measurement result of the pressure sensor 37 is less than atmospheric pressure.
  • the controller 42 determines that the suction pad 35 has been vacuum-sucked (statically gripped) on the article 3. Further, the controller 42 determines that the vacuum suction between the suction pad 35 and the article 3 has failed when the measurement result of the pressure sensor 37 is equal to or greater than the threshold value.
  • the surface of the article 3 is highly flexible, the surface of the article 3 is bent by the suction pad 35 of the gripping mechanism 21, and the suction pad 35 and the surface of the article 3 are not in close contact with each other. is there. Also in this case, since the air flows from the gap, the pressure in the suction pad 35 may not decrease.
  • the measurement result by the state detection sensor 33 changes as follows depending on the shape and posture of the article 3.
  • the controller 42 when sucking a rectangular parallelepiped article 3 ⁇ / b> A from above, the controller 42 sucks the suction pad 35 onto the article 3 ⁇ / b> A and raises the article 3 ⁇ / b> A by a predetermined distance d by the arm mechanism 22. .
  • the controller 42 estimates the result based on the measurement result by the state detection sensor 33 at this time and the stability evaluation parameter.
  • Measured value of stress detected by each axis of the force sensor 38 varies depending on the weight of the article 3.
  • the measured value of each axis of the force sensor 38 increases as the weight of the article 3 increases.
  • a rectangular parallelepiped article 3C is covered with an indeterminate member 81 such as vinyl.
  • the article 3C is raised by a predetermined distance by the arm mechanism 22 as shown in FIG.
  • the timing at which the stress is detected by the force sensor 38 is delayed compared to the example of FIG.
  • the measurement results of the pressure sensor 37 and the distance sensor 36 also change according to time. In this manner, the measurement result indicating that a rectangular parallelepiped article is being gripped is changed to a measurement result indicating that an object having a curvature is gripped as shown in FIG.
  • the controller 42 causes the arrangement direction of the suction pad 35 to be on the surface of the article 3E.
  • the arm mechanism 22 is controlled to be parallel.
  • the measurement values of the force sensor 38 are different in a plurality of axes. Specifically, the angle of the surface of the article 3E with respect to the horizontal direction appears in the measurement value of the force sensor 38 as a moment about the horizontal direction.
  • the controller 42 extracts data (feature amount) indicating the difference as described above from the time-series data of the measurement values of each sensor of the state detection sensor 33.
  • the controller 42 evaluates the gripping stability of the article 3 based on the extracted feature amount and the stability evaluation parameter (step S20).
  • the controller 42 obtains a result based on past learning by inputting the feature amount extracted from the measurement result of the state detection sensor 33 to the classifier (stability evaluation parameter).
  • the controller 42 includes feature values (Fz, My, Mx%) Of measurement results of each axis of the force sensor 38, feature values of measurement results of the pressure sensor 37, and measurement results of the distance sensors 36. Are input to the classifier.
  • the controller 42 can “maintain the grip of the article 3 and move it at a high speed”, “can maintain the grip of the article 3 and move it at a low speed”, and “can move at a low speed. Also, it is possible to acquire one of the evaluation results "cannot maintain the grip of the article 3".
  • step S21 determines whether or not the stability evaluation result is “the article 3 can be held and moved at a high speed” (step S21).
  • step S21 determines whether or not the stability evaluation result is “it is possible to maintain the grip of the article 3 and move it at a low speed” (step S22).
  • step S21 When the controller 42 determines that the stability evaluation result is “it is possible to maintain the gripping of the article 3 and move it at high speed” (YES in step S21), the controller 42 grips the article 3 by the arm mechanism 22. The gripping mechanism 21 thus moved is moved at a high speed (step S23). Thereby, the controller 42 moves the gripping mechanism 21 that grips the article 3 to a position corresponding to the belt conveyor 4 corresponding to the sorting destination.
  • the controller 42 breaks the vacuum suction by opening the electromagnetic valve 72 and supplying compressed air from the compressor 71 into the suction pad 35 (step S24). Thereby, the article 3 held by the holding mechanism 21 is separated from the holding mechanism 21 and falls. As a result, the article 3 is supplied to the belt conveyor 4 as the sorting destination.
  • the controller 42 determines the time-series measurement result of the state detection sensor 33 between step S17 and step S19, the operation speed of the arm mechanism 22 in step S23, and the article 3 drops from the gripping mechanism 21 during step S23. Based on whether or not, the learning unit 45 generates learning data (step S25), and the process proceeds to step S11 in FIG. As a result, the controller 42 moves the arm mechanism 22 and the gripping mechanism 21 out of the angle of view of the distance sensor and waits for reception of the next operation plan.
  • controller 42 breaks the vacuum suction by opening the electromagnetic valve 72 and supplying compressed air from the compressor 71 into the suction pad 35 (step S24).
  • the controller 42 determines the time-series measurement result of the state detection sensor 33 between step S17 and step S19, the operation speed of the arm mechanism 22 in step S26, and the article 3 drops from the gripping mechanism 21 during step S26. Based on whether or not, the learning unit 45 generates learning data (step S25), and the process proceeds to step S11 in FIG. As a result, the controller 42 moves the arm mechanism 22 and the gripping mechanism 21 out of the angle of view of the distance sensor and waits for reception of the next operation plan.
  • step S22 determines that the stability evaluation result is “the gripping of the article 3 cannot be maintained even if it is moved at a low speed” (step S22, NO)
  • the arm mechanism 22 causes the article to be maintained. 3 is lowered by a predetermined distance (step S27). The distance by which the gripping mechanism 21 is lowered corresponds to the distance by which the gripping mechanism 21 is lifted in step S18.
  • step S16 when the controller 42 lowers the gripping mechanism 21 in step S27, or when it is determined in step S16 in FIG. 5 that the measurement result of the pressure sensor 37 is equal to or greater than a preset threshold value (step S16, NO).
  • the vacuum valve is broken by opening the electromagnetic valve 72 and supplying compressed air from the compressor 71 into the suction pad 35 (step S28).
  • the controller 42 supplies information that prompts the priority of the grasped article 3 to be lowered to the information processing apparatus 6 (step S29), and the process proceeds to step S11 in FIG.
  • the controller 42 moves the arm mechanism 22 and the gripping mechanism 21 out of the angle of view of the distance sensor and waits for reception of the next operation plan.
  • FIG. 14 is a flowchart for explaining processing related to generation of learning data.
  • the learning unit 45 determines whether or not the article 3 has dropped when the article 3 gripped by the gripping mechanism 21 is moved at a low speed by the arm mechanism 22 (step S32).
  • the learning unit 45 moves the article 3 gripped by the gripping mechanism 21 at a low speed by the arm mechanism 22 and determines that the article 3 has dropped during the movement (step S32, YES)
  • the feature amount generated in step S31 The vector is labeled “ ⁇ 1”, the labeled feature vector is supplied as learning data to the information processing apparatus 6 (step S33), and the process is terminated.
  • the problem of the learning data in this case is the feature vector, and the answer is “ ⁇ 1”, that is, “falling during low-speed movement”.
  • step S34 determines whether the article 3 has fallen when the article 3 gripped by the gripping mechanism 21 is moved at high speed by the arm mechanism 22 (step S34). .
  • the learning unit 45 moves the article 3 gripped by the gripping mechanism 21 at a high speed by the arm mechanism 22 and determines that the article 3 has dropped during the movement (step S34, YES), the feature amount generated in step S31.
  • the vector is labeled “0”, and the labeled feature vector is supplied as learning data to the information processing apparatus 6 (step S35), and the process is terminated.
  • the problem of the learning data in this case is the feature quantity vector, and the answer is “0”, that is, “falling during high-speed movement”.
  • step S34 the learning unit 45 determines that the article 3 has not dropped when the article 3 gripped by the gripping mechanism 21 is moved at high speed by the arm mechanism 22.
  • the learning unit 45 labels “+1” to the feature quantity vector generated in step S31, supplies the labeled feature quantity vector to the information processing apparatus 6 as learning data (step S36), and ends the process.
  • the problem of the learning data in this case is the feature vector, and the answer is “+1”, that is, “does not fall during high-speed movement”.
  • the robot arm 5 includes the gripping mechanism 21 that grips the article 3, the arm mechanism 22 that moves the gripping mechanism 21, the controller 42 that controls the operation of the gripping mechanism 21 and the arm mechanism 22, And a state detection sensor 33 that acquires information for evaluating the stability of gripping the article 3 by the mechanism 21.
  • the controller 42 evaluates the stability of gripping the article 3 by the gripping mechanism 21 based on the measurement result of the state detection sensor 33 and the stability evaluation parameter generated by learning in advance.
  • the controller 42 controls the moving speed of the gripping mechanism 21 by the arm mechanism 22 based on the stability evaluation result. Accordingly, the controller 42 can move the gripping mechanism 21 at a high speed within a range in which the article 3 is estimated not to fall from the gripping mechanism 21. As a result, an operation speed suitable for each article can be selected, and the processing speed of the article can be improved.
  • the state detection sensor 33 includes a force sensor 38 that detects the gripping mechanism 21 and the stress acting on the article 3 gripped by the gripping mechanism 21 for each of a plurality of axes.
  • the force sensor 38 detects the gravitational force and inertial force acting on the gripping mechanism 21 and the article 3 gripped by the gripping mechanism 21 and the moment load generated by the gravitational force and the inertial force.
  • the controller 42 can add the measurement result of the force sensor 38 when the gripping mechanism 21 is operated by the arm mechanism 22 to the stability evaluation.
  • the state detection sensor 33 includes a pressure sensor that detects a pressure in a space surrounded by the suction pad 35 of the gripping mechanism 21 and the surface of the article 3. Thereby, the controller 42 can consider the measurement result of the pressure sensor 37 in stability evaluation.
  • the state detection sensor 33 includes a plurality of distance sensors 36 that measure the distance between the base member 31 provided with the suction pad 35 of the gripping mechanism 21 and the surface of the article 3. Thereby, the controller 42 can consider the shape of the surface of the article
  • the above stability evaluation parameter includes the measurement result of the state detection sensor 33 in a state where the gripping mechanism 21 grips the article 3 and whether or not the gripping of the article 3 is maintained while the gripping mechanism 21 is moving. It is generated based on learning data consisting of the results.
  • the controller 42 can infer from the measurement result of the state detection sensor 33 whether or not the article 3 falls during the movement of the gripping mechanism 21. Become.
  • the stability evaluation parameter described above is based on the measurement result of the state detection sensor 33 while the gripping mechanism 21 grips the article 3 and performs a predetermined operation, and the gripping of the article 3 is maintained while the gripping mechanism 21 is moving. Is generated on the basis of the learning data comprising the result of whether or not it has been done.
  • the controller 42 determines whether or not the article 3 is dropped while the gripping mechanism 21 is moving. The controller 42 holds the article 3 and performs a predetermined operation. It becomes possible to infer from the measurement result of the state detection sensor 33 while it is performed.
  • the learning unit 45 determines whether the gripping of the article 3 is maintained while the gripping mechanism 21 is moving and the measurement result of the state detection sensor 33 in a state where the gripping mechanism 21 grips the article 3.
  • the learning unit 45 may use the detection result of the torque sensor that detects the torque acting on the arm connected by the joint mechanism to which the drive shaft of the motor 61 is connected, for generating the learning data.
  • the learning unit 45 may be configured to further use the time-series data output from the torque sensor and the time-series data output from the encoder 62 for generating the learning data.
  • the controller 42 is based on the time series data of the measurement result of the state detection sensor 33 when the gripping mechanism 21 that grips the article 3 is raised by a predetermined distance (first moving operation).
  • first moving operation a predetermined distance
  • the controller 42 grasps the article 3 based on the time-series data of the measurement result of the state detection sensor 33 when the grasping mechanism 21 that grasps the article 3 is moved by a certain distance in the horizontal direction (second movement operation).
  • the structure which evaluates stability may be sufficient.
  • learning data is collected based on the measurement results of the state detection sensor 33 in each of the first movement operation and the second movement operation, and the learning data is generated based on the collected learning data.
  • Stability evaluation parameters may be used.
  • learning data is collected based on the measurement result of the state detection sensor 33 in either the first moving operation or the second moving operation, and the stability generated based on the collected learning data. Evaluation parameters may be shared.
  • the robot arm 5 generates learning data, supplies the learning data to the information processing device 6, and the information processing device 6 generates the stability evaluation parameter based on the learning data.
  • the robot arm 5 may be configured to supply the information processing device 6 with information indicating whether or not the measurement result of the state detection sensor 33 and the article 3 have been dropped, and the information processing device 6 generates learning data.
  • the robot arm 5 may be configured to generate the stability evaluation parameter based on the learning data.
  • FIG. 15 is a flowchart for explaining a modified example of the operation of the robot arm 5. Note that FIG. 15 can be replaced with the operation of FIG.
  • the controller 42 moves the gripping mechanism 21 based on the operation plan (step S45).
  • the suction pad 35 of the gripping mechanism 21 is in close contact with the surface of the article 3, and the space surrounded by the inside of the suction pad 35 and the surface of the article 3 becomes negative pressure, and the suction pad 35 and the article 3 are vacuum-sucked. .
  • the controller 42 determines whether or not the measurement result of the pressure sensor 37 is less than a preset threshold value (step S46).
  • step S46 determines that the measurement result of the pressure sensor 37 is less than a preset threshold value (step S46, YES)
  • step S47 the controller 42 starts measurement by the state detection sensor 33 (step S47).
  • the gripping mechanism 21 that grips the article 3 is caused to perform a first movement operation (step S48). Specifically, the controller 42 raises the gripping mechanism 21 by a predetermined distance by the arm mechanism 22.
  • step S49 the controller 42 ends the measurement by the state detection sensor 33 (step S49).
  • the controller 42 extracts feature amounts from the time series data of the measurement results of the respective sensors of the state detection sensor 33, and determines the gripping stability of the article 3 based on the extracted feature amounts and the stability evaluation parameter. Evaluate (step S50). Furthermore, as a result of evaluating the stability of gripping the article 3, the controller 42 determines whether remeasurement by the state detection sensor 33 is necessary (step S51). For example, when the controller 42 evaluates the stability of gripping the article 3 and evaluates that the article is unstable (the article 3 may fall even if moved at a low speed), the state detection sensor 33 It is judged that remeasurement by is necessary.
  • the controller 42 determines that remeasurement by the state detection sensor 33 is necessary when the evaluation of the stability of gripping the article 3 is indefinite.
  • the controller 42 determines that remeasurement by the state detection sensor 33 is not necessary (step S51, NO)
  • the controller 42 proceeds to the process of step S21 in FIG.
  • the accuracy of whether or not the article 3 falls during the movement of the gripping mechanism 21 can be improved.
  • the above-described high-speed operation and low-speed operation are just relative indexes, and may be set at any speed.
  • the high speed operation is an operation at the maximum speed of the arm mechanism 22 of the robot arm 5
  • the low speed operation is an operation at a speed about 1/3 of the high speed operation.
  • the operation for obtaining characteristic sensor data from the state detection sensor 33 when collecting the learning environment and the learning data for evaluating the stability of gripping in the real environment. must be the same.
  • the learning environment has the same device configuration as the real environment as much as possible and a usage environment (temperature, humidity, dust, static electricity, lighting environment, etc.) as close as possible.
  • the image processing method in the information processing apparatus 6 and the criteria for selecting one area from a plurality of detected article areas may be any.
  • the information processing device 6 determines a threshold value for values such as intensity, hue, saturation, or brightness of each RGB color, and determines an article region based on the shape formed by the boundary (edge).
  • the dividing process described in the embodiment can be realized by recognizing the inside of the closed curve as one article region when the edge forms a closed curve.
  • the information processing device 6 can detect the shape, position, and orientation of the article by matching the image in the closed curve, that is, the image in the article area, with the article data in the database.
  • the state detection sensor 33 in the above-described embodiment is merely an example, and any one may be used.
  • a flow rate sensor may be used instead of the pressure sensor 37 to measure the flow rate between the vacuum generator 73 and the suction pad 35, and the measurement result may be used to generate learning data.
  • the flow rate between the vacuum generator 73 and the suction pad 35 corresponds to the leakage flow rate between the suction pad 35 and the article 3, and is a value correlated with the stability of the gripping state.
  • a pressure sensor and a flow sensor may be used in combination.
  • the force sensor 38 may be omitted in a use environment where the weight of the article 3 does not matter. Furthermore, when it is assumed that the shape of the article 3 is uniform, the distance sensor 36 may be omitted.
  • values indicating the physical properties may be used for generating learning data.
  • the number of the suction pads 35 of the gripping mechanism 21 is described as eight.
  • the number of the suction pads 35 is appropriately determined according to the article 3 to be handled.
  • the number of the suction pads 35 may be one, or may be eight or less.
  • the arrangement of the suction pads 35 may be any arrangement such as a staggered pattern, a lattice pattern, or a radial pattern.
  • the suction pad 35 may be constituted by a sponge pad.
  • an electromagnetic valve may be provided for each of a plurality of flow paths connected to each suction pad 35. According to this configuration, even if all the suction pads 35 are not in close contact with the article 3, the inside of the suction pads 35 can be controlled to a negative pressure. At this time, the pressure sensor 37 may be provided for each of the plurality of flow paths.
  • a throttle valve may be provided in a flow path connected to the suction pad 35.
  • the flow rate change can be suppressed by the throttle valve. This reduces the responsiveness of vacuum supply and vacuum break, but reduces air leakage from the opened suction pads, so that the vacuum pressure can be kept high even when some of the suction pads are released.
  • all the suction pads may be provided with throttle valves or only partially. For example, it is possible to realize a structure in which a throttle valve is not provided in the center and a throttle valve is provided only around the periphery. Thereby, a high flow rate can be ensured in the suction pad 35 in the central portion which is highly likely to be covered with the article. Further, even if the suction pad 35 at the outer edge that may not be covered by the article 3 is partially released, a high vacuum pressure can be obtained.
  • the arm mechanism 22 is not limited to this configuration described as a 6-axis robot arm.
  • the present invention can be applied to any number of axes.
  • the robot arm 5 may be configured as a SCARA robot or an XYZ stage. Further, the robot arm 5 may be mounted on a linear stage, a self-propelled carriage, or the like instead of a fixed facility and configured to be movable.
  • step S16 of FIG. 5 it has been described that the grip pad is given up when the inside of the suction pad 35 does not become negative pressure.
  • the robot arm 5 may be configured to try to grip the article 3 again while moving the pickup position.
  • the robot arm 5 has been described as having a configuration in which the gripping mechanism 21 is returned to the initial position after the article 3 is released to the sorting destination.
  • the robot arm 5 may be configured to move the gripping mechanism 21 to the next picking position after releasing the article 3 to the sorting destination.
  • the processing time can be shortened.
  • the distance sensor 8 may acquire the car car image until the robot arm 5 moves the gripping mechanism 21 that grips the article 3 to the release position. Thereby, the interval at which the information processing apparatus 6 supplies the operation plan to the robot arm 5 can be shortened.
  • the sorting system 1 according to the second embodiment is different in the configuration of the robot arm.
  • the robot arm 5A according to the second embodiment includes a plurality of finger mechanisms 91A that the gripping mechanism 21A further grips with the article 3 interposed therebetween, and the gripping mechanism drive unit 44A includes a motor 61A that drives the finger mechanism 91A.
  • the controller 42A according to the second embodiment is different from the first embodiment in controlling the operations of the gripping mechanism 21A and the arm mechanism 22. Detailed description of the same configuration as in the first embodiment will be omitted.
  • FIG. 16 is an explanatory diagram for explaining the configuration of the robot arm 5A.
  • FIG. 17 is a diagram schematically showing the configuration of the gripping mechanism 21A.
  • the robot arm 5A includes a gripping mechanism 21A, an arm mechanism 22, and a robot arm control device 23A.
  • the gripping mechanism 21A is a mechanism that grips the article 3.
  • the gripping mechanism 21A is fixed to an end portion (final link) of the arm mechanism 22 with a screw or the like. That is, the gripping mechanism 21 is moved in an arbitrary posture by the operation of the arm mechanism 22.
  • the gripping mechanism 21 ⁇ / b> A includes a base member 31, a suction pad group 32, a finger mechanism 91 ⁇ / b> A, and a state detection sensor 33.
  • the finger mechanism 91 ⁇ / b> A is a gripper that grips the article 3.
  • the finger mechanism 91A includes a plurality of fingers and a plurality of joint mechanisms (axes).
  • the joint mechanism connects two fingers. Further, the joint mechanism is moved by the operation of the motor of the gripping mechanism driving unit 44A of the robot arm control device 23A, and changes the relative angle of the two fingers connected to each other. That is, the finger is moved by the operation of the joint mechanism.
  • the finger mechanism 91 ⁇ / b> A is provided, for example, on a pair of opposing sides of the base member 31.
  • the plurality of finger mechanisms 91 ⁇ / b> A provided on the pair of sides apply a force so as to sandwich the article 3 in contact with the suction pad 35 provided on the base member 31. That is, the plurality of finger mechanisms 91 ⁇ / b> A apply a force to the article 3 from a plurality of opposing directions that are parallel to the arrangement direction of the suction pads 35 provided on the base member 31. In this case, the article 3 is gripped by the friction between the finger and the article 3.
  • the robot arm control device 23A includes a communication interface 41, an arm mechanism driving unit 43, a gripping mechanism driving unit 44A, a controller 42A, and a learning unit 45.
  • the gripping mechanism driving unit 44A causes the gripping mechanism 21A to grip the article 3 based on the control of the controller 42A.
  • the gripping mechanism drive unit 44A includes a compressor 71, an electromagnetic valve 72, a vacuum generator 73, a motor 61A, an encoder 62A, and a torque sensor 63A.
  • the motor 61A is a driving mechanism that converts electric power into driving force.
  • the motor 61A rotates the drive shaft according to the electric power.
  • the drive shaft is connected to the joint mechanism of the finger mechanism 91A via a mechanism such as a gear and a belt (not shown). That is, the joint mechanism of the finger mechanism 91A rotates according to the rotation of the drive shaft of the motor 61A.
  • the motor 61A is, for example, a servo motor. Further, the motor 61A may be a stepping motor, an ultrasonic motor, or the like. Further, the gripping mechanism driving unit 44 may be configured to drive the joint mechanism of the finger mechanism 91A by air pressure or hydraulic pressure instead of the motor 61A.
  • the torque sensor 63A detects torque acting on the fingers connected by the joint mechanism to which the drive shaft of the motor 61A is connected. For example, the torque sensor 63A outputs the amount of twist of the drive shaft of the motor 61A as an electric signal indicating torque. The torque sensor 63A supplies the torque detection result to the controller 42A.
  • the motor 61A rotates the joint mechanism (axis) of the finger mechanism 91A at an angular velocity based on the control of the controller 42A.
  • the plurality of finger mechanisms 91 ⁇ / b> A apply force to the article 3 so as to sandwich the article 3.
  • the gripping mechanism driving unit 44A includes a motor 61A, an encoder 62A, and a torque sensor 63A for each joint mechanism of the finger mechanism 91A.
  • the controller 42A has the same configuration as the controller 42.
  • the controller 42A is similar to the controller 42 in controlling the arm mechanism driving unit 43, controlling the vacuum generator 73, the electromagnetic valve 72, and the compressor 71 in the gripping mechanism driving unit 44A, and evaluating the stability of gripping the article 3. Perform the process. Therefore, detailed description is omitted.
  • FIG. 18 is a flowchart for explaining the operation of the robot arm 5A. Note that FIG. 18 can be replaced with the operation of FIG. For this reason, the process of FIG. 18 is described as a continuation of the process of FIG.
  • the controller 42A adsorbs the suction pad 35 of the gripping mechanism 21A to the article 3, raises the gripping mechanism 21A by a predetermined distance, and based on the measurement result of the state detection sensor 33 and the stability evaluation parameter, Evaluate the stability of gripping by vacuum suction.
  • Controller 42A determines whether gripping by vacuum suction is stable (step S61). For example, the controller 42A determines whether or not the gripping by the vacuum suction is maintained when the gripping mechanism 21A is moved to the release position at a high speed.
  • the controller 42A breaks the vacuum suction by opening the electromagnetic valve 72 and supplying compressed air from the compressor 71 into the suction pad 35 (step S63). Thereby, the article 3 held by the holding mechanism 21A is separated from the holding mechanism 21A and falls. As a result, the article 3 is supplied to the belt conveyor 4 as the sorting destination.
  • the controller 42A causes the learning unit 45 to generate learning data (step S64), and proceeds to step S11 in FIG. As a result, the controller 42A moves the arm mechanism 22 and the gripping mechanism 21A out of the angle of view of the distance sensor 8 and waits for reception of the next operation plan.
  • step S61 determines that the gripping by the vacuum suction is not stable (step S61, NO)
  • the controller 42A controls the gripping mechanism driving unit 44A so as to grip the article 3 by the finger mechanism 91A (step S65). . That is, when the controller 42A determines that the gripping stability by suction is insufficient, the controller 42A adds gripping by the finger mechanism 91A.
  • the controller 42A causes the arm mechanism 22 to move the gripping mechanism 21 that grips the article 3 at a high speed (step S66). Accordingly, the controller 42A moves the gripping mechanism 21A that grips the article 3 to a position corresponding to the belt conveyor 4 corresponding to the destination.
  • the controller 42A breaks the vacuum suction by opening the electromagnetic valve 72 and supplying compressed air from the compressor 71 into the suction pad 35 (step S67). Further, the controller 42A moves the finger mechanism 91A in the direction opposite to that in step S65, thereby releasing the grip of the article 3 by the finger mechanism 91A (step S68), and proceeds to the process of step S64.
  • the learning unit 45 also takes into account the output of the torque sensor 63A of the gripping mechanism driving unit 44A and the output of the encoder 62 in the generation of learning data while the article 3 is gripped by the finger mechanism 91A. Good.
  • step S65 when the measurement result of the pressure sensor 37 is equal to or greater than the threshold value in step S16 of FIG. 5, the process can proceed to step S65. That is, the controller 42A may switch to gripping by the finger mechanism 91A when gripping by vacuum suction fails.
  • the gripping by the finger mechanism 91A is slower than the gripping by the suction pad 35 because it is necessary to drive the joint mechanism. Therefore, the controller 42A first holds the article 3 with the suction pad 35, evaluates the stability, and adds the holding of the article 3 with the finger mechanism 91A when the stability is insufficient. As a result, high-speed processing can be performed only by vacuum suction, and stability can be improved by using both vacuum suction and gripping by the finger mechanism 91A. As a result, it is possible to achieve both high stability and throughput.
  • the stability evaluation parameter may be generated so that the stability evaluation result is one of three or more values. Thereby, the stability can be improved by changing the moving speed.

Abstract

実施形態に係る物品把持装置は、物品を把持する把持機構と、前記把持機構を移動させるアーム機構と、状態検出センサと、コントローラとを具備する。状態検出センサは、前記把持機構が前記物品を把持した際の把持の状態を測定し、測定結果を出力する。コントローラは、前記物品を把持した前記把持機構を移動させている間に前記物品が落下するか否かを推測する為の安定性評価パラメータと、前記状態検出センサの測定結果とに基づいて、前記把持機構及び前記アーム機構の動作を制御する。

Description

物品把持装置及び物品把持装置の制御装置
　本発明の実施形態は、物品把持装置及び物品把持装置の制御装置に関する。
　小包などの物品（荷物）を配送する仕分システムでは、収集した荷物を配送先ごとに仕分ける作業が必要となる。例えば、物品を把持する把持機構と、把持機構を移動させるアーム機構とを有するロボットアーム（物品把持装置）と、ロボットアームの動作を制御する制御装置と、制御装置に動作を指示する情報処理装置とを備える仕分システムが実用化されている。
　ロボットアームの把持機構は、物品に吸着する吸着パッドを備える。把持機構は、吸着パッドが物品の表面に接し、且つ吸着パッド内が負圧になった場合に、物品を把持することができる。
　ロボットアームの制御装置は、情報処置装置から供給された動作計画に基づいて、アーム機構により把持機構を移動させる。さらに、制御装置は、把持機構により物品を把持させ、アーム機構により把持機構を移動させ、物品を仕分先まで移動させる。
　仕分システムで仕分される物品は、様々な形状のものがある。例えば、物品は、寸法、重量、表面の状態（凹凸及び曲率など）、包装状態などの特性が一様ではない。この為、把持機構の吸着パッドを物品に吸着させて、物品を把持した場合に、物品の把持が安定しない可能性がある。物品の把持が安定しない状態で、アーム機構により把持機構を移動させた場合に、物品が把持機構の吸着パッドから離れ、落下する可能性がある。このように、物品の把持が安定しない場合、アーム機構による把持機構の移動の速度を抑える必要があり、物品の処理の速度が低下する。また、前述の特性が異なる物品が混載されている場合、それらの特性を把持する前に得られる情報（例えばカメラ画像など）だけから識別することは困難である。よって、混載されている物品のうち最も把持が安定しないものを基準に、一律に処理速度を低下させざるをえないという課題がある。
日本国特開２０１３－１１１７４４号公報
　本発明が解決しようとする課題は、高速に物品を処理可能な物品把持装置及び物品把持装置の制御装置を提供することである。
　実施形態に係る物品把持装置は、物品を把持する把持機構と、前記把持機構を移動させるアーム機構と、状態検出センサと、コントローラとを具備する。状態検出センサは、前記把持機構が前記物品を把持した際の把持の状態を測定し、測定結果を出力する。コントローラは、前記物品を把持した前記把持機構を移動させている間に前記物品が落下するか否かを推測する為の安定性評価パラメータと、前記状態検出センサの測定結果とに基づいて、前記把持機構及び前記アーム機構の動作を制御する。
図１は、第１の実施形態に係る仕分システムの概略的な構成例について説明する為の説明図である。 図２は、第１の実施形態に係る操作端末の構成例について説明する為の説明図である。 図３は、第１の実施形態に係るロボットアームの構成例について説明する為の説明図である。 図４は、第１の実施形態に係るロボットアームの構成例について説明する為の説明図である。 図５は、第１の実施形態に係るロボットアームの動作について説明する為のフローチャートである。 図６は、第１の実施形態に係るロボットアームの動作について説明する為のフローチャートである。 図７は、第１の実施形態に係るロボットアームにより物品を把持する例について説明する為の説明図である。 図８は、第１の実施形態に係るロボットアームにより物品を把持する例について説明する為の説明図である。 図９は、第１の実施形態に係るロボットアームにより物品を把持する例について説明する為の説明図である。 図１０は、第１の実施形態に係るロボットアームにより物品を把持する例について説明する為の説明図である。 図１１は、第１の実施形態に係るロボットアームにより物品を把持する例について説明する為の説明図である。 図１２は、第１の実施形態に係るロボットアームにより物品を把持する例について説明する為の説明図である。 図１３は、安定性評価パラメータに基づいて物品の把持の安定性を評価する分類処理について説明する為の説明図である。 図１４は、学習用データの生成に関する処理の例について説明する為のフローチャートである。 図１５は、第１の実施形態に係るロボットアームの動作の他の例について説明する為のフローチャートである。 図１６は、第２の実施形態に係るロボットアームの構成例について説明する為の説明図である。 図１７は、第２の実施形態に係るロボットアームの構成例について説明する為の説明図である。 図１８は、第２の実施形態に係るロボットアームの動作の例について説明する為のフローチャートである。
実施形態
　以下、実施形態について、図面を参照して説明する。　
　（第１の実施形態）　
　図１は、第１の実施形態に係る仕分システム１の概略的な構成例について説明する為の説明図である。
　仕分システム１は、かご車２に積載された仕分対象である物品３を所定の仕分先に仕分けるシステムである。
　かご車２は、物品３を収容する収容部とキャスターとが組み合わされた容器である。なお、かご車２は、仕分対象の物品３が積載される容器の一例であり、荷台、またはパレットなど、物品３を積載することができるものであれば如何なるものであってもよい。
　物品３の仕分先は、例えばベルトコンベア４である。なお、仕分先は、ベルトコンベア４に限定されるものではなく、仕分用のカゴであっても良いし、作業台などであっても良い。
　仕分システム１は、ロボットアーム５、情報処理装置６、及び操作端末７を備える。また、仕分システム１は、距離センサ８をさらに備える。ロボットアーム５、情報処理装置６、操作端末７、及び距離センサ８は、ネットワーク９を介して互いに通信可能に構成されている。
　まず、距離センサの構成について説明する。　
　距離センサ８は、対象物までの距離を計測するセンサである。距離センサ８は、対象物と距離センサ８との距離を示す点が配列された点群により構成された距離画像を取得する。即ち、距離画像は、互いに直交する三次元空間における点の集合である。言い換えると、距離画像は、二次元状に配列された複数の点毎の、距離センサ８との距離を示す距離値の集合である。距離センサ８は、距離画像を、ネットワーク９を介して情報処理装置６に供給する。
　距離センサ８は、例えば異なる２点（瞳位置）から対象物を撮像した際の視差に基づいて対象物までの距離を計測するステレオカメラである。即ち、距離センサ８は、レンズと、レンズにより結像された光を画像に変換する撮像素子とが組み合わされたカメラを２つ以上備える。このような構成により、距離センサ８は、上記の距離画像と同時に、色情報を有する座標（画素）が二次元的に配列されたラスタ画像を取得する。なお、ラスタ画像は、カラー画像であっても単色画像であってもよい。距離センサ８は、ラスタ画像を、ネットワーク９を介して情報処理装置６に供給する。
　距離センサ８のレンズは、ロボットアーム５により持ち上げられる物品３が積載されたかご車２を含む領域を撮影することができるように画角が調整されている。例えば、距離センサ８のレンズは、光軸がかご車２の底面に対向するように調整される。例えば、距離センサ８のレンズは、距離センサ８のレンズの光軸と、上記のｚ方向（鉛直方向）とが平行になるように調整される。即ち、距離センサ８は、かご車２の底面に対向する方向からかご車２を含む所定範囲を撮像し、距離画像、及びラスタ画像を取得する。なお、かご車２を含む所定範囲の画像をかご車画像と称する。かご車画像は、距離画像とラスタ画像とのいずれであってもよいが、本実施形態では、かご車画像は距離画像であると仮定して説明する。
　なお、距離センサ８は、対象物からの光を分光し、撮像素子の異なる位置に入射させる構成であってもよい。また、距離センサ８は、レーザによる１次元スキャナであってもよい。
　次に、操作端末７について説明する。　
　操作端末７は、操作に基づく情報を情報処理装置６に供給する装置である。即ち、操作端末７は、情報処理装置６の操作インタフェースとして機能する。操作端末７は、通信インタフェース、制御部、及びタッチパネルなどにより構成される。
　次に、情報処理装置６の構成について説明する。　
　図２は、情報処理装置６の構成例について説明する為の説明図である。
　情報処理装置６は、ロボットアーム５に動作計画と、ロボットアーム５による把持の安定性を評価する為のパラメータ（安定性評価パラメータ）を供給する装置である。情報処理装置６は、パーソナルコンピュータ（ＰＣ）などの、データの処理及びデータの保存を行うことができる装置により構成される。情報処理装置６は、通信インタフェース１１及び制御部１２を備える。
　通信インタフェース１１は、情報処理装置６以外の他の機器と通信する為のインタフェースである。通信インタフェース１１は、ネットワーク９を介してロボットアーム５、操作端末７、及び距離センサ８と通信する為の通信規格などに対応した端子及び回路を備える。通信インタフェース１１は、制御部１２の制御に基づいて、ロボットアーム５、操作端末７、及び距離センサ８などと通信する。
　制御部１２は、種々の処理を実行する処理部である。制御部１２は、プロセッサ１３及びメモリ１４を備える。
　プロセッサ１３は、演算処理を実行する演算素子である。プロセッサ１３は、例えばＣＰＵとして構成される。プロセッサ１３は、メモリ１４に記憶されているプログラムに基づいて種々の処理を行う。
　メモリ１４は、プログラム及びデータを記憶する記憶装置である。メモリ１４は、例えば、読み出し専用の不揮発性メモリであるＲＯＭ、データを一時的に記憶するＲＡＭ、及びデータを記憶するストレージのいずれか、または複数を備える。
　まず情報処理装置６による動作計画の供給について説明する。　
　情報処理装置６は、かご車２に搭載された物品３の画像であるかご車画像を取得する。情報処理装置６の制御部１２は、かご車画像に対して画像認識を行い、かご車画像において物品３が写った領域である物品領域を認識する。制御部１２は、物品領域の認識結果に基づき、ロボットアーム５により物品３を把持させる位置であるピッキング位置を決定する。制御部１２は、ピッキング位置とロボットアーム５の把持機構の移動経路である軌跡とを示す動作計画を生成し、ロボットアーム５に動作計画を供給する。
　動作計画は、ピッキング位置を示すピッキング位置データと、軌跡とを含む情報である。ロボットアームは、動作計画が示す軌跡を通り、動作計画のピッキング位置データが示すピッキング位置まで把持機構を移動させる。
　ピッキング位置データは、把持機構により物品３を把持させる位置を示す情報である。例えば、ピッキング位置データは、把持機構により物品３を把持させる場合に把持機構を移動させる位置を示す。より具体的には、ピッキング位置データは、把持機構の基準点の移動先の３次元空間上の座標である。なお、以下ピッキング位置データが示すピッキング位置を、単にピッキング位置と称する。
　軌跡は、ロボットアーム５の把持機構をピッキング位置まで移動させる際の経路を示す。より具体的には、軌跡は、把持機構の基準点の移動経路を示す３次元空間上の複数の座標である。なお、ピッキング位置は、軌跡に含まれていてもよい。
　把持機構が吸着パッドとして構成されている場合、把持機構の基準点は、例えば、吸着パッドの中心（重心）であってもよいし、吸着パッドにおける任意の点であってもよい。また、把持機構がグリッパとして構成されている場合、把持機構の基準点は、例えば、グリッパを構成する複数の指機構の中心であってもよい。
　次に、情報処理装置６による安定性評価パラメータの供給について説明する。　
　情報処理装置６の制御部１２は、後述する学習用データをロボットアーム５から取得する。制御部１２のプロセッサ１３は、ロボットアーム５から供給された学習用データをメモリ１４に記憶する。プロセッサ１３は、メモリ１４に記憶された学習用データを取得し、学習用データに基づいて機械学習を行うことにより、ロボットアーム５における物品３の把持の安定性（把持安定性）を評価する為のパラメータ（安定性評価パラメータ）を生成する。把持安定性とは、ロボットアーム５からの物品３の離れにくさ（把持状態からの物品３の落下のしやすさ）の度合いを示す。プロセッサ１３は、安定性評価パラメータをロボットアーム５に供給する。
　学習用データは、問題と答えとを有するデータである。例えば、学習用データは、ロボットアーム５が物品３を把持した状態において、ロボットアーム５の後述するセンサにより測定された測定結果と、物品３をある速度で移動させた際にロボットアーム５から物品３が落下したか否かを示す情報とを有する。この場合、ロボットアーム５が物品３を把持した状態で移動させた際のセンサによる測定結果が問題に相当し、ロボットアーム５から物品３が落下したか否かが答えに相当する。
　プロセッサ１３は、このような学習用データに基づいて、例えばセグメーテーション用のニューラルネットワークなどにより機械学習を行うことにより、ロボットアーム５により把持した物品３を移動させた際に、物品３が落下するか否かを判断する為に用いられる安定性評価パラメータを生成する。安定性評価パラメータは、セグメーテーション用のニューラルネットワークにおける重み計数である。
　なお、プロセッサ１３は、学習用データを取得する毎に安定性評価パラメータを生成する構成であってもよいし、取得した学習用データに基づいて生成された安定性評価パラメータを用いて、既に生成した安定性評価パラメータを調整（更新）する構成であってもよい。また、プロセッサ１３は、既に生成した安定性評価パラメータを調整（変更）する場合、１度に調整することができる値を制限する構成であってもよい。
　次に、ロボットアーム５の構成について説明する。　
　ロボットアーム５は、かご車２に積載された物品を把持し、把持した物品３を持ち上げ、物品３を仕分先に供給する装置である。
　図３は、ロボットアーム５の構成について説明する為の説明図である。図１及び図３に示されるように、ロボットアーム５は、把持機構２１、アーム機構２２、及びロボットアーム制御装置２３を備える。
　図４は、把持機構２１の構成を概略的に示す図である。把持機構２１は、物品３を把持する機構である。把持機構２１は、アーム機構２２の端部（最終リンク）にネジなどにより固定される。即ち、把持機構２１は、アーム機構２２の動作によって任意の姿勢で移動される。図３及び図４に示されるように、把持機構２１は、ベース部材３１、吸着パッド群３２、及び状態検出センサ３３を備える。
　ベース部材３１は、吸着パッド群３２が取り付けられる部材である。ベース部材３１には、ロボットアーム制御装置２３に接続されたチューブ３４と、ベース部材３１の内部で繋がった孔（図示せず）が設けられている。なお、ベース部材３１の吸着パッド群３２が取り付けられる面をｘ方向（ｘ軸）とｙ方向（ｙ軸）とから成る面（配列面）と仮定し、配列面に直交する方向（軸）をｚ方向（ｚ軸）と仮定する。
　吸着パッド群３２は、物品３に吸着する複数の吸着パッド３５を備える。各吸着パッド３５は、ベース部材３１の孔に対応する位置に取り付けられている。各吸着パッド３５は、合成が低く、物品３の表面形状に沿って変形可能な素材により構成されている。
　吸着パッド３５は、パッドが物品３に押し当てられた状態で、チューブ３４が負圧（大気圧よりも低い気圧）になった場合、ベース部材３１の孔を介してパッド内も負圧になるように構成されている。このような構成によると、吸着パッド３５が物品３の表面に接し、且つロボットアーム制御装置２３の制御によりパッド内が負圧になった場合、吸着パッド３５と物品３とが吸着（真空吸着）する。この結果、把持機構２１は、物品３を把持することができる。
　なお、吸着パッド群３２の複数の吸着パッド３５は、ベース部材３１に、パッドが物品３に対向する向きで二次元状（マトリクス状）に配列されている。このように吸着パッド３５が配列されることにより、真空吸着を破壊する方向で加わる応力（せん断応力及びモーメントなど）に対する強度を高めることが可能である。
　状態検出センサ３３は、上記の吸着パッド３５による物品３の把持の状態を検出する。状態検出センサ３３は、把持機構２１が物品３を把持した際に、物品３の把持の安定性（把持安定性）に連動して変化する値を検出するセンサである。なお、把持機構２１が吸着パッド３５を物品３に吸着させることにより物品３を把持する構成である場合、把持安定性は、上記の真空吸着の強度を示す。即ち、把持安定性は、把持機構２１により把持された物品３を移動させた時に、物品３の表面と吸着パッド３５との接点（真空吸着）に作用する応力に対する耐久力を示す。把持安定性が高いほど、把持機構２１により把持された物品３を、より高速で移動させることが可能になる。
　状態検出センサ３３は、図３及び図４に示されるように、距離センサ３６、圧力センサ３７、及び力覚センサ３８を備える。
　距離センサ３６は、対象物までの距離を計測するセンサである。距離センサ３６は、投光したレーザの反射光を用いて対象物までの距離を計測する。距離センサ３６は一次元（点）、二次元（線）、あるいは距離センサ８と同様に画像（面）に対する距離のいずれかを計測する。距離センサ３６は、ベース部材３１の吸着パッド群３２が設けられる面と同じ面に設けられる。距離センサ３６は、把持機構２１のベース部材３１と、物品３との距離を計測する。例えば、ベース部材３１には、等間隔に３個の距離センサ３６が設けられる。これにより、３個の距離センサ３６の測定結果に基づき、物品３の表面の曲率、及び、物品３に対する３個の距離センサ３６が設けられた面の傾きを判断することが可能になる。
　圧力センサ３７は、吸着パッド３５内の空気圧を測定する。圧力センサ３７は、複数の吸着パッド３５と並列化して接続される。例えば、圧力センサ３７は、ベース部材３１のチューブ３４に接続された空間の空気圧を測定する。圧力センサ３７は、測定結果（例えば空気圧を示すアナログ信号）を出力する。圧力センサ３７から出力された測定結果は、例えばアナログディジタル変換され、ロボットアーム制御装置２３に供給される。
　例えば、物品３の表面の透気性が高い、表面が粗い、表面の曲率が大きい、または表面に凹凸があるなどの場合、吸着パッド３５と物品３の表面との間の漏れ流量によって、圧力の測定値が増加する。これは、真空吸着による把持力が低下していることを意味する。また、例えば、吸着パッド３５と物品３の表面とが密着し、漏れ流量がほとんどない場合、圧力の測定値が低下する。これは、真空吸着による把持力が増加していることを意味する。このように、圧力センサ３７の測定結果に基づき、真空吸着による把持力の増減を判断することが可能になる。
　力覚センサ３８は、把持機構２１及び把持機構２１により把持された物品３に対して働く応力を測定する。力覚センサ３８は、測定結果を示すアナログ信号を出力する。圧力センサ３７から出力された測定結果は、例えばアナログディジタル変換され、ロボットアーム制御装置２３に供給される。
　力覚センサ３８は、アーム機構２２の最終リンク（終端のアーム）と、ベース部材３１との間に設けられる。力覚センサ３８は、例えば、把持機構２１及び把持機構２１により把持された物品３に対して働く重力、慣性力、外力、及びモーメントを測定する。力覚センサ３８は、例えば、６軸力覚センサである。このように、力覚センサ３８の測定結果に基づき、物品３の表面と吸着パッド３５のパッドとの接点（真空吸着）に作用する応力を推測することが可能になる。
　アーム機構２２は、把持機構２１を移動させる機構である。アーム機構２２は、複数のアームと、複数の関節機構（軸）とを備える。例えば、アーム機構２２は、６軸ロボットアームである。関節機構は、２つのアームを連結させる。また、関節機構は、ロボットアーム制御装置２３のモータの動作により可動し、連結している２つのアームの相対的な角度を変化させる。即ち、関節機構の動作によって、アームが移動する。
　ロボットアーム制御装置２３は、情報処理装置６から供給される動作計画に基づいて、把持機構２１及びアーム機構２２の動作を制御する。ロボットアーム制御装置２３は、通信インタフェース４１、コントローラ４２、アーム機構駆動部４３、把持機構駆動部４４、及び学習部４５を備える。
　通信インタフェース４１は、情報処理装置６以外の他の機器と通信する為のインタフェースである。通信インタフェース４１は、ネットワーク９を介して情報処理装置６、操作端末７、及び距離センサ８と通信する為の通信規格などに対応した端子及び回路を備える。通信インタフェース４１は、コントローラ４２の制御に基づいて、情報処理装置６、操作端末７、及び距離センサ８などと通信する。
　コントローラ４２は、ロボットアーム５の動作を制御する。コントローラ４２は、プロセッサ５１及びメモリ５２を備える。
　プロセッサ５１は、演算処理を実行する演算素子である。プロセッサ５１は、例えばＣＰＵとして構成される。プロセッサ５１は、メモリ５２に記憶されているプログラムに基づいて種々の処理を行う。
　メモリ５２は、プログラム及びデータを記憶する記憶装置である。メモリ５２は、例えば、読み出し専用の不揮発性メモリであるＲＯＭ、データを一時的に記憶するＲＡＭ、及びデータを記憶するストレージのいずれか、または複数を備える。また、コントローラ４２は、情報処理装置６に学習用データを供給し、情報処理装置６が学習用データに基づいて生成した安定性評価パラメータを受け取り、メモリ５２に記憶する。
　アーム機構駆動部４３は、動作計画に基づいて、アーム機構２２を動作させる。アーム機構駆動部４３は、動作計画及びコントローラ４２の制御に基づき、コントローラ４２の制御に基づく角速度で、動作計画に基づく角度だけ関節機構（軸）を回転させる。これにより、アーム機構駆動部４３は、アーム機構２２の先端に取り付けられた把持機構２１を、動作計画が示す軌跡で、動作計画が示すピッキング位置まで移動させる。アーム機構駆動部４３は、モータ６１、及びエンコーダ６２を備える。アーム機構駆動部４３は、例えば、アーム機構２２の関節機構毎に、モータ６１、及びエンコーダ６２を備える。
　モータ６１は、電力を駆動力に変換する駆動機構である。モータ６１は、電力に応じて、駆動軸を回転させる。駆動軸は、図示されないギヤ及びベルトなどの機構を介して、アーム機構２２の関節機構に接続されている。即ち、モータ６１の駆動軸の回転に応じて、アーム機構２２の関節機構が回転動作する。モータ６１は、例えば、サーボモータである。また、モータ６１は、ステッピングモータ、または超音波モータなどであってもよい。また、アーム機構駆動部４３は、モータ６１ではなく、空気圧または油圧などにより関節機構を駆動させる構成であってもよい。
　エンコーダ６２は、モータ６１の駆動軸の回転量及び回転速度を検出する。エンコーダ６２は、回転量及び回転速度の検出結果をコントローラ４２に供給する。エンコーダ６２は、例えば、発光素子と受光素子との組合せにより、モータ６１の駆動軸と連動する板の回転量及び回転速度を検出する。
　把持機構駆動部４４は、コントローラ４２の制御に基づいて、把持機構２１による物品３への吸着を行わせる。把持機構駆動部４４は、コンプレッサ７１、電磁バルブ７２、及び真空発生器７３を備える。
　コンプレッサ７１は、空気を圧縮し、排出する機械である。コンプレッサ７１の空気を排出する排出口は、チューブ３４を介して、把持機構２１のベース部材３１内部の空間に連結されている。即ち、コンプレッサ７１は、把持機構２１のベース部材３１に設けられた複数の吸着パッド３５内に通じている。コンプレッサ７１は、コントローラ４２の制御に基づいて、把持機構２１の吸着パッド３５内に空気を送り出すことにより、吸着パッド３５と物品３の表面とに生じる真空吸着を破壊することができる。
　電磁バルブ７２は、コンプレッサ７１の排出口と、チューブ３４内の空間とを接続する配管を、気密にする状態（気密状態）と、開く状態（開放状態）とを切り替えるバルブである。電磁バルブ７２が気密状態である場合、コンプレッサ７１の排出口からチューブ３４内の空間に圧縮空気を送り出すことができない。また、電磁バルブ７２が開放状態である場合、コンプレッサ７１の排出口からチューブ３４内の空間に圧縮空気が送り込まれる。電磁バルブ７２は、コントローラ４２の制御に基づいて、上記の２つの状態を切り替える。　
　真空発生器７３は、コンプレッサ７１から供給される圧縮空気を用いてチューブ３４内の空気を排出し、チューブ３４内の気圧を低下させるエジェクタである。例えば、真空発生器７３は、電磁バルブ７２を気密状態である場合、チューブ３４内の空気を排出することにより、チューブ３４内の気圧を負圧に変化させる。
　なお、コンプレッサ７１、電磁バルブ７２、及び真空発生器７３は、把持機構２１に設けられていてもよい。また、真空発生器７３は、真空ポンプまたはブロアなどに置き換えられてもよい。さらに、真空発生器７３が真空ポンプまたはブロアなどに置き換えられる場合、コンプレッサ７１を除いてもよい。
　上記の構成において、コントローラ４２は、アーム機構駆動部４３のエンコーダ６２から供給される信号に基づいて、アーム機構２２の関節機構が回転動作（回転量及び回転速度）を判断する。コントローラ４２は、関節機構の回転動作を逐次判断することにより、アーム機構２２に接続された把持機構２１の位置を認識する。コントローラ４２は、把持機構２１の位置を認識しつつ、アーム機構駆動部４３のモータ６１の動作を制御することにより、任意の位置に把持機構２１を移動させる。
　また、例えば、コントローラ４２は、把持機構駆動部４４の電磁バルブ７２を気密状態に制御し、アーム機構駆動部４３によりアーム機構２２を動作させて把持機構２１の吸着パッド３５を物品３の表面に密着させた状態で、真空発生器７３によりチューブ３４内の気圧を負圧に変化させる。これにより、吸着パッド３５と物品３の表面とに真空吸着が生じる。この結果、コントローラ４２は、把持機構２１により物品３を把持させる。
　また、コントローラ４２は、把持機構２１により物品３を把持した状態で、アーム機構２２により把持機構２１を移動させる。コントローラ４２は、把持機構２１により物品３を把持した状態で、アーム機構２２により把持機構２１を移動させた際に、状態検出センサ３３から測定結果を取得する。
　例えば、コントローラ４２は、把持機構２１により物品３を把持した状態で、アーム機構２２により把持機構２１を所定距離鉛直方向に上昇させ、状態検出センサ３３において測定された測定結果を取得する。コントローラ４２は、取得した測定結果と、メモリ５２に記憶された安定性評価パラメータとに基づいて、把持機構２１による物品３の把持の安定性を評価する。
　具体的には、コントローラ４２は、把持機構２１により物品３を把持した状態で、アーム機構２２を高速動作させた際に物品３が把持機構２１から落下するか否か、及びアーム機構２２を低速動作させた際に物品３が把持機構２１から落下するか否かを判断する。コントローラ４２は、判断結果に基づいて、アーム機構２２を動作させる速度を制御する。
　コントローラ４２は、把持機構２１により物品３を把持させた状態で、実際にアーム機構２２を動作させた際に、物品３が把持機構２１から落下したか否か判断する。コントローラ４２は、例えば、状態検出センサ３３の測定結果に基づいて、物品３が把持機構２１から落下したか否か判断する。例えば、コントローラ４２は、物品３の重量に応じた応力が力覚センサ３８で測定されていた状態から、測定されない状態になった場合、物品３が把持機構２１から落下したと判断する。また、コントローラ４２は、距離センサ３６から物品３の表面までの距離が増加した場合、物品３が把持機構２１から落下したと判断する構成であってもよい。また、コントローラ４２は、圧力センサ３７により測定された圧力が、負圧ではなくなった場合に、物品３が把持機構２１から落下したと判断する構成であってもよい。また、コントローラ４２は、把持機構２１及び物品３をカメラが撮像して得られた画像に基づいて、物品３が把持機構２１から落下したと判断する構成であってもよい。また、コントローラ４２は、操作端末７を操作するオペレータが、把持機構２１からの物品３の落下を目視で確認し、操作端末７を操作した結果に基づいて、物品３が把持機構２１から落下したと判断する構成であってもよい。
　学習部４５は、物品３が把持機構２１から落下したか否かの判断の結果に基づいて、学習用データを生成する。例えば、学習部４５は、状態検出センサ３３における測定結果を問題とし、物品３が把持機構２１から落下したか否かを答えとして、学習用データを生成する。より具体的には、学習部４５は、アーム機構２２の動作速度と、アーム機構２２の動作時の状態検出センサ３３の測定結果と、物品３が把持機構２１から落下したか否かの結果とを対応付けて学習用データとして情報処理装置６に供給する。学習部４５は、ハードウエアとしてロボットアーム制御装置２３に設けられていてもよいし、メモリ５２に格納され、プロセッサ５１が実行するプログラムとして構成されていてもよい。
　次に、ロボットアーム５の動作について説明する。　
　図５及び図６は、ロボットアーム５の動作について説明する為のフローチャートである。
　ロボットアーム５のロボットアーム制御装置２３のコントローラ４２は、アーム機構２２及び把持機構２１を距離センサ８の画角外の初期位置に移動させる（ステップＳ１１）。距離センサ８は、アーム機構２２及び把持機構２１が撮影範囲外に移動したタイミングでかご車画像を取得し、情報処理装置６に送信する。
　情報処理装置６は、かご車画像に対して画像認識を行い、かご車画像において物品３が写った領域である物品領域を認識する。例えば、情報処理装置６は、物品領域を物品毎に１つ１つ切り分けて認識する。情報処理装置６は、切り分けられた複数の物品領域のうちで、所定の基準に基づき１つの物品領域を選択する。例えば、情報処理装置６は、最も高い位置に存在する物品領域を選択する。また、例えば、情報処理装置６は、最も他の物品領域との隙間が大きい物品領域を選択する。また、例えば、情報処理装置６は、最もかご車２の中央に近い物品領域を選択する。また、例えば、情報処理装置６は、データベース上で予め把持しやすいと規定されている物品領域を選択する。さらに、情報処理装置６は、上記の複数の基準を統合して、１つの物品領域を選択する構成であってもよい。
　情報処理装置６は、再度かご車画像の画像認識を行い、選択した物品領域に対応する物品の形状、位置、及び姿勢を認識する。
　情報処理装置６は、認識した物品の形状、位置、及び姿勢に基づき、ロボットアーム５の把持機構２１により物品３を把持させる位置であるピッキング位置を決定する。さらに、情報処理装置６は、ピッキング位置と把持機構２１の移動経路である軌跡とを示す動作計画を生成し、ロボットアーム５に動作計画を供給する。
　コントローラ４２は、アーム機構２２及び把持機構２１を撮影範囲外に移動させると、情報処理装置６から動作計画が供給されるのを待つ（ステップＳ１２）。
　コントローラ４２は、情報処理装置６から動作計画が供給された場合（ステップＳ１２、ＹＥＳ）、電磁バルブ７２を気密状態に動作させる（ステップＳ１３）。
　コントローラ４２は、真空発生器７３を動作させる（ステップＳ１４）。吸着パッド３５がまだ物品３の表面に接していない為、この時点では吸着パッド３５が大気に開放されており、圧力センサ３７の測定値は変化しない。
　次に、コントローラ４２は、動作計画に基づき把持機構２１を移動させる（ステップＳ１５）。例えば、コントローラ４２は、動作計画が示す軌跡に沿って、動作計画が示すピッキング位置まで把持機構２１を移動させる。具体的には、コントローラ４２は、把持機構２１の基準点と動作計画が示すピッキング位置とが重なる位置まで把持機構２１を移動させる。把持機構２１のピッキング位置への移動が完了すると、把持機構２１の吸着パッド３５が物品３の表面に密着する。把持機構２１の吸着パッド３５が物品３の表面に密着すると、真空発生器７３の動作によって、吸着パッド３５の内側と物品３の表面とで囲まれる空間が負圧となり、吸着パッド３５と物品３とが真空吸着する。
　さらに、コントローラ４２は、圧力センサ３７の測定結果が、予め設定された閾値未満であるか否か判断する（ステップＳ１６）。予め設定された閾値は、例えば大気圧である。即ち、コントローラ４２は、圧力センサ３７の測定結果が、大気圧未満であるか否か判断する。コントローラ４２は、圧力センサ３７の測定結果が閾値未満である場合、吸着パッド３５が物品３に真空吸着した（静的に把持した）と判断する。また、コントローラ４２は、圧力センサ３７の測定結果が閾値以上である場合、吸着パッド３５と物品３との真空吸着が失敗したと判断する。
　なお、静的な把持に失敗する原因は、多々の原因が存在する。例えば、情報処理装置６における物品領域の認識の不備、物品３の位置及び姿勢の認識の不備などの原因がある。このような場合、ピッキング位置が不適切な位置になる為、把持機構２１が物品に接触しない、または把持機構２１の吸着パッド３５が物品３の表面と密着しないなどの問題が生じる可能性がある。また、例えば、物品３の表面が高い曲率を有する、または物品３の表面に凹凸が存在し、二次元状に配列された吸着パッド３５と物品３の表面との間に隙間ができるなどの原因がある。このような場合、隙間から大気が流入する為、吸着パッド３５内の圧力が低下しない可能性がある。また、例えば、物品３の表面の可撓性が高く、把持機構２１の吸着パッド３５によって物品３の表面が撓み、吸着パッド３５と物品３の表面とが密着しないなどの問題が生じる可能性がある。この場合も、隙間から大気が流入する為、吸着パッド３５内の圧力が低下しない可能性がある。
　コントローラ４２は、圧力センサ３７の測定結果が、予め設定された閾値未満であると判断した場合（ステップＳ１６、ＹＥＳ）、状態検出センサ３３による測定を開始し（ステップＳ１７）、物品３を把持した把持機構２１を所定距離上昇させる（ステップＳ１８）。コントローラ４２は、物品３を把持した把持機構２１を所定距離上昇させたところで、状態検出センサ３３による測定を終了する（ステップＳ１９）。
　状態検出センサ３３による測定結果は、物品３の形状及び姿勢などにより、下記のように変化する。
　例えば、図７に示されるように、直方体状の物品３Ａを鉛直上方から吸着する場合、コントローラ４２は、吸着パッド３５を物品３Ａに吸着させ、アーム機構２２により物品３Ａを所定距離ｄだけ上昇させる。コントローラ４２は、この時の状態検出センサ３３による測定結果と、安定性評価パラメータとに基づいて、結果の推測を行う。
　力覚センサ３８の各軸で検出される応力の測定値は、物品３の重量によって変動する。力覚センサ３８の各軸の測定値は、物品３の重量が大きくなるほど大きくなる。
　また、例えば、図８に示されるように、曲率を有する物品３Ｂを鉛直上方から吸着する場合、複数の距離センサ３６の検出結果に差が生じる。具体的には、ベース部材３１の端に設けられた距離センサ３６の測定値は、ベース部材３１の中央に設けられた距離センサ３６の測定値よりも大きくなる。このような場合、吸着パッド３５に接する物品３Ｂの表面が曲率を有し、漏れ流量が増加し、圧力センサ３７の検出値が上昇する。
　また、例えば、図９に示されるように、直方体状の物品３Ｃに、例えばビニールなどの不定形の部材８１が覆われているとする。この物品３Ｃを、図１０に示されるようにアーム機構２２により所定距離だけ上昇させる。すると、部材８１の余剰部分が吸着パッド３５により引っ張られる為、力覚センサ３８により応力が検出されるタイミングが、図７の例に比べて遅くなる。また、圧力センサ３７及び距離センサ３６の測定結果も、時間に応じて変化する。このように、直方体状の物品を把持していることを示す測定結果から、図８のように曲率を有する物体を把持していることを示す測定結果に変化する。
　また、例えば、図１１に示されるように、物品３Ｄの重心とピッキング位置とが水平方向にズレている場合、物品３Ｄを所定距離持ち上げた時の力覚センサ３８の測定値は、複数の軸で差が生じる。具体的には、物品３Ｄの重心とピッキング位置とのズレは、水平方向を軸とするモーメントとして力覚センサ３８の測定値に現れる。
　また、例えば、図１２に示されるように、吸着パッド３５が密着する物品３Ｅの表面が、水平方向に対して角度を成す場合、コントローラ４２は、吸着パッド３５の配列方向が物品３Ｅの表面に平行になるようにアーム機構２２を制御する。このような物品３Ｅを、アーム機構２２によって所定距離上昇させた場合、力覚センサ３８の測定値は、複数の軸で差が生じる。具体的には、物品３Ｅの表面の水平方向に対する角度は、水平方向を軸とするモーメントとして力覚センサ３８の測定値に現れる。
　このように、状態検出センサ３３の各センサの測定値には、物品３の形状及び姿勢などの要因によって種々の差が生じる。コントローラ４２は、状態検出センサ３３の各センサの測定値の時系列データから、上記の様な差を示すデータ（特徴量）を抽出する。コントローラ４２は、抽出した特徴量と、安定性評価パラメータとに基づいて、物品３の把持の安定性を評価する（ステップＳ２０）。
　図１３は、特徴量と、安定性評価パラメータ（分類器）とに基づいて、物品３の把持の安定性を評価する分類処理について説明する為の説明図である。なお、図１３は、ニューラルネットワークにより生成された安定性評価パラメータに基づく、分類処理の模式図である。図１３の網掛け部分は、複数の中間層とノード間の接続関係を簡易的に示す。
　図１３に示されるように、コントローラ４２は、状態検出センサ３３の測定結果から抽出した特徴量を、分類器（安定性評価パラメータ）に入力することにより、過去の学習に基づく結果取得する。具体的には、コントローラ４２は、力覚センサ３８の各軸の測定結果の特徴量（Ｆｚ、Ｍｙ、Ｍｘ・・・）、圧力センサ３７の測定結果の特徴量、各距離センサ３６の測定結果の特徴量（Ａ，Ｂ、Ｃ）などを分類器に入力する。これにより、コントローラ４２は、「物品３の把持を維持して高速で移動させることが可能」、「物品３の把持を維持して低速で移動させることが可能」、及び「低速で移動させても物品３の把持を維持することができない」のいずれかの評価結果を取得する。
　コントローラ４２は、安定性の評価を行うと、図７のステップＳ２１の処理に移行する。コントローラ４２は、安定性の評価結果が、「物品３の把持を維持して高速で移動させることが可能」であるか否か判断する（ステップＳ２１）。コントローラ４２は、ステップＳ２１がＮＯである場合、安定性の評価結果が、「物品３の把持を維持して低速で移動させることが可能」であるか否か判断する（ステップＳ２２）。
　コントローラ４２は、安定性の評価結果が、「物品３の把持を維持して高速で移動させることが可能」であると判断した場合（ステップＳ２１、ＹＥＳ）、アーム機構２２により、物品３を把持した把持機構２１を高速で移動させる（ステップＳ２３）。これにより、コントローラ４２は、物品３を把持した把持機構２１を、仕分先に応じたベルトコンベア４に対応した位置まで移動させる。
　さらに、コントローラ４２は、電磁バルブ７２を開放状態にし、コンプレッサ７１から吸着パッド３５内に圧縮空気を供給させることにより、真空吸着を破壊する（ステップＳ２４）。これにより、把持機構２１により把持されていた物品３は、把持機構２１から離れ落下する。この結果、物品３は、仕分先のベルトコンベア４に供給される。
　さらに、コントローラ４２は、ステップＳ１７からステップＳ１９の間の状態検出センサ３３の時系列的な測定結果、ステップＳ２３のアーム機構２２の動作の速度、ステップＳ２３の間に物品３が把持機構２１から落下したか否かに基づいて、学習部４５に学習用データを生成させ（ステップＳ２５）、図５のステップＳ１１に移行する。これにより、コントローラ４２は、アーム機構２２及び把持機構２１を距離センサの画角外に移動させ、次の動作計画の受信を待つ状態になる。
　また、コントローラ４２は、安定性の評価結果が、「物品３の把持を維持して低速で移動させることが可能」であると判断した場合（ステップＳ２２、ＹＥＳ）、アーム機構２２により、物品３を把持した把持機構２１を低速で移動させる（ステップＳ２６）。これにより、コントローラ４２は、物品３を把持した把持機構２１を、仕分先に応じたベルトコンベア４に対応した位置（リリース位置）まで移動させる。
　さらに、コントローラ４２は、電磁バルブ７２を開放状態にし、コンプレッサ７１から吸着パッド３５内に圧縮空気を供給させることにより、真空吸着を破壊する（ステップＳ２４）。
　さらに、コントローラ４２は、ステップＳ１７からステップＳ１９の間の状態検出センサ３３の時系列的な測定結果、ステップＳ２６のアーム機構２２の動作の速度、ステップＳ２６の間に物品３が把持機構２１から落下したか否かに基づいて、学習部４５に学習用データを生成させ（ステップＳ２５）、図５のステップＳ１１に移行する。これにより、コントローラ４２は、アーム機構２２及び把持機構２１を距離センサの画角外に移動させ、次の動作計画の受信を待つ状態になる。
　また、コントローラ４２は、安定性の評価結果が、「低速で移動させても物品３の把持を維持することができない」であると判断した場合（ステップＳ２２、ＮＯ）、アーム機構２２により、物品３を把持した把持機構２１を所定距離下降させる（ステップＳ２７）。把持機構２１を下降させる距離は、ステップＳ１８で把持機構２１を上昇させた距離に対応する。
　さらに、コントローラ４２は、ステップＳ２７で把持機構２１を下降させた場合、または図５のステップＳ１６で、圧力センサ３７の測定結果が予め設定された閾値以上であると判断した場合（ステップＳ１６、ＮＯ）、電磁バルブ７２を開放状態にし、コンプレッサ７１から吸着パッド３５内に圧縮空気を供給させることにより、真空吸着を破壊する（ステップＳ２８）。さらに、コントローラ４２は、把持した物品３の優先度を低下させることを促す情報を情報処理装置６に供給し（ステップＳ２９）、図５のステップＳ１１に移行する。これにより、コントローラ４２は、アーム機構２２及び把持機構２１を距離センサの画角外に移動させ、次の動作計画の受信を待つ状態になる。
　なお、ロボットアーム５のロボットアーム制御装置２３は、情報処理装置６から終了指示が供給された場合、アーム機構２２及び把持機構２１を所定の位置に移動させ、図５及び図６の処理を終了する。例えば、情報処理装置６は、把持対象の物品がかご車画像から検出されなかった場合、ロボットアーム５に終了指示を供給する。
　次に、図６のステップＳ２５の学習用データの生成について詳細に説明する。　
　図１４は、学習用データの生成に関する処理について説明する為のフローチャートである。
　上記の様に、状態検出センサ３３の各センサの測定値の時系列データから抽出した特徴量には、物品３の把持の安定性（把持安定性）が現れる。学習部４５は、状態検出センサ３３の測定結果に基づき、特徴量を算出し、算出した特徴量をまとめて特徴量ベクトルを生成する（ステップＳ３１）。
　学習部４５は、把持機構２１が把持した物品３をアーム機構２２により低速で移動させた際に、物品３が落下したか否か判断する（ステップＳ３２）。学習部４５は、把持機構２１が把持した物品３をアーム機構２２により低速で移動させ、且つ移動中に物品３が落下したと判断した場合（ステップＳ３２、ＹＥＳ）、ステップＳ３１で生成した特徴量ベクトルに「－１」をラベリングし、ラベリングした特徴量ベクトルを学習用データとして情報処理装置６に供給し（ステップＳ３３）、処理を終了する。この場合の学習用データの問題は、特徴量ベクトルであり、答えは、「－１」、即ち「低速移動中に落下」である。
　また、学習部４５は、ステップＳ３２でＮＯだった場合、把持機構２１が把持した物品３をアーム機構２２により高速で移動させた際に、物品３が落下したか否か判断する（ステップＳ３４）。学習部４５は、把持機構２１が把持した物品３をアーム機構２２により高速で移動させ、且つ移動中に物品３が落下したと判断した場合（ステップＳ３４、ＹＥＳ）、ステップＳ３１で生成した特徴量ベクトルに「０」をラベリングし、ラベリングした特徴量ベクトルを学習用データとして情報処理装置６に供給し（ステップＳ３５）、処理を終了する。この場合の学習用データの問題は、特徴量ベクトルであり、答えは、「０」、即ち「高速移動中に落下」である。
　また、学習部４５は、ステップＳ３４でＮＯだった場合、把持機構２１が把持した物品３をアーム機構２２により高速で移動させた際に、物品３が落下しなかったと判断する。この場合、学習部４５は、ステップＳ３１で生成した特徴量ベクトルに「＋１」をラベリングし、ラベリングした特徴量ベクトルを学習用データとして情報処理装置６に供給し（ステップＳ３６）、処理を終了する。この場合の学習用データの問題は、特徴量ベクトルであり、答えは、「＋１」、即ち「高速移動中に落下せず」である。
　なお、ステップＳ３２及びステップＳ３４における判定は、学習部４５が状態検出センサ３３の測定結果の変化に基づいて行うものであってもよいし、人間が目視により確認した結果を用いるものであってもよい。
　また、特徴量ベクトルにラベリングする値として、上記の「－１」、「０」、及び「－１」を用いたが、この構成に限定されない。さらに条件（例えばアーム機構の動作速度）を細分化することにより、さらに多種のラベルから選択して特徴量ベクトルに付加する構成であってもよい。
　このような構成によると、ロボットアーム５は、物品３を把持する把持機構２１と、把持機構２１を移動させるアーム機構２２と、把持機構２１及びアーム機構２２の動作を制御するコントローラ４２と、把持機構２１による物品３の把持の安定性を評価する為の情報を取得する状態検出センサ３３とを備える。コントローラ４２は、状態検出センサ３３の測定結果と、予め学習により生成された安定性評価パラメータとに基づいて、把持機構２１による物品３の把持の安定性を評価する。コントローラ４２は、安定性の評価結果に基づいて、アーム機構２２による把持機構２１の移動速度を制御する。これにより、コントローラ４２は、把持機構２１から物品３が落下しないと推測される範囲で、把持機構２１を高速で移動させることができる。この結果、物品ごとに適した動作速度を選択することができ、物品の仕分の処理速度を向上させることができる。
　また、コントローラ４２は、状態検出センサ３３の測定結果の時系列データから、特徴量を抽出し、抽出した特徴量と安定性評価パラメータとに基づいて、アーム機構２２により把持機構２１に所定の動作を行わせた際に物品３が把持機構２１から落下するか否かを示す評価結果を取得する。これにより、コントローラ４２は、アーム機構２２により把持機構２１に所定の動作を行わせた結果を推測して、アーム機構２２による把持機構２１の移動速度を制御することができる。
　また、状態検出センサ３３は、把持機構２１及び把持機構２１が把持した物品３に対して作用する応力を、複数の軸毎に検出する力覚センサ３８を備える。例えば、力覚センサ３８は、把持機構２１及び把持機構２１が把持した物品３に対して作用する重力、慣性力、並びに、重力及び慣性力によって生じるモーメント負荷を検出する。これにより、コントローラ４２は、アーム機構２２による把持機構２１の動作時の力覚センサ３８の測定結果を、安定性の評価に加味することができる。
　また、状態検出センサ３３は、把持機構２１の吸着パッド３５と物品３の表面とにより囲まれる空間の圧力を検出する圧力センサを備える。これにより、コントローラ４２は、圧力センサ３７の測定結果を、安定性の評価に加味することができる。
　また、状態検出センサ３３は、把持機構２１の吸着パッド３５が設けられたベース部材３１と物品３の表面との距離を測定する複数の距離センサ３６を備える。これにより、コントローラ４２は、複数の距離センサ３６の測定結果の差から推測される物品３の表面の形状を、安定性の評価に加味することができる。
　また、上記の安定性評価パラメータは、把持機構２１が物品３を把持した状態での、状態検出センサ３３の測定結果と、把持機構２１の移動中に物品３の把持が維持されたか否かの結果とから成る学習用データに基づいて生成される。このように生成された安定性評価パラメータを用いることにより、コントローラ４２は、把持機構２１の移動中に物品３が落下するか否かを、状態検出センサ３３の測定結果から推測することが可能になる。
　さらに、上記の安定性評価パラメータは、把持機構２１が物品３を把持し且つ所定の動作を行った間の状態検出センサ３３の測定結果と、把持機構２１の移動中に物品３の把持が維持されたか否かの結果とから成る学習用データに基づいて生成される。このように生成された安定性評価パラメータを用いることにより、コントローラ４２は、把持機構２１の移動中に物品３が落下するか否かを、把持機構２１が物品３を把持し且つ所定の動作を行った間の状態検出センサ３３の測定結果から推測することが可能になる。
　さらに、上記の安定性評価パラメータは、把持機構２１が物品３を把持し且つ把持機構２１を所定距離上昇させる動作を行った間の、状態検出センサ３３の測定結果と、把持機構２１の移動中に物品３の把持が維持されたか否かの結果とから成る学習用データに基づいて生成される。このように生成された安定性評価パラメータを用いることにより、コントローラ４２は、把持機構２１の移動中に物品３が落下するか否かを、把持機構２１を所定距離上昇させる動作を行った間の、状態検出センサ３３の測定結果から推測することが可能になる。
　また、上記の実施形態では、学習部４５は、把持機構２１が物品３を把持した状態での状態検出センサ３３の測定結果と、把持機構２１の移動中に物品３の把持が維持されたか否かの結果とから学習用データを生成すると説明したが、この構成に限定されない。学習部４５は、モータ６１の駆動軸が接続された関節機構によって連結されたアームに作用するトルクを検出するトルクセンサの検出結果を、上記の学習用データの生成に用いてもよい。具体的には、学習部４５は、トルクセンサの出力の時系列データ、及びエンコーダ６２の出力の時系列データを、上記の学習用データの生成にさらに用いる構成であってもよい。
　また、上記の実施形態では、コントローラ４２は、物品３を把持した把持機構２１を所定距離上昇（第１の移動動作）させた時の、状態検出センサ３３の測定結果の時系列データに基づき、物品３の把持の安定性を評価する構成であると説明したが、この構成に限定されない。コントローラ４２は、物品３を把持した把持機構２１を水平方向に一定距離移動（第２の移動動作）させた時の、状態検出センサ３３の測定結果の時系列データに基づき、物品３の把持の安定性を評価する構成であってもよい。なお、この場合、第１の移動動作と第２の移動動作とのそれぞれでの状態検出センサ３３の測定結果に基づいて、学習用データを収集し、収集した学習用データに基づいて生成された安定性評価パラメータを用いてもよい。また、第１の移動動作と第２の移動動作とのいずれかにおける、状態検出センサ３３の測定結果に基づいて、学習用データを収集し、収集した学習用データに基づいて生成された安定性評価パラメータを共用してもよい。
　また、上記の実施形態では、ロボットアーム５が学習用データを生成し、情報処理装置６に供給し、情報処理装置６が学習用データに基づき安定性評価パラメータを生成する構成であると説明したが、この構成に限定されない。ロボットアーム５は、状態検出センサ３３の測定結果及び物品３が落下したか否かを示す情報を情報処理装置６に供給し、情報処理装置６が学習用データを生成する構成であってもよい。また、ロボットアーム５が、学習用データに基づき安定性評価パラメータを生成する構成であってもよい。
　また、上記の実施形態では、情報処理装置６が安定性評価パラメータを生成する構成であると説明したが、この構成に限定されない。ロボットアーム５が学習用データに基づいて安定性評価パラメータを生成する構成であってもよい。ロボットアーム５が学習用データに基づいて安定性評価パラメータを生成する構成である場合、安定性評価パラメータの生成は、例えば学習部４５によって行われる。例えば、学習部４５は、把持機構２１から物品３が落下したか否かと、状態検出センサ３３の測定結果とに基づいて学習用データを生成する。さらに、学習部４５は、生成した学習用データを用いて、安定性評価パラメータを逐次更新する。また、ロボットアーム５は、学習部４５と同等の機能を実現可能なプログラムを実行したプロセッサ５１が、学習用データを用いて、安定性評価パラメータを逐次更新する構成であってもよい。
　図１５は、ロボットアーム５の動作の変形例について説明する為のフローチャートである。なお、図１５は、図５の動作に置き換えが可能である。
　ロボットアーム５のロボットアーム制御装置２３のコントローラ４２は、アーム機構２２及び把持機構２１を距離センサ８の画角外の初期位置に移動させる（ステップＳ４１）。距離センサ８は、アーム機構２２及び把持機構２１が撮影範囲外に移動したタイミングでかご車画像を取得し、情報処理装置６に送信する。情報処理装置６は、かご車画像に対して画像認識を行い、動作計画を生成し、ロボットアーム５に動作計画を供給する。
　コントローラ４２は、アーム機構２２及び把持機構２１を撮影範囲外に移動させると、情報処理装置６から動作計画が供給されるのを待つ（ステップＳ４２）。
　コントローラ４２は、情報処理装置６から動作計画が供給された場合（ステップＳ４２、ＹＥＳ）、電磁バルブ７２を気密状態に動作させる（ステップＳ４３）。
　コントローラ４２は、真空発生器７３を動作させる（ステップＳ４４）。吸着パッド３５がまだ物品３の表面に接していない為、この時点では吸着パッド３５が大気に開放されており、圧力センサ３７の測定値は変化しない。
　次に、コントローラ４２は、動作計画に基づき把持機構２１を移動させる（ステップＳ４５）。これにより、把持機構２１の吸着パッド３５が物品３の表面に密着し、吸着パッド３５の内側と物品３の表面とで囲まれる空間が負圧となり、吸着パッド３５と物品３とが真空吸着する。
　さらに、コントローラ４２は、圧力センサ３７の測定結果が、予め設定された閾値未満であるか否か判断する（ステップＳ４６）。
　コントローラ４２は、圧力センサ３７の測定結果が、予め設定された閾値未満であると判断した場合（ステップＳ４６、ＹＥＳ）、状態検出センサ３３による測定を開始し（ステップＳ４７）、アーム機構２２により、物品３を把持した把持機構２１に第１の移動動作を行わせる（ステップＳ４８）。具体的には、コントローラ４２は、アーム機構２２により把持機構２１を所定距離上昇させる。コントローラ４２は、第１の移動動作が完了すると、状態検出センサ３３による測定を終了する（ステップＳ４９）。
　さらに、コントローラ４２は、状態検出センサ３３の各センサの測定結果の時系列データから特徴量を抽出し、抽出した特徴量と、安定性評価パラメータとに基づいて、物品３の把持の安定性を評価する（ステップＳ５０）。さらに、コントローラ４２は、物品３の把持の安定性を評価した結果、状態検出センサ３３による再測定が必要か否か判断する（ステップＳ５１）。例えば、コントローラ４２は、物品３の把持の安定性を評価した結果、不安定である（低速で移動させたとしても、物品３が落下する可能性がある）と評価した場合、状態検出センサ３３による再測定が必要であると判断する。また、例えば、コントローラ４２は、物品３の把持の安定性を評価が不定である場合、状態検出センサ３３による再測定が必要であると判断する。コントローラ４２は、状態検出センサ３３による再測定が必要ではないと判断した場合（ステップＳ５１、ＮＯ）、図６のステップＳ２１の処理に移行する。
　コントローラ４２は、状態検出センサ３３による再測定が必要であると判断した場合（ステップＳ５１、ＹＥＳ）、状態検出センサ３３による測定を開始し（ステップＳ５２）、アーム機構２２により、物品３を把持した把持機構２１に第２の移動動作を行わせる（ステップＳ５３）。具体的には、コントローラ４２は、アーム機構２２により把持機構２１を水平方向に移動させる。なお、水平方向への移動の回数は、１度であってもよいし、複数回であってもよい。また、第２の移動動作は、アーム機構２２の軸を中心とした回転動作であってもよい。コントローラ４２は、第２の移動動作が完了すると、状態検出センサ３３による測定を終了し（ステップＳ５４）、ステップＳ５０の処理に移行し、再度物品３の把持の安定性を評価する。
　このように複数の移動動作中の測定結果を用いて物品３の把持の安定性を評価することにより、把持機構２１の移動中に物品３が落下するか否かの確度を向上させることができる。
　なお、上記の高速動作及び低速動作は、あくまで相対的な指標であり、如何なる速度で設定されてもよい。例えば、高速動作は、ロボットアーム５のアーム機構２２の最大速度での動作であり、低速動作は、高速動作の１／３程度の速度での動作である。
　なお、学習環境においては、実環境における把持の後工程の動作を全て再現する必要はなく、実環境で想定される後工程の中で、吸着把持にとって最も厳しい慣性力をロボットアーム５の動作によって再現すればよい。具体的には、ロボットアーム５が物品３をリリース点に移動する際、最も大きな水平方向加速度でロボットアーム５を動作させることで再現できる。
　また、特徴量の抽出を、学習によって行ってもよい。具体的には、収集した測定結果の時系列データを、中間層の次元を小さくしたニューラルネットワークにより、自己再現学習をさせることで可能である。これは、オートエンコーダと呼ばれる一般的手法である。例えば、ロボットアーム５の動作に耐えられた際の時系列データ群を用いた学習により、特徴量を抽出するための特徴生成器を生成する。この場合、ロボットアーム５の動作に耐えられなかった際のデータ（異常時データ）では、時系列データの波形再現度が低くなる。この波形再現度を特徴量として、分類器（安定性評価パラメータ）への入力に用いてもよい。なお、波形再現度は、例えば入出力の時系列データ間での時間ごとに、出力値の差分を算出し、その二乗誤差の総和によって算出できる。
　また、上記の実施形態では、学習用環境と、実環境にて把持の安定性評価のための学習用データの収集を行う際に、状態検出センサ３３から特徴のあるセンサデータを得るための動作（チェック動作）を同一とする必要がある。同様に、学習用環境は、実環境と可能な限り同一の装置構成、および近い使用環境（温度、湿度、粉塵、静電気、照明環境など）とすることが望ましい。
　なお、情報処理装置６における画像処理の手法、複数検出された物品領域から１つの領域を選択する際の基準は、如何なるものであってもよい。例えば、情報処理装置６は、ＲＧＢ各色の強さ、色相、彩度、または明度などの値を閾値判定し、その境界線（エッジ）がなす形状を基に、物品領域を判定する。実施例で述べている切り分け処理は、エッジが閉曲線をなす場合にその閉曲線内部を一つの物品領域と認識することにより実現が可能である。また、情報処理装置６は、上記の閉曲線内の画像、即ち物品領域内の画像を、データベース内の物品のデータとマッチングすることにより、物品の形状、位置、及び姿勢を検出することができる。
　また、上記の実施形態における状態検出センサ３３は、一例にすぎず、如何なるものであってもよい。例えば、圧力センサ３７の代わりに流量センサを用いて、真空発生器７３と吸着パッド３５との間の流量を測定し、測定結果を学習用データの生成に用いてもよい。真空発生器７３と吸着パッド３５との間の流量は、吸着パッド３５と物品３との間での漏れ流量に相当し、把持状態の安定性と相関がある値である。また、圧力センサと流量センサとが併用されてもよい。
　また、物品３の重量が問題にならない使用環境においては、力覚センサ３８が省略されてもよい。またさらに、物品３の形状が一律であることが想定される場合、距離センサ３６が省略されてもよい。
　また、把持の対象の物品３の物性（重量、サイズ、形状、その他）が、データベースで管理されている場合、物性を示す値を学習用データの生成に用いてもよい。
　また、上記の実施例では、把持機構２１の吸着パッド３５が８個であると説明したが、吸着パッド３５の個数は、扱う物品３に応じて適宜決定されるものである。吸着パッド３５は、例えば１個でもよいし、８個以下でも以上でもよい。また、吸着パッド３５の配列は、千鳥状、格子状、放射状、などの如何なる配列であってもよい。また、吸着パッド３５は、スポンジパッドにより構成されていてもよい。
　また、複数の吸着パッド３５内の気圧を個別に負圧に制御する為に、各吸着パッド３５に繋がる複数の流路ごとに、電磁バルブが設けられていてもよい。この構成によると、全ての吸着パッド３５が物品３と密着していない状態であっても、吸着パッド３５内を負圧に制御することが可能になる。このとき、複数の流路ごとに圧力センサ３７を設けてもよい。
　また、吸着パッド３５に繋がる流路にスロットルバルブが設けられていてもよい。この構成によると、スロットルバルブによって、流量変化を抑制することができる。これにより真空供給と真空破壊の応答性は低下するものの、開放された吸着パッドからのエアリークが減少するため、一部の吸着パッドが解放されていても真空圧を高く保つことが可能となる。このとき、全ての吸着パッドにスロットルバルブを設けてもよいし、一部だけに設けてもよい。例えば、中央部はスロットルバルブなしとし、周囲のみにスロットルバルブを設けた構造も実現できる。これにより、物品で覆われる可能性が高い中央部の吸着パッド３５に高い流量を確保することができる。また、物品３により覆われない可能性のある外縁部の吸着パッド３５が一部解放されていても、高い真空圧を得ることができる。
　また、上記の実施例では、アーム機構２２が６軸ロボットアームであると説明した、この構成に限定されない。軸の数が如何なる数であっても、本発明を適用することができる。また、ロボットアーム５は、スカラロボット、ＸＹＺステージとして構成されていてもよい。また、ロボットアーム５は、固定設備ではなく、リニアステージ、または自走台車等に搭載され、移動可能に構成されていてもよい。
　また、上記の実施形態では、図５のステップＳ１６で示されるように、吸着パッド３５内が負圧にならない場合に、把持をあきらめる構成であると説明したが、この構成に限定されない。ロボットアーム５は、ピックアップ位置を移動させつつ、再度物品３の把持を試みる構成であってもよい。
　また、上記の実施形態では、ロボットアーム５は、物品３を仕分先にリリースしてから、把持機構２１を初期位置に戻す構成であると説明したが、この構成に限定されない。ロボットアーム５は、物品３を仕分先にリリースしてから、次のピッキング位置に把持機構２１を移動させる構成であってもよい。これにより、処理時間の短縮が可能になる。さらに、ロボットアーム５が、物品３を把持した把持機構２１をリリース位置に移動させるまでの間に、距離センサ８がかご車画像を取得してもよい。これにより、情報処理装置６が動作計画をロボットアーム５に供給する間隔を短くすることができる。
　（第２の実施形態）　
　次に、第２の実施形態について説明する。第２の実施形態に係る仕分システム１は、ロボットアームの構成が異なる。第２の実施形態に係るロボットアーム５Ａは、把持機構２１Ａがさらに物品３を挟んで把持する複数の指機構９１Ａを備え、把持機構駆動部４４Ａが、指機構９１Ａを駆動するモータ６１Ａなどを備える点が第１の実施形態と異なる。また、第２の実施形態に係るコントローラ４２Ａは、把持機構２１Ａ及びアーム機構２２の動作の制御が第１の実施形態と異なる。第１の実施形態と同様の構成については、詳細な説明を省略する。
　図１６は、ロボットアーム５Ａの構成について説明する為の説明図である。図１７は、把持機構２１Ａの構成を概略的に示す図である。図１６及び図１７に示されるように、ロボットアーム５Ａは、把持機構２１Ａ、アーム機構２２、及びロボットアーム制御装置２３Ａを備える。
　把持機構２１Ａは、物品３を把持する機構である。把持機構２１Ａは、アーム機構２２の端部（最終リンク）にネジなどにより固定される。即ち、把持機構２１は、アーム機構２２の動作によって任意の姿勢で移動される。図１６及び図１７に示されるように、把持機構２１Ａは、ベース部材３１、吸着パッド群３２、指機構９１Ａ、及び状態検出センサ３３を備える。
　指機構９１Ａは、物品３を挟んで把持するグリッパである。指機構９１Ａは、複数の指と、複数の関節機構（軸）とを備える。関節機構は、２つの指を連結させる。また、関節機構は、ロボットアーム制御装置２３Ａの把持機構駆動部４４Ａのモータの動作により可動し、連結している２つの指の相対的な角度を変化させる。即ち、関節機構の動作によって、指が可動する。指機構９１Ａは、例えばベース部材３１の対向する１対の辺に設けられる。１対の辺に設けられた複数の指機構９１Ａは、ベース部材３１に設けられた吸着パッド３５と接する物品３を挟むように力を加える。即ち、複数の指機構９１Ａは、ベース部材３１に設けられた吸着パッド３５の配列方向と平行な方向であって、対向する複数の方向から物品３に対して力を加える。この場合、指と物品３との摩擦によって、物品３が把持される。
　ロボットアーム制御装置２３Ａは、通信インタフェース４１、アーム機構駆動部４３、把持機構駆動部４４Ａ、コントローラ４２Ａ、及び学習部４５を備える。
　把持機構駆動部４４Ａは、コントローラ４２Ａの制御に基づいて、把持機構２１Ａによる物品３の把持を行わせる。把持機構駆動部４４Ａは、コンプレッサ７１、電磁バルブ７２、真空発生器７３、モータ６１Ａ、エンコーダ６２Ａ、及びトルクセンサ６３Ａを備える。
　モータ６１Ａ、エンコーダ６２Ａ、及びトルクセンサ６３Ａは、指機構９１Ａを駆動する駆動部として機能する。
　モータ６１Ａは、電力を駆動力に変換する駆動機構である。モータ６１Ａは、電力に応じて、駆動軸を回転させる。駆動軸は、図示されないギヤ及びベルトなどの機構を介して、指機構９１Ａの関節機構に接続されている。即ち、モータ６１Ａの駆動軸の回転に応じて、指機構９１Ａの関節機構が回転動作する。モータ６１Ａは、例えば、サーボモータである。また、モータ６１Ａは、ステッピングモータ、または超音波モータなどであってもよい。また、把持機構駆動部４４は、モータ６１Ａではなく、空気圧または油圧などにより指機構９１Ａの関節機構を駆動させる構成であってもよい。
　エンコーダ６２Ａは、モータ６１Ａの駆動軸の回転量及び回転速度を検出する。エンコーダ６２Ａは、回転量及び回転速度の検出結果をコントローラ４２Ａに供給する。エンコーダ６２Ａは、例えば、発光素子と受光素子との組合せにより、モータ６１Ａの駆動軸と連動する板の回転量及び回転速度を検出する。
　トルクセンサ６３Ａは、モータ６１Ａの駆動軸が接続された関節機構によって連結された指に作用するトルクを検出する。トルクセンサ６３Ａは、例えば、モータ６１Ａの駆動軸のねじれ量を、トルクを示す電気信号として出力する。トルクセンサ６３Ａは、トルクの検出結果をコントローラ４２Ａに供給する。
　モータ６１Ａがサーボモータとして構成されている場合、トルクセンサ６３Ａは、モータ６１Ａと一体に構成されていてもよい。この場合、トルクセンサ６３Ａは、モータ６１Ａに流れる電流値を検出することにより、指機構９１Ａの指に作用するトルクを検出する。また、指先に感圧センサを設けることで、出力値と指のリンク長からトルクを得てもよい。
　モータ６１Ａは、コントローラ４２Ａの制御に基づく角速度で、指機構９１Ａの関節機構（軸）を回転させる。これにより、複数の指機構９１Ａは、物品３を挟むように物品３に対して力を加える。把持機構駆動部４４Ａは、例えば、指機構９１Ａの関節機構毎に、モータ６１Ａ、エンコーダ６２Ａ、及びトルクセンサ６３Ａを備える。
　コントローラ４２Ａは、コントローラ４２と同様の構成を備える。また、コントローラ４２Ａは、アーム機構駆動部４３の制御、把持機構駆動部４４Ａの真空発生器７３、電磁バルブ７２、及びコンプレッサ７１の制御、及び物品３の把持の安定性の評価についてコントローラ４２と同様の処理を行う。この為、詳細な説明を省略する。
　図１８は、ロボットアーム５Ａの動作について説明する為のフローチャートである。なお、図１８は、図６の動作に置き換えが可能である。この為、図１８の処理は、図５の処理に続きとして記載する。
　コントローラ４２Ａは、図５の処理において、把持機構２１Ａの吸着パッド３５を物品３に吸着させ、把持機構２１Ａを所定距離上昇させ、状態検出センサ３３の測定結果と安定性評価パラメータとに基づいて、真空吸着による把持の安定性を評価する。
　コントローラ４２Ａは、真空吸着による把持が安定しているか否か判断する（ステップＳ６１）。例えば、コントローラ４２Ａは、真空吸着による把持が、把持機構２１Ａをリリース位置まで高速移動させた場合に維持されるか否か判断する。
　コントローラ４２Ａは、真空吸着による把持が安定していると判断した場合（ステップＳ６１、ＹＥＳ）、アーム機構２２により、物品３を把持した把持機構２１を高速で移動させる（ステップＳ６２）。これにより、コントローラ４２は、物品３を把持した把持機構２１を、仕分先に応じたベルトコンベア４に対応した位置（リリース位置）まで移動させる。
　コントローラ４２Ａは、電磁バルブ７２を開放状態にし、コンプレッサ７１から吸着パッド３５内に圧縮空気を供給させることにより、真空吸着を破壊する（ステップＳ６３）。これにより、把持機構２１Ａにより把持されていた物品３は、把持機構２１Ａから離れ落下する。この結果、物品３は、仕分先のベルトコンベア４に供給される。
　コントローラ４２Ａは、学習部４５に学習用データを生成させ（ステップＳ６４）、図５のステップＳ１１に移行する。これにより、コントローラ４２Ａは、アーム機構２２及び把持機構２１Ａを距離センサ８の画角外に移動させ、次の動作計画の受信を待つ状態になる。
　また、コントローラ４２Ａは、真空吸着による把持が安定していないと判断した場合（ステップＳ６１、ＮＯ）、指機構９１Ａにより物品３を把持するように、把持機構駆動部４４Ａを制御する（ステップＳ６５）。即ち、コントローラ４２Ａは、吸着による把持の安定性が不十分であると判断した場合、指機構９１Ａによる把持を加える。
　コントローラ４２Ａは、アーム機構２２により、物品３を把持した把持機構２１を高速で移動させる（ステップＳ６６）。これにより、コントローラ４２Ａは、物品３を把持した把持機構２１Ａを、仕分先に応じたベルトコンベア４に対応した位置まで移動させる。
　コントローラ４２Ａは、電磁バルブ７２を開放状態にし、コンプレッサ７１から吸着パッド３５内に圧縮空気を供給させることにより、真空吸着を破壊する（ステップＳ６７）。また、コントローラ４２Ａは、指機構９１ＡをステップＳ６５とは逆方向に動作させることにより、指機構９１Ａによる物品３の把持を解除し（ステップＳ６８）、ステップＳ６４の処理に移行する。なお、学習部４５は、指機構９１Ａにより物品３を把持している状態での、把持機構駆動部４４Ａのトルクセンサ６３Ａの出力及びエンコーダ６２の出力を、学習用データの生成に加味してもよい。
　また、本実施形態では、図５のステップＳ１６において、圧力センサ３７の測定結果が、閾値以上である場合に、ステップＳ６５に移行することが可能である。即ち、コントローラ４２Ａは、真空吸着による把持が失敗した場合に、指機構９１Ａによる把持に切り替えてもよい。
　上記したように、ロボットアーム５Ａは、物品３を把持する複数の手段を有する。ロボットアーム５Ａは、１つの手段により物品３を把持した状態での安定性が十分であるか否か判断し、不十分であると判断した場合、他の手段により物品３を把持する。また、ロボットアーム５Ａは、１つの手段による物品３の把持の安定性が不十分であると判断した場合、複数の手段を組み合わせて物品３を把持する。これにより、状況に応じて適切な制御を行うことが可能になる。
　指機構９１Ａによる把持は、関節機構を駆動する必要がある為、吸着パッド３５による把持に比べて遅い。この為、コントローラ４２Ａは、まず吸着パッド３５による物品３の把持を行って、安定性を評価し、安定性が不十分である場合に指機構９１Ａによる物品３の把持を追加する。この結果、真空吸着のみで高速に処理することができ、且つ真空吸着と指機構９１Ａによる把持とを併用することによる安定性の向上を実現する事ができる。この結果、高い安定性とスループットとを両立させることが可能となる。
　なお、第２の実施形態においても、第１の実施形態と同様に、安定性の評価結果を３値以上のうちのいずれかになるように安定性評価パラメータが生成されてもよい。これにより、移動速度を変化させることによる安定性の向上を図ることができる。
　また、上記の実施形態では、コントローラ４２Ａは、安定性が不十分である場合に指機構９１Ａによる把持を加えると説明したが、この構成に限定されない。コントローラ４２Ａは、吸着把持と指機構による把持との併用を基本動作としてもよい。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (14)

  1. 　物品を把持する把持機構と、
    　前記把持機構を移動させるアーム機構と、
    　前記把持機構が前記物品を把持した際の把持の状態を測定し、測定結果を出力する状態検出センサと、
    　前記物品を把持した前記把持機構を移動させている間に前記物品が落下するか否かを推測する為の安定性評価パラメータと、前記状態検出センサの測定結果とに基づいて、前記把持機構及び前記アーム機構の動作を制御するコントローラと、
    　を具備する物品把持装置。
  2. 　前記物品を把持した状態での前記状態検出センサの測定結果と、前記物品を把持した前記把持機構を移動させている間に前記物品が落下したか否かを示す情報とを有する学習用データを生成し、複数の前記学習用データに基づいて、前記安定性評価パラメータを生成する学習部をさらに具備する請求項１に記載の物品把持装置。
  3. 　前記状態検出センサは、前記物品を把持した前記把持機構に対して作用する応力を測定結果として出力する力覚センサを備える請求項１または２に記載の物品把持装置。
  4. 　前記把持機構は、真空吸着により前記物品を把持する吸着パッドを具備し、
    　前記状態検出センサは、前記吸着パッドと前記物品との間の空間の圧力である吸着力を検出し、測定結果として出力する圧力センサを備える請求項１乃至３のいずれか１項に記載の物品把持装置。
  5. 　前記状態検出センサは、前記把持機構と前記物品との距離を検出し、測定結果として出力する複数の距離センサを備える請求項１乃至４のいずれか１項に記載の物品把持装置。
  6. 　前記状態検出センサは、前記アーム機構を駆動するモータのトルクを測定結果として出力するトルクセンサと、前記モータの駆動軸の回転速度及び回転量を測定結果として出力するエンコーダとを備える請求項１乃至５のいずれか１項に記載の物品把持装置。
  7. 　前記状態検出センサは、前記把持機構が前記物品を把持した状態で、前記把持機構を前記アーム機構により所定の移動動作で移動させる間に前記測定結果を出力する請求項１乃至６のいずれか１項に記載の物品把持装置。
  8. 　前記状態検出センサは、前記把持機構が前記物品を把持し、前記把持機構を前記アーム機構により所定距離上昇させる間に前記測定結果を出力する請求項７に記載の物品把持装置。
  9. 　前記状態検出センサは、前記把持機構が前記物品を把持した状態で、前記アーム機構により前記把持機構を水平方向に移動させる間に前記測定結果を出力する請求項７または８に記載の物品把持装置。
  10. 　前記コントローラは、前記状態検出センサの測定結果と、前記安定性評価パラメータとに基づいて、前記アーム機構により前記把持機構を移動させる際の移動速度を制御する請求項１乃至８のいずれか１項に記載の物品把持装置。
  11. 　前記把持機構は、真空吸着により前記物品を把持する吸着パッドと、前記物品を挟んで把持する指機構とを具備し、
    　前記コントローラは、前記状態検出センサの測定結果と、前記安定性評価パラメータとに基づいて、前記吸着パッドと前記指機構とを動作させて前記物品を把持させる請求項１に記載の物品把持装置。
  12. 　前記安定性評価パラメータは、前記吸着パッドにより前記物品を把持した状態での前記状態検出センサの測定結果と、前記吸着パッドにより前記物品を把持した前記把持機構を移動させている間に前記物品が落下するか否かを示す情報とを有する複数の学習用データに基づいて生成され、
    　前記コントローラは、
    　前記安定性評価パラメータと、前記状態検出センサの測定結果とに基づいて、前記吸着パッドにより前記物品を把持した前記把持機構を移動させている間に前記物品が落下するか否かを推定し、
    　前記物品が落下すると推定した場合、前記吸着パッド及び前記指機構により前記物品を把持し、
    　前記物品が落下しないと推定した場合、前記吸着パッドにより前記物品を把持させる請求項１１に記載の物品把持装置。
  13. 　前記状態検出センサは、前記指機構を駆動するモータのトルクを測定結果として出力するトルクセンサと、前記モータの駆動軸の回転速度及び回転量を測定結果として出力するエンコーダとを備える請求項１２に記載の物品把持装置。
  14. 　物品を把持する把持機構と、前記把持機構を移動させるアーム機構とを具備する物品把持装置の制御装置であって、
    　前記把持機構が前記物品を把持した際の把持の状態を測定し、測定結果を出力する状態検出センサから測定結果を取得し、前記物品を把持した前記把持機構を移動させている間に前記物品が落下するか否かを推測する為の安定性評価パラメータと、前記状態検出センサの測定結果とに基づいて、前記把持機構及び前記アーム機構の動作を制御するコントローラを具備する物品把持装置の制御装置。
PCT/JP2019/009698 2018-04-27 2019-03-11 物品把持装置及び物品把持装置の制御装置 WO2019207979A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-086180 2018-04-27
JP2018086180A JP2019188561A (ja) 2018-04-27 2018-04-27 物品把持装置及び物品把持装置の制御装置

Publications (1)

Publication Number Publication Date
WO2019207979A1 true WO2019207979A1 (ja) 2019-10-31

Family

ID=68295104

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009698 WO2019207979A1 (ja) 2018-04-27 2019-03-11 物品把持装置及び物品把持装置の制御装置

Country Status (2)

Country Link
JP (1) JP2019188561A (ja)
WO (1) WO2019207979A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114746223A (zh) * 2019-12-27 2022-07-12 富兰卡爱米卡股份有限公司 生成用于机器人机械手的控制程序
WO2023089726A1 (ja) * 2021-11-18 2023-05-25 株式会社Fuji ワーク自動搬送機
CN116293201A (zh) * 2023-04-08 2023-06-23 南京北控工程检测咨询有限公司 一种管道载物器及管道机器人

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7434000B2 (ja) 2020-03-13 2024-02-20 株式会社東芝 物品処理管理装置、物品処理制御システム、及びプログラム
WO2023095927A1 (ja) * 2021-11-29 2023-06-01 京セラ株式会社 制御装置、ロボット制御システム、及びロボット制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013154457A (ja) * 2012-01-31 2013-08-15 Asahi Kosan Kk ワーク移載システム、ワーク移載方法及びプログラム
JP2014210311A (ja) * 2013-04-18 2014-11-13 ファナック株式会社 ワークを搬送するロボットの制御装置
JP2017052052A (ja) * 2015-09-09 2017-03-16 株式会社東芝 荷役装置および荷役方法
JP2017520417A (ja) * 2014-07-16 2017-07-27 エックス デベロップメント エルエルシー 複数の吸着カップの制御
JP2019051575A (ja) * 2017-09-15 2019-04-04 株式会社東芝 把持装置、及び搬送装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013154457A (ja) * 2012-01-31 2013-08-15 Asahi Kosan Kk ワーク移載システム、ワーク移載方法及びプログラム
JP2014210311A (ja) * 2013-04-18 2014-11-13 ファナック株式会社 ワークを搬送するロボットの制御装置
JP2017520417A (ja) * 2014-07-16 2017-07-27 エックス デベロップメント エルエルシー 複数の吸着カップの制御
JP2017052052A (ja) * 2015-09-09 2017-03-16 株式会社東芝 荷役装置および荷役方法
JP2019051575A (ja) * 2017-09-15 2019-04-04 株式会社東芝 把持装置、及び搬送装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114746223A (zh) * 2019-12-27 2022-07-12 富兰卡爱米卡股份有限公司 生成用于机器人机械手的控制程序
WO2023089726A1 (ja) * 2021-11-18 2023-05-25 株式会社Fuji ワーク自動搬送機
CN116293201A (zh) * 2023-04-08 2023-06-23 南京北控工程检测咨询有限公司 一种管道载物器及管道机器人
CN116293201B (zh) * 2023-04-08 2023-10-10 南京北控工程检测咨询有限公司 一种管道载物器及管道机器人

Also Published As

Publication number Publication date
JP2019188561A (ja) 2019-10-31

Similar Documents

Publication Publication Date Title
WO2019207979A1 (ja) 物品把持装置及び物品把持装置の制御装置
JP6793428B1 (ja) 物体を把持および保持するためのロボットマルチグリッパアセンブリおよび方法
US11958191B2 (en) Robotic multi-gripper assemblies and methods for gripping and holding objects
KR20220165262A (ko) 픽 앤 플레이스 로봇 시스템
JP7317112B2 (ja) 複数のランダムで新規な物体をピックアップし、仕分け、配置するためのロボットシステム
CN112047113B (zh) 一种基于人工智能技术的3d视觉码垛系统及方法
JP7290280B2 (ja) オブジェクト識別メカニズムおよびオブジェクトハンドリングメカニズムを有するロボットシステムおよびその動作方法
CN110626548B (zh) 信息处理设备、信息处理方法和存储介质
CN111993448B (zh) 用于夹持和保持物体的机器人多夹持器组件和方法
JP2019181687A (ja) 情報処理装置、情報処理方法及びプログラム
JP7005388B2 (ja) 情報処理装置及び仕分システム
KR20100017393A (ko) 진공 그립핑 장치
JP2023523698A (ja) ピックアンドプレースロボットのための制御可能なグリッパ
US11738893B2 (en) Picking, placing, and scanning bagged clothing and other articles
JP2019199335A (ja) 情報処理装置、情報処理プログラム、及び仕分システム
JP7163116B2 (ja) 情報処理装置及びピッキングシステム
JP7264387B2 (ja) 開閉式物体用のロボットグリッパアセンブリ及び物体をピッキングするための方法
US20230071488A1 (en) Robotic system with overlap processing mechanism and methods for operating the same
US20230364787A1 (en) Automated handling systems and methods
CN115744272A (zh) 机器人多表面夹持器组件及其操作方法
JP2022131750A (ja) ハンドリングシステム、搬送システム、制御装置、制御プログラム、およびハンドリング方法
WO2023166350A1 (en) Surveillance system and methods for automated warehouses

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19793353

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19793353

Country of ref document: EP

Kind code of ref document: A1