WO2024122475A1 - ロボットの制御システム、ロボットの制御プログラム - Google Patents

ロボットの制御システム、ロボットの制御プログラム Download PDF

Info

Publication number
WO2024122475A1
WO2024122475A1 PCT/JP2023/043189 JP2023043189W WO2024122475A1 WO 2024122475 A1 WO2024122475 A1 WO 2024122475A1 JP 2023043189 W JP2023043189 W JP 2023043189W WO 2024122475 A1 WO2024122475 A1 WO 2024122475A1
Authority
WO
WIPO (PCT)
Prior art keywords
gripping
unit
robot
finger
function
Prior art date
Application number
PCT/JP2023/043189
Other languages
English (en)
French (fr)
Inventor
正義 孫
Original Assignee
ソフトバンクグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2023026590A external-priority patent/JP2024082207A/ja
Application filed by ソフトバンクグループ株式会社 filed Critical ソフトバンクグループ株式会社
Publication of WO2024122475A1 publication Critical patent/WO2024122475A1/ja

Links

Definitions

  • This disclosure relates to a robot control system and a robot control program.
  • JP 2019-093506 A describes posture control for humanoid robots.
  • the present disclosure aims to provide a robot control system and a robot control program that can quickly and reliably perform a series of tasks, including checking the position of a package, grabbing it, and holding it, using a gripping unit.
  • the robot control system has a first gripping section having a palm section that serves as a base for holding an object and a plurality of finger sections extending radially from the palm section, and a second gripping section having a holder capable of gripping and holding an object, and is capable of gripping the object with the first gripping section and the second gripping section.
  • the control system has a plurality of types of suction pads that are selectively provided for each of the palm section and finger sections of the first gripping section and are capable of suctioning and holding the object with different suction areas, and a control section that selects, as a function for holding the object according to the properties of the object including at least the shape and weight, one of a first function for gripping with the first gripping section, a second function for gripping with the second gripping section, and a third function that uses both the first and second functions, and controls the operation of gripping the object.
  • control unit selects, depending on the properties of the object including at least the shape and weight, one of a first function for holding the object with the first gripping unit, a second function for holding the object with the second gripping unit, and a third function for using both the first and second functions, and controls the operation of holding the object.
  • the first gripping portion is provided with a plurality of finger portions, at least one of the finger portions has a smaller diameter suction pad attached to the tip thereof compared to the other suction pads, and the other finger portions other than the first finger portion have larger diameter suction pads attached to the tip thereof compared to the other suction pads, and the control portion selects one of the first function, the second function, and the third function based on the property to control the operation of gripping the object.
  • each robot Since each robot has a gripping function that matches the characteristics of the target part, there is no need to select a robot, which makes picking work more efficient.
  • the first gripping portion has three fingers, a suction pad having a smaller diameter than the other suction pads is attached to the tip of the first finger, and a suction pad having a larger diameter than the other suction pads is attached to the tip of the second finger and the third finger, and the control unit classifies the object into extra-large size, large size, medium size, small size, and extra-small size based on the characteristics, and when the object is the extra-large size, it is gripped using a holder provided on the second gripping portion, and when the object is the large size, the control unit classifies the object into the extra-large size, large size, medium size, small size, and extra-small size based on the characteristics, and when the object is the extra-large size, it is gripped using a holder provided on the second gripping portion, and when the object is the large size, the control unit classifies the object into the extra-large size, large size, medium size, small size, and extra-small size based on the characteristics, and when the object is the extra-large size, it
  • the object When the object is of a medium size, the object is grasped using the suction pad provided on the palm, when the object is of a medium size, the object is grasped using the large diameter suction pad provided on the tip of the second finger portion and the third finger portion, when the object is of a small size, the object is grasped using the large diameter suction pad provided on the tip of the second finger portion or the third finger portion, when the object is of an extra small size, the object is grasped using the small diameter suction pad provided on the tip of the first finger portion.
  • each robot Since each robot has a gripping function that matches the characteristics of the target part, there is no need to select a robot, which makes picking work more efficient.
  • the present disclosure is characterized in that the holder of the second gripping portion is an adsorption pad having the same shape as either the large diameter adsorption pad or the small diameter adsorption pad.
  • Using a suction pad on the second gripping part also makes control easier.
  • the present disclosure is characterized in that it further includes a palm sensor unit provided on the first gripping unit and the second gripping unit for detecting object information including the shape and position of the object, and the palm sensor unit includes a camera for taking an image of the object and identifying the type of the object, and a motion processing unit for identifying the position of the object.
  • the camera identifies the photographed object based on the captured image information. In other words, it has the role of acquiring information to identify the type of object (e.g., shape, size, hardness, etc.).
  • the motion processing unit outputs, as motion information, vector information of the movement along a specified coordinate axis of a point indicating the location of an object.
  • the motion information output from the MoPU contains only information indicating the movement (e.g., direction and speed of movement) on the coordinate axes (i.e., x-axis, y-axis, z-axis) of the center point (or center of gravity) of the object.
  • the coordinate axes i.e., x-axis, y-axis, z-axis
  • the robot control program disclosed herein is characterized by causing a computer to operate as the above-mentioned control unit.
  • the present disclosure is characterized in that, among the characteristics of the object, weight information is used to determine whether the object is within a predetermined standard that allows it to be grasped by a single robot, and if the object exceeds the predetermined standard, multiple robots are assembled and work together to grasp the object.
  • an object that can be grasped by a single robot exceeds a certain standard (for example, is overweight), multiple robots can be used in coordination to grasp the object, making it possible to handle such overweight objects.
  • a certain standard for example, is overweight
  • control unit sets a gripping point for the object for each of the multiple robots, calculates the load ratio shared by each robot at the set gripping point based on the properties of the object, and selects the function for gripping the object for each robot based on the calculation result.
  • the gripping function can be selected based on the respective load ratios.
  • the present disclosure is characterized in that, when the multiple robots grasp and transport the object, the transport route of each robot is set so that the inertial force acting on the object is minimized.
  • the object when turning right or left, the object may be subjected to inertial forces due to deceleration or acceleration, causing the gripping state to change. Therefore, by setting the robot's transport route so that the object moves along a curved trajectory with a specified radius of curvature, it becomes possible for the robot to travel without changing the gripping state.
  • the control system for a robot includes a standard gripping unit that is detachably attached to the arm of the robot and grips an object that conforms to a predetermined standard, and one or more extra gripping units that are detachably attached to the arm and grip an object that does not conform to the standard, and the control system has a determination unit that determines whether the object conforms to the predetermined standard standard, and a control unit that controls the operation of attaching the standard gripping unit to the arm when the determination result of the determination unit indicates that the object conforms to the standard standard, and controls the operation of attaching the extra gripping unit to the arm and gripping the object when the determination result of the determination unit indicates that the object does not conform to the standard standard.
  • control unit controls the operation of attaching a standard gripping unit to the arm when the judgment result of the judgment unit, which judges whether the object conforms to a predetermined standard specification, indicates that the object conforms to the standard specification, and controls the operation of attaching an extra gripping unit to the arm when the judgment result of the judgment unit indicates that the object does not conform to the standard specification.
  • the control unit then controls the operation of gripping the object.
  • a plurality of arms are provided, and the operation of attaching or detaching the standard gripping part or the extra gripping part to one arm is performed using the standard gripping part or the extra gripping part attached to the other arm.
  • the present invention further includes a sensor unit provided in the standard gripping portion and the extra gripping portion, which detects object information including a type, shape, or size, and a position of the object, The determination unit determines whether or not the object complies with the standard based on the object information detected by the sensor unit.
  • the sensor unit Based on the detection results from the sensor unit (e.g., object information including the type, shape, or size of the object, and its position), it is possible to determine whether the object complies with the standard.
  • object information including the type, shape, or size of the object, and its position
  • the present disclosure is characterized in that the determination unit makes a determination based on the object information detected by the sensor unit or on weight that can be known in advance.
  • the weight of the object can be known in advance, conformance or non-conformance can be determined based on that weight.
  • the weight can also be obtained based on object information (e.g., product type, etc.) using a product-weight comparison table, etc.
  • the standard gripping unit includes a palm portion that serves as a base for gripping the object and a plurality of finger portions extending radially from the palm portion, a first gripping unit to which suction pads capable of suctioning and gripping the object with different suction areas are attached for each of the palm portion and finger portions, and a second gripping unit equipped with a holder capable of gripping and holding the object, and the control unit controls the gripping operation of the object by selecting, according to attributes including at least the shape and weight of the object, one of a first function for gripping the object with the first gripping unit, a second function for gripping the object with the second gripping unit, and a third function for using both the first and second functions.
  • the control unit selects, based on attributes of the object including at least the shape and weight, one of a first function for gripping the object with the first gripping unit, a second function for gripping the object with the second gripping unit, and a third function for using both the first and second functions, and controls the operation of gripping the object.
  • the first gripping portion has three fingers, a suction pad with a smaller diameter than the other suction pads is attached to the tip of the first finger, and a suction pad with a larger diameter than the other suction pads is attached to the tip of the second finger and the third finger, and the control portion classifies the object into extra-large size, large size, medium size, small size, and extra-small size based on the attributes, and when the object is the extra-large size, grips it using a holder provided on the second gripping portion, When the object is large, it is grasped using the suction pad provided on the palm, when the object is medium, it is grasped using the large diameter suction pad provided on the tip of the second finger and the third finger, when the object is small, it is grasped using the large diameter suction pad provided on the tip of the second finger or the third finger, when the object is extra small, it is grasped using the small diameter suction pad provided on the tip of the first finger.
  • each robot Since each robot has a gripping function that matches the attributes of the target part, there is no need to select a robot, which makes picking work more efficient.
  • the robot control system is characterized in that a computer is operated as the determination unit and the control unit of the robot control system.
  • the normal operation control unit selects at least one of the gripping units to control a gripping operation including gripping a first object designated from among the objects.
  • the simultaneous work control unit selects another of the gripping units and controls the gripping work, including gripping of a second object designated from among the objects, when a predetermined condition is met while the normal work control unit is performing work.
  • the predetermined condition is a grasping condition for the second object found from work status information including position information of the robot and grasping information identifying the grasping part grasping the object, work schedule information in the robot's working environment, and attribute information of the object to be grasped.
  • Whether or not a second object can be grasped while a first object is being grasped can be determined from work status information, including position information of the robot and grasping information that identifies the grasping part that is grasping the object, work schedule information in the robot's working environment, and attribute information of the object to be grasped.
  • the robot in a warehouse including a storage base on which a number of shelves are displayed on which a number of the objects are stored, and a picking station which performs an outbound operation of removing the objects from the shelves and an inbound operation of storing the objects on the shelves, the robot is disposed in the picking station, and a storage base management server which instructs the robot to perform the outbound operation and the inbound operation, including the gripping operation, functions as the normal operation control unit and the simultaneous operation control unit, thereby causing the robot to perform the gripping operation of the objects.
  • a robot In a warehouse equipped with a storage base in which multiple shelves containing multiple objects are stored, and a picking station which performs an outbound operation of removing objects from the shelves and an inbound operation of storing objects on the shelves, a robot is placed in the picking station.
  • the movement of shelves between the storage base and the picking station (for example, by using a conveying device), as well as the shipping and receiving operations at the picking station, are all managed centrally by the storage base management server according to a predefined operation schedule.
  • This storage base management server functions as a normal work control unit and a simultaneous work control unit, making it possible to perform normal work and simultaneous work as the grasping work at the picking station.
  • the multiple gripping parts include a palm portion serving as a base and multiple finger portions extending radially from the palm portion, and have a first gripping part capable of gripping the object by either suction or grasping, and a second gripping part capable of suctioning and gripping the object with maximum suction force, and the normal work control part and the simultaneous work control part select, as a function for gripping the object, one of a first function for gripping with the first gripping part, a second function for gripping with the second gripping part, and a third function for using both the first and second functions, depending on attributes including at least the shape and weight of the object.
  • the normal work instruction control unit and the simultaneous work control unit select, based on attributes including at least the shape and weight of the object, a function for gripping the object from among a first function for gripping with a first gripping unit, a second function for gripping with a second gripping unit, and a third function for using both the first and second functions.
  • the first gripping portion has three fingers, a suction pad having a smaller diameter than the other suction pads is attached to the tip of the first finger, and a suction pad having a larger diameter than the other suction pads is attached to the tip of the second finger and the third finger, and the normal work control portion and the simultaneous work control portion classify the object into extra-large size, large size, medium size, small size, and extra-small size based on the attributes, and when the object is the extra-large size, the object is gripped using the second gripping portion, and when the object is the front
  • the large size the object is grasped using the suction pad provided on the palm
  • the large diameter suction pad provided on the tip of the second finger portion and the third finger portion in the case of the small size
  • the object is grasped using the large diameter suction pad provided on the tip of the second finger portion or the third finger portion, and in the case of the extra small size, the object is grasped
  • each robot Since each robot has a gripping function that matches the attributes of the target part, there is no need to select a robot, which makes picking work more efficient.
  • the present disclosure is characterized in that it further comprises a sensor unit provided on the gripping portion for detecting object information including the shape and position of the object, the sensor unit including a camera for taking an image of the object and identifying the type of the object, and a motion processing unit for identifying the position of the object.
  • the sensor unit Based on the detection results from the sensor unit (e.g., object information including the type, shape, or size of the object, and its position), it is possible to determine whether the object complies with the standard.
  • object information including the type, shape, or size of the object, and its position
  • the robot control system is characterized by having a computer operate as the normal operation control unit and the simultaneous operation control unit.
  • the robot control system is a robot control system capable of grasping an object using a first gripping unit having a palm portion that serves as a base for grasping the object and a plurality of finger portions attached to the palm portion, and a second gripping unit having a holder capable of grasping and holding the object, and the control system further comprises a plurality of types of suction pads selectively provided for each of the palm portion and finger portions of the first gripping unit and capable of suctioning and holding the object with different suction areas, a sensor unit provided on the first gripping unit and the second gripping unit that detects at least shape information of the object, and a weight information of the object based on previously registered weight information of the object.
  • the device has a selection unit that selects, as a function for gripping the object, a first function for gripping with the first gripping unit, a second function for gripping with the second gripping unit, or a third function for using the first and second functions in combination; a control unit that controls the operation of gripping the object based on the function selected by the selection unit; a determination unit that determines whether or not shape information of the object detected by the sensor unit during an approach operation to the object in a gripping operation by the control unit is within an allowable range for the function for gripping the object selected by the selection unit; and a change unit that changes the function for gripping the object when the determination unit determines that the shape information is outside the allowable range.
  • the selection unit selects, based on preregistered weight information of the object, a function for gripping the object from among a first function for gripping with a first gripping unit, a second function for gripping with a second gripping unit, and a third function for using both the first and second functions.
  • the control unit controls the action of grasping the object based on the function selected in the selection unit.
  • the determination unit determines whether the shape information of the object detected by the sensor unit while the control unit is approaching the object in a gripping operation is within the allowable range of the function for gripping the object selected by the selection unit, and the change unit changes the function for gripping the object if the determination unit determines that it is outside the allowable range.
  • the present disclosure is characterized in that the determination unit makes a determination based on a table that associates the function of grasping the object with the acceptable range of shape information of the object.
  • the first gripping portion has three fingers, a suction pad having a smaller diameter than the other suction pads is attached to the tip of the first finger, and suction pads having a larger diameter than the other suction pads are attached to the tips of the second finger and the third finger, and the control unit classifies the object into weight classification sizes of extra-large, large, medium, small, and extra-small based on the weight information, and when the object is the extra-large size, the control unit grasps the object using a holder provided on the second gripping portion and controls the control unit to grasp the object.
  • the object When the object is large, it is grasped using the suction pad provided on the palm, when the object is medium size, it is grasped using the large diameter suction pad provided on the tip of the second finger portion and the third finger portion, when the object is small, it is grasped using the large diameter suction pad provided on the tip of the second finger portion or the third finger portion, when the object is extra small, it is grasped using the small diameter suction pad provided on the tip of the first finger portion.
  • each robot Since each robot has a gripping function that matches the attributes of the target part, there is no need to select a robot, which makes picking work more efficient.
  • the robot control system is characterized by having a computer operate as the above-mentioned selection unit, control unit, determination unit, and change unit.
  • the present disclosure has the advantage that the gripping unit can quickly and reliably perform a series of operations including checking the position of the luggage, grabbing it, and holding it.
  • FIG. 1 is a front view of a humanoid robot according to a first embodiment.
  • FIG. 1 is a side view of a humanoid robot according to a first embodiment.
  • FIG. 2 is a front view of the palm side of the left-hand grip according to the first embodiment.
  • FIG. 2 is a front view of the palm side of the right-hand grip according to the first embodiment.
  • FIG. 2 is a perspective view of a suction pad attached to a gripping portion according to the first embodiment.
  • FIG. 2 is a perspective view of a left-hand grip according to the first embodiment;
  • FIG. 2 is a perspective view of a right-hand grip according to the first embodiment;
  • FIG. 2 is a diagram illustrating an example of a functional configuration of a humanoid robot.
  • FIG. 1 is a side view of a humanoid robot according to a first embodiment.
  • FIG. 2 is a front view of the palm side of the left-hand grip according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a processing routine executed by the information processing device.
  • 11 is a flowchart showing a procedure of gripping control when an object is gripped by a gripper in conjunction with the overall movement of the humanoid robot.
  • 8 is a control flowchart showing a selection process routine for a gripper and a suction pad in step 160 of FIG. 7;
  • 10 is a control flowchart showing a selection process routine of a gripper and a suction pad according to a second embodiment.
  • 10 is a control flowchart showing details of a predetermined out-of-standard processing subroutine in step 194 of FIG. 9 .
  • FIG. 13 is a plan view showing a state in which two humanoid robots holding one piece of luggage approach a crank-shaped transport path, according to a modified example of the second embodiment.
  • 13 is a control flowchart showing a travel route setting process routine when the travel route is out of a predetermined standard, according to a modification of the second embodiment.
  • FIG. 13 is a front view of a humanoid robot according to a third embodiment.
  • FIG. 13 is a side view of a humanoid robot according to a third embodiment.
  • FIG. 13 is a front view of an extra gripping portion stored in a holder according to a third embodiment.
  • 1 is a perspective view of an extra gripping portion and a front view of luggage gripped by each extra gripping portion.
  • FIG. 1 is a perspective view of an extra gripping portion and a front view of luggage gripped by each extra gripping portion.
  • FIG. 1 is a perspective view of an extra gripping portion and a front view of luggage gripped by each extra gripping portion.
  • FIG. 13 is a control flowchart showing a selection process routine of a gripper and a suction pad according to a third embodiment. 17 is a control flowchart showing details of an extra gripping portion application processing subroutine in step 1194 of FIG. 16.
  • FIG. 13 is a perspective view of a storage base according to a fourth embodiment.
  • FIG. 18B is an enlarged perspective view of the storage space of the shelf in FIG. 18A.
  • 11 is a functional block diagram for executing simultaneous work control executed in cooperation with the storage base management server and each information processing device of the humanoid robot.
  • 11 is a flowchart showing a main routine of normal work instruction control based on a work schedule by the storage-based management server.
  • This is a control flowchart showing the flow of simultaneous work instructions, which are executed by appropriately interrupting the main routine executed by the storage base management server, from determining whether simultaneous progress is possible to instructing a specific humanoid robot to proceed simultaneously.
  • 13 is a flowchart showing a main routine of a work instruction control based on a work schedule by a storage base management server according to a fifth embodiment.
  • FIG. 11 is a functional block diagram for controlling work related to warehousing and receiving operations, which is executed in cooperation with a storage base management server and each information processing device of the humanoid robot.
  • FIG. 1 is a diagram illustrating an example of computer hardware that functions as an information processing device.
  • FIG. 1 is a front view of a humanoid robot according to this embodiment.
  • the humanoid robot 1 according to this embodiment comprises an upper body 2, legs 3, and a connecting part 4 that rotatably connects the upper body 2 to the legs 3.
  • the robot is placed, for example, on a production line in a factory to perform work on a line including shelves on which objects (e.g., packages to be picked) are displayed, or on objects (e.g., fallen objects) on the floor.
  • the work includes not only picking, which is to grasp packages 100 from shelves, but also packing, which is to place the grasped packages 100 into a specified case (e.g., a cardboard box, etc.).
  • the upper body 2 has two arms 5 and 6.
  • the arms 5 and 6 are attached to the left and right of the upper body 2 so that they can rotate freely.
  • a gripping part 20 for grasping an object is attached to the tip of the arms 5 and 6. Details of the gripping part 20 will be described later.
  • the number of arms is not limited to two, and may be one or three or more.
  • the leg 2 has two wheels 7 and 8 attached to its bottom, allowing it to move across the floor on which the humanoid robot 1 is placed.
  • the connecting part 4 rotatably connects the upper body part 2 and the legs 3.
  • the upper body part 2 can lean forward and backward relative to the legs 3.
  • the humanoid robot 1 can lean the upper body part 2 forward relative to the legs 3, as shown in FIG. 2, to pick up luggage placed on a shelf, objects placed on the floor, and objects that have fallen to the floor during work.
  • luggage 100 is used as an example of an object, but this is merely one example and other objects may of course be used.
  • the legs 2 have a balancing function to prevent the humanoid robot 1 from falling over when the upper body 2 leans forward or backward relative to the legs 3 or when the humanoid robot 1 moves.
  • the connecting part 4 has a function that allows the distance between the upper body part 2 and the legs 3 to be changed, as shown in FIG. 1. Therefore, the vertical position of the upper body part 2 relative to the legs 3 can be adjusted, as shown by arrow A, to match the height of the workbench on the production line.
  • the humanoid robot 1 is controlled by a control system 10 implemented within the humanoid robot 1.
  • the gripping parts 20 attached to the ends of the arms 5 and 6 have a structure similar to that of a human hand on one arm side (the arm 6 side, which is the left arm in this embodiment) (Intelligent Hand System), and a rectangular structure on the other arm side (the arm 5 side, which is the right arm in this embodiment).
  • the left hand side will be referred to as "grip part 20L” and the right hand side will be referred to as "grip part 20R”).
  • the gripping parts 20 are attached to the arms 5 and 6 so as to be freely rotatable.
  • the grip portion 20L has three fingers 22A, 22B, and 22C, each of which has a plurality of joints. Note that, although the number of fingers of the grip portion 20L is three in the present embodiment, it may have a multi-finger structure, such as five fingers.
  • suction pads 24 are attached to the palm side 20A of the gripping portion 20L.
  • a palm sensor 26 is attached to the center of the palm side 20A of the gripping portion 20L.
  • the palm sensor 26 is equipped with a high-resolution camera that identifies the type of luggage 100, and a MoPU (Motion Processing Unit) that identifies the position of the luggage 100.
  • MoPU Motion Processing Unit
  • suction pads 24X and 24Y are attached to the tips of the three fingers 22A, 22B, and 22C, respectively. The classification of suction pads 24X and 24Y will be described later.
  • the grip 20R includes a rectangular main body 20B, and a plurality of (four in this embodiment) suction pads 24 are attached to the tip surface of the main body 20B.
  • the suction pads 24 may be either the suction pad 24X or the suction pad 24Y used in the left grip 20L, or may have a different diameter.
  • a palm sensor 26 is attached to the center of the tip surface of the main body 20B of the gripper 20R.
  • the palm sensor 26 is equipped with a high-resolution camera that identifies the type of luggage 100, and a MoPU (Motion Processing Unit) that identifies the position of the luggage 100.
  • MoPU Motion Processing Unit
  • the suction pad 24 is composed of a rubber pad portion 24A that faces the baggage 100 when gripping it, and a nipple 24B that forms an air flow path to suck in air from the sealed space formed by the close contact between the pad portion 24A and the baggage 100.
  • the suction pad 24 in this embodiment has an air suction structure, and has suction power by sucking air from the sealed space through a hole 24C provided in the nipple 24B to create a vacuum (including, for example, a near vacuum).
  • a vacuum including, for example, a near vacuum.
  • the suction pad 24 is not limited to an air suction structure, and may have a structure in which suction occurs simply by changing the volume of the sealed space through deformation of the pad portion 24A.
  • the size of the suction pad 24 varies depending on the mounting position (i.e., the diameter dimension of the pad portion 24A varies depending on the mounting position).
  • the suction pads 24 are classified into large diameter size and small diameter size, and are composed of suction pads 24X of relatively small diameter size (i.e., smaller than the large diameter size) and suction pads 24Y of relatively large diameter size (i.e., larger than the small diameter size).
  • suction pads 24X of relatively small diameter size
  • suction pads 24Y of relatively large diameter size (i.e., larger than the small diameter size).
  • suction pads 24 when it is not necessary to distinguish between sizes and they are referred to collectively, they may be simply referred to as suction pads 24.
  • a small diameter suction pad 24X is attached to the finger portion 22A of the gripping portion 20L, and a large diameter suction pad 24Y is attached to the other finger portions 22B, 22C, and the palm side 20A.
  • a large-diameter suction pad 24Y is attached to the main body of the gripper 20R.
  • suction pads 24X and 24Y there are two sizes of suction pads 24X and 24Y, there may be three or more sizes.
  • the high-resolution camera constituting the palm sensor 26 of this embodiment uses the captured image information to identify what the photographed luggage 100 is, whether it is a care product such as shampoo, conditioner, cosmetics, or toothpaste, or whether it is food such as instant ramen or a bag of snacks.
  • the high-resolution camera serves to obtain information to identify the type of luggage 100 (e.g., shape, size, hardness, etc.).
  • the MoPU which together with the high-resolution camera constitutes the palm sensor 26 of this embodiment, outputs motion information indicating the motion of the captured luggage 100 (in this case, the relative motion between the arms 5, 6) from an image of an object captured at a frame rate of 1000 frames/second or more, for example at a frame rate of 1000 frames/second or more.
  • the frame rate may be increased, and when detecting a fixed object (for example, a non-moving luggage 100), the frame rate may be decreased.
  • the MoPU outputs, as motion information, vector information on the movement of a point indicating the location of an object along a specified coordinate axis.
  • the motion information output from the MoPU does not include information necessary to identify what the photographed luggage 100 is (e.g., the above-mentioned care product or food), but only includes information indicating the movement (e.g., direction and speed of movement) on the coordinate axes (i.e., x-axis, y-axis, z-axis) of the center point (or center of gravity) of the luggage 100.
  • the trajectory of the gripping portion 20 as it approaches the luggage 100 can be accurately guided.
  • the information processing device 14 uses information from a palm sensor 26 including a high-resolution camera and MoPU to pinpoint the position of the luggage 100 with high precision, calculates the degree of spread of the fingers 22A, 22B, 22C when gripping, the strength of the grip, and the suction force of the suction pad 24, and accurately controls the minute movements of the arms 5, 6 and the gripping part 20, making it possible to handle the picking of a variety of luggage 100.
  • a palm sensor 26 including a high-resolution camera and MoPU to pinpoint the position of the luggage 100 with high precision, calculates the degree of spread of the fingers 22A, 22B, 22C when gripping, the strength of the grip, and the suction force of the suction pad 24, and accurately controls the minute movements of the arms 5, 6 and the gripping part 20, making it possible to handle the picking of a variety of luggage 100.
  • the baggage 100 to be picked can be classified as shown in Table 1 below.
  • Table 1 classifies the objects 100 to be picked according to three categories: shape, weight, and other condition.
  • the shape category can be set to box, not box, or other.
  • the weight category can be set to over 5kg or below 5kg.
  • the state category can be set to linear shapes such as polygons (Aligned) or nonlinear shapes such as spheres or bags (Not aligned).
  • an applicable robot is selected based on the characteristics of the luggage 100 determined by a combination of the above items, and the picking task is performed. That is, the types of robots include finger robots, sucking robots in "large”, “medium”, and “small”, and two-arm robots, and an applicable robot is selected from among these.
  • a single humanoid robot 1 is provided with multiple different gripping parts and is equipped with suction pads of different sizes (e.g., suction pads 24X, 24Y), allowing one or two arms 5, 6 attached to the single humanoid robot 1 to pick up luggage 100 with the various characteristics described above.
  • suction pads 24X, 24Y suction pads 24X, 24Y
  • the object size is classified into five patterns (extra-large, large, medium, small, extra-small) as shown in Table 2, and a picking operation corresponding to each of the five patterns is selected (suitable for: right hand, left hand palm, left 2 fingers, left 1 finger).
  • Selection Control 6 Although not shown in Table 2, if the luggage 100 is suitable for gripping, the luggage 100 is grasped and lifted with the fingers 22A, 22B, and 22C of the gripping portion 24L of the left hand. This selection control 6 may be used in conjunction with the above selection controls 1 to 5, or may be executed alone.
  • FIG. 5 is a schematic diagram of an example of a control system for a humanoid robot according to this embodiment.
  • the control system 10 includes a sensor 12 mounted on the humanoid robot, a palm sensor 26 including a high-resolution camera and a MoPU, and an information processing device 14.
  • the sensor 12 sequentially acquires information indicating at least the distance and angle between the object around the humanoid robot 1 on which the humanoid robot 1 is working and the arms 5, 6.
  • the sensor 12 may be a high-performance camera, a solid-state LiDAR, a multi-color laser coaxial displacement meter, or a variety of other sensors.
  • Other examples of the sensor 12 include a vibration meter, a thermo camera, a hardness meter, a radar, a LiDAR, a high-pixel, telephoto, ultra-wide-angle, 360-degree, high-performance camera.
  • Information obtained by the sensor 12 may include vision recognition, fine sound, ultrasound, vibration, infrared, ultraviolet, electromagnetic waves, temperature, humidity, spot AI weather forecast, high-precision multi-channel GPS, low-altitude satellite information, or long-tail incident AI data.
  • the sensor 12 detects images, distance, vibration, heat, smell, color, sound, ultrasound, ultraviolet light, infrared light, etc.
  • Other information detected by the sensor 12 includes the movement of the center of gravity of the humanoid robot 1, the material of the floor on which the humanoid robot 1 is placed, the outside air temperature, the outside air humidity, the up/down/side/diagonal inclination angle of the floor, the amount of moisture, etc.
  • the sensor 12 performs these detections, for example, every nanosecond.
  • the palm sensor 26 (e.g., a high-resolution camera and MoPU) is a sensor provided on the gripping portion 20 of the arms 5 and 6, and has a camera function for photographing the luggage 100 and a positioning function for identifying the position of the luggage 100, separate from the sensor 12.
  • two MoPUs may be used to output vector information of the movement of a point indicating the location of an object along each of three coordinate axes (i.e., the x-axis, the y-axis, and the z-axis) in a three-dimensional orthogonal coordinate system.
  • the z-axis is the axis along the depth direction (e.g., the direction of a vehicle's travel).
  • the information processing device 14 includes an information acquisition unit 140, a control unit 142, and an information storage unit 144.
  • the information acquisition unit 140 acquires information about objects detected by the sensor 12 and the palm sensor 26 (e.g., a high-resolution camera and MoPU).
  • the sensor 12 and the palm sensor 26 e.g., a high-resolution camera and MoPU.
  • the control unit 142 uses the information acquired by the information acquisition unit 140 from the sensor 12 and AI (Artificial Intelligence) to control the rotational movement of the connecting unit 4, the movement of the arms 5 and 6, etc.
  • AI Artificial Intelligence
  • the control unit 142 also uses information acquired by the information acquisition unit 140 from the palm sensor 26 (e.g., a high-resolution camera and MoPU) to determine the type (e.g., shape, size, hardness, etc.) and position of the luggage 100 in detail, and controls the palm side 20A to face the luggage 100 according to its external shape and position, to be adsorbed by the suction pad 24, and to be grasped by the three fingers 22A, 22B, and 22C (hereinafter also referred to as "grasping control").
  • the palm sensor 26 e.g., a high-resolution camera and MoPU
  • the type of object may be determined based on the external shape information of the luggage 100, and a gripping control (e.g., "suction” only, “grasping” only, or a combination of “suction” and “grasping”) may be selected.
  • a gripping control e.g., "suction” only, “grasping” only, or a combination of “suction” and "grasping”
  • control unit 142 executes the following processes as an overall operation.
  • the connecting portion 4 is driven to tilt the upper body portion 2 forward or backward so that an object on a shelf or the floor can be picked up.
  • (2) Drive the arms 5, 6 and the gripper so that the object can be grasped.
  • (3) The upper body 2 is driven up and down relative to the legs 3 to match the height of the workbench on the production line. (4) Maintain balance to prevent the humanoid robot 1 from falling over.
  • the drive of the wheels 7, 8 is controlled so that the humanoid robot 1 can push a cart or the like.
  • the information processing device 14 when picking up an object on the floor, the information processing device 14 repeatedly executes the flowchart shown in FIG. 6.
  • step S100 the information acquisition unit 140 acquires information about the object detected by the sensor 12.
  • step S102 the control unit 142 uses the object information acquired in step S100 and AI to control the connecting unit 4 and the arms 5 and 6 to pick up the object on the floor.
  • step S104 the control unit 142 moves the picked up object to a specified position.
  • the humanoid robot 1 comprises an upper body 2, legs 3, and a connecting part 4 that connects the upper body 2 and legs 3 in a freely rotatable manner.
  • the rotation of the connecting part 4 is controlled based on information acquired by a sensor 12. This makes it possible to determine the distance and angle between the humanoid robot 1 and an object, thereby enabling the robot to perform actions such as picking up an object on the floor.
  • the connecting part 4 can change the distance between the upper body part 2 and the legs 3, the vertical position of the upper body part 2 relative to the legs 3 can be adjusted to match the height of the workbench on the production line.
  • the legs 2 have a balancing function to prevent the humanoid robot 1 from falling over when the upper body 2 leans forward or backward relative to the legs 3. This makes it possible to prevent the humanoid robot 1 from falling over when performing tasks such as pushing or pulling an object on a production line. This makes it possible to prevent breakdowns of the humanoid robot 1 due to falling over, or injuries to people around the humanoid robot 1.
  • FIG. 7 is a flowchart showing a procedure of gripping control when an object is gripped by the gripper 20 in conjunction with the overall movement of the humanoid robot 1.
  • step 150 it is determined whether or not an instruction to grasp an object has been given. If a positive determination is made, the process proceeds to step 152, where the humanoid robot 1 is moved (e.g., the arms 5 and 6 are operated) so that the palm side 20A faces the target baggage 100, and the process proceeds to step 154.
  • the humanoid robot 1 is moved (e.g., the arms 5 and 6 are operated) so that the palm side 20A faces the target baggage 100, and the process proceeds to step 154.
  • step 154 the palm side 20A is placed facing the baggage 100 to detect information about the baggage 100.
  • the information detected by the palm sensor 26 e.g., a high-resolution camera and MoPU
  • the type e.g., shape, size, hardness, etc.
  • the process proceeds to step 158.
  • step 158 the operation for gripping the luggage 100 is selected.
  • the operation is selected from “suction” only, “grabbing” only, or a combination of "suction” and "grabbing”.
  • step 160 a selection process for the gripping unit 20 and the suction pad 24 is performed according to the characteristics of the luggage 100 (see FIG. 8 for details), and the process proceeds to step 162.
  • step 162 the luggage 100 is grasped (for example, “suction” only, “grabbing” only, or “suction” and “grabbing”).
  • next step 164 it is determined whether the gripping of the luggage 100 was successful, and if the determination is positive, the gripped luggage 100 is carried to a predetermined location, and the process proceeds to step 150 to wait for an instruction to grip the next object.
  • step 164 If the result of step 164 is negative, the process proceeds to step 166, where error processing (e.g., retry or cancel) is performed, and the process returns to step 150.
  • error processing e.g., retry or cancel
  • FIG. 8 is a control flow chart showing the gripper and suction pad selection processing routine executed in step 160 of FIG.
  • step 170 it is determined whether the luggage 100 is extra large. If the determination in step 170 is positive (i.e., the luggage is confirmed to be extra large), the process moves to step 172, where the gripper 20R on the right side is selected, and the four suction pads 24Y attached to the gripper 20R are selected, and the process moves to step 190.
  • step 170 If the answer is negative in step 170, the process moves to step 174, where the left-hand grip 20L is selected, and the process moves to step 176.
  • step 176 it is determined whether the baggage 100 is large. If the determination in step 176 is affirmative (i.e., the baggage is determined to be large), the process moves to step 178, where the four suction pads 24Y on the palm side 20A of the gripping portion 20L are selected, and the process moves to step 190.
  • step 176 If the result of step 176 is negative, the process proceeds to step 180.
  • step 180 it is determined whether the baggage 100 is medium-sized. If the determination in step 180 is affirmative (i.e., the baggage is determined to be medium-sized), the process proceeds to step 182, where the two large-diameter suction pads 24Y attached to the fingers 22B and 22C of the gripper 20L are selected, and the process proceeds to step 190.
  • step 180 If the result of step 180 is negative, the process proceeds to step 184.
  • step 184 it is determined whether the luggage 100 is small or not. If the determination in step 184 is affirmative (i.e., the luggage is determined to be small), the process proceeds to step 186, where one of the large-diameter suction pads 24Y attached to the fingers 22B or 22C of the gripper 20L is selected, and the process proceeds to step 190.
  • step 184 determines whether a negative determination is made in step 184 (i.e., the extra small size is confirmed).
  • the process proceeds to step 188, where the small diameter suction pad 24X attached to the finger portion 22A of the gripper 20L is selected, and the process proceeds to step 190.
  • step 190 it is determined whether or not grasping with the fingers 22A, 22B, and 22C is necessary. If the determination is affirmative, the process proceeds to step 192, where a grasping operation with the three fingers 22A, 22B, and 22C of the gripping portion 24L on the left hand is selected, and the routine ends. If the determination is negative in step 190, the routine ends.
  • the gripping portion 20 is provided with three finger portions 22A, 22B, and 22C, and a plurality of suction pads 24 are attached to the palm side 20A of the gripping portion 20 and to the finger portions 22A, 22B, and 22C.
  • the suction pads 24, for example, have an air suction structure, and can suction the luggage 100, and the luggage 100 can be grasped by bending the fingers 22A, 22B, and 22C.
  • the luggage 100 based on its characteristics (e.g., shape or weight, etc.) and selecting the gripper 20 and the suction pad 24 based on the classification results, it becomes possible for a single humanoid robot 1 to pick various types of luggage 100. In other words, there is no need to select and dispatch a different robot for each object's characteristics, and the efficiency of the picking work can be improved.
  • characteristics e.g., shape or weight, etc.
  • a palm sensor 26 including a high-resolution camera and MoPU By attaching a palm sensor 26 including a high-resolution camera and MoPU to the palm side 20A and mounting the gripper 20 with the above structure on the arms 5 and 6 of the humanoid robot 1, an object can be securely held by the suction surface, and the baggage 100 can be carried without dropping from the gripper 20 even if the humanoid robot 1 moves quickly.
  • a palm sensor 26 e.g., a high-resolution camera and MoPU
  • the baggage 100 can be captured with high accuracy, and tasks that require minute movements can also be handled.
  • Second Embodiment A second embodiment of the present disclosure will be described with reference to FIGS.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and the description of the components will be omitted.
  • the second embodiment is characterized in that multiple humanoid robots 1 work together to grasp and transport one piece of luggage 100.
  • the gripping portion 20 e.g., left hand or right hand
  • the size of the suction pad 24 are selected depending on the condition of the luggage 100 (here, the weight) so that the luggage 100 is gripped in an optimal condition.
  • the gripping becomes unstable with a single humanoid robot 1.
  • multiple humanoid robots 1 are configured to grasp and transport the package in cooperation with each other.
  • the number of humanoid robots 1 required is set based on that weight (see Table 3).
  • the gripping form e.g., left/right hand, size of the suction pad 24, and whether or not to use a gripping action in combination
  • weight etc.
  • step 169 it is determined whether the weight of the luggage 100 to be grasped is within a predetermined standard based on prior information.
  • step 169 If the result of step 169 is positive, the process proceeds to step 170.
  • the process following step 170 is the same as that shown in FIG. 8 described in the first embodiment, so a description thereof will be omitted here.
  • step 169 determines that the weight of the luggage 100 does not meet the specified standards (e.g., exceeds 5 kg), and the process proceeds to step 194, where processing for determining whether the luggage 100 meets the specified standards (see FIG. 10, described in detail below) is executed, and this routine ends.
  • the specified standards e.g., exceeds 5 kg
  • step 169 the judgment in step 169 is made based on weight information that is known in advance, but if there is no weight information available in advance, the weight can be measured using the right-hand grip 20R that is compatible with Extra-Large and selected in step 172, and if it is outside the specified standard (e.g., over 5 kg), the process can proceed to step 194.
  • the specified standard e.g., over 5 kg
  • FIG. 10 is a control flow chart showing the details of the predetermined out-of-standard processing subroutine in step 194 in FIG.
  • step 200 the required number of humanoid robots 1 is set based on the weight of the luggage.
  • the humanoid robot 1 required is determined according to the weight of the luggage 100. If the luggage 100 weighs 25 kg, it exceeds the tolerance of the humanoid robot 1 for grasping, so the luggage is handed over to a specialized transport robot.
  • weight range of the luggage 100 shown in Table 3 is an example, and may be determined based on the specifications of the humanoid robot 1.
  • the relevant humanoid robots 1 are instructed to gather.
  • the target of the instruction is, for example, a waiting humanoid robot 1, but it may also be a humanoid robot 1 returning to a waiting position near the luggage 100 to be grasped.
  • the conditions are met, it may be a humanoid robot 1 that is gripping and transporting another luggage 100.
  • the conditions include the gripping part required to grip the current luggage 100 is not in use, and the currently gripped luggage 100 is close to the destination, and this can be executed when multiple humanoid robots 1 are managed collectively.
  • step 204 the load sharing ratio of the luggage 100 is calculated based on the respective gripping points of the assembled multiple humanoid robots 1 and the center of gravity of the luggage 100, and then in step 206, a gripping form is selected according to the result of the calculation in step 204 (e.g., the shared load (i.e., weight)).
  • This gripping form selection can use Table 2 in the first embodiment. In other words, the same processing as steps 170 to 192 in FIG. 8 is executed in this step 206.
  • the conveying path is, for example, crank-shaped as shown in FIG. 11, and the conveying path 208 has right and left turns, the two humanoid robots 1 will have different travel trajectories.
  • decelerating or accelerating causes an inertial force to be applied to the luggage 100, changing the gripping state, which may result in the luggage 100 falling off.
  • FIG. 11 is a plan view showing two humanoid robots 1 holding one piece of luggage 100 approaching a crank-shaped transport path.
  • step 210 of FIG. 12 the travel route is confirmed, and then the process proceeds to step 212, where a stable transport of the luggage 100 along the confirmed travel route is set (for example, a curved movement that can minimize the inertial force acting on the luggage 100) (see dotted arrow A in FIG. 11).
  • a travel route (see solid arrow B in Figure 11) is set for one (e.g., the first humanoid robot 1A) of the two humanoid robots 1 (e.g., the first humanoid robot 1A and the second humanoid robot 1B).
  • step 218 driving is instructed based on the driving route set in steps 214 and 216, and this routine ends.
  • the initially selected humanoid robot 1 transports the luggage 100 from a starting point (e.g., a gripping position) to an end point (e.g., a destination), but the luggage 100 may be handed over to another humanoid robot 1 at a predetermined relay point, and transported from the starting point to the end point in a so-called relay system.
  • a starting point e.g., a gripping position
  • an end point e.g., a destination
  • the conditions for delivery may be such that relay points are set in advance for each specified distance, or a location with a step may be set as a relay point.
  • a humanoid robot 1 that prioritizes speed can be selected for straight driving
  • a humanoid robot 1 equipped with a damper mechanism that can tilt left and right based on the radius of curvature of the curve and the driving speed can be selected for curve driving
  • a humanoid robot 1 equipped with a shock absorber with high shock absorption capacity can be selected for driving on uneven road surfaces
  • the luggage 100 can be transported in a stable gripping state.
  • the coordinated movement control of the multiple humanoid robots 1 is executed by the information processing device 14 (see FIG. 5) of the first humanoid robot 1 that attempts to grasp the luggage, but it can also be executed by the information processing devices 14 of each humanoid robot 1 cooperating with each other and exchanging position information, etc.
  • a main information processing device 14 may be set (a so-called leader humanoid robot 1) and commands the subordinate information processing devices 14, or the robots may be operated according to instructions from a management and control center (not shown) that collectively manages the multiple linked humanoid robots 1.
  • the suction pads 24X, 24Y are selected based on attributes (sometimes called properties) of the luggage 100, including the shape, weight, etc. Specifically, by using selection controls 1 to 6, the gripping portion 20 (e.g., left hand or right hand) and the size of the suction pad 24 are selected according to the attribute state (here, weight) of the luggage 100, so that the luggage 100 is gripped in an optimal state.
  • the gripping portion 20 is referred to as the "standard gripping portion 20."
  • the attributes of the luggage 100 are of a certain standard (for example, luggage of a certain size or weight or more, luggage that is soft and easily deformed, luggage that is flat only on the bottom surface of a recess, etc.), the standard gripping parts 20 (20L and 20R) that are attached to the arms 5 and 6 in advance will not grip it unstably.
  • a certain standard for example, luggage of a certain size or weight or more, luggage that is soft and easily deformed, luggage that is flat only on the bottom surface of a recess, etc.
  • extra gripping parts 21EX (20EXA, 20EXB, and 20EXC) are provided as shown in Figures 13 and 14, and the standard gripping part 20 is replaced with the extra gripping part 21EX as necessary to grip and transport the luggage 100.
  • the standard gripping portion 20 attached to the tip of the arms 5 and 6 has a structure similar to that of a human hand on one side (the arm 6 side, which is the left arm in this embodiment) (Intelligent Hand System), and a rectangular structure on the other side (the arm 5 side, which is the right arm in this embodiment).
  • the left hand side will be referred to as the “standard gripping portion 20L” and the right hand side will be referred to as the “standard gripping portion 20R”).
  • the standard gripping portion 20 is attached to the arms 5 and 6 so as to be freely rotatable.
  • the humanoid robot 1 is also fitted with a belt 28 around the lower part of the upper body 2 (at the waist), and holders (not shown) are attached to the belt 28 to detachably hold each of the three extra gripping parts 21EXA, 20EXB, and 20EXC.
  • FIG. 13 three extra gripping parts 21EX are shown, but the number of extra gripping parts 21EX may be one type, two types, or four or more types.
  • the number of extra gripping parts 21EX to be attached can be determined according to the attributes of the luggage 100 described below.
  • FIGS 15A to 15D show the detailed configurations of three types of extra gripping parts 21 (21EXA, 21EXB, and 21EX) that are equipped to the humanoid robot 1 of this embodiment in addition to the standard gripping part 20, and their relationship to their uses.
  • FIG. 15A is a front view of the belt 28 attached to the humanoid robot 1 of FIG. 13.
  • the extra gripping portion 21EXA, the extra gripping portion 21EXB, and the extra gripping portion 21EX are each detachably attached.
  • the extra gripping unit 21EXA has a single pad 24S attached to a rectangular main body 30.
  • the diameter dimension of the suction surface of the pad 24S is larger than the suction pad 24 attached to the standard gripping unit 20 (i.e., extra-large size), and is applicable when gripping luggage 100 that is equal to or larger than a specified size (i.e., length x width x height) and equal to or larger than a specified weight.
  • a specified size i.e., length x width x height
  • a specified weight i.e., length x width x height
  • the pad 24S is not limited to the specification of suction.
  • an auxiliary suction member such as a hook or adhesive material may be formed on the surface facing the luggage 100, and the luggage 100 may be grasped by the auxiliary suction member (for example, by hanging it on the hook or adhering it to the adhesive material).
  • a monitoring sensor 26A with the same function as the palm sensor 26 is attached to the main body 30.
  • the extra gripping portion 21EXB has a rectangular main body 30 to which a hemispherical adapter 30A is attached.
  • the adapter 30A has multiple suction pads 24T attached, each with its axial direction distributed radially.
  • the suction pad 24T has a diameter dimension equivalent to that of the suction pads 24, 24X, and 24Y attached to the standard gripping portion 20, and is used when gripping soft luggage 100 and deformable luggage 100. In other words, it is intended for gripping luggage 100 that has a soft surface and becomes dented when the arms 5 and 6 are pressed against it, making it impossible for the suction pad 24 to grip it (i.e., it is out of spec), and which previously had to be handled by a human.
  • a monitoring sensor 26A with the same function as the palm sensor 26 is attached to the main body 30.
  • the extra gripping portion 21EXC has a rectangular main body 30 to which an expandable adapter 30B is attached.
  • the adapter 30B is formed from multiple cylindrical members, with the diameter gradually decreasing from the base to the tip, so that the cylindrical member on the tip side can be housed within the cylindrical member on the base side. This allows the adapter 30B to expand and contract when the cylindrical members are housed inside.
  • a suction pad 24U is attached to the tip of the frontmost cylindrical member.
  • the suction pad 24U has a diameter equal to that of the suction pads 24, 24X, and 24Y attached to the standard gripping portion 20, and is used to grip luggage 100 with an uneven surface and luggage 100 with a flat surface on the bottom of the recessed portion. In other words, it is intended for gripping luggage 100 that cannot be gripped by the suction pads 24, 24X, and 24Y attached to the standard gripping portion 20 (i.e., it is out of spec) and that previously had to be handled by humans.
  • a monitoring sensor 26A with the same function as the palm sensor 26 is attached to the main body 30.
  • the most suitable extra gripping part 21 is selected based on the attributes of the luggage (see Table 4), and the standard gripping part 20 is replaced with the selected extra gripping part 21 to perform the grasping operation. That is, the operation of removing the standard gripping part 20 from one arm and the operation of attaching the extra gripping part 21 are performed using the standard gripping part 20 attached to the other arm.
  • the extra gripping part 21 may be replaced with the standard gripping part 20. The replacement may also be performed using the extra gripping part 21 attached to the other arm. That is, the operation of attaching and detaching the standard gripping part 20 or the extra gripping part 21 to and from one arm is performed using the standard gripping part 20 or the extra gripping part 21 attached to the other arm.
  • FIG. 16 is a control flow chart showing the gripper and suction pad selection processing routine executed in step 160 of FIG.
  • step 169 it is determined whether the standard gripping unit 20 is capable of performing the operation based on the prior information. If the determination in step 169 is affirmative, the process proceeds to step 170.
  • the process following step 170 is the same as that in FIG. 8 described in the first embodiment, and therefore will not be described here.
  • step 169 If the result of step 169 is negative, it is determined that the extra gripping portion 21 needs to be applied, and the process proceeds to step 1194, where the extra gripping portion application process (see FIG. 17, described in detail below) is executed, and this routine ends.
  • step 169 the judgment in step 169 is made based on weight information that is known in advance. However, if there is no prior information on the applicability of the standard gripping unit 20, the palm sensor 26 of the right hand standard gripping unit 20R that is compatible with Extra-Large, selected in step 172, may be used to obtain attribute information of the luggage 100, and if the standard gripping unit is not applicable, the process may proceed to step 1194.
  • FIG. 17 is a control flowchart showing details of the extra gripping portion application processing subroutine in step 1194 of FIG. 16.
  • step 1200 the extra gripping unit 21 is selected based on the attributes of the luggage 100 (see Table 4).
  • the type of extra gripping portion 21 required is determined according to the attributes of the luggage 100, as shown in Table 4.
  • the selection of the type of extra gripping part based on the attributes of the luggage 100 shown in Table 4 is just one example, and the selection can be determined based on the type and number of extra gripping parts possessed.
  • three types of extra gripping parts 21 are attached to the belt 28, so a selection can be made from these three types of extra gripping parts 21, but the number of extra gripping parts attached to the belt 28 can be increased, or multiple types of extra gripping parts 21 can be selected and attached to the belt 28 in advance depending on the work site. Also, different types of extra gripping parts 21 can be attached to each humanoid robot 1.
  • the non-replacement arm 5 removes the gripping part (usually the standard gripping part 20, but there are also cases where a different extra gripping part 21 has already been attached) attached to the replacement arm 6 (or 5).
  • the replacement arm 6 (or 5) is moved to the position of the belt 28, and the extra gripping part 21 is attached. The same operation is performed when returning to the standard gripping part 20.
  • the gripping portion originally attached to the replacement arm 6 (or 5) that is being gripped by the non-replacement arm 5 (or 6) is stored in the holder of the belt 28, and this routine ends.
  • an extra gripping unit 21 is prepared specifically for special luggage 100, such as luggage 100 that is heavier than the standard, luggage 100 with a soft surface that will dent when pressed, and luggage 100 with an uneven surface and only a flat surface that can be adhered to a part of it (the recessed bottom surface).
  • luggage 100 that is heavier than the standard
  • luggage 100 with a soft surface that will dent when pressed luggage 100 with an uneven surface and only a flat surface that can be adhered to a part of it (the recessed bottom surface).
  • the humanoid robot 1 can be used to grip and transport non-standard luggage 100 that would previously have been left to human hands.
  • FIG. 18A is a perspective view of a storage base 50 which is a warehouse in a logistics center according to this embodiment and which stores packages 100 (see FIG. 18B).
  • a number of shelves 52 are arranged on the storage base 50. As an example, six shelves 52 are arranged in a row, and two rows form a so-called "island.” The formation of islands and the number of shelves 52, etc. are not limited to the arrangement in FIG. 18A.
  • the shelf 52 is provided with a plurality of storage spaces 52A, and each storage space 52A is capable of storing luggage 100.
  • multiple transport devices 54 are arranged so as to be movable within the storage base 50.
  • the operation of the transport device 54 is controlled by commands from a storage base management server 56, which collectively manages all the controlled devices in the storage base 50, and it moves, for example, between a predetermined waiting position, an arrangement position on the shelf 52, and a picking station 58.
  • the transport device 54 When the transport device 54 faces the shelf 52, it can enter the gap under the shelf 52 and lift it up, lifting it off the floor of the storage base 50. Therefore, the shelf 52 can be moved to the desired position by moving the transport device 54.
  • a number of picking stations 58 are arranged at predetermined positions on the storage base 50. Although two picking stations 58 are shown in FIG. 18A, one or three or more picking stations 58 may be used.
  • a humanoid robot 1 is arranged at each picking station 58. The humanoid robot 1 may be used instead of the transport device 54. The humanoid robot 1 can, for example, transport the shelf 52, or directly remove luggage 100 from the shelf 52 (e.g., storage space 52A), or directly store luggage in the shelf 52 (e.g., storage space 52A).
  • gripping control is basically performed by an information processing device 14 mounted on each humanoid robot 1, but the gripping control of the humanoid robots 1 present in the storage base 50 shown in FIG. 18A may be centrally controlled by a storage base management server 56.
  • the humanoid robot 1 performs the tasks it receives commands to perform under the management of the storage base management server 56, in cooperation with the information processing device 14 (see Figure 5) installed in the humanoid robot 1.
  • the humanoid robot 1 receives commands from the storage base management server 56 and performs the storing and unstoring operations of the luggage 100.
  • the picking station 58 has an opening 58A where the shelves 52 are arranged, as well as a work space 58B where sorting and packaging are performed.
  • the shipping operation involves removing packages 100 stored on shelves 52 according to their destination, sorting them by destination, and packing them into boxes 60 (e.g., transport materials) for each destination.
  • boxes 60 e.g., transport materials
  • the warehousing operation involves sorting the luggage 100 that arrives at the warehouse into the storage shelves 52 and placing the sorted luggage 100 in the designated positions on the shelves 52.
  • each task in the shipping process and each task in the receiving process are defined as follows:
  • information relating to the work of each humanoid robot 1 is sequentially sent from the information processing device 14 of the humanoid robot 1 to the storage base management server 56.
  • the storage base management server 56 collectively manages information indicating the operating status of multiple humanoid robots 1 (i.e., work progress information).
  • the gripper 20R (or 20L) attached to one arm 5 (or 6) When the humanoid robot 1 is using the gripper 20R (or 20L) attached to one arm 5 (or 6) to carry out the work of storing or retrieving luggage 100, the gripper 20L (or 20R) attached to the other arm 6 (or 5) is free (i.e., in a non-working state).
  • the grippers 20R, 20L attached to the left and right arms 5, 6 of a single humanoid robot 1 are used in combination to carry out two tasks simultaneously (hereinafter also referred to as “simultaneous tasks").
  • Such simultaneous work can lead to errors if performed by a worker (e.g., a human), but it can be realized by having the humanoid robot 1 carry out the shipping and receiving tasks on behalf of the worker.
  • a worker e.g., a human
  • FIG. 19 is a functional block diagram for executing simultaneous work control, which is executed in cooperation with the storage base management server 56 and each information processing device 14 of the humanoid robot 1.
  • the storage base management server 56 includes a work status management unit 62.
  • the work status management unit 62 is connected to a business schedule database 64 and a communication I/F 66.
  • the communication I/F 66 communicates with the information processing device 14 of the humanoid robot 1 and the control device 54A of the transport device 54, exchanging information.
  • the work status management unit 62 sequentially obtains information related to the work schedule from the work schedule database 64, and also obtains work progress information of the control object (e.g., the information processing device 14 of the humanoid robot 1, or the control device 54A of the transport device 54) performing work on the storage base 50 via the communication I/F 66, thereby managing the work schedule, including instructions for allocating the next work.
  • the control object e.g., the information processing device 14 of the humanoid robot 1, or the control device 54A of the transport device 54
  • the communication I/F 66 is connected to the humanoid robot work status information acquisition unit 68, and acquires information regarding the work status when the humanoid robot 1 is working (for example, the position of the picking station 58, the identification of the shelf 52 located in the opening 58A, or whether the left or right gripper 20 is being used, etc.).
  • the humanoid robot work status information acquisition unit 68 acquires detailed information about specific tasks during warehousing or receiving tasks, which are not important for allocating regular work schedules.
  • the humanoid robot work status information acquisition unit 68 is connected to a simultaneous work feasibility determination unit 70.
  • the simultaneous work feasibility determination unit 70 is connected to a work schedule database 64 and a baggage attribute information database 72.
  • the simultaneous work possibility determination unit 70 comprehensively analyzes the work status information from the humanoid robot work status information acquisition unit 68, the work schedule information from the work schedule database 64, and the luggage attribute information from the luggage attribute information database 72 to determine whether or not it is possible to assign another task to the humanoid robot 1 currently performing a specified task (e.g., whether simultaneous work is possible), and if simultaneous work is possible, notifies the work status management unit 62 of that fact.
  • An example of simultaneous work is when the arm 5 or 6 on the non-working side is not working, the next task is work on the same shelf 52 (e.g., identified by work status information and schedule information), and the luggage 100 that is the target of the task is of a weight and size that can be grasped by the arm 5 or 6 on the non-working side (e.g., identified by attribute information) (i.e., the specified condition is met).
  • the work status management unit 62 normally assigns the next task after receiving a task completion notification from the humanoid robot 1 currently working, but before that, it assigns a task to the humanoid robot 1 currently working.
  • a specific shelf 52 is placed at the frontage 58A of a specific picking station 58, and a picking task is performed by grasping a package from the storage space 52A of the shelf 52 with the left-hand gripper 20L.
  • FIG. 20 is a flowchart showing a main routine of normal work instruction control based on a work schedule by the storage base management server 56, which is executed in the storage base 50 (see FIG. 18A).
  • step 2200 the work schedule is read, and then the process proceeds to step 2202, where the allocation process is executed.
  • the allocation process in step 2202 can be executed using a worksheet or the like that indicates which shelf 52 is to be transported to which picking station 58 by which transport device 54, and which humanoid robot 1 is to perform the outbound or inbound work.
  • step 2204 the transport device 54 is instructed to transport the shelf 52, and then in step 2206, the humanoid robot 1 is instructed to perform a shipping or receiving operation, and the process proceeds to step 2208.
  • step 2208 it is determined whether or not a work completion notification has been received, and if the determination is affirmative, the process proceeds to step 2210 to confirm the work instruction target, and then to step 2212 to update the work progress log for each work instruction target, and then to step 2214.
  • step 2208 If there is no notification of the end of the task in step 2208, the process proceeds to step 2214 to continue with other tasks.
  • FIG. 21 is a control flowchart that interrupts the main routine shown in FIG. 20 as appropriate and shows the flow of instructions for simultaneous progress tasks, from determining whether simultaneous progress is possible to instructing a specific humanoid robot 1 to proceed simultaneously.
  • step 2220 work status information from the humanoid robot 1 performing the outgoing or incoming work is acquired. Specifically, position information of the humanoid robot 1 (e.g., the position of the picking station 58, the facing shelf 52, etc.) and gripping information (e.g., the gripping unit performing the gripping, the remaining capacity based on the gripping unit not performing the gripping, etc.) are acquired.
  • position information of the humanoid robot 1 e.g., the position of the picking station 58, the facing shelf 52, etc.
  • gripping information e.g., the gripping unit performing the gripping, the remaining capacity based on the gripping unit not performing the gripping, etc.
  • step 2222 a determination is made as to whether or not simultaneous work is possible based on the work status information obtained in step 2220.
  • step 2222 If the result of step 2222 is negative, it is determined that simultaneous work is not possible, and this routine ends. If the result of step 2222 is positive, the humanoid robot 1 determines that the environment allows simultaneous work, and proceeds to step 2224.
  • a task that can be performed simultaneously is selected from the task schedule based on the attributes of the task schedule and the luggage 100, in addition to the above-mentioned work status information. Specifically, if a luggage 100 that can be grasped by a non-working gripper 20 of the humanoid robot 1 (e.g., an empty gripper 20) is present in the storage space 52A of the currently facing shelf 52, it is determined that the task can be performed simultaneously.
  • a non-working gripper 20 of the humanoid robot 1 e.g., an empty gripper 20
  • the corresponding humanoid robot 1 is instructed to perform a shipping or receiving task, and this routine ends.
  • the relevant humanoid robot 1 performs the initially instructed shipping or storing task with one gripping unit 20, while performing the later instructed shipping or storing task with the other gripping unit 20, thereby improving work efficiency.
  • the humanoid robot 1 while the humanoid robot 1 is performing a specified shipping or receiving task with one of the gripping parts 20, if the conditions are met, a different shipping or receiving task can be performed with the other gripping part 20 (i.e., simultaneous work is being performed), thereby making full use of the spare capacity of the humanoid robot 1 and improving work efficiency.
  • a gripping function is selected from one or two arms 5, 6 (fingers 22A, 22B, or 22C) attached to a single humanoid robot 1, and the luggage 100 is picked up by suction and/or gripping operations.
  • one humanoid robot 1 can not only select a grasping action based on weight information, but can also actually approach the luggage 100 and identify shape information (e.g., size) of the luggage 100 from image information detected by the palm sensor 26, and if there is a possibility that grasping may be unstable (e.g., the predetermined shape information (e.g., size) deviates from an acceptable range) with the selected arms 5, 6 and the fingers 22A, 22B, and 22C provided thereon, the grasping form can be changed on-site (e.g., when facing the luggage 100).
  • shape information e.g., size
  • the predetermined shape information e.g., size
  • the picking task is changed based on shape information (e.g., size).
  • shape information e.g., size
  • the selection controls 1 to 6 based on Tables 1 and 2 described in the first embodiment select the size of the suction pad 24 based on the weight information of the baggage 100.
  • the humanoid robot 1 When the humanoid robot 1 approaches the grasping site and faces the luggage 100, it captures an image of the luggage 100 with the palm sensor 26 and obtains shape information (e.g., size) from the captured image information.
  • shape information e.g., size
  • the information processing device 14 determines whether the acquired shape information is within the allowable range for the selected suction pad size, and if it is outside the allowable range, changes the suction pad size.
  • FIG. 22 is a flowchart showing the procedure of gripping control when gripping the luggage 100 by the gripper 20, which is an operation linked to the overall operation of the humanoid robot 1 and necessary for retrieval and storage operations.
  • step 3150 it is determined whether or not an instruction to grasp the luggage 100 has been given, and if a positive determination is made, the process proceeds to step 3152, where the humanoid robot 1 is moved (e.g., the arms 5 and 6 are operated) so that the palm side 20A faces the target luggage 100, and the process proceeds to step 3154.
  • the humanoid robot 1 is moved (e.g., the arms 5 and 6 are operated) so that the palm side 20A faces the target luggage 100, and the process proceeds to step 3154.
  • step 3154 an operation for gripping the luggage 100 is selected. For example, a selection is made from “suction” only, “grabbing” only, or a combination of "suction” and “grabbing”, and then the process proceeds to step 3156, where a selection process for the gripping unit 20 and suction pad 24 is performed according to the attributes of the luggage 100 (see FIG. 8 for details), and the process proceeds to step 3158.
  • step 3160 the information detected by the palm sensor 26 is analyzed to obtain a detailed understanding of the type (e.g., shape, size, hardness, etc.) and position of the luggage 100, and the process proceeds to step 3162.
  • type e.g., shape, size, hardness, etc.
  • step 3162 the suction pad size-shape tolerance table (see Table 5) previously stored in the information processing device 14 is read, and then the process proceeds to step 3164, where it is determined whether the size of the selected suction pad 24 is within the tolerance range for the luggage 100 to be grasped.
  • step 3164 If the result of step 3164 is negative, the process proceeds to step 3166, where the size of the suction pad 24 is changed based on Table 5, and the process proceeds to step 3168.
  • step 3164 determines whether changes are necessary. If the answer is yes in step 3164, no changes are necessary, so the process moves to step 3168.
  • step 3168 the luggage 100 is grasped (for example, “suction” only, “grabbing” only, or “suction” and “grabbing”).
  • step 3170 If the result of step 3170 is negative, the process proceeds to step 3172, where error processing (e.g., retry or cancel) is performed, and the process returns to step 3150.
  • error processing e.g., retry or cancel
  • Fig. 23 is a functional block diagram of a control system for executing a warehousing operation and a warehousing operation, which is executed in cooperation with a storage base management server 56 and each information processing device 14 of the humanoid robot 1.
  • the storage base management server 56 includes a work status management unit 62.
  • the work status management unit 62 is connected to a business schedule database 64, a baggage attribute information database 72, and a communication I/F 66.
  • the communication I/F 66 communicates with the information processing device 14 of the humanoid robot 1 and the control device 54A of the transport device 54, exchanging information.
  • the work status management unit 62 sequentially obtains information related to the work schedule from the work schedule database 64, and also obtains work progress information of the control object (e.g., the information processing device 14 of the humanoid robot 1, or the control device 54A of the transport device 54) performing work on the storage base 50 via the communication I/F 66, thereby managing the work schedule, including instructions for allocating the next work.
  • the control object e.g., the information processing device 14 of the humanoid robot 1, or the control device 54A of the transport device 54
  • the communication I/F 66 is connected to the humanoid robot work status information acquisition unit 68, and acquires information regarding the work status when the humanoid robot 1 is working (for example, the position of the picking station 58, the identification of the shelf 52 located in the opening 58A, or whether the left or right gripper 20 is being used, etc.).
  • the humanoid robot work status information acquisition unit 68 acquires detailed information about specific tasks during warehousing or receiving tasks that are not important for allocating regular work schedules.
  • the humanoid robot work status information acquisition unit 68 is connected to the work status management unit 62.
  • the work status management unit 62 comprehensively analyzes the work status information from the humanoid robot work status information acquisition unit 68, the work schedule information from the work schedule database 64, and the baggage attribute information from the baggage attribute information database 72, and compares the current progress with the schedule to manage the overall situation.
  • the work status management unit 62 normally assigns the next task after receiving a task completion notification from the humanoid robot 1 currently working, but in some cases, it assigns a task to the humanoid robot 1 currently working.
  • a program installed on the computer 1200 can cause the computer 1200 to function as one or more "parts" of the device according to each of the above embodiments, or cause the computer 1200 to execute operations or one or more "parts” associated with the device according to each of the above embodiments, and/or cause the computer 1200 to execute a process or steps of the process according to each of the above embodiments.
  • Such a program can be executed by the CPU 1212 to cause the computer 1200 to execute specific operations associated with some or all of the blocks of the flowcharts and block diagrams described herein.
  • the computer 1200 in each of the above embodiments includes a CPU 1212, a RAM 1214, and a graphics controller 1216, which are connected to each other by a host controller 1210.
  • the computer 1200 also includes input/output units such as a communication interface 1222, a storage device 1224, a DVD drive, and an IC card drive, which are connected to the host controller 1210 via an input/output controller 1220.
  • the DVD drive may be a DVD-ROM drive, a DVD-RAM drive, etc.
  • the storage device 1224 may be a hard disk drive, a solid state drive, etc.
  • the computer 1200 also includes input/output units such as a ROM 1230 and a keyboard, which are connected to the input/output controller 1220 via an input/output chip 1240.
  • the CPU 1212 operates according to the programs stored in the ROM 1230 and the RAM 1214, thereby controlling each unit.
  • the graphics controller 1216 acquires image data generated by the CPU 1212 into a frame buffer or the like provided in the RAM 1214 or into itself, and causes the image data to be displayed on the display device 1218.
  • the communication interface 1222 communicates with other electronic devices via a network.
  • the storage device 1224 stores programs and data used by the CPU 1212 in the computer 1200.
  • the DVD drive reads programs or data from a DVD-ROM or the like and provides them to the storage device 1224.
  • the IC card drive reads programs and data from an IC card and/or writes programs and data to an IC card.
  • ROM 1230 stores therein a boot program, etc., executed by computer 1200 upon activation, and/or a program that depends on the hardware of computer 1200.
  • I/O chip 1240 may also connect various I/O units to I/O controller 1220 via USB ports, parallel ports, serial ports, keyboard ports, mouse ports, etc.
  • the programs are provided by a computer-readable storage medium such as a DVD-ROM or an IC card.
  • the programs are read from the computer-readable storage medium, installed in storage device 1224, RAM 1214, or ROM 1230, which are also examples of computer-readable storage media, and executed by CPU 1212.
  • the information processing described in these programs is read by computer 1200, and brings about cooperation between the programs and the various types of hardware resources described above.
  • An apparatus or method may be constructed by realizing the operation or processing of information according to the use of computer 1200.
  • CPU 1212 may execute a communication program loaded into RAM 1214 and instruct communication interface 1222 to perform communication processing based on the processing described in the communication program.
  • communication interface 1222 reads transmission data stored in a transmission buffer area provided in RAM 1214, storage device 1224, a DVD-ROM, or a recording medium such as an IC card, and transmits the read transmission data to the network, or writes received data received from the network to a reception buffer area or the like provided on the recording medium.
  • the CPU 1212 may also cause all or a necessary portion of a file or database stored in an external recording medium such as the storage device 1224, a DVD drive (DVD-ROM), an IC card, etc. to be read into the RAM 1214, and perform various types of processing on the data on the RAM 1214. The CPU 1212 may then write back the processed data to the external recording medium.
  • an external recording medium such as the storage device 1224, a DVD drive (DVD-ROM), an IC card, etc.
  • CPU 1212 may perform various types of processing on data read from RAM 1214, including various types of operations, information processing, conditional judgment, conditional branching, unconditional branching, information search/replacement, etc., as described throughout this disclosure and specified by the instruction sequence of the program, and write back the results to RAM 1214.
  • CPU 1212 may also search for information in a file, database, etc. in the recording medium.
  • CPU 1212 may search for an entry whose attribute value of the first attribute matches a specified condition from among the multiple entries, read the attribute value of the second attribute stored in the entry, and thereby obtain the attribute value of the second attribute associated with the first attribute that satisfies a predetermined condition.
  • the above-described programs or software modules may be stored in a computer-readable storage medium on the computer 1200 or in the vicinity of the computer 1200.
  • a recording medium such as a hard disk or RAM provided in a server system connected to a dedicated communication network or the Internet can be used as a computer-readable storage medium, thereby providing the programs to the computer 1200 via the network.
  • the blocks in the flowcharts and block diagrams in each of the above embodiments may represent stages of a process in which an operation is performed or "parts" of a device responsible for performing the operation. Particular stages and “parts" may be implemented by dedicated circuitry, programmable circuitry provided with computer-readable instructions stored on a computer-readable storage medium, and/or a processor provided with computer-readable instructions stored on a computer-readable storage medium.
  • Dedicated circuitry may include digital and/or analog hardware circuitry and may include integrated circuits (ICs) and/or discrete circuits.
  • Programmable circuitry may include reconfigurable hardware circuitry including AND, OR, XOR, NAND, NOR, and other logical operations, flip-flops, registers, and memory elements, such as, for example, field programmable gate arrays (FPGAs), programmable logic arrays (PLAs), and the like.
  • FPGAs field programmable gate arrays
  • PLAs programmable logic arrays
  • a computer-readable storage medium may include any tangible device capable of storing instructions that are executed by a suitable device, such that a computer-readable storage medium having instructions stored thereon comprises an article of manufacture that includes instructions that can be executed to create means for performing the operations specified in the flowchart or block diagram.
  • Examples of computer-readable storage media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like.
  • Computer-readable storage media may include floppy disks, diskettes, hard disks, random access memories (RAMs), read-only memories (ROMs), erasable programmable read-only memories (EPROMs or flash memories), electrically erasable programmable read-only memories (EEPROMs), static random access memories (SRAMs), compact disk read-only memories (CD-ROMs), digital versatile disks (DVDs), Blu-ray disks, memory sticks, integrated circuit cards, and the like.
  • RAMs random access memories
  • ROMs read-only memories
  • EPROMs or flash memories erasable programmable read-only memories
  • EEPROMs electrically erasable programmable read-only memories
  • SRAMs static random access memories
  • CD-ROMs compact disk read-only memories
  • DVDs digital versatile disks
  • Blu-ray disks memory sticks, integrated circuit cards, and the like.
  • the computer readable instructions may include either assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine-dependent instructions, microcode, firmware instructions, state setting data, or source or object code written in any combination of one or more programming languages, including object-oriented programming languages such as Smalltalk (registered trademark), JAVA (registered trademark), C++, etc., and conventional procedural programming languages such as the "C" programming language or similar programming languages.
  • ISA instruction set architecture
  • machine instructions machine-dependent instructions
  • microcode firmware instructions
  • state setting data or source or object code written in any combination of one or more programming languages, including object-oriented programming languages such as Smalltalk (registered trademark), JAVA (registered trademark), C++, etc., and conventional procedural programming languages such as the "C" programming language or similar programming languages.
  • the computer-readable instructions may be provided to a processor of a general-purpose computer, special-purpose computer, or other programmable data processing apparatus, or to a programmable circuit, either locally or over a local area network (LAN), a wide area network (WAN) such as the Internet, so that the processor of the general-purpose computer, special-purpose computer, or other programmable data processing apparatus, or to a programmable circuit, executes the computer-readable instructions to generate means for performing the operations specified in the flowcharts or block diagrams.
  • processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers, etc.

Landscapes

  • Manipulator (AREA)

Abstract

第1把持部の掌部及び指部毎に選択的に設けられ、異なる吸着面積で対象物を吸着して保持把持することが可能な複数種類の吸着パッドと、対象物の少なくとも形状及び重さを含む性状によって、対象物を保持把持する機能として、第1把持部で把持する第1機能、第2把持部で把持する第2機能、第1機能及び第2機能を併用する第3機能の何れかを選択して、対象物を把持する動作を制御する制御部と、を有するロボットの制御システム。

Description

ロボットの制御システム、ロボットの制御プログラム
 本開示は、ロボットの制御システム、及びロボットの制御プログラムに関する。
 工場の生産ラインにおいては作業を自動で行うための人型ロボットが使用されている。特開2019-093506号公報には、人型ロボットの姿勢制御について記載されている。
 また、国際公開WO2011/001569には、弾性体アクチュエータで駆動されて複数の関節を有するロボットアームであって、ロボットアームの手先部に配設され支持面と接触することによりロボットアームを支持する手先支持部材と、手先支持部材と支持面との接触する力を制御すると同時にロボットアームの手先部の位置及び姿勢を制御する制御部により制御することが記載されている。
 しかしながら、従来の人型ロボットによる倉庫内でのピッキング作業において、例えば、荷物が陳列されている棚から当該荷物(例えば、シャンプー、コンディショナー、化粧品、歯磨き粉、カップラーメン、又は菓子袋等の形状、重さ、硬さ、又は壊れやすさが違うもの)をピックアップし、所定の包装体(例えば、箱等)に収容してパッキングするような場面において、現状では人の手に頼っている。
 また、ロボットの把持部の構造をフィンガータイプとして対応しようとしても、指や腕の動きが遅いため、生産性が低い。
 本開示は、上記事実を考慮し、把持部による荷物の位置の確認、掴み、及び把持の一連の作業を迅速かつ確実に行うことができるロボットの制御システム、及びロボットの制御プログラムを得ることが目的である。
 本開示に係るロボットの制御システムは、対象物を保持する基盤となる掌部と、前記掌部から放射状に延長された複数の指部とを備えた第1把持部と、対象物を把持し、かつ保持することが可能な保持体を備えた第2把持部とを有し、前記第1把持部及び前記第2把持部により前記対象物を把持することが可能なロボットの制御システムであって、前記第1把持部の前記掌部及び指部毎に選択的に設けられ、異なる吸着面積で前記対象物を吸着して保持することが可能な複数種類の吸着パッドと、前記対象物の少なくとも形状及び重さを含む性状によって、前記対象物を保持する機能として、前記第1把持部で把持する第1機能、前記第2把持部で把持する第2機能、前記第1機能及び前記第2機能を併用する第3機能の何れかを選択して、前記対象物を把持する動作を制御する制御部と、を有している。
 本開示によれば、制御部は、対象物の少なくとも形状及び重さを含む性状によって、前記対象物を保持する機能として、前記第1把持部で把持する第1機能、前記第2把持部で把持する第2機能、前記第1機能及び前記第2機能を併用する第3機能の何れかを選択して、前記対象物を把持する動作を制御する。
 これにより、把持部による対象物(以下、単に「荷物」という場合がある)の位置の確認、掴み、及び把持の一連の作業を迅速かつ確実に行うことができる。
 本開示において、前記第1把持部は、前記指部が複数設けられ、少なくとも1の指部の先端部には他の吸着パッドと比べて小径の吸着パッドが取り付けられ、前記1の指部以外の他の指部の先端部には他の吸着パッドと比べて大径の吸着パッドが取り付けられており、前記制御部は、前記性状に基づいて、前記第1機能、前記第2機能、前記第3機能の何れかを選択して、前記対象物を把持する動作を制御することを特徴としている。
 1台のロボットの対象部の性状に適合する把持機能を有しているため、ロボットの選択が不要となり、ピッキング作業の効率化を図ることができる。
 本開示において、前記第1把持部は、前記指部が3本設けられ、第1の指部の先端部には他の吸着パッドと比べて小径の吸着パッドが取り付けられ、第2の指部及び第3の指部の先端部には他の吸着パッドと比べて大径の吸着パッドが取り付けられており、前記制御部は、前記対象物が、前記性状に基づいて、特大サイズ、大サイズ、中サイズ、小サイズ、及び特小サイズに分類し、前記対象物が、前記特大サイズの場合は、前記第2把持部に設けられた保持体を用いて把持し、前記対象物が、前記大サイズの場合は、前記掌部に設けられた吸着パッドを用いて把持し、前記対象物が、前記中サイズの場合は、前記第2の指部及び前記第3の指部の先端部に設けられた前記大径の吸着パッドを用いて把持し、前記対象物が、前記小サイズの場合は、前記第2の指部又は前記第3の指部の先端部に設けられた前記大径の吸着パッドを用いて把持し、前記対象物が、前記特小サイズの場合は、前記第1の指部の先端部に設けられた前記小径の吸着パッドを用いて把持することを選択することを特徴としている。
 1台のロボットの対象部の性状に適合する把持機能を有しているため、ロボットの選択が不要となり、ピッキング作業の効率化を図ることができる。
 本開示において、前記第2把持部の前記保持体が、前記大径の吸着パッド又は前記小径の吸着パッドの何れかと同形状の吸着パッドが適用されることを特徴としている。
 第2把持部にも吸着パッドを用いることで、制御が容易となる。
 本開示において、前記第1把持部及び前記第2把持部に設けられ、前記対象物の形状及び位置を含む対象物情報を検出する掌センサ部をさらに有し、前記掌センサ部が、前記対象物の画像を撮影して当該対象物の種類を識別するカメラと、前記対象物の位置を特定するモーションプロセシングユニットとを備えることを特徴としている。
 カメラは、撮影した画像情報に基づき、撮影された対象物を識別する。すなわち、対象物の種類(例えば、形状、大きさ、硬さ等)を特定するための情報を取得する役目を有する。
 モーションプロセシングユニット(MoPU)は、対象物の存在位置を示す点の、所定の座標軸に沿った動きのベクトル情報を動き情報として出力する。すなわち、MoPUから出力される動き情報には、対象物の中心点(又は重心点)の座標軸(すなわち、x軸、y軸、z軸)上の動き(例えば、移動方向と移動速度)を示す情報のみが含まれている。すなわち、把持部が対象物に接近するときの軌跡を精度よく案内することができる。
 本開示に係るロボットの制御プログラムは、コンピュータを上記の制御部として動作させることを特徴としている。
 本開示において、前記対象物の前記性状の内、重さ情報を用いて、前記対象物が、単一のロボットで把持することが可能な所定規格内か否かを判定し、所定規格を超える場合に、複数のロボットを集結し、互いに連携して、前記対象物を把持する、ことを特徴としている。
 単体のロボットで把持する対象物として、所定規格を超える対象物(例えば、重量オーバー)の場合、複数のロボットを連携して把持することで、当該重量オーバー等の対象物にも対応することができる。
 本開示において、前記制御部が、前記複数のロボットの各々の前記対象物の把持点を設定し、前記対象物の性状に基づいて、設定した把持点での、各ロボットに分担される荷重比率を演算し、演算結果に基づいて、各ロボット毎に、前記対象物を把持する前記機能を選択する、ことを特徴としている。
 各ロボットの把持点によって、対象物を把持したときの荷重が異なるため、それぞれの荷重比率に基づいて、把持するときの機能を選択することができる。
 本開示において、前記複数のロボットで前記対象物を把持して搬送するとき、当該対象物に加わる慣性力が最小となるように、各ロボットの搬送ルートを設定する、ことを特徴としている。
 例えば、右折及び左折時等で、対象物に減速及び加速による慣性力が加わり、把持状態が変化する場合がある。そこで、対象物が所定の曲率半径のカーブ軌跡で移動するような、ロボットの搬送ルートを設定することで、把持状態を変化させない走行が可能となる。
 本開示に係るロボットの制御システムは、ロボットの腕部に着脱可能に装着され、予め定められた規格に適合する対象物を把持する標準把持部と、前記腕部に着脱可能であり前記規格に不適合の対象物を把持する1又は複数のエキストラ把持部と、備える前記ロボットの制御システムであって、前記対象物が、予め定められた標準規格に適合するか否かを判定する判定部と、前記判定部の判定結果が前記標準規格に適合の場合は、前記腕部に前記標準把持部を装着させ、前記判定部の判定結果が前記標準規格に不適合の場合は、前記腕部に前記エキストラ把持部を装着させる動作を制御すると共に前記対象物を把持する動作を制御する制御部と、を有している。
 本開示によれば、制御部は、対象物が、予め定められた標準規格に適合するか否かを判定する判定部の判定結果が標準規格に適合の場合は、腕部に標準把持部を装着させ、判定部の判定結果が標準規格に不適合の場合は、腕部にエキストラ把持部を装着させる動作を制御する。そして、制御部は、対象物を把持する動作を制御する。
 これにより、標準規格に不適合の対象物であっても、把持部による荷物の位置の確認、掴み、及び把持の一連の作業を迅速かつ確実に行うことができる。
 本開示において、前記腕部が複数装備されており、一方の腕部への、前記標準把持部又は前記エキストラ把持部の着脱動作を、他の腕部に装着された前記標準把持部又は前記エキストラ把持部を用いて実行することを特徴としている。
 標準把持部又はエキストラ把持部の着脱動作の際に、別途、着脱用治具類が不要となる。
 本開示において、前記標準把持部及び前記エキストラ把持部に設けられ、前記対象物の種類、形状、又は大きさと、位置とを含む対象物情報を検出するセンサ部をさらに有し、
 前記判定部が、前記センサ部で検出した前記対象物情報に基づいて、前記対象物が、前記標準規格に適合するか否かを判定する、ことを特徴としている。
 センサ部での検出結果(例えば、対象物の種類、形状、又は大きさと、位置とを含む対象物情報)に基づいて、標準規格の適合、不適合を判定することができる。
 本開示において、前記判定部が、前記センサ部で検出した前記対象物情報、又は、事前に知り得る重さに基づいて判定することを特徴としている。
 事前に対象物の重さを知り得るのであれば、当該重さによって、適合又は不適合を判定してもよい。また、重さは、対象物情報(例えば、商品種等)に基づいて、商品-重さ照合テーブル等を用いて取得してもよい。
 本開示において、前記標準把持部が、前記対象物を把持する基盤となる掌部及び前記掌部から放射状に延長された複数の指部を備え、前記掌部及び指部毎に、異なる吸着面積で前記対象物を吸着して把持することが可能な吸着パッドがそれぞれ取り付けられた第1把持部と、前記対象物を把持しかつ把持することが可能な保持体を備えた第2把持部とを有し、前記制御部は、前記標準把持部による前記対象物の把持において、前記対象物の少なくとも形状及び重さを含む属性によって、前記対象物を把持する機能として、前記第1把持部で把持する第1機能、前記第2把持部で把持する第2機能、前記第1機能及び前記第2機能を併用する第3機能の何れかを選択して、前記対象物を把持する動作を制御する、ことを特徴としている。
 制御部は、対象物の少なくとも形状及び重さを含む属性によって、前記対象物を把持する機能として、前記第1把持部で把持する第1機能、前記第2把持部で把持する第2機能、前記第1機能及び前記第2機能を併用する第3機能の何れかを選択して、前記対象物を把持する動作を制御する。
 これにより、把持部による対象物の位置の確認、掴み、及び把持の一連の作業を迅速かつ確実に行うことができる。
 本開示において、前記標準把持部による前記対象物の把持において、前記第1把持部は、指部が3本設けられ、第1の指部の先端部には他の吸着パッドと比べて小径の吸着パッドが取り付けられ、第2の指部及び第3の指部の先端部には他の吸着パッドと比べて大径の吸着パッドが取り付けられており、前記制御部は、前記対象物が、前記属性に基づいて、特大サイズ、大サイズ、中サイズ、小サイズ、及び特小サイズに分類し、前記対象物が、前記特大サイズの場合は、前記第2把持部に設けられた保持体を用いて把持し、前記対象物が、前記大サイズの場合は、前記掌部に設けられた吸着パッドを用いて把持し、前記対象物が、前記中サイズの場合は、前記第2の指部及び前記第3の指部の先端部に設けられた前記大径の吸着パッドを用いて把持し、前記対象物が、前記小サイズの場合は、前記第2の指部又は前記第3の指部の先端部に設けられた前記大径の吸着パッドを用いて把持し、前記対象物が、前記特小サイズの場合は、前記第1の指部の先端部に設けられた前記小径の吸着パッドを用いて把持することを選択する、ことを特徴としている。
 1台のロボットの対象部の属性に適合する把持機能を有しているため、ロボットの選択が不要となり、ピッキング作業の効率化を図ることができる。
 本開示に係るロボットの制御システムは、コンピュータを上記のロボットの制御システムの前記判定部、前記制御部として動作させる、ことを特徴としている。
 本開示によれば、通常作業制御部において、少なくとも1つの前記把持部を選択して、前記対象物の中から指定された第1対象物の把持を含む把持作業を制御する。
 同時作業制御部では、通常作業制御部による作業の実行中に、所定条件が成立した場合に、他の前記把持部を選択して、前記対象物の中から指定された第2対象物の把持を含む把持作業を制御する。
 これにより、把持作業の効率化を図ることができる。
 本開示において、前記所定条件が、前記ロボットの位置情報及び対象物を把持している把持部を特定する把持情報を含む作業状況情報と、前記ロボットの作業環境下での業務スケジュール情報と、把持対象となる対象物の属性情報と、から見出した前記第2対象物の把持可能条件であることを特徴としている。
 第1対象物を把持しているときに、第2対象物を把持可能か否かは、ロボットの位置情報及び対象物を把持している把持部を特定する把持情報を含む作業状況情報と、ロボットの作業環境下での業務スケジュール情報と、把持対象となる対象物の属性情報と、から見出すことができる。
 本開示において、複数の前記対象物が保管された複数の棚が陳列された保管ベースと、前記棚から前記対象物を取り出す出庫業務及び前記棚へ前記対象物を収容する入庫業務を実行するピッキングステーションと、を備えた倉庫において、前記ロボットが、前記ピッキングステーションに配置されており、前記ロボットに対して、前記把持作業を含む前記出庫業務及び前記入庫業務を指示する保管ベース管理サーバーが、前記通常作業制御部及び前記同時作業制御部として機能することで、前記ロボットに前記対象物の前記把持作業を実行させることを特徴としている。
 複数の対象物が収容された複数の棚が保管された保管ベースと、棚から対象物を取り出す出庫業務及び棚へ対象物を収容する入庫業務を実行するピッキングステーションと、を備えた倉庫において、ロボットが、ピッキングステーションに配置されている。
 この倉庫では、保管ベースとピッキングステーションとの間の棚の移動(例えば、搬送装置を用いて移動)、並びに、ピッキングステーションでの出庫業務及び入庫業務が、保管ベース管理サーバーによって、予め定められた業務スケジュールに従って、一括管理されている。
 この保管ベース管理サーバーが、通常作業制御部及び前記同時作業制御部として機能することで、ピッキングステーションでの把持作業として、通常作業及び同時作業が可能となる。
 本開示において、前記複数の把持部が、基盤となる掌部と、前記掌部から放射状に延長された複数の指部とを備え、吸着及び掴みの何れかで前記対象物を把持することが可能な第1把持部と、最大の吸着力で対象物を吸着して把持することが可能な第2把持部とを有し、前記通常作業制御部及び前記同時作業制御部は、前記対象物の少なくとも形状及び重さを含む属性によって、前記対象物を把持する機能として、前記第1把持部で把持する第1機能、前記第2把持部で把持する第2機能、前記第1機能及び前記第2機能を併用する第3機能の何れかを選択することを特徴としている。
 通常作業指示制御部及び同時作業制御部は、対象物の少なくとも形状及び重さを含む属性によって、対象物を把持する機能として、第1把持部で把持する第1機能、第2把持部で把持する第2機能、第1機能及び第2機能を併用する第3機能の何れかを選択する。
 これにより、把持部による対象物の位置の確認、掴み、及び把持の一連の作業を迅速かつ確実に行うことができる。
 本開示において、前記第1把持部は、指部が3本設けられ、第1の指部の先端部には他の吸着パッドと比べて小径の吸着パッドが取り付けられ、第2の指部及び第3の指部の先端部には他の吸着パッドと比べて大径の吸着パッドが取り付けられており、前記通常作業制御部及び前記同時作業制御部は、前記対象物を、前記属性に基づいて、特大サイズ、大サイズ、中サイズ、小サイズ、及び特小サイズに分類し、前記対象物が、前記特大サイズの場合は、前記第2把持部を用いて把持し、前記対象物が、前記大サイズの場合は、前記掌部に設けられた吸着パッドを用いて把持し、前記対象物が、前記中サイズの場合は、前記第2の指部及び前記第3の指部の先端部に設けられた前記大径の吸着パッドを用いて把持し、前記対象物が、前記小サイズの場合は、前記第2の指部又は前記第3の指部の先端部に設けられた前記大径の吸着パッドを用いて把持し、前記対象物が、前記特小サイズの場合は、前記第1の指部の先端部に設けられた前記小径の吸着パッドを用いて把持することを選択することを特徴としている。
 1台のロボットの対象部の属性に適合する把持機能を有しているため、ロボットの選択が不要となり、ピッキング作業の効率化を図ることができる。
 本開示において、前記把持部に設けられ、前記対象物の形状及び位置を含む対象物情報を検出するセンサ部をさらに有し、前記センサ部が、前記対象物の画像を撮影して当該対象物の種類を識別するカメラと、前記対象物の位置を特定するモーションプロセシングユニットとを備えることを特徴としている。
 センサ部での検出結果(例えば、対象物の種類、形状、又は大きさと、位置とを含む対象物情報)に基づいて、標準規格の適合、不適合を判定することができる。
 本開示に係るロボットの制御システムは、コンピュータを上記の前記通常作業制御部及び前記同時作業制御部として動作させることを特徴としている。
 本開示に係るロボットの制御システムは、対象物を把持する基盤となる掌部と、前記掌部に取り付けられた複数の指部とを備えた第1把持部と、対象物を把持しかつ保持することが可能な保持体を備えた第2把持部とを用いて、前記対象物を把持することが可能なロボットの制御システムであって、前記第1把持部の前記掌部及び指部毎に選択的に設けられ、異なる吸着面積で前記対象物を吸着して把持することが可能な複数種類の吸着パッドと、前記第1把持部及び前記第2把持部に設けられ、少なくとも前記対象物の形状情報を検出するセンサ部と、事前に登録された前記対象物の重さ情報に基づいて、前記対象物を把持する機能として、前記第1把持部で把持する第1機能、前記第2把持部で把持する第2機能、前記第1機能及び前記第2機能を併用する第3機能の何れかを選択する選択部と、前記選択部で選択された機能に基づき、前記対象物を把持する動作を制御する制御部と、前記制御部による把持動作における前記対象物への接近動作中に前記センサ部で検出される当該対象物の形状情報が、前記選択部で選択された前記対象物を把持する機能の許容範囲か否かを判定する判定部と、前記判定部で許容範囲外と判定された場合に、前記対象物を把持する機能を変更する変更部と、を有している。
 本開示によれば、選択部では、事前に登録された対象物の重さ情報に基づいて、対象物を把持する機能として、第1把持部で把持する第1機能、第2把持部で把持する第2機能、第1機能及び第2機能を併用する第3機能の何れかを選択する。
 制御部では、選択部で選択された機能に基づき、対象物を把持する動作を制御する。
 ここで、判定部では、制御部による把持動作における対象物への接近動作中にセンサ部で検出される当該対象物の形状情報が、選択部で選択された対象物を把持する機能の許容範囲か否かを判定し、変更部では、判定部で許容範囲外と判定された場合に、対象物を把持する機能を変更する。
 これにより、把持部による荷物の位置の確認、掴み、及び把持の一連の作業を迅速かつ確実に行うことができる。
 本開示において、前記判定部が、前記対象物を把持する機能と、前記対象物の形状情報の許容範囲とが関連付けられたテーブルに基づいて判定することを特徴としている。
 予め対象物を把持する機能と、対象物の形状情報の許容範囲とが関連付けられたテーブルを用いることで、形状情報による把持の許容範囲の可否を容易に判別することができる。
 本開示において、前記第1把持部は、指部が3本設けられ、第1の指部の先端部には他の吸着パッドと比べて小径の吸着パッドが取り付けられ、第2の指部及び第3の指部の先端部には他の吸着パッドと比べて大径の吸着パッドが取り付けられており、前記制御部は、前記対象物を、前記重さ情報に基づいて、重さ分類サイズとしての、特大サイズ、大サイズ、中サイズ、小サイズ、及び特小サイズに分類し、前記対象物が、前記特大サイズの場合は、前記第2把持部に設けられた保持体を用いて把持し、前記対象物が、前記大サイズの場合は、前記掌部に設けられた吸着パッドを用いて把持し、前記対象物が、前記中サイズの場合は、前記第2の指部及び前記第3の指部の先端部に設けられた前記大径の吸着パッドを用いて把持し、前記対象物が、前記小サイズの場合は、前記第2の指部又は前記第3の指部の先端部に設けられた前記大径の吸着パッドを用いて把持し、前記対象物が、前記特小サイズの場合は、前記第1の指部の先端部に設けられた前記小径の吸着パッドを用いて把持することを選択することを特徴としている。
 1台のロボットの対象部の属性に適合する把持機能を有しているため、ロボットの選択が不要となり、ピッキング作業の効率化を図ることができる。
 本開示に係るロボットの制御システムは、コンピュータを上記の選択部、制御部、判定部、及び変更部として動作させることを特徴としている。
 なお、上記の開示の概要は、本開示の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となり得る。
 以上説明したように本開示によれば、把持部による荷物の位置の確認、掴み、及び保持の一連の作業を迅速かつ確実に行うことができるという効果を奏する。
第1の実施の形態に係る人型ロボットの正面図である。 第1の実施の形態に係る人型ロボットの側面図である。 第1の実施の形態に係る左手側の把持部の掌側の正面図である。 第1の実施の形態に係る右手側の把持部の掌側の正面図である。 第1の実施の形態に係る把持部に取り付けた吸着パッドの斜視図である。 第1の実施の形態に係る左手側の把持部の斜視図である。 第1の実施の形態に係る右手側の把持部の斜視図である。 人型ロボットの機能構成の一例を概略的に示す図である。 情報処理装置によって実行される処理ルーチンの一例を概略的に示す図である。 人型ロボットの全体の動作に連動し、把持部によって物体を把持する際の把持制御の手順を示すフローチャートである。 図7のステップ160における、把持部及び吸着パッドの選択処理ルーチンを示す制御フローチャートである。 第2の実施の形態に係る把持部及び吸着パッドの選択処理ルーチンを示す制御フローチャートである。 図9のステップ194における、所定規格外処理サブルーチンの詳細を示す制御フローチャートである。 第2の実施の形態の変形例に係る、1つの荷物を把持している2台の人型ロボットが、クランク状の搬送経路に差しかかっている状態を示す平面図である。 第2の実施の形態の変形例に係る、所定規格外のときの走行ルート設定処理ルーチンを示す制御フローチャートである。 第3の実施の形態に係る人型ロボットの正面図である。 第3の実施の形態に係る人型ロボットの側面図である。 第3の実施の形態に係るホルダに格納されたエキストラ把持部の正面図である。 エキストラ把持部の斜視図及び各エキストラ把持部で把持される荷物の正面図である。 エキストラ把持部の斜視図及び各エキストラ把持部で把持される荷物の正面図である。 エキストラ把持部の斜視図及び各エキストラ把持部で把持される荷物の正面図である。 第3の実施の形態に係る把持部及び吸着パッドの選択処理ルーチンを示す制御フローチャートである。 図16のステップ1194における、エキストラ把持部適用処理サブルーチンの詳細を示す制御フローチャートである。 第4の実施の形態に係る保管ベースの斜視図である。 図18Aにおける棚の収容スペース部分を拡大した斜視図である。 保管ベース管理サーバーと人型ロボットの各情報処理装置との連携で実行される、同時進行作業制御を実行するための機能ブロック図である。 保管ベース管理サーバーによる、業務スケジュールに基づく通常業務指示制御のメインルーチンを示すフローチャートである。 保管ベース管理サーバーで実行されるメインルーチンに対して、適宜割り込まれて実行される、同時進行可否の判定から特定の人型ロボットに対して同時進行を指示するまでの同時進行業務指示の流れを示す制御フローチャートである。 第5の実施形態に係る保管ベース管理サーバーによる、業務スケジュールに基づく業務指示制御のメインルーチンを示すフローチャートである。 保管ベース管理サーバーと人型ロボットの各情報処理装置との連携で実行される、出庫業務及び入庫業務に関わる作業を制御するための機能ブロック図である。 情報処理装置として機能するコンピュータハードウェアの一例を概略的に示す図である。
 以下、実施の形態を通じて本開示を説明するが、以下の実施の形態は特許請求の範囲に係る開示を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが開示の解決手段に必須であるとは限らない。
 図1は本実施の形態に係る人型ロボットの正面図である。図1に示すように、本実施の形態に係る人型ロボット1は、上半身部2、脚部3、および上半身部2を脚部3に対して回動可能に連結する連結部4を備え、例えば工場の生産ライン等に配置されて、対象物(例えば、ピッキング対象の荷物等)が陳列されている棚を含むライン上、又は床上の対象物(例えば、落下物)等に対して作業を行うものである。なお、作業は、棚から荷物100を把持するピッキング以外に、把持した荷物100を所定の筐体(例えば、ダンボール等)に収容するパッキングを含む。
 上半身部2は2本の腕部5、6を有する。腕部5、6は上半身部2の左右に回動自在に取り付けられている。また、腕部5、6の先端には物体を把持するための把持部20が取り付けられている。把持部20の詳細は、後述する。なお、腕部は2本に限定されるものではなく、1本あるいは3本以上であってもよい。
 脚部2は2つの車輪7、8がその下部に取り付けられており、人型ロボット1が配置される床の上を移動可能とされている。
 連結部4は、上半身部2と脚部3を回動可能に連結する。このため、上半身部2は、脚部3に対して前傾および後傾が可能となっている。このため、本実施の形態に係る人型ロボット1は、図2に示すように、脚部3に対して上半身部2を前傾させて、棚に置かれた荷物、床に置かれていた物体、及び作業中に床に落ちたりした物体を拾うことが可能である。なお、以下の説明では、物体として荷物100を例に挙げて説明するが、これはあくまでも一例に過ぎず、他の物体でもよいことはもちろんである。
 なお、脚部2は、上半身部2が脚部3に対して前傾または後傾したり、人型ロボット1が移動したりした際に、人型ロボット1が転倒しないようにするためのバランス機能を有する。
 また、連結部4は、図1に示すように上半身部2と脚部3との距離を変更可能な機能を有する。このため、生産ラインにおける作業台の高さに合うように、脚部3に対する上半身部2の上下方向の位置を矢印Aに示すように調整することができる。
 また、本実施の形態に係る人型ロボット1は、人型ロボット1内に実装された制御システム10によりその駆動が制御される。
 (把持部20の構造)
 図3Aに示される如く、腕部5、6の先端に取り付けられた把持部20は、一方の腕部側(本実施の形態では、左腕である腕部6側)が人間の同様の手の構造とされ(Intelligent Hand System)、他方の腕部側(本実施の形態では、右腕である腕部5側)が矩形構造となっている。以下、左右の把持部20を区別する場合は、左手側を「把持部20L」といい、右手側を「把持部20R」という)。把持部20は、腕部5、6に対して、それぞれ回転自在に取り付けられている。
 (左手の把持部20L)
 図3A及び図4Aに示される如く、本実施の形態に係る把持部20Lは、各々複数の関節を備えた3本の指部22A、22B、及び22Cを有している。なお、本実施の形態では、把持部20Lの指の数を3本としているが、5本指などの複数指構造であってもよい。
 把持部20Lの掌側20Aには、複数(本実施の形態では、4個)の吸着パッド24が取り付けられている。
 また、本実施の形態の把持部20Lの掌側20Aの中央部には、掌センサ26が取り付けられている。掌センサ26は、荷物100の種類を識別する高解像度カメラ、及び、荷物100の位置を特定するMoPU(Motion Processing Unit)を備えている。
 また、3本の指部22A、22B、及び22Cの先端部には、それぞれ吸着パッド24X、24Yが取り付けられている。吸着パッド24X、24Yの分類については、後述する。
 (右手の把持部20R)
 図3B及び図4Bに示される如く、本実施の形態に係る把持部20Rは、矩形状の本体部20Bを備え、本体部20Bの先端面には、複数(本実施の形態では、4個)の吸着パッド24が取り付けられている。この吸着パッド24は、左手の把持部20Lで適用した何れかの吸着パッド24X又は吸着パッド24Yの何れであってもよいし、別の径寸法であってもよい。
 また、本実施の形態の把持部20Rの本体部20Bの先端面中央部には、掌センサ26が取り付けられている。掌センサ26は、荷物100の種類を識別する高解像度カメラ、及び、荷物100の位置を特定するMoPU(Motion Processing Unit)を備えている。
 図3Cに示される如く、吸着パッド24は、荷物100を把持するときに対峙させるゴム製のパッド部24Aと、パッド部24Aと荷物100との密着により形成される密閉空間のエアーを吸引する空気流路を形成するニップル24Bとで構成されている。
 すなわち、本実施の形態の吸着パッド24は、エアー吸着構造であり、ニップル24Bに設けられた孔24Cから、密閉空間内の空気を吸引して真空(例えば、ほぼ真空を含む)とすることで、吸着力を持つ。なお、吸着パッド24は、エアー吸着構造に限らず、単純にパッド部24Aの変形による密閉空間の容積を変化させて吸着させる構造であってもよい。
 ここで、吸着パッド24は、取付位置によってその大きさが異なっている(つまり、取付位置によってパッド部24Aの径寸法の違いがある)。
 大きく分類すると、吸着パッド24は、大径サイズ又は小径サイズに分類され、相対的に小径サイズ(つまり、大径サイズよりも小径)の吸着パッド24Xと、相対的に大径サイズ(つまり、小径サイズよりも大径)の吸着パッド24Yとによって構成されている。以下において、サイズの識別が不要で総称する場合、単に吸着パッド24という場合がある。
 把持部20Lの指部22Aには小径サイズの吸着パッド24Xが取り付けられ、その他の指部22B、22C、及び掌側20Aには大径サイズの吸着パッド24Yが取り付けられている。
 また、把持部20Rの本体には、大径サイズの吸着パッド24Yが取り付けられている。
 なお、吸着パッド24X、24Yのサイズを2種類としたが、3種類以上であってもよい。
 本実施の形態の掌センサ26を構成する高解像度カメラは、撮影した画像情報に基づき、撮影された荷物100が何であるかシャンプー、コンディショナー、化粧品、若しくは歯磨き粉等のケア商品なのか、又は、カップラーメン、若しくは菓子袋等の食品なのかを識別する。
 言い換えると、高解像度カメラは、荷物100の種類(例えば、形状、大きさ、又は硬さ等)を特定するための情報を取得する役目を有する。
 一方、高解像度カメラと共に、本実施の形態の掌センサ26を構成するMoPUは、1000フレーム/秒以上のフレームレートで撮影された物体の画像から、撮影された荷物100の動き(この場合、腕部5、6との間の相対的な動き)を示す動き情報を、例えば1000フレーム/秒以上のフレームレートで出力する。なお、移動中の荷物100を検知する場合、フレームレートを上げて、固定物(例えば、移動しない荷物100)を検知する場合、フレームレートを下げるようにしてもよい。
 MoPUは、物体の存在位置を示す点の、所定の座標軸に沿った動きのベクトル情報を動き情報として出力する。すなわち、MoPUから出力される動き情報には、撮影された荷物100が何であるか(例えば、上記ケア商品、又は食品)を識別するために必要な情報は含まれておらず、当該荷物100の中心点(又は重心点)の座標軸(すなわち、x軸、y軸、z軸)上の動き(例えば、移動方向と移動速度)を示す情報のみが含まれている。
 すなわち、把持部20が荷物100に接近するときの軌跡を精度よく案内することができる。
 高解像度カメラ及びMoPUを含む掌センサ26から出力された情報は、情報処理装置14に供給される。
 情報処理装置14は、高解像度カメラ及びMoPUを含む掌センサ26からの情報により、高精度に荷物100の位置を特定し、把持するときの指部22A、22B、22Cの広がり度合い、掴むときの強度、及び吸着パッド24による吸着力等を演算し、腕部5、6及び把持部20の微小な動きを、精度よくコントロールし、様々な荷物100のピッキング作業に対応することができる。
 (荷物100の形状、重さ等を含む性状による、吸着パッド24X、24Yの選択)
 ところで、ピッキング対象の荷物100は、本実施の形態では、以下の表1のように分類することができる。
 表1は、ピッキング対象の荷物100(Object)を、形状(Shape)、重さ(Weight)、及びその他状態(Other condition)の3項目で分類している。
 形状の項目としては、箱型(Box)、非箱型(Not box)、及びその他(Other)が設定される。重さの項目としては、5kg以上(Over 5kg)及び5kg未満(Below 5kg)が設定される。状態の項目としては、四角形等の多角形を主とする線形的形状(Aligned)及び球体や袋体を主とする非線形形状(Not aligned)が設定される。
 ここで、比較例では、上記各項目の組み合わせで決定した荷物100の性状に基づいて、適用可能なロボットを選択して、ピッキング作業を実行するようにしていた。すなわち、ロボットの種類として、フィンガーロボット(Finger robot)、吸着ロボット(Sucking robot)の「大(Large)」、「中(Medium)」、「小(Small)」、及び2本アームロボット(Both 2 arms robot)があり、これらの中から、適用可能なロボットを選択する。
 しかしながら、種類の異なるロボットの選択では、例えば、近くに待機しているロボットが適用対象外の種類のロボットの場合、新たに適用可能な種類のロボットを呼び寄せる必要があり、ピッキング作業の効率が悪かった。
 そこで、本実施の形態では、単一の人型ロボット1に、複数の異なる把持部を設けると共に、異なる大きさの吸着パッド(例えば、吸着パッド24X、24Y)を取り付けることで、1台の人型ロボット1に取り付けられた1本又は2本の腕部5、6により、上記で示した様々な性状の荷物100のピッキングを行うようにした。
 より具体的には、表1で確定した荷物100の性状に応じて、表2に示される如く、オブジェックトサイズ(Object size)として5パターン(Extra-Large、Large、Medium、Small、Extra-small)に分類し、当該5パターンのそれぞれに対応したピッキング作業を選択するようにした(Suitable for : Right hand、Left hand palm、Left 2 fingers、left 1 finger)。
 より具体的には、以下のような選択制御が実行される。
 (選択制御1) Extra-Largeサイズ(特大サイズ)の荷物100の場合は、最も重い荷物100と判断して、右手の把持部20Rを使用してピッキングする。
 (選択制御2) Largeサイズ(大サイズ)の荷物100の場合は、左手の把持部20Lの掌側20Aに取り付けられた吸着パッド24Yを使用してピッキングする(例えば、大径サイズの4個の吸着パッド24Yを使用)。
 (選択制御3) Mediumサイズ(中サイズ)の荷物100の場合は、左手の把持部20Lの指部22B及び指部22Cに取り付けられた2個の吸着パッド24Yを使用してピッキングする(例えば、大径サイズの2個の吸着パッド24Yを使用)。
 (選択制御4) Smallサイズ(小サイズ)の荷物100の場合は、左手の把持部20Lの指部22Bを使用してピッキングする(例えば、大径サイズの吸着パッド24Yを使用)。
 (選択制御5) Extra-smallサイズ(特小サイズ)の荷物100の場合は左手の把持部20Lの指部22Aを使用してピッキングする(例えば、小径サイズの吸着パッド24Xを使用)。
 (選択制御6) 表2には記載していないが、グリップ(掴む)のに適した荷物100であれば、左手の把持部24Lの指部22A、22B、及び22Cで荷物100を掴んで持ち上げる。この選択制御6は、上記の選択制御1~選択制御5との併用でもよいし、単独で実行してもよい。
 図5は、本実施の形態に係る人型ロボットの制御システムの一例の概略図である。制御システム10は、人型ロボットに搭載されるセンサ12と、高解像度カメラ及びMoPUを含む掌センサ26と、情報処理装置14とを備えている。
 センサ12は、人型ロボット1の周辺にある、人型ロボット1が作業する物体と腕部5、6との距離および角度を少なくとも表す情報を逐次取得する。センサ12としては、最高性能のカメラ、ソリッドステートLiDAR、マルチカラーレーザ同軸変位計、又はその他様々なセンサ群が採用され得る。また他には、センサ12としては、振動計、サーモカメラ、硬度計、レーダー、LiDAR、高画素・望遠・超広角・360度・高性能カメラが挙げられる。また、センサ12により得られる情報としては、ビジョン認識、微細音、超音波、振動、赤外線、紫外線、電磁波、温度、湿度、スポットAI天気予報、高精度マルチチャネルGPS、低高度衛星情報、又はロングテールインシデントAI data等が挙げられる。
 なお、センサ12は、上記の情報のほかに、画像、距離、振動、熱、匂い、色、音、超音波、紫外線、又は赤外線等を検知する。他にセンサ12が検知する情報としては、人型ロボット1の重心移動、人型ロボット1が設置される床の材質、外気温度、外気湿度、床の上下横斜め傾き角度、又は水分量等が挙げられる。
 センサ12は、これらの検知を例えばナノ秒毎に実施する。
 掌センサ26(例えば、高解像度カメラ及びMoPU)は、腕部5、6の把持部20に設けられるセンサであり、センサ12とは別に、荷物100を撮影するカメラ機能、及び、荷物100位置を特定する位置特定機能を有する。
 なお、1つのMoPUを用いた場合には、物体の存在位置を示す点の、三次元直交座標系における2つの座標軸(すなわち、x軸及びy軸)の各々に沿った動きのベクトル情報を取得することが可能である。ステレオカメラの原理を利用して、2つのMoPUを用いて、物体の存在位置を示す点の、三次元直交座標系における3つの座標軸(すなわち、x軸、y軸、z軸)の各々に沿った動きのベクトル情報を出力してもよい。z軸は、奥行方法(例えば、車両の走行)に沿った軸である。
 情報処理装置14は、情報取得部140と、制御部142と、情報蓄積部144とを備えている。
 情報取得部140は、センサ12及び掌センサ26(例えば、高解像度カメラ及びMoPU)によって検知された物体の情報を取得する。
 制御部142は、情報取得部140がセンサ12から取得した情報とAI(Artificial Intelligence)とを用いて、連結部4の回動動作、上下方向の移動動作および腕部5、6の動作等を制御する。
 また、制御部142は、情報取得部140が掌センサ26(例えば、高解像度カメラ及びMoPU)から取得した情報を用いて、荷物100の種類(例えば、形状、大きさ、又は硬さ等)及び位置を詳細に把握し、当該外形や位置に応じて、掌側20Aを対峙させ、吸着パッド24により吸着し、かつ、3本の指部22A、22B、及び22Cで掴むように制御する(以下単に「把持制御」とも称する)。なお、荷物100の外形情報に基づいて、物体の種類を把握して把持制御(例えば、「吸着」のみ、「掴み」のみ、又は「吸着」と「掴み」の併用等)を選択してもよい。
 例えば、制御部142は、全体の動作として、以下の各処理を実行する。
(1)棚及び床にある物体を拾い上げることが可能なように連結部4を駆動して、上半身部2を前傾または後傾させる。
(2)物体をつかむことが可能なように腕部5、6および把持部を駆動する。
(3)生産ラインの作業台の高さに合うように、上半身部2を脚部3に対して上下に駆動する。
(4)人型ロボット1の転倒を防ぐために、バランスを取る。
(5)人型ロボット1がカート等を押し進めることができるように、車輪7、8の駆動を制御する。
 情報処理装置14は、例えば、床にある物体を拾う場合、図6に示されているフローチャートを繰り返し実行する。
 ステップS100において、情報取得部140は、センサ12によって検知された物体の情報を取得する。
 ステップS102において、制御部142は、ステップS100で取得された物体の情報とAIとを用いて、連結部4および腕部5、6を制御することにより、床にある物体を拾い上げる。
 ステップS104において、制御部142は、拾った物体を所定位置へ移動する。
 本実施の形態によれば、人型ロボット1は、上半身部2、脚部3および上半身部2と脚部3とを回動自在に連結する連結部4を備える。また、センサ12が取得した情報に基づいて連結部4の回動を制御するようにした。このため、人型ロボット1と物体との距離や角度を判断することができ、これにより、床にある物体を拾い上げるような動作を行うことができる。
 また、連結部4は上半身部2と脚部3との距離を変更可能であるため、生産ラインにおける作業台の高さに合うように、脚部3に対する上半身部2の上下方向の位置を調整することができる。
 また、脚部2は、上半身部2が脚部3に対して前傾または後継した際に、人型ロボット1が転倒しないようにするためのバランス機能を有する。このため、生産ラインにある物体を押したり引いたりする作業を行った際の人型ロボット1の転倒を防止できる。したがって、転倒による人型ロボット1の故障、あるいは人型ロボット1の周囲にいる人物の怪我等を防止することができる。
 (荷物100の把持制御)
 図7は、人型ロボット1の全体の動作に連動し、把持部20によって物体を把持する際の把持制御の手順を示すフローチャートである。
 ステップ150では、物体把持の指示があったか否かを判断し、肯定判定されると、ステップ152へ移行して、人型ロボット1を移動させ(例えば、腕部5、6を動作させ)、対象の荷物100に掌側20Aを対峙させ、ステップ154へ移行する。
 ステップ154では、掌側20Aを対向させて、荷物100の情報を検出する。
 次のステップ156では、掌センサ26(例えば、高解像度カメラ及びMoPU)による検出情報を解析して、荷物100の種類(例えば、形状、大きさ、又は硬さ等)及び位置を詳細に把握し、ステップ158へ移行する。
 ステップ158では、荷物100の把持のための作業を選択する。例えば、「吸着」のみ、「掴み」のみ、又は「吸着」と「掴み」の併用等から選択し、次いで、ステップ160へ移行して、荷物100の性状に応じた、把持部20及び吸着パッド24の選択処理(詳細は、図8参照)を実行し、ステップ162へ移行する。
 ステップ162では、荷物100の把持(例えば、「吸着」のみ、「掴み」のみ、又は「吸着」と「掴み」)を実行する。
 次のステップ164では、荷物100の把持が成功したか否かを判定し、肯定判定された場合は、把持した荷物100を所定の場所へ運び、ステップ150へ移行して、次の物体把持の指示を待つ。
 また、ステップ164で否定判定された場合は、ステップ166へ移行して、エラー処理(例えば、リトライ又はキャンセル等)を実行し、ステップ150へ戻る。
 (把持部、吸着パッド選択処理)
 図8は、図7のステップ160で実行される把持部、吸着パッドの選択処理ルーチンを示す制御フローチャートである。
 ステップ170では、荷物100は特大サイズか否かを判断する。このステップ170で肯定判定(つまり、特大サイズ確定)されると、ステップ172へ移行して、右手側の把持部20Rを選択し、かつ当該把持部20Rに取り付けられた4個の吸着パッド24Yを選択し、ステップ190へ移行する。
 また、ステップ170で否定判定された場合は、ステップ174へ移行して、左手側の把持部20Lを選択し、ステップ176へ移行する。
 ステップ176では、荷物100は大サイズか否かを判断する。このステップ176で肯定判定(つまり、大サイズ確定)されると、ステップ178へ移行して、把持部20Lの掌側20Aの4個の吸着パッド24Yを選択し、ステップ190へ移行する。
 また、ステップ176で否定判定された場合は、ステップ180へ移行する。
 ステップ180では、荷物100は中サイズか否かを判断する。このステップ180で肯定判定(つまり、中サイズ確定)されると、ステップ182へ移行して、把持部20Lの指部22B及び22Cに取り付けられた2個の大径サイズの吸着パッド24Yを選択し、ステップ190へ移行する。
 また、ステップ180で否定判定された場合は、ステップ184へ移行する。
 ステップ184では、荷物100は小サイズか否かを判断する。このステップ184で肯定判定(つまり、小サイズ確定)されると、ステップ186へ移行して、把持部20Lの指部22B又は指部22Cに取り付けられた何れか1個の大径サイズの吸着パッド24Yを選択し、ステップ190へ移行する。
 また、ステップ184で否定判定(つまり、特小サイズ確定)されると、ステップ188へ移行して、把持部20Lの指部22Aに取り付けられた小径サイズの吸着パッド24Xを選択し、ステップ190へ移行する。
 ステップ190では、指部22A、22B、及び22Cによる掴みの必要があるか否かを判断し、肯定判定されると、ステップ192へ移行して、左手側の把持部24Lの3本の指部22A、22B、及び22Cによる掴み動作を選択し、このルーチンは終了する。また、ステップ190で否定判定された場合は、このルーチンは終了する。
 以上、本実施の形態によれば、把持部20に3本の指部22A、22B、及び22Cを設け、把持部20の掌側20Aと、指部22A、22B、及び22Cに、複数の吸着パッド24を取り付け、吸着パッド24は、例えば、エアー吸着構造で、荷物100を吸着し、かつ、指部22A、22B、及び22Cを曲げることにより、荷物100を掴むことができる。
 また、荷物100の性状(例えば、形状、又は重さ等)に基づいて分類し、分類した結果で、把持部20の選択、及び、吸着パッド24の選択を行うことで、単一の人型ロボット1によって、様々な種類の荷物100をピッキングすることが可能となる。言い換えれば、物体の性状毎に異なるロボットを選択して、出動させる必要がなく、ピッキング作業の効率化を図ることができる。
 掌側20Aには、高解像度カメラ及びMoPUを含む掌センサ26を取り付け、上記の構造の把持部20を人型ロボット1の腕部5、6に装着することにより、吸着面により物体を確実に保持することができ、人型ロボット1の動きが早くても荷物100を把持部20から落とさずに運ぶことができる。
 また、掌センサ26(例えば、高解像度カメラ及びMoPU)が掌側20Aに搭載されているので、高精度に荷物100を捉えることができ、微小な動きをする作業にも対応することができる。
 さらに、非常に柔らかく壊れやすいものは、吸着パッド24を使わずに、指部22A、22B、及び22Cの動きにより掴むこともできるし、掴む力を調整することにより、柔らかい荷物100の破損等を防止することかできる。
 (第2の実施の形態)
 図9~図12に基づき、本開示の第2の実施の形態について説明する。
 なお、第2の実施の形態において、第1の実施の形態と同一構成部分については、同一の符号を付して、その構成の説明を省略する。
 第2の実施の形態の特徴は、複数の人型ロボット1が共同して、1つの荷物100を把持して、搬送する点にある。
 第1の実施の形態では、荷物100の状態(ここでは、重さ)によって、把持部20(例えば、左手又は右手)の選択、及び吸着パッド24のサイズ選択を行い、荷物100を最適な状態で把持するようにした。
 しかしながら、荷物100の重さが所定規格(第2の実施の形態では、10kg以上)を超えた場合、1台の人型ロボット1では、把持が不安定になる。
 そこで、所定規格を超える荷物100を把持する場合に、複数の人型ロボット1が連携して把持し、搬送する構成とした。
 この場合、荷物100を把持するにあたり、事前に計測されている重さ(或いは、現場で計測した重さ)に基づき、所定規格を超えている場合に、その重さに基づいて、人型ロボット1の必要台数を設定する(表3参照)。
 これにより、把持対象の荷物100に対して、複数の人型ロボット1を集結させ、複数の人型ロボット1が、それぞれ把持動作を実行させることができる。
 この場合、荷物100の重心位置によって、各人型ロボット1が把持する位置での荷重が平均にならない場合があるため、各把持点での荷重分担比率を演算することが好ましい。
 また、把持点での荷重が認識されることで、第1の実施の形態の表2に基づいて実行した、重さ等に基づく、把持形態(例えば、左手/右手、及び吸着パッド24のサイズ、並びに、掴み動作の併用の有無)を選択することが可能である。
 以下に、第2の実施の形態の作用を、図9及び図10のフローチャートに従い説明する。各フローチャートに基づく処理は、最初に荷物を把持しようとした一の人型ロボット1の情報処理装置14において実行される。
 図9に示される如く、ステップ169では、事前情報に基づき、把持する対象の荷物100の重さが、所定規格内か否かを判断する。
 このステップ169で肯定判定された場合は、ステップ170へ移行する。ステップ170に続く処理は、第1の実施の形態で説明した図8と同一であるので、ここでの説明は省略する。
 また、ステップ169で否定判定された場合は、荷物100の重さが、所定規格外(例えば、5kg超)であると判断し、ステップ194へ移行して、所定規格外処理(図10参照、詳細後述)を実行し、このルーチンは終了する。
 なお、図9のフローチャートでは、事前に知り得る重さ情報で、ステップ169の判定を行ったが、事前情報として重さ情報が無い場合は、ステップ172で選択した、Extra-Large対応の右手の把持部20Rを用いて重さを計測して、所定規格外(例えば、5kg超)の場合に、ステップ194へ移行するようにしてもよい。
 (所定規格外処理の詳細)
 図10は、図9のステップ194における所定規格外処理サブルーチンの詳細を示す制御フローチャートである。
 ステップ200では、荷物の重さに基づき、人型ロボット1の必要台数を設定する。
 すなわち、表3に示される如く、荷物100の重さに応じて、必要な人型ロボット1が決まる。荷物100の重さが、25kgの場合は、人型ロボット1による把持動作の許容を超えるため、特殊搬送ロボットに搬送を委ねる。
 なお、表3に示す荷物100の重さの範囲設定は一例であり、人型ロボット1の仕様に基づき定めればよい。
 次のステップ202では、該当する人型ロボット1に対して、集合を指示する。指示対象は、例えば、待機中の人型ロボット1が主体となるが、把持対象の荷物100の近傍で、待機位置へ戻ろうしている人型ロボット1を指示するようにしてもよい。また、条件が合えば、他の荷物100を把持して搬送中の人型ロボット1であってもよい。条件とは、今回の荷物100の把持に必要な把持部が使用されておらず、現在、把持している荷物100と搬送先が近い場合等が挙げられ、複数の人型ロボット1を一括管理している場合に実行可能である。
 次のステップ204では、集結した複数の人型ロボット1のそれぞれの把持点、及び荷物100の重心等に基づき、荷物100の荷重分担比率を演算し、次いで、ステップ206では、ステップ204で演算結果(例えば、分担した荷重(つまり、重さ))に応じて、把持形態を選択する。この把持形態の選択は、第1の実施の形態における表2を用いることができる。言い換えれば、図8のステップ170~ステップ192と同様の処理が、このステップ206で実行される。
 (第2の実施の形態の変形例)
 第2の実施の形態において、複数(ここでは、2台)の人型ロボット1が、1つの荷物100を把持して搬送する場合、直線路であれば、一定速度で同一方向に搬送が可能であるため、荷物100を脱落するおそれはほとんどない。
 しかし、搬送路が、例えば、図11に示すようなクランク状で、右折及び左折が存在する搬送路208の場合、2台の人型ロボット1は、互いに走行軌跡の形状が異なることになる。
 また、右折及び左折の際に、減速及び加速することで、荷物100に慣性力が加わり、把持状態が変化して、結果として荷物100の脱落を招く恐れがある。
 そこで、第2の実施の形態の変形例では、右折及び左折を含む搬送経路での、安定搬送を実現した。
 図11は、1つの荷物100を把持している2台の人型ロボット1が、クランク状の搬送経路に差しかかっている状態を示す平面図である。
 この図11のような状況において、2台の人型ロボット1の情報処理装置14(図5参照)は、互いに連携し、図12に示す走行ルート設定処理を実行する。
 すなわち、図12のステップ210では、走行ルートを確認し、次いで、ステップ212へ移行して、確認した走行ルートにおける、荷物100の安定した搬送(例えば、荷物100に加わる慣性力が最も低減し得るカーブ移動)を設定する(図11の点線矢印A参照)。
 次のステップ214では、2台の人型ロボット1(例えば、第1人型ロボット1A、及び第2人型ロボット1B)の内の一方(例えば、第1人型ロボット1A)の走行ルート(図11の実線矢印B参照)を設定する。
 ここで、2台の人型ロボット1(例えば、第1人型ロボット1A、及び第2人型ロボット1B)と、荷物100の位置(つまり、平面視で2台の人型ロボット1と荷物100の位置を示す3点)は、相対位置関係が不変である。
 このため、次のステップ216では、荷物100の移動ルートと、第1人型ロボット1Aの走行ルートと、に基づいて、2台の人型ロボット1(例えば、第1人型ロボット1A、及び第2人型ロボット1B)の内の他方(例えば、第2人型ロボット1B)の走行ルート(図11の実線矢印C参照)を設定する。
 ステップ218では、ステップ214及びステップ216で設定した走行ルートに基づいて、走行を指令し、このルーチンは終了する。
 また、上記では、最初に選択した人型ロボット1が、起点(例えば、把持位置)から終点(例えば、目的地)まで荷物100を搬送する構成を示したが、所定の中継点において、別の人型ロボット1に受け渡しながら、所謂リレー方式で、起点から終点まで荷物100を搬送するようにしてもよい。
 受け渡しの条件は、所定の距離毎に中継点を予め定めてもよいし、段差のある場所を中継点としてもよい。
 また、経路の状態(例えば、ストレート/カーブ、道幅、路面状態等)によって、当該経路の状態の下で、荷物100の搬送に有利な人型ロボット1に受け渡すようにしてもよい。
 一例として、ストレート走行では速度を重視した人型ロボット1を選択し、カーブ走行では、カーブの曲率半径と走行速度とに基づいて左右に傾斜可能なダンパー機構を備えた人型ロボット1を選択し、凹凸の多い路面走行では、衝撃吸収力が高いショックアブソーバーを装備した人型ロボット1を選択する、といった、適材適所の人型ロボット1を連携させることで、荷物100を安定した把持状態で搬送することができる。
 なお、第2の実施の形態(変形例を含む)における、複数の人型ロボット1の連携動作制御は、最初に荷物を把持しようとした一の人型ロボット1の情報処理装置14(図5参照)において実行するようにしたが、それぞれの人型ロボット1の情報処理装置14が互いに連携し合って、互いの位置情報等を交換することでも実行可能である。この場合、主たる情報処理装置14を設定し(所謂、リーダー格の人型ロボット1を設定し)、従たる情報処理装置14に命令する構成としてもよいし、連結し合う複数の人型ロボット1を一括管理する管理制御センター(図示省略)からの指示で動作させるようにしてもよい。
 (第3の実施の形態)
 図13~図15に基づき、本開示の第3の実施の形態について説明する。
 なお、第3の実施の形態において、第1の実施の形態と同一構成部分については、同一の符号を付して、その構成の説明を省略する場合がある。
 (吸着パッド24X、24Yの選択)
 本実施の形態では、上記第1の実施の形態と同様に、荷物100の形状、重さ等を含む属性(性状という場合もある)に基づき、吸着パッド24X、24Yを選択する。具体的には、選択制御1~6によって、荷物100の属性状態(ここでは、重さ)によって、把持部20(例えば、左手又は右手)の選択、及び吸着パッド24のサイズ選択を行い、荷物100を最適な状態で把持するようにした。なお、以下の説明では、説明の便宜上、把持部20を「標準把持部20」と称する。
 ここで、荷物100の属性が所定規格(例えば、所定以上のサイズや重さの荷物、軟質で変形し易い荷物、及び凹陥部の底面だけた平面の荷物等)の場合、予め腕部5、6に装着されている標準把持部20(20L、及び20R)では、把持が不安定になる。
 そこで、所定規格を超える荷物100を把持する場合に、図13及び図14に示すように、エキストラ把持部21EX(20EXA、20EXB、及び20EXC)を具備しておき、必要に応じて、標準把持部20から、エキストラ把持部21EXに交換して、荷物100を把持し、搬送する構成とした。
 図13及び図14に示される如く、腕部5、6の先端に取り付けられた標準把持部20は、一方の側(本実施の形態では、左腕である腕部6側)が人間の同様の手の構造とされ(Intelligent Hand System)、他方の側(本実施の形態では、右腕である腕部5側)が矩形構造となっている。以下、左右の標準把持部20を区別する場合は、左手側を「標準把持部20L」といい、右手側を「標準把持部20R」という)。標準把持部20は、腕部5、6に対して、それぞれ回転自在に取り付けられている。
 また、人型ロボット1は、上半身部2の下部(所謂、腰位置)にベルト28が装着され、ベルト28には、3個のエキストラ把持部21EXA、20EXB、及び20EXCの各々を着脱可能に保持するホルダ(図示省略)が取り付けられている。
 図13では、3個のエキストラ把持部21EXとしているが、エキストラ把持部21EXの数は、1種類、2種類、又は4種類以上であってもよく、後述する荷物100の属性に合わせて、装着する数を決めればよい。
 図15A~15Dには、標準把持部20とは別に、本実施の形態の人型ロボット1に装備された3種類のエキストラ把持部21(21EXA、21EXB、及び21EX)の詳細構成と、その用途との関係が示されている。
 図15Aは、図13の人型ロボット1に取り付けられたベルト28の正面図である。
 図15Aに向かって左側から順に、エキストラ把持部21EXA、エキストラ把持部21EXB、及びエキストラ把持部21EXが、それぞれ着脱可能に取り付けられている。
 図15Bに示される如く、エキストラ把持部21EXAは、矩形状の本体部30に、単一のパッド24Sが取り付けられている。パッド24Sの吸着面の径寸法は、標準把持部20に取り付けた吸着パッド24よりも大きく(つまり、特大サイズ)、所定サイズ(つまり、縦×横×高さ)以上の荷物100、及び所定重量以上の荷物100を把持する場合に適用される。言い換えれば、表1に分類できず(つまり、規格外)、従来は、人間に委ねるしかなかった荷物100を対象として、把持するものである。
 なお、パッド24Sは、吸着という仕様に限定されず、例えば、図示は省略したが、荷物100と対峙する面にフックや粘着材等の吸着補助部材を形成し、吸着補助部材によって(例えば、フックに引っ掛ける、粘着材に粘着させる等)、荷物100を把持する構成を備えていてもよい。
 なお、本体部30には、掌センサ26と同等の機能を持つ監視センサ26Aが取り付けられている。
 図15Cに示される如く、エキストラ把持部21EXBは、矩形状の本体部30に、半球形状のアダプタ30Aが取り付けられている。
 アダプタ30Aには、複数の吸着パッド24Tが、それぞれの軸方向が放射状に分散されて取り付けられている。
 吸着パッド24Tは、標準把持部20に取り付けた吸着パッド24、24X、及び24Yの径寸法と同等の径寸法とされ、軟質な荷物100、及び変形可能な荷物100を把持する場合に適用される。言い換えれば、把持しようとしても、表面が柔らかい素材であり、腕部5、6を押し付けると凹んでしまって吸着パッド24で吸着できず(つまり、規格外)、従来は、人間に委ねるしかなかった荷物100を対象として、把持するものである。
 なお、本体部30には、掌センサ26と同等の機能を持つ監視センサ26Aが取り付けられている。
 図15Dに示される如く、エキストラ把持部21EXCは、矩形状の本体部30に、伸縮可能なアダプタ30Bが取り付けられている。
 アダプタ30Bは、複数の円筒形部材で形成され、基部側から先端部側にかけて、徐々に径寸法が小さくなっており、基部側の円筒形部材の中に先端部側の円筒形部材が収容可能である。このため、アダプタ30Bは、円筒形部材の収容状態で伸縮可能となる。
 最先の円筒形部材の先端には、吸着パッド24Uが取り付けられている。
 吸着パッド24Uは、標準把持部20に取り付けた吸着パッド24、24X、及び24Yの径寸法と同等の径寸法とされ、表面が凹凸の荷物100、及び凹陥部の底面に平面が存在する荷物100を把持する場合に適用される。言い換えれば、標準把持部20に取り付けた吸着パッド24、24X、及び24Yでは、把持可能な平面に届かず、(つまり、規格外)、従来は、人間に委ねるしかなかった荷物100を対象として、把持するものである。
 なお、本体部30には、掌センサ26と同等の機能を持つ監視センサ26Aが取り付けられている。
 ここで、標準把持部20に取り付けた吸着パッド24、24X、及び24Yによる把持が困難な場合、荷物100を把持するにあたり、荷物の属性に基づいて、最適なエキストラ把持部21を選択し(表4参照)、標準把持部20から、選択したエキストラ把持部21に付け替えて、把持動作を実行する。すなわち、一方の腕部への標準把持部20の取り外し動作、及び、エキストラ把持部21の装着動作が、他方の腕部に装着された標準把持部20を用いて実行される。なお、エキストラ把持部21から標準把持部20への付け替えが行われてもよい。また、付け替えは、他方の腕部に装着されたエキストラ把持部21により行われてもよい。つまり、一方の腕部への標準把持部20又はエキストラ把持部21の着脱動作が、他の腕部に装着された標準把持部20又はエキストラ把持部21を用いて実行される。
 (把持部、吸着パッド選択処理)
 図16は、図7のステップ160で実行される把持部、吸着パッドの選択処理ルーチンを示す制御フローチャートである。
 図16に示される如く、ステップ169では、事前情報に基づき、標準把持部20で態様可能か否かを判断する。このステップ169で肯定判定された場合は、ステップ170へ移行する。ステップ170に続く処理は、第1の実施の形態で説明した図8と同一であるので、ここでの説明は省略する。
 ステップ169で否定判定された場合は、エキストラ把持部21を適用する必要があると判断し、ステップ1194へ移行して、エキストラ把持部適用処理(図17参照、詳細後述)を実行し、このルーチンは終了する。
 なお、図16のフローチャートでは、事前に知り得る重さ情報で、ステップ169の判定を行ったが、事前情報として標準把持部20の適用可否情報が無い場合は、ステップ172で選択した、Extra-Large対応の右手の標準把持部20Rの掌センサ26を用いて、荷物100の属性情報を取得し、標準把持部では適用不可となった場合に、ステップ1194へ移行するようにしてもよい。
 (エキストラ把持部適用処理の詳細)
 図17は、図16のステップ1194におけるエキストラ把持部適用処理サブルーチンの詳細を示す制御フローチャートである。
 ステップ1200では、荷物100の属性(表4参照)に基づき、エキストラ把持部21を選択する。
 すなわち、表4に示される如く、荷物100の属性に応じて、必要なエキストラ把持部21の種類が決まる。
 なお、表4に示す荷物100の属性に基づくエキストラ把持部の種類の選択は一例であり、所持しているエキストラ把持部の種類や数に基づき定めればよい。
 本実施の形態では、3種類のエキストラ把持部21がベルト28に装着されているため、この3種類のエキストラ把持部21からの選択になるが、ベルト28への装着数を増加したり、作業現場に応じて、多種のエキストラ把持部21の中から選択してベルト28に予め装着しておいてもよい。また、人型ロボット1毎に異なる種類のエキストラ把持部21を装着するようにしてもよい。
 次のステップ1202では、非交換側の腕部5(又は6)により、交換側の腕部6(又は5)に装着された把持部(例えば、通常は標準把持部20であるが、既に別のエキストラ把持部21が装着されている場合もある。)を取り外す。
 次のステップ1204では、交換側の腕部6(又は5)を、ベルト28の位置に移動し、エキストラ把持部21を装着する。なお、標準把持部20に戻す場合も同様の動作となる。
 次のステップ1206では、非交換側の腕部5(又は6)で把持している、交換側の腕部6(又は5)にもともと装着されていた把持部を、ベルト28のホルダに格納し、このルーチンは終了する。
 以上説明したように本実施の形態では、標準把持部20による把持動作制御に加え、例えば、規格以上の重さの荷物100、表面が柔らかく押さえつけると凹んでしまう荷物100、及び表面に凹凸があり、一部(凹陥された底面)にのみ吸着可能な平面が存在する荷物100等、特殊な荷物100に特化してエキストラ把持部21を準備しておくことで、従来、人間の手に委ねていた規格外の荷物100を人型ロボット1を適用して、当該規格外の荷物100を把持して、搬送することができる。
(第4の実施の形態)
 図18~図20に基づき、本開示の第4の実施の形態について説明する。
 なお、第4の実施の形態において、第1の実施の形態と同一構成部分については、同一の符号を付して、その構成の説明を省略する場合がある。
 (物流センターの構成)
 図18Aは、本実施の形態に係る物流センターの倉庫であり、荷物100(図18B参照)を保管する保管ベース50の斜視図である。
 保管ベース50には、複数の棚52(例えば、一部に指標が付されている)が配置されている。一例として、6個の棚52が1列に配列され、2列単位で所謂「島」を形成している。島の形成、及び棚52の数等は、図18Aの配列に限定されるものではない。
 図18Bに示される如く、棚52には、複数の収容スペース52Aが設けられ、各々の収容スペース52Aに荷物100が収容可能となっている。
 保管ベース50内には、複数の搬送装置54が、保管ベース50内を移動可能に配置されている。
 搬送装置54は、保管ベース50の中の制御対象機器を一括管理する保管ベース管理サーバー56からの指令により動作が制御され、例えば、所定の待機位置、棚52の配列位置、ピッキングステーション58の間を移動する。
 搬送装置54は、棚52に対峙すると、当該棚52の下部の隙間に入り込んで持ち上げ、保管ベース50の床面から浮かせた状態とすることができる。このため、搬送装置54の移動によって、棚52を所望の位置へ移動させることができる。
 保管ベース50の所定の位置には、複数のピッキングステーション58が配置されている。図18Aでは、2つのピッキングステーション58を図示しているが、1つ又は3つ以上のピッキングステーション58であってもよい。各ピッキングステーション58には、各々人型ロボット1が配置されている。なお、搬送装置54の代わりに、人型ロボット1を適用してもよい。人型ロボット1によれば、例えば、棚52を搬送してもよいし、棚52(例えば、収容スペース52A)から、直接、荷物100を取り出す、或いは、棚52(例えば、収容スペース52A)に、直接、荷物を収容するといった動作が可能となる。
 人型ロボット1の構成及び把持制御は、第1の実施の形態と同様であるので、ここでの説明は省略する。なお、把持制御は、基本的には、個々の人型ロボット1に搭載された情報処理装置14によって実行されるが、図18Aに示す保管ベース50に存在する人型ロボット1の把持制御を、保管ベース管理サーバー56で一括制御するようにしてもよい。
 人型ロボット1は、保管ベース管理サーバー56の管理の下、自身に搭載された情報処理装置14(図5参照)との連携に基づき、指令を受けた作業を実行する。
 すなわち、各ピッキングステーション58では、搬送装置54によって棚52が、ピッキングステーション58の間口58Aに配置されると、保管ベース管理サーバー56からの指令を受けて、人型ロボット1が荷物100の入庫業務及び出庫業務を行う。
 なお、入庫業務及び出庫業務自体の制御は、人型ロボット1の各々が持つ、情報処理装置14(図5参照)によって制御される。
 ピッキングステーション58には、棚52が配置される間口58Aと共に、仕分けや梱包を行う作業スペース58Bが設置されている。
 出庫業務は、棚52に収容された荷物100を、宛先に応じて取り出して、仕分け先毎に分類し、仕分け先毎の箱60(例えば、輸送部材)に詰め込む作業である。
 入庫業務は、倉庫に到着した荷物100を収容先の棚52毎に分類して、分類した荷物100を棚52の所定の位置に配置する作業である。
 なお、本実施形態では、出庫業務の各作業と入庫業務の各作業を以下のように定義する。
 (出庫業務1) ピッキング作業
 間口58Aに到着した棚52から人型ロボット1が、指定された荷物100を取り出して、作業スペース19に移動させる作業である。
 (出庫業務2) アソート作業
 作業スペース58Bに取り出した荷物100を、宛先に応じた箱60に収容し、当該箱の梱包等を行う作業である。
 (出庫業務3) 出庫作業
 間口58Aに配置された棚52のピッキング作業が完了し、次の棚52を要求する作業である。
 (入庫業務1) ピッキング作業
 間口58Aに到着したトラックやパレットから、指令された荷物100を取り出して、作業スペース58Bに移動させる作業である。
 (入庫業務2) アソート作業
 作業スペース58Bに取り出した荷物100を、格納先に応じた棚52に収容する作業である。
 (入庫業務3) 入庫作業
 間口58Aに配置された棚52のアソート作業が完了し、次の棚52を要求する作業である。
 ここで、各人型ロボット1の作業に関する情報は、人型ロボット1の情報処理装置14から、逐次、保管ベース管理サーバー56へ送出される。これにより、保管ベース管理サーバー56では、複数の人型ロボット1の動作状態を示す情報(すなわち、作業進捗情報)が一括管理される。
 (同時進行作業)
 ここで、比較例では、ピッキングステーション58に配置された人型ロボット1は、1つの出庫業務又は入庫業務を実行している間は、他の1つの出庫業務又は入庫業務を行うことはない。
 一方で、ピッキングステーション58の間口58Aに到着している棚52を対象として、現在進行中の作業対象の荷物100とは別の荷物100の出庫業務又は入庫業務が予定されている場合がある。なお、ここでは、棚52を例に挙げて説明したが、トラック又はパレットであってもよい。
 人型ロボット1が、一方の腕部5(又は6)に取り付けられた把持部20R(又は20L)を利用して荷物100の入庫業務又は出庫業務の作業を行っているとき、他方の腕部6(又は5)に取り付けられた把持部20L(又は20R)が空いていることになる(つまり、非作業状態となる)。
 そこで、本実施の形態では、予め定めた条件が整えば、単一の人型ロボット1の左右の腕部5、6に取り付けられた把持部20R、20Lを併用して、2つの作業を同時進行させるようにした(以下単に、「同時進行作業」とも称する)。
 このような同時進行作業は、作業者(例えば、人)が行うには誤作業の要因となるが、作業者に代わり出庫業務及び入庫業務を人型ロボット1が実行することにより、実現可能となる。
 図19は、保管ベース管理サーバー56と人型ロボット1の各情報処理装置14との連携で実行される、同時進行作業制御を実行するための機能ブロック図である。
 保管ベース管理サーバー56は、作業状況管理部62を備えている。作業状況管理部62は、業務スケジュールデータベース64及び通信I/F66と接続されている。
 通信I/F66は、人型ロボット1の情報処理装置14、及び搬送装置54の制御装置54Aとの間で通信し、情報のやりとりを行う。
 作業状況管理部62では、業務スケジュールデータベース64から逐次、業務スケジュールに関する情報を取得すると共に、通信I/F66を介して、保管ベース50で業務を実行している制御対象(例えば、人型ロボット1の情報処理装置14、又は搬送装置54の制御装置54A)の業務進捗情報を取得することで、次の業務の割り当て指示を含む、業務スケジュールを管理する。
 通信I/F66は、人型ロボット作業状況情報取得部68に接続されており、人型ロボット1が業務しているときの作業状況(例えば、ピッキングステーション58の位置、間口58Aに配置されている棚52の識別、又は左右何れの把持部20を使用しているか等)に関する情報を取得する。
 言い換えれば、人型ロボット作業状況情報取得部68は、通常の業務スケジュールを割り当てるには重要ではないが、業務として出庫業務又は入庫業務において、具体的な作業の詳細情報を取得する。
 人型ロボット作業状況情報取得部68は、同時作業可否判定部70に接続されている。同時作業可否判定部70には、業務スケジュールデータベース64、及び、荷物属性情報データベース72が接続されている。
 同時作業可否判定部70では、人型ロボット作業状況情報取得部68からの作業状況情報、業務スケジュールデータベース64からの業務スケジュール情報、及び、荷物属性情報データベース72からの荷物属性情報を総合的に解析して、現在、所定の業務を実行中の人型ロボット1に対して、他の業務を割り当てることが可能か否か(例えば、同時進行作業の可否)を判定し、同時進行作業が可能な場合に、作業状況管理部62へその旨を通知する。同時進行作業が可能な一例としては、作業していない側の腕部5又6があり、次の作業が、同じ棚52に対する作業であり(例えば、作業状況情報及びスケジュール情報による特定)、その作業対象の荷物100が、作業していない側の腕部5又は6で把持することが可能な重さ、大きさである(例えば、属性情報による特定)場合が該当する(つまり、所定条件成立)。
 作業状況管理部62では、通常では、業務中の人型ロボット1から業務終了通知を受けてから次の業務を割り当てるが、その前に、当該業務中の人型ロボット1に対して、業務を割り当てる。
 より具体的には、特定のピッキングステーション58の間口58Aに、特定の棚52が配置され、当該棚52の収容スペース52Aから荷物を左手の把持部20Lで把持してピッキング業務を実行している状況を想定する。
 このとき、同一の特定の棚52の収容スペース52Aから右手の把持部20Rで把持可能な荷物100をピッキング可能な場合に、左手の把持部20Lによるピッキング業務が終了する前(例えば、一旦、作業スペース58Bに運び、箱60に詰めるまでの一連の作業前)に、同時進行で2つの荷物を取り出すことを指示する。
 (通常業務割り当て指示作業の流れ)
 図20は、保管ベース50(図18A参照)で実行される、保管ベース管理サーバー56による、業務スケジュールに基づく通常業務指示制御のメインルーチンを示すフローチャートである。
 ステップ2200では、業務スケジュールを読み出し、次いで、ステップ2202へ移行して、割り当て処理を実行する。ステップ2202の割り当て処理は、何れの棚52を、何れの搬送装置54で、何れのピッキングステーション58に搬送し、何れの人型ロボット1に出庫業務又は入庫業務を実行させるかを記したワークシート等を用いることで実行可能である。
 次のステップ2204では、搬送装置54を対象として、棚52の搬送を指示し、次いで、ステップ2206では、人型ロボット1を対象として、出庫業務又は入庫業務を指示し、ステップ2208へ移行する。
 ステップ2208では、業務終了通知があったか否かを判断し、肯定判定された場合は、ステップ2210へ移行して、作業指示対象を確認し、次いで、ステップ2212へ移行して、作業指示対象毎の業務進捗ログを更新して、ステップ2214へ移行する。
 また、ステップ2208で業務終了通知がない場合は、継続して、他の業務を遂行するべく、ステップ2214へ移行する。
 すなわち、業務スケジュールに設定された順序に従い、随時、割り当て処理をしていく中で、それぞれの業務の進捗を監視することで、限られた数の搬送装置54、及び限られた数の人型ロボット1による業務の効率を向上することができる。
 (同時進行作業の流れ)
 図21は、図20に示すメインルーチンに対して、適宜割り込まれて実行される、同時進行可否の判定から特定の人型ロボット1に対して同時進行を指示するまでの同時進行業務指示の流れを示す制御フローチャートである。
 ステップ2220では、出庫業務又は入庫業務の人型ロボット1からの作業状況情報を取得する。具体的には、人型ロボット1の位置情報(例えば、ピッキングステーション58の位置、対峙中の棚52等)、及び把持情報(例えば、把持を実行している把持部、また実行していない把持部等に基づく余力等)を取得する。
 次のステップ2222では、ステップ2220で取得した作業状況情報に基づき、同時作業が可能か否かを判断する。
 このステップ2222で否定判定された場合は、同時作業は不可能であると判断し、このルーチンは終了する。また、ステップ2222で肯定判定されると、人型ロボット1としては、同時作業が可能な環境であると判断し、ステップ2224へ移行する。
 ステップ2224では、上記作業状況情報に加え、業務スケジュール及び荷物100の属性に基づいて、業務スケジュールから同時作業可能な業務を選択する。具体的には、人型ロボット1の非作業中の把持部20(例えば、空いている把持部20)での把持が可能な荷物100が、現在対峙している棚52の収容スペース52Aに存在する場合は、同時作業可能と判断となる。
 次のステップ2226では、該当する人型ロボット1に対して、出庫業務又は入庫業務を指示し、このルーチンは終了する。
 該当する人型ロボット1は、最初に指示された出庫業務又は入庫業務を一方の把持部20で実行中に、後に指示された出庫業務又は入庫業務を他方の把持部20で実行することになり、作業の効率化を図ることができる。
 以上説明したように、本実施の形態では、人型ロボット1により、所定の出庫業務又は入庫業務を一方の把持部20で作業している最中に、条件が整うことで、他方の把持部20で別の出庫業務又は入庫業務を実行することで(つまり、同時作業の実行で)、人型ロボット1の余力を十分に利用して、作業効率を向上することができる。
(第5の実施の形態)
 図22~図23に基づき、本開示の第5の実施の形態について説明する。
 なお、第5の実施の形態において、上記各実施形態と同一構成部分については、同一の符号を付して、その構成の説明を省略する場合がある。
 第1の実施の形態で説明したように、ロボット1において、事前に知り得る荷物100の重さ情報に基づき、1台の人型ロボット1に取り付けられた1本又は2本の腕部5、6(指部22A、22B、又は22C)から把持機能を選択し、吸着及び/又は掴み動作で荷物100のピッキングを行うようにした。
 また、1台の人型ロボット1が、複数の把持機能を持つことで、重さ情報に基づく把持動作の選択に加え、実際に、荷物100に近づき、掌センサ26で検出した画像情報から、荷物100の形状情報(例えば、サイズ)を特定し、選択した腕部5、6及びそれらに設けられた指部22A、22B、及び22Cでは、把持が不安定(例えば、予め定めた形状情報(例えば、サイズ)が許容範囲を逸脱)となる可能がある場合に、現場(例えば、荷物100との対峙状態)で、把持形態の変更が可能である。
 本実施の形態では、重さ情報に基づくピッキング作業の選択に続き、必要に応じて(例えば、掌センサ26からの検出情報を利用して)、形状情報(例えば、サイズ)に基づくピッキング作業の変更が実行される。
 (形状情報(サイズ)に基づく、ピッキング作業の変更)
 ここで、第1の実施の形態において述べた、表1及び表2に基づく、選択制御1~選択制御6は、荷物100の重さ情報に基づいて、吸着パッド24の大きさを選択している。
 一方で、例えば、重さの判定では、選択制御5に基づく、Extra-smallサイズ(すなわち、特小サイズ)が選択された荷物100が、所定以上の大きさの場合、把持した後の荷物100のバランスによっては、把持状態が不安定になる場合がある。
 そこで、本実施の形態では、上記した表1及び表2に基づく、選択制御1~選択制御6に加え、ピッキング作業の変更制御を実行するようにした。
 変更制御とは、人型ロボット1が荷物100に対峙して把持を実行する前に、掌センサ26を用いて、実際の荷物100の外観を撮影して形状情報(例えば、サイズ)を取得し、予め記憶した吸着パッドサイズ-形状許容範囲テーブルに基づき、選択された吸着パッド24の形状情報(例えば、サイズ)の許容範囲内であるか否かを判断し、許容範囲を逸脱する所定以上の形状情報(例えば、サイズ)の場合には、選択した吸着パッド24を変更する制御である。
 この変更制御を実施するに際し、人型ロボット1の情報処理装置14には、予め吸着パッドサイズ-形状許容範囲テーブル(表5参照)が格納されている。
 ここで、人型ロボット1は、把持現場に向かい、荷物100と対峙したとき、掌センサ26で荷物100を撮影し、撮影した画像情報から形状情報(例えば、サイズ)を取得する。
 情報処理装置14では、取得した形状情報が、選択した吸着パッドサイズの許容範囲か否かを判断し、許容範囲外の場合に、吸着パッドサイズを変更する。
 (荷物100の把持制御)
 図22は、人型ロボット1の全体の動作に連動し、出庫業務及び入庫業務に必要な動作である、把持部20によって荷物100を把持する際の把持制御の手順を示すフローチャートである。
 ステップ3150では、荷物100の把持の指示があったか否かを判断し、肯定判定されると、ステップ3152へ移行して、人型ロボット1を移動させ(例えば、腕部5、6を動作させ)、対象の荷物100に掌側20Aを対峙させ、ステップ3154へ移行する。
 次のステップ3154では、荷物100の把持のための作業を選択する。例えば、「吸着」のみ、「掴み」のみ、又は「吸着」と「掴み」の併用等から選択し、次いで、ステップ3156へ移行して、荷物100の属性に応じた、把持部20、吸着パッド24の選択処理(詳細は、図8参照)を実行し、ステップ3158へ移行する。
 ステップ3158では、掌側20Aを対向させて、掌センサ26で検出した情報(例えば、高解像度カメラで撮影した画像及びMoPUで検出した位置情報等)から、荷物100の情報を検出する。
 次のステップ3160では、掌センサ26による検出情報を解析して、荷物100の種類(例えば、形状、大きさ、硬さ等)及び位置を詳細に把握し、ステップ3162へ移行する。
 ステップ3162では、予め情報処理装置14に格納されている吸着パッドサイズ-形状許容範囲テーブル(表5参照)を読み出し、次いで、ステップ3164へ移行して、選択されている吸着パッド24のサイズが、把持する荷物100が許容範囲か否かを判断する。
 このステップ3164で否定判定された場合は、ステップ3166へ移行して、表5に基づいて、吸着パッド24のサイズを変更して、ステップ3168へ移行する。
 また、ステップ3164で肯定判定された場合は、変更の必要はないので、ステップ3168へ移行する。
 ステップ3168では、荷物100の把持(例えば、「吸着」のみ、「掴み」のみ、又は「吸着」と「掴み」)を実行する。
 次のステップ3170では、荷物100の把持が成功したか否かを判定し、肯定判定された場合は、把持した荷物100を所定の場所へ運び、ステップ3150へ移行して、次の荷物100の把持の指示を待つ。
 また、ステップ3170で否定判定された場合は、ステップ3172へ移行して、エラー処理(例えば、リトライ又はキャンセル等)を実行し、ステップ3150へ戻る。
 (保管ベースでの出庫業務及び入庫業務作業の制御系)
 本実施の形態において、人型ロボット1は、第4の実施の形態と同様に、保管ベース50における作業に用いられてもよい。図23は、保管ベース管理サーバー56と人型ロボット1の各情報処理装置14との連携で実行される、出庫業務及び入庫業務を実行するための制御系の機能ブロック図である。
 保管ベース管理サーバー56は、作業状況管理部62を備えている。作業状況管理部62は、業務スケジュールデータベース64、荷物属性情報データベース72、及び通信I/F66と接続されている。
 通信I/F66は、人型ロボット1の情報処理装置14、及び搬送装置54の制御装置54Aとの間で通信し、情報のやりとりを行う。
 作業状況管理部62では、業務スケジュールデータベース64から逐次、業務スケジュールに関する情報を取得すると共に、通信I/F66を介して、保管ベース50で業務を実行している制御対象(例えば、人型ロボット1の情報処理装置14、又は搬送装置54の制御装置54A)の業務進捗情報を取得することで、次の業務の割り当て指示を含む、業務スケジュールを管理する。
 通信I/F66は、人型ロボット作業状況情報取得部68に接続されており、人型ロボット1が業務しているときの作業状況(例えば、ピッキングステーション58の位置、間口58Aに配置されている棚52の識別、又は左右何れの把持部20を使用しているか等)に関する情報を取得する。
 言い換えれば、人型ロボット作業状況情報取得部68は、通常の業務スケジュールを割り当てるには重要ではないが、業務として出庫業務又は入庫業務において、具体的な作業の詳細情報を取得する。
 人型ロボット作業状況情報取得部68は、作業状況管理部62に接続されている。
 作業状況管理部62では、人型ロボット作業状況情報取得部68からの作業状況情報、業務スケジュールデータベース64からの業務スケジュール情報、及び、荷物属性情報データベース72からの荷物属性情報を総合的に解析して、現在の進捗とスケジュールとの照合を図り、全体を管理する。
 作業状況管理部62では、通常では、業務中の人型ロボット1から業務終了通知を受けてから次の業務を割り当てるが、場合によっては、当該業務中の人型ロボット1に対して、業務を割り当てる。
 より具体的には、特定のピッキングステーション58の間口58Aに、特定の棚52が配置され、当該棚52の収容スペース52Aから荷物100を把持してピッキング業務を実行している状況を想定し、同一の特定の棚52の収容スペースから荷物100をピッキング可能な場合に、そのままの位置で(例えば、業務終了の下、ホームポジション等に戻らずに)業務継続を指示することが可能である。
 また、本実施の形態においても、保管ベース50において通常業務割り当て指示作業が実行される。本実施の形態における通常業務割り当て指示作業の流れは、上記第4の実施の形態における図20に示したフローチャートと同様なので、ここでの説明は省略する。
 図24は、上記各実施形態において情報処理装置14として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200を、上記各実施形態に係る装置の1又は複数の「部」として機能させ、又はコンピュータ1200に、上記各実施形態に係る装置に関連付けられるオペレーション又は当該1又は複数の「部」を実行させることができ、および/又はコンピュータ1200に、上記各実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつか又は全てに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
 上記各実施形態におけるコンピュータ1200は、CPU1212、RAM1214、およびグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、記憶装置1224、DVDドライブ、およびICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。DVDドライブは、DVD-ROMドライブおよびDVD-RAMドライブ等であってよい。記憶装置1224は、ハードディスクドライブおよびソリッドステートドライブ等であってよい。コンピュータ1200はまた、ROM1230およびキーボードのような入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
 CPU1212は、ROM1230およびRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
 通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、コンピュータ1200内のCPU1212によって使用されるプログラムおよびデータを格納する。DVDドライブは、プログラム又はデータをDVD-ROM等から読み取り、記憶装置1224に提供する。ICカードドライブは、プログラムおよびデータをICカードから読み取り、および/又はプログラムおよびデータをICカードに書き込む。
 ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、および/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
 プログラムは、DVD-ROM又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
 例えば、通信がコンピュータ1200および外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、DVD-ROM、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
 また、CPU1212は、記憶装置1224、DVDドライブ(DVD-ROM)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
 様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
 上で説明したプログラム又はソフトウエアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
 上記各実施形態におけるフローチャートおよびブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表してよい。特定の段階および「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび/又はアナログハードウェア回路を含んでよく、集積回路(IC)および/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、およびプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、および他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
 コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
 コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、および「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
 コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
 以上、本開示を実施の形態を用いて説明したが、本開示の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
 特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
 2022年12月7日に出願された日本国特許出願第2022-195945号、2023年2月22日に出願された日本国特許出願第2023-026590号、2023年2月28日に出願された日本国特許出願第2023-029478号、2023年3月9日に出願された日本国特許出願第2023-036898号、及び2023年3月14日に出願された日本国特許出願第2023-040062号の開示は、その全体が参照により本明細書に取り込まれる。
 本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (29)

  1.  対象物を把持する基盤となる掌部と、前記掌部から放射状に延長された複数の指部とを備えた第1把持部と、対象物を把持し、かつ保持することが可能な保持体を備えた第2把持部とを有し、前記第1把持部及び前記第2把持部により前記対象物を把持することが可能なロボットの制御システムであって、
     前記第1把持部の前記掌部及び指部毎に選択的に設けられ、異なる吸着面積で前記対象物を吸着して把持することが可能な複数種類の吸着パッドと、
     前記対象物の少なくとも形状及び重さを含む性状によって、前記対象物を把持する機能として、前記第1把持部で把持する第1機能、前記第2把持部で把持する第2機能、前記第1機能及び前記第2機能を併用する第3機能の何れかを選択して、前記対象物を把持する動作を制御する制御部と、
    を有するロボットの制御システム。
  2.  前記第1把持部は、前記指部が複数設けられ、少なくとも1の指部の先端部には他の吸着パッドと比べて小径の吸着パッドが取り付けられ、前記1の指部以外の他の指部の先端部には他の吸着パッドと比べて大径の吸着パッドが取り付けられており、
     前記制御部は、前記性状に基づいて、前記第1機能、前記第2機能、前記第3機能の何れかを選択して、前記対象物を把持する動作を制御する請求項1記載のロボットの制御システム。
  3.  前記第1把持部は、前記指部が3本設けられ、第1の指部の先端部には他の吸着パッドと比べて小径の吸着パッドが取り付けられ、第2の指部及び第3の指部の先端部には他の吸着パッドと比べて大径の吸着パッドが取り付けられており、
     前記制御部は、
     前記対象物が、前記性状に基づいて、特大サイズ、大サイズ、中サイズ、小サイズ、及び特小サイズに分類し、
     前記対象物が、前記特大サイズの場合は、前記第2把持部に設けられた保持体を用いて把持し、
     前記対象物が、前記大サイズの場合は、前記掌部に設けられた吸着パッドを用いて把持し、
     前記対象物が、前記中サイズの場合は、前記第2の指部及び前記第3の指部の先端部に設けられた前記大径の吸着パッドを用いて把持し、
     前記対象物が、前記小サイズの場合は、前記第2の指部又は前記第3の指部の先端部に設けられた前記大径の吸着パッドを用いて把持し、
     前記対象物が、前記特小サイズの場合は、前記第1の指部の先端部に設けられた前記小径の吸着パッドを用いて把持することを選択する、
     請求項1記載のロボットの制御システム。
  4.  前記第2把持部の前記保持体として、吸着パッドが適用される、請求項1記載のロボットの制御システム。
  5.  前記第1把持部及び前記第2把持部に設けられ、前記対象物の形状及び位置を含む対象物情報を検出する掌センサ部をさらに有し、前記掌センサ部が、前記対象物の画像を撮影して当該対象物の種類を識別するカメラと、前記対象物の位置を特定するモーションプロセシングユニットとを備える請求項1記載のロボットの制御システム。
  6.  前記対象物の前記性状の内、重さ情報を用いて、前記対象物が、単一のロボットで把持することが可能な所定規格内か否かを判定し、所定規格を超える場合に、複数のロボットを集結し、互いに連携して、前記対象物を把持する、請求項1記載のロボットの制御システム。
  7.  前記制御部が、
     前記複数のロボットの各々の前記対象物の把持点を設定し、前記対象物の性状に基づいて、設定した把持点での、各ロボットに分担される荷重比率を演算し、演算結果に基づいて、各ロボット毎に、前記対象物を把持する前記機能を選択する、請求項6記載のロボットの制御システム。
  8.  前記複数のロボットで前記対象物を把持して搬送するとき、当該対象物に加わる慣性力が最小となるように、各ロボットの搬送ルートを設定する、請求項6記載のロボットの制御システム。
  9.  コンピュータを請求項1~請求項8の何れか1項記載の制御部として動作させる、ロボットの制御プログラム。
  10.  ロボットの腕部に着脱可能に装着され、予め定められた規格に適合する対象物を把持する標準把持部と、前記腕部に着脱可能であり前記規格に不適合の対象物を把持する1又は複数のエキストラ把持部と、備える前記ロボットの制御システムであって、
     前記対象物が、予め定められた標準規格に適合するか否かを判定する判定部と、
     前記判定部の判定結果が前記標準規格に適合の場合は、前記腕部に前記標準把持部を装着させ、前記判定部の判定結果が前記標準規格に不適合の場合は、前記腕部に前記エキストラ把持部を装着させる動作を制御すると共に前記対象物を把持する動作を制御する制御部と、
     を有するロボットの制御システム。
  11.  前記ロボットには、前記腕部が複数装備されており、
     一方の腕部への、前記標準把持部又は前記エキストラ把持部の着脱動作を、他の腕部に装着された前記標準把持部又は前記エキストラ把持部を用いて実行する、請求項10記載のロボットの制御システム。
  12.  前記標準把持部及び前記エキストラ把持部に設けられ、前記対象物の種類、形状、又は大きさと、位置とを含む対象物情報を検出するセンサ部をさらに有し、
     前記判定部が、前記センサ部で検出した前記対象物情報に基づいて、前記対象物が、前記標準規格に適合するか否かを判定する、請求項10記載のロボットの制御システム。
  13.  前記判定部が、前記センサ部で検出した前記対象物情報、又は、事前に知り得る重さに基づいて判定する、請求項12記載のロボットの制御システム。
  14.  前記センサ部が、前記対象物の画像を撮影して当該対象物の種類を識別するカメラと、前記対象物の位置を特定するモーションプロセシングユニットとを備えている、請求項12記載のロボットの制御システム。
  15.  前記標準把持部が、
     前記対象物を把持する基盤となる掌部及び前記掌部から放射状に延長された複数の指部を備え、前記掌部及び指部毎に、異なる吸着面積で前記対象物を吸着して把持することが可能な吸着パッドがそれぞれ取り付けられた第1把持部と、前記対象物を把持しかつ保持することが可能な保持体を備えた第2把持部とを有し、
     前記制御部は、前記標準把持部による前記対象物の把持において、
     前記対象物の少なくとも形状及び重さを含む属性によって、前記対象物を把持する機能として、前記第1把持部で把持する第1機能、前記第2把持部で把持する第2機能、前記第1機能及び前記第2機能を併用する第3機能の何れかを選択して、前記対象物を把持する動作を制御する、請求項10記載のロボットの制御システム。
  16.  前記標準把持部による前記対象物の把持において、前記第1把持部は、指部が3本設けられ、第1の指部の先端部には他の吸着パッドと比べて小径の吸着パッドが取り付けられ、第2の指部及び第3の指部の先端部には他の吸着パッドと比べて大径の吸着パッドが取り付けられており、
     前記制御部は、
     前記対象物が、前記属性に基づいて、特大サイズ、大サイズ、中サイズ、小サイズ、及び特小サイズに分類し、
     前記対象物が、前記特大サイズの場合は、前記第2把持部に設けられた保持体を用いて把持し、
     前記対象物が、前記大サイズの場合は、前記掌部に設けられた吸着パッドを用いて把持し、
     前記対象物が、前記中サイズの場合は、前記第2の指部及び前記第3の指部の先端部に設けられた前記大径の吸着パッドを用いて把持し、
     前記対象物が、前記小サイズの場合は、前記第2の指部又は前記第3の指部の先端部に設けられた前記大径の吸着パッドを用いて把持し、
     前記対象物が、前記特小サイズの場合は、前記第1の指部の先端部に設けられた前記小径の吸着パッドを用いて把持することを選択する、
     請求項15記載のロボットの制御システム。
  17.  コンピュータを請求項10~請求項16の何れか1項記載の前記判定部、前記制御部として動作させる、ロボットの制御プログラム。
  18.  対象物を把持するための把持機能として、互いに異なる把持機能を備えた複数の把持部を有し、選択された前記把持部により前記対象物を把持することが可能なロボットの制御システムであって、
     少なくとも1つの前記把持部を選択して、前記対象物の中から指定された第1対象物の把持を含む把持作業を制御する通常作業制御部と、
     前記通常作業制御部による作業の実行中に、所定条件が成立した場合に、他の前記把持部を選択して、前記対象物の中から指定された第2対象物の把持を含む把持作業を制御する同時作業制御部と、
    を有するロボットの制御システム。
  19.  前記所定条件が、前記ロボットの位置情報及び対象物を把持している把持部を特定する把持情報を含む作業状況情報と、前記ロボットの作業環境下での業務スケジュール情報と、把持対象となる対象物の属性情報と、から見出した前記第2対象物の把持可能条件である、請求項18記載のロボットの制御システム。
  20.  複数の前記対象物が保管された複数の棚が陳列された保管ベースと、前記棚から前記対象物を取り出す出庫業務及び前記棚へ前記対象物を収容する入庫業務を実行するピッキングステーションと、を備えた倉庫において、前記ロボットが、前記ピッキングステーションに配置されており、
     前記ロボットに対して、前記把持作業を含む前記出庫業務及び前記入庫業務を指示する保管ベース管理サーバーが、前記通常作業制御部及び前記同時作業制御部として機能することで、前記ロボットに前記対象物の前記把持作業を実行させる、請求項18記載のロボットの制御システム。
  21.  前記複数の把持部が、
     基盤となる掌部と、前記掌部から放射状に延長された複数の指部とを備え、吸着及び掴みの何れかで前記対象物を把持することが可能な第1把持部と、最大の吸着力で対象物を吸着して把持することが可能な第2把持部とを有し、
     前記通常作業制御部及び前記同時作業制御部は、
     前記対象物の少なくとも形状及び重さを含む属性によって、前記対象物を把持する機能として、前記第1把持部で把持する第1機能、前記第2把持部で把持する第2機能、前記第1機能及び前記第2機能を併用する第3機能の何れかを選択する、請求項18記載のロボットの制御システム。
  22.  前記第1把持部は、指部が3本設けられ、第1の指部の先端部には他の吸着パッドと比べて小径の吸着パッドが取り付けられ、第2の指部及び第3の指部の先端部には他の吸着パッドと比べて大径の吸着パッドが取り付けられており、
     前記通常作業制御部及び前記同時作業制御部は、
     前記対象物を、前記属性に基づいて、特大サイズ、大サイズ、中サイズ、小サイズ、及び特小サイズに分類し、
     前記対象物が、前記特大サイズの場合は、前記第2把持部を用いて把持し、
     前記対象物が、前記大サイズの場合は、前記掌部に設けられた吸着パッドを用いて把持し、
     前記対象物が、前記中サイズの場合は、前記第2の指部及び前記第3の指部の先端部に設けられた前記大径の吸着パッドを用いて把持し、
     前記対象物が、前記小サイズの場合は、前記第2の指部又は前記第3の指部の先端部に設けられた前記大径の吸着パッドを用いて把持し、
     前記対象物が、前記特小サイズの場合は、前記第1の指部の先端部に設けられた前記小径の吸着パッドを用いて把持することを選択する、
     請求項21記載のロボットの制御システム。
  23.  前記把持部に設けられ、前記対象物の形状及び位置を含む対象物情報を検出するセンサ部をさらに有し、前記センサ部が、前記対象物の画像を撮影して当該対象物の種類を識別するカメラと、前記対象物の位置を特定するモーションプロセシングユニットとを備える請求項18記載のロボットの制御システム。
  24.  コンピュータを請求項18~請求項23の何れか1項記載の前記通常作業制御部及び前記同時作業制御部として動作させる、ロボットの制御プログラム。
  25.  対象物を把持する基盤となる掌部と、前記掌部に取り付けられた複数の指部とを備えた第1把持部と、対象物を把持しかつ保持することが可能な保持体を備えた第2把持部とを用いて、前記対象物を把持することが可能なロボットの制御システムであって、
     前記第1把持部の前記掌部及び指部毎に選択的に設けられ、異なる吸着面積で前記対象物を吸着して把持することが可能な複数種類の吸着パッドと、
     前記第1把持部及び前記第2把持部に設けられ、少なくとも前記対象物の形状情報を検出するセンサ部と、
     事前に登録された前記対象物の重さ情報に基づいて、前記対象物を把持する機能として、前記第1把持部で把持する第1機能、前記第2把持部で把持する第2機能、前記第1機能及び前記第2機能を併用する第3機能の何れかを選択する選択部と、
     前記選択部で選択された機能に基づき、前記対象物を把持する動作を制御する制御部と、
     前記制御部による把持動作における前記対象物への接近動作中に前記センサ部で検出される当該対象物の形状情報が、前記選択部で選択された前記対象物を把持する機能の許容範囲か否かを判定する判定部と、
     前記判定部で許容範囲外と判定された場合に、前記対象物を把持する機能を変更する変更部と、
    を有するロボットの制御システム。
  26.  前記判定部が、前記対象物を把持する機能と、前記対象物の形状情報の許容範囲とが関連付けられたテーブルに基づいて判定する、請求項25記載のロボットの制御システム。
  27.  前記センサ部が、前記対象物の画像を撮影して当該対象物の種類を識別するカメラと、前記対象物の位置を特定するモーションプロセシングユニットとを備える請求項25記載のロボットの制御システム。
  28.  前記第1把持部は、指部が3本設けられ、第1の指部の先端部には他の吸着パッドと比べて小径の吸着パッドが取り付けられ、第2の指部及び第3の指部の先端部には他の吸着パッドと比べて大径の吸着パッドが取り付けられており、
     前記制御部は、
     前記対象物を、前記重さ情報に基づいて、重さ分類サイズとしての、特大サイズ、大サイズ、中サイズ、小サイズ、及び特小サイズに分類し、
     前記対象物が、前記特大サイズの場合は、前記第2把持部に設けられた保持体を用いて把持し、
     前記対象物が、前記大サイズの場合は、前記掌部に設けられた吸着パッドを用いて把持し、
     前記対象物が、前記中サイズの場合は、前記第2の指部及び前記第3の指部の先端部に設けられた前記大径の吸着パッドを用いて把持し、
     前記対象物が、前記小サイズの場合は、前記第2の指部又は前記第3の指部の先端部に設けられた前記大径の吸着パッドを用いて把持し、
     前記対象物が、前記特小サイズの場合は、前記第1の指部の先端部に設けられた前記小径の吸着パッドを用いて把持することを選択する、
     請求項25記載のロボットの制御システム。
  29.  コンピュータを請求項25~請求項28の何れか1項記載の選択部、制御部、判定部、及び変更部として動作させる、ロボットの制御プログラム。
PCT/JP2023/043189 2022-12-07 2023-12-01 ロボットの制御システム、ロボットの制御プログラム WO2024122475A1 (ja)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP2022195945 2022-12-07
JP2022-195945 2022-12-07
JP2023-026590 2023-02-22
JP2023026590A JP2024082207A (ja) 2022-12-07 2023-02-22 ロボットの制御システム、ロボットの制御プログラム
JP2023-029478 2023-02-28
JP2023029478A JP2024082209A (ja) 2022-12-07 2023-02-28 ロボットの制御システム、ロボットの制御プログラム
JP2023-036898 2023-03-09
JP2023036898A JP2024082210A (ja) 2022-12-07 2023-03-09 ロボットの制御システム、ロボットの制御プログラム
JP2023040062A JP2024082211A (ja) 2022-12-07 2023-03-14 ロボットの制御システム、ロボットの制御プログラム
JP2023-040062 2023-03-14

Publications (1)

Publication Number Publication Date
WO2024122475A1 true WO2024122475A1 (ja) 2024-06-13

Family

ID=91379431

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/043189 WO2024122475A1 (ja) 2022-12-07 2023-12-01 ロボットの制御システム、ロボットの制御プログラム

Country Status (1)

Country Link
WO (1) WO2024122475A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60127988A (ja) * 1983-12-09 1985-07-08 ダイキン工業株式会社 複合ハンド
JPH10329073A (ja) * 1997-05-29 1998-12-15 Yamagata Casio Co Ltd 適合ノズルの自動判別方法及び装置
JP2007260837A (ja) * 2006-03-28 2007-10-11 Brother Ind Ltd 搬送ロボット及び搬送プログラム
JP2009078310A (ja) * 2007-09-25 2009-04-16 Seiko Epson Corp ロボット用ハンド及びロボット用ハンドの制御方法並びにロボット用ハンドの制御システム
JP2012196764A (ja) * 2012-07-20 2012-10-18 Yaskawa Electric Corp 双腕ロボット
JP2017534466A (ja) * 2014-09-26 2017-11-24 テラダイン、 インコーポレイテッド 把持用グリッパ
US20190344447A1 (en) * 2018-05-09 2019-11-14 Intelligrated Headquarters, Llc Method and system for manipulating items
JP2022001401A (ja) * 2020-06-22 2022-01-06 Telexistence株式会社 ロボットハンド及びロボットハンドシステム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60127988A (ja) * 1983-12-09 1985-07-08 ダイキン工業株式会社 複合ハンド
JPH10329073A (ja) * 1997-05-29 1998-12-15 Yamagata Casio Co Ltd 適合ノズルの自動判別方法及び装置
JP2007260837A (ja) * 2006-03-28 2007-10-11 Brother Ind Ltd 搬送ロボット及び搬送プログラム
JP2009078310A (ja) * 2007-09-25 2009-04-16 Seiko Epson Corp ロボット用ハンド及びロボット用ハンドの制御方法並びにロボット用ハンドの制御システム
JP2012196764A (ja) * 2012-07-20 2012-10-18 Yaskawa Electric Corp 双腕ロボット
JP2017534466A (ja) * 2014-09-26 2017-11-24 テラダイン、 インコーポレイテッド 把持用グリッパ
US20190344447A1 (en) * 2018-05-09 2019-11-14 Intelligrated Headquarters, Llc Method and system for manipulating items
JP2022001401A (ja) * 2020-06-22 2022-01-06 Telexistence株式会社 ロボットハンド及びロボットハンドシステム

Similar Documents

Publication Publication Date Title
US10954081B1 (en) Coordinating multiple robots to meet workflow and avoid conflict
JP7362755B2 (ja) ロボットによる複数アイテムタイプのパレタイズおよびデパレタイズ
US20210260762A1 (en) Controller and control method for robotic system
JP6661211B1 (ja) ロボットシステムの制御装置及び制御方法
JP2020111467A (ja) ロボットシステムの制御装置及び制御方法
JP2022525291A (ja) ボックスのパレタイズのロボットおよび方法
JP2019137543A (ja) ピッキングシステム及びピッキングシステムの制御方法
JP2019535611A (ja) 垂直軸に沿ったロボットによるアイテムの仕分け及び最適化
US10576507B2 (en) Systems, devices, articles and methods for the partition of items
US20220072587A1 (en) System and method for robotic horizontal sortation
JP2023168562A (ja) ハンドリングシステム
CN115744272A (zh) 机器人多表面夹持器组件及其操作方法
WO2024122475A1 (ja) ロボットの制御システム、ロボットの制御プログラム
WO2023182345A1 (ja) ハンドリングシステム、情報処理システム、情報処理方法、プログラム、及び記憶媒体
US20230286140A1 (en) Systems and methods for robotic system with object handling
KR101933827B1 (ko) 포크형 리프터를 갖는 이동형 물류 로봇 시스템 및 그 동작 방법
JP2024082210A (ja) ロボットの制御システム、ロボットの制御プログラム
JP2024082211A (ja) ロボットの制御システム、ロボットの制御プログラム
JP2024082207A (ja) ロボットの制御システム、ロボットの制御プログラム
JP2024082209A (ja) ロボットの制御システム、ロボットの制御プログラム
WO2022098706A1 (en) Robotic tools and methods for operating same
JP2024082201A (ja) ロボットの制御システム、ロボットの制御プログラム
WO2024122516A1 (ja) ロボットの制御システム、ロボットハンド、ロボットの制御プログラム、情報管理プログラム、及び情報処理プログラム
JP2024082202A (ja) ロボットの制御システム、ロボットの制御プログラム
WO2022172887A1 (ja) 情報処理装置、情報処理方法、プログラム及びシステム