WO2024080155A1 - ロボットシステム、ロボットの制御装置、およびロボットの制御方法 - Google Patents

ロボットシステム、ロボットの制御装置、およびロボットの制御方法 Download PDF

Info

Publication number
WO2024080155A1
WO2024080155A1 PCT/JP2023/035552 JP2023035552W WO2024080155A1 WO 2024080155 A1 WO2024080155 A1 WO 2024080155A1 JP 2023035552 W JP2023035552 W JP 2023035552W WO 2024080155 A1 WO2024080155 A1 WO 2024080155A1
Authority
WO
WIPO (PCT)
Prior art keywords
holding
robot
control device
held
holding unit
Prior art date
Application number
PCT/JP2023/035552
Other languages
English (en)
French (fr)
Inventor
啓 田坂
克 中尾
武志 上田
勇樹 岩本
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2024080155A1 publication Critical patent/WO2024080155A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Definitions

  • This disclosure relates to a robot system, a robot control device, and a robot control method.
  • Patent Document 1 discloses a configuration for controlling the laying of a wire body, taking into account the rotation of the tip, in an industrial robot equipped with a suction-type work tool.
  • the present disclosure was devised in consideration of the above-mentioned conventional circumstances, and aims to improve the stability of a robot's holding of an object.
  • the present disclosure provides a robot system that includes a robot having a holding unit that holds an object to be held, and a control device that controls the robot, and the control device causes the holding unit of the robot to hold the object to be held in an initial holding position, acquires information on the tilt of the holding unit that occurs when the object to be held is held, and adjusts the holding position from the initial holding position to a holding position closer to the center of gravity of the object to be held based on the tilt information.
  • the present disclosure also provides a control device for a robot having a holding unit that holds a held object, the control device causes the holding unit of the robot to hold the held object at an initial holding position, acquires information on the tilt of the holding unit that occurs when the held object is being held, and adjusts the holding position from the initial holding position to a holding position closer to the center of gravity of the held object based on the tilt information.
  • the present disclosure also provides a control method for a robot having a holding unit that holds a held object, in which a processor cooperates with a memory to cause the holding unit of the robot to hold the held object at an initial holding position, obtain information on the tilt of the holding unit that occurs when the held object is being held, and adjust the holding position from the initial holding position to a holding position closer to the center of gravity of the held object based on the tilt information.
  • the present disclosure makes it possible to improve the stability of a robot's holding of an object.
  • FIG. 1 is a schematic diagram illustrating an example of an overall configuration of a robot system according to an embodiment of the present invention.
  • FIG. 1 is a conceptual diagram for explaining a change in a work tool according to an embodiment of the present invention
  • FIG. 1 is a schematic diagram illustrating a configuration example of a work tool according to an embodiment of the present invention
  • FIG. 1 is a table showing an example of the configuration of a correction table according to an embodiment of the present invention.
  • 1 is a flowchart of a control process for a robot according to an embodiment of the present invention.
  • FIG. 13 is a schematic diagram for explaining detection of the inclination of luggage according to another embodiment of the present invention
  • FIG. 11 is a schematic diagram for explaining detection of the inclination of luggage according to another embodiment of the present invention;
  • Patent Document 1 shows a configuration that can stably hold a package by a holding unit having a plurality of suction parts.
  • Patent Document 1 does not go as far as identifying and adjusting an appropriate holding position of the object after considering the center of gravity of the object.
  • FIG. 1(a) a load 300 is being transported by a conveyor 400.
  • a holding unit 130 including a suction-type work tool is positioned above the transported load 300.
  • the load 300 is formed of a rectangular cardboard box or the like.
  • a point 305 is the position of the apparent center of gravity when the load 300 is viewed from above.
  • the apparent center of gravity position can be derived, for example, by photographing the load 300 from above, identifying the area of the load 300, and using a known calculation formula based on the area.
  • FIG. 1(b) shows an example of the arrangement of items stored within luggage 300.
  • luggage 300 has 5 x 4 storage compartments (total of 20 compartments), with a total of eight items 302 stored in one of them.
  • the center of gravity is not at the position shown as point 305 in FIG. 1(a), but at another position. Therefore, if luggage 300 were to be held at point 305, which is the apparent position of the center of gravity, luggage 300 would be held in an unstable state.
  • Figure 2 shows an example of another storage state of luggage.
  • Two items 314 are stored in luggage 310.
  • perforations are provided on the surface of luggage 310 to make it easier for the user to open the box.
  • Such areas are places where the box may be damaged or unintentionally opened when held by the holding part, so they need to be excluded from the holding positions.
  • such areas are referred to as prohibited areas (prohibited area 313 in the case of Figure 2).
  • prohibited areas may be provided, and their shapes and configurations are not particularly limited.
  • prohibited areas may be identified by a matching process based on predefined information, or may be specified by area extraction from the captured image using a known method.
  • the apparent center of gravity position can be derived, for example, by photographing the luggage from above, identifying the area of the luggage, and using a known calculation formula based on that area.
  • the apparent center of gravity position may be identified after excluding prohibited areas.
  • point 311 is an example of the apparent center of gravity.
  • point 312 is an example of the true center of gravity.
  • the holding state becomes unstable, whereas when luggage 310 is held at point 312, which is the true center of gravity, the holding state becomes more stable. Therefore, when luggage 310 is to be held stably, it is necessary to identify a position closer to point 312.
  • Figures 1 and 2 show an example in which luggage is being transported by conveyor 400, whether the luggage is stopped while the holding operation is performed or the luggage is moving while the holding operation is performed, it is possible to handle the luggage in the same way by identifying the position of the center of gravity and tracking that position.
  • the holding operation is performed while the luggage to be held is stopped will be explained here.
  • FIG. 3 is a schematic diagram showing an example of the overall configuration of the robot system 1 according to the first embodiment.
  • the robot system 1 includes a robot 100 and a control device 200.
  • the robot 100 includes a robot arm 110, and a holding unit 130 serving as a suction-type work tool is provided at the tip of the robot arm 110.
  • a camera 120 capable of taking an image of the holding unit 130 is provided around the tip of the robot arm 110. Therefore, in this embodiment, the camera 120 and the holding unit 130 are configured to be movable to any position in three-dimensional space in response to the movement of the robot arm 110 of the robot 100.
  • the robot arm 110 is a multi-joint (multi-axis) robot arm made up of multiple joints.
  • the robot arm 110 shows an example of a multi-joint configuration having a rotation axis at the connection with the holding unit 130, a rotation axis around the base, and two other rotation axes, but this is not limited to this.
  • the orientation of the rotation axis may also be other configurations.
  • the robot arm 110 is installed at any location via the base.
  • the base may be installed on a mechanism that can move on a plane such as a slider, or the base may be installed on a wall surface, ceiling surface, etc.
  • the shape of the robot arm 110 and the shape of the base are not particularly limited and can be changed as desired.
  • connection part (wrist part) between the robot arm 110 and the holding part 130 is configured with a certain amount of play that makes it easy for tilt to occur in the direction of gravity.
  • the configuration is such that when a luggage is held at a position other than the center of gravity, the tilt described below is likely to occur.
  • the play in the connection part may be realized, for example, by using a ball joint between the robot arm 110 and the holding part 130.
  • the camera 120 is installed so that it can capture images of the area around the tip of the holding unit 130 and the object being held, which will be described later.
  • the angle of view of the camera 120 is set to a range that captures the shape of the tip of the holding unit 130.
  • the camera 120 is configured to capture an image of the luggage 300, which is the object being held.
  • the camera 120 is not limited to being installed at the tip of the robot arm 110, and may be placed at another position where it can capture images of changes in the shape of the holding unit 130.
  • multiple cameras 120 may be installed. Note that a camera that captures an image of the tip of the holding unit 130 and a camera that captures an image of the luggage 300 may be provided as separate cameras.
  • the object to be held corresponds to the luggage 300 shown in FIG. 1 etc.
  • the luggage 300 that is the object to be held includes a wide variety of luggage in terms of size, external shape, weight, contents (contents), internal arrangement, etc.
  • the control device 200 functions as a control device for the robot 100.
  • the control device 200 is configured to include, for example, a processor, a memory, an input/output device, a robot IF, and a communication device, and each part is connected so as to be able to communicate.
  • the processor may be configured, for example, using a CPU (Central Processing Unit), MPU (Micro Processing Unit), DSP (Digital Signal Processor), GPU (Graphical Processing Unit), or FPGA (Field Programmable Gate Array).
  • the memory is a storage area for storing and holding various data, and may be configured, for example, from a non-volatile storage area such as a ROM (Read Only Memory) or HDD (Hard Disk Drive), or a volatile storage area such as a RAM (Random Access Memory).
  • the processor realizes various functions described below by reading and executing various data and programs stored in the memory.
  • the input/output device receives data of instructions from a user from a mouse or keyboard (not shown) and outputs various information data from a display (not shown).
  • the robot IF is an interface for connecting to the robot 100, and transmits and receives various control signals to the robot 100 based on instructions from the processor.
  • the communication device communicates with an external device (not shown) via a wired/wireless network, and transmits and receives various data and signals.
  • the communication method used by the communication device is not particularly limited, and may be compatible with multiple communication methods. For example, a WAN (Wide Area Network), a LAN (Local Area Network), power line communication, short-range wireless communication (e.g., Bluetooth (registered trademark)), etc. may be used.
  • the control device 200 has a camera control unit 201, an image recording unit 202, an object recognition unit 203, a deformation detection unit 204, a correction amount calculation unit 205, and a robot control unit 206.
  • the camera control unit 201 controls the shooting of the camera 120.
  • the control contents here may include shooting timing and shooting settings.
  • the camera control unit 201 acquires images captured by the camera 120 and records them in the image recording unit 202.
  • the images captured by the camera 120 may be still images or moving images.
  • the camera 120 captures images of the luggage 300 as well as images of the area around the tip of the holding unit 130.
  • the image recording unit 202 records the image captured by the camera 120.
  • the object recognition unit 203 recognizes the luggage 300 from the image recorded in the image recording unit 202.
  • the object recognition unit 203 may perform area extraction by machine learning or identification of the size of the luggage by matching processing.
  • area extraction a process of identifying and tracking the area of the luggage may be performed.
  • matching processing for example, a configuration may be used in which the specifications of the luggage box are registered in advance and a box with the registered specifications is identified by matching.
  • the object recognition unit 203 may further identify the prohibited area of the box as described above based on the specifications of the box registered in advance, or may identify the position of a specific structure such as a perforation by area extraction. If the position of a specific structure such as a perforation can be identified, a predetermined range from the position of the structure may be treated as a prohibited area.
  • the deformation detection unit 204 extracts the area of the marker provided on the holding unit 130 (described later) from the image recorded by the image recording unit 202. At this time, the deformation detection unit 204 may perform area extraction using machine learning or identify the marker using matching processing. Furthermore, the deformation detection unit 204 detects the deformation of the holding unit 130 on which the marker is provided, based on the information on the identified marker area. In this embodiment, this deformation is used as tilt information of the holding unit 130.
  • the correction amount calculation unit 205 calculates the amount of correction based on the tilt information of the holding unit 130 detected by the deformation detection unit 204. More specifically, the center of gravity position of the luggage is estimated from the tilt of the luggage when it is held at a certain point in time, and a correction vector (direction, amount of movement) toward the center of gravity position is calculated. In this embodiment, a predefined correction table is used when calculating the amount of correction based on the tilt information. An example of the correction table will be described later with reference to FIG. 6.
  • the robot control unit 206 controls the robot 100 to hold the luggage 300 while adjusting the luggage holding position (feedback control) based on the luggage position recognized by the target recognition unit 203 and the correction amount calculated by the correction amount calculation unit 205.
  • the robot control unit 206 may also control the operation of the robot arm 110 and the holding unit 130 that constitute the robot 100.
  • each function of the control device 200 may be realized by multiple devices. Also, while FIG. 3 shows only one robot 100, multiple robots 100 each configured to hold a different load may be controlled by a single control device 200.
  • the holder 130 according to this embodiment is a suction-type work tool. This type of work tool brings the cup at the tip into contact with the object to be held and sucks in the air from the contact surface, thereby suctioning and holding the object.
  • Figure 4 is a schematic diagram of the holding unit 130 as seen from the side. Although omitted in Figure 4, the camera 120 and the robot arm 110 are connected to the upper part of the holding unit 130.
  • FIG. 4(a) is a schematic diagram showing the shape of the periphery of the tip of the holding part 130.
  • a cup 131 is provided at the tip of the holding part 130 for contacting the object to be held.
  • a support part 132, a chamber 133, and a suction hose 134 are provided.
  • the support part 132 is a part for supporting the cup 131, and an air hole is provided to allow air to pass between the holding surface of the cup 131 and the chamber 133.
  • the cup 131 and the support part 132 may be integrated and made of the same material.
  • the cup 131 and the support part 132 may be made of an elastic body such as rubber or silicone that can change shape. This configuration gives the structure a tendency to deform easily, and tilt as described below.
  • Chamber 133 is, for example, box-shaped, with a ventilated space (reduced pressure chamber) provided inside, and the internal pressure and the contact pressure of the contact surface between cup 131 and the object to be held are adjusted by injecting or sucking air from a pump (not shown) connected via suction hose 134, thereby adjusting the holding state of the object to be held.
  • a pump (not shown) is further connected to suction hose 134.
  • the state shown in Figure 4(a) is a state where there is no contact with the object to be held, and this will be described as the reference state.
  • FIG. 4(b) to FIG. 4(d) show examples of a state in which the holding part 130 holds an object to be held and raises the object to a certain height.
  • FIG. 4(b) shows an example in which the holding point is located to the left of the center of gravity of the object to be held in the figure. In other words, the cup 131 tilts so that the left side, which is in the direction of the center of gravity, lowers. In this state, the stability of the holding is low, so in order to improve the stability, it is necessary to control the holding point to move to the left side (center of gravity side) in the figure.
  • FIG. 4(c) shows an example in which the holding point is located to the right of the center of gravity of the object to be held in the figure.
  • the cup 131 tilts so that the right side, which is in the direction of the center of gravity, lowers.
  • the stability of the holding is low, so in order to improve the stability, it is necessary to control the holding point to move to the right side (center of gravity side) in the figure.
  • Figure 4(d) shows an example of a state where the position of the center of gravity of the held object coincides or nearly coincides with the position of the holding point. In this state, the holding stability is high and it is suitable for transporting the held object. Also, in the state of Figure 4(d), cup 131 is in its widest state compared to the state of Figure 4(a). Note that while the example of Figure 4 describes tilting to the left and right, similar tilts also occur in the front and back directions of the figure depending on the relationship between the holding point and the center of gravity.
  • tilt information the tilt state of the tip of the holding part 130 as described above is identified, and the holding position of the holding part 130 is adjusted based on this information (hereinafter also referred to as "tilt information").
  • FIG. 5 is a schematic diagram showing an example of the configuration of the cup 131 of the holding unit 130 according to this embodiment.
  • FIG. 5(a) is a view of the holding unit 130 as seen from the side, similar to FIG. 4(a).
  • FIG. 5(b) is a view of the holding unit 130 as seen from above (the camera 120 side).
  • two markers 135 and 136 are provided in the cup 131 of the holding unit 130.
  • the center position of the cup 131 is set as the origin, and the X-axis and Y-axis are defined.
  • the direction of the arrow is positive.
  • one marker is placed on each of the X-axis and Y-axis.
  • the markers 135 and 136 have the same shape, size, and distance from the origin, and have different colors (shown by hatching), but this is not limited to this example. They may be configured so that the area of the markers can be easily recognized in the image captured by the camera 120. It is preferable to configure a marker of a complementary color to the color of the cup 131.
  • a marker of a magenta-based or yellow-based color In the case of a cyan-based cup 131, it is preferable to use a marker of a magenta-based or yellow-based color. Three or more markers may be provided.
  • the coordinate system shown by the X-axis and Y-axis in FIG. 5(b) is an example, and is not limited to this.
  • an absolute coordinate system based on the robot coordinate system set for the robot 100 may be used, or a relative coordinate system may be used.
  • the camera 120 can capture an image including the entire area of the cup 131 as shown in FIG. 5(b), but it is also configured to capture an image of at least one or more markers provided on the cup 131.
  • [Correction table] 6 shows an example of the configuration of a correction table used when controlling the position of the holding unit 130 according to this embodiment.
  • an image of the holding unit 130 is taken by the camera 120 while the holding unit 130 holds an object to be held.
  • the holding unit 130 holds an object to be held.
  • it can be identified from the captured image that there is a change in the state (size or shape) of the marker provided on the cup 131.
  • tilt information attention is focused on the change in the state of the marker that can be identified from the captured image, and the number of pixels in the area of this marker is used.
  • the marker in a reference state is photographed, its area is identified, and the number of pixels is derived.
  • the marker is photographed while holding an object to be held, its area is similarly identified, and the number of pixels is derived.
  • These pixel counts are then compared to identify the degree and direction of the tilt of the marker, i.e., cup 131.
  • the position of holding part 130 based on the degree and direction of tilt, it becomes possible to hold the object to be held without tilt, that is, in a position that coincides or nearly coincides with the center of gravity as shown in FIG. 4(d).
  • the correction table shown in FIG. 6 shows the correspondence between the number of pixels in the marker area detected from the image and the amount of correction.
  • the correction amount in the X-axis direction shown in FIG. 5(b) will be explained as an example.
  • the explanation will also focus on marker 135 in FIG. 5(b), which is a marker in the X-axis direction. Therefore, a similar correction table is also provided in the Y-axis direction, and in this case, attention is focused on marker 136.
  • the unit of the correction amount may be set according to the control resolution of the robot 100 (for example, in "mm" units), and when more precise operation is required than the processing speed, a smaller unit of correction amount may be used.
  • the amount of correction in the X-axis direction is set to "0,” assuming that the marker is being held at a position corresponding to the center of gravity in the X-axis direction.
  • the correction amount is set to "20" in the negative (-) direction in the X-axis direction.
  • the correction amount is "20" in the positive (+) direction on the X-axis.
  • the correction amount is defined in increments of 3K (3000) relative to the number of pixels, but this is not limiting.
  • the correction amount may be defined in increments of 1K (1000) or in finer granularity, or may be defined using a graph (for example, a graph showing the inverse proportionality between the number of pixels and the correction amount).
  • the holding position is adjusted through repeated corrections, so that the number of pixels in the marker area approaches "12K".
  • adjustment in a specific axial direction is performed based only on the number of pixels in the marker area, but parameters such as the cup position and the attitude of the robot arm may also be controlled taking into account the spring constant of the cup and the size of the luggage to be held.
  • an example is described in which the holding position is adjusted by repeated feedback control, but a configuration in which feedback control is performed only once may also be used.
  • a correction table may also be used that sets a correction amount for the difference between the reference number of pixels of the marker and the number of pixels of the held marker.
  • a correction table may be used that sets one or more thresholds for the difference or ratio between the reference number of pixels of the marker and the number of pixels of the held marker, and sets a step-by-step correction amount according to the one or more thresholds.
  • FIG. 7 shows a flowchart of the control process of the robot 100 according to this embodiment. Each step of the flowchart is realized by the control device 200 controlling the robot 100.
  • the processing is collectively described as the control device 200, but the various parts shown in Fig. 3 work together to realize the following process. It is assumed that when this control process starts, luggage, which is the object to be held, is appropriately transported or placed in a predetermined position as shown in Fig. 1.
  • the luggage is photographed to identify the luggage area, and the apparent center of gravity and prohibited areas (if any) are identified.
  • the apparent center of gravity in this case will be described as the initial holding position.
  • step S701 the control device 200 uses the camera 120 to capture an image of the cup 131 before it holds the luggage.
  • multiple markers e.g., X-axis and Y-axis markers
  • the control device 200 uses the camera 120 to capture an image of the cup 131 before it holds the luggage.
  • multiple markers e.g., X-axis and Y-axis markers
  • the cup 131 may be captured individually, or they may be captured together in a single image.
  • step S702 the control device 200 extracts the area of the marker provided on the cup 131 from the image captured in step S701 and detects its size (number of pixels).
  • the detection method used here may be, for example, a method such as area extraction using machine learning, but is not particularly limited.
  • step S703 the control device 200 sets a threshold value based on the size of the marker detected in step S702. For example, the difference between the state in which the holding unit 130 is holding luggage and the state in which it is not holding luggage (i.e., the degree of expansion of the cup 131) is identified in advance, and the threshold value is set based on this difference.
  • the size of the cup 131 i.e., the number of pixels of the marker
  • the number of pixels of the marker in a state in which luggage is being stably held can be estimated.
  • step S704 the control device 200 controls the robot arm 110 to bring the cup 131 into contact with the luggage at the identified holding position.
  • control is performed for the apparent center of gravity position (initial holding position).
  • the control device 200 may first adjust the position in the horizontal direction (corresponding to the XY plane in FIG. 5(b)), and then control the robot arm 110 to adjust in the height direction.
  • it is described as being performed in stages at predetermined movement distance intervals.
  • step S705 the control device 200 photographs and records the cup 131 when the cup has completed a predetermined moving distance in the height direction.
  • step S706 the control device 200 detects the marker size from the most recent captured image N captured in step S705.
  • the detection method here is the same as in step S702.
  • step S707 the control device 200 compares the marker size detected in step S706 with the threshold value set in step S703 to determine whether the marker size is equal to or greater than the threshold value. If the marker size is equal to or greater than the threshold value, this means that the cup 131 is in contact with the luggage and is ready for suction. On the other hand, if the marker size is less than the threshold value, this means that the cup 131 is not in contact with the luggage and is ready for descent. If the marker size is equal to or greater than the threshold value (step S707; YES), the control device 200 proceeds to step S708. On the other hand, if the marker size is less than the threshold value (step S707; NO), the control device 200 returns to step S704 and continues the descent operation.
  • step S708 the control device 200 detects the marker size from the captured image N-1, which is the image captured immediately before the latest captured image N.
  • the detection method here is the same as in step S702.
  • step S709 the control device 200 derives the difference between the marker size detected in step S706 and the marker size detected in step S708, and determines whether the difference is equal to or greater than a threshold value.
  • the threshold value here may be the same as the threshold value set in step S703.
  • a predetermined difference occurs between the captured image N and the immediately preceding captured image N-1, and thus determines whether the cup 131 is reliably in contact with the object to be held.
  • this process is performed because the captured image may be affected by external light, etc., depending on the surrounding environment of the robot 100. Therefore, in an environment where there is no disturbance such as light, the processes of steps S708 and S709 may be omitted.
  • step S710 when step S707 is YES. If the difference is equal to or greater than the threshold value (step S709; YES), the process of the control device 200 proceeds to step S710. If the difference is less than the threshold value (step S709; NO), the control device 200 returns to step S704 and continues the lowering operation.
  • step S710 the control device 200 controls the operation of the robot arm 110 to stop the descent of the cup 131.
  • step S711 the control device 200 causes the holding unit 130 to perform a suction operation using a pump (not shown), thereby causing the holding unit 130 to adsorb and hold the luggage.
  • step S712 the control device 200 controls the operation of the robot arm 110 to raise the luggage held by the holding unit 130 by a certain height.
  • the distance to raise the luggage may be specified in advance, or may be changed depending on the height of the luggage.
  • step S713 the control device 200 uses the camera 120 to capture and record an image of the cup 131 holding the item after it has been raised a certain height in step S712.
  • the image capture here is performed in the same manner as in step S701.
  • step S714 the control device 200 detects the marker size from the image captured in step S712.
  • the detection method here is the same as in step S702.
  • step S715 the control device 200 compares the marker size detected in step S714 with the marker size detected in step S706, and calculates the amount of change.
  • the configuration may also be such that the marker size detected in step S714 is compared with the marker size detected in step S702.
  • the amount of change may be calculated taking into account the degree of expansion when the cup 131 is not in contact with the luggage and when it is in contact with the luggage.
  • step S716 the control device 200 determines whether the amount of change is equal to or greater than a threshold value.
  • a threshold value For example, in the table shown in FIG. 6, the correction amount is defined in increments of 3K for the number of detected pixels for the marker, so the threshold value may be set to "3K" accordingly. Therefore, if the amount of change in the marker is less than 3K, the retained positions may be treated as matching or nearly matching. If the amount of change is equal to or greater than the threshold value (step S716; YES), the control device 200 proceeds to step S717. On the other hand, if the amount of change is less than the threshold value (step S716; NO), the control device 200 proceeds to step S721.
  • step S717 the control device 200 calculates a correction vector based on the amount of change in the marker. For example, in the case of the correction table shown in FIG. 6, if the amount of change for the marker corresponding to the X-axis direction is an increase of 3K or more but less than 6K, that is, if the number of pixels in the detected marker area is 15K or more but less than 18K, the correction amount in the X-axis direction is set to "10" in the negative (-) direction. The correction amount in the Y-axis direction is calculated in the same way.
  • step S718 the control device 200 controls the operation of the robot arm 110 to lower the luggage held by the holding unit 130 to the height at which it was held. In other words, the luggage is lowered by the amount that it was raised in step S713.
  • step S719 the control device 200 causes the pump (not shown) of the holding unit 130 to perform an injection operation, thereby releasing the luggage from the holding unit 130 and releasing the holding state.
  • step S720 the control device 200 controls the operation of the robot arm 110 to raise the holding part 130 to a certain height.
  • the height here may be the position where the lowering of the holding part 130 started in step S704, or may be raised by a predetermined height based on the position where the holding part 130 was released from the holding of the luggage in step S719.
  • the control device 200 controls the operation of the robot arm 110 based on the correction vector calculated in step S717, and adjusts the position by moving the holding part 130 directly above the position corresponding to the holding point after the correction. At this time, if a prohibited area exists for the luggage and the holding position after the adjustment is located within the prohibited area, the holding position is fine-tuned so that it is outside the prohibited area.
  • the correction amount may be adjusted so that it is outside the identified prohibited area.
  • the prohibited area is estimated by detecting a structure such as a perforation rather than the registered box specifications, the prohibited area is set within a predetermined range from the position of the structure, and the correction amount may be adjusted so that it is outside the prohibited area.
  • the control device 200 then returns to step S704 and repeats the process.
  • step S721 the control device 200 determines that the luggage is being stably held by the holding unit 130, and moves the luggage to a predetermined transport position. Then, at the predetermined transport position, the control device 200 causes a pump (not shown) of the holding unit 130 to perform an injection operation, thereby releasing the luggage from the holding unit 130 and releasing the held state. Then, this processing flow ends.
  • a robot system (e.g., robot system 1) includes a robot (e.g., robot 100) having a holding unit (e.g., holding unit 130) that holds an object to be held (e.g., luggage 300), and a control device (e.g., control device 200) that controls the robot, and the control device causes the robot's holding unit to hold the object to be held at an initial holding position (e.g., point 305), acquires information on the tilt of the holding unit that occurs when the object to be held is held, and adjusts the holding position from the initial holding position to a holding position closer to the center of gravity of the object to be held based on the tilt information.
  • a robot e.g., robot 100
  • a holding unit e.g., holding unit 130
  • an object to be held e.g., luggage 300
  • a control device e.g., control device 200
  • the device further includes a camera (e.g., camera 120), and one or more markers (e.g., markers 135, 136) are provided in the holding section.
  • the control device uses the camera to obtain images of the one or more markers in a state where the holding section is not holding an object and in a state where the holding section is holding an object, and derives tilt information based on changes in the area of the one or more markers included in the image of the one or more markers.
  • one or more markers are provided corresponding to each adjustment direction.
  • timing at which the holding unit holds the object is controlled based on changes in one or more marker regions.
  • the control device also adjusts the holding position of the holding part using a correction table (e.g., FIG. 6) in which the amount of correction is defined according to the tilt information.
  • a correction table e.g., FIG. 6
  • the initial holding position is the apparent center of gravity of the object being held.
  • the control device also identifies a prohibited area in which holding of the object to be held is prohibited, and the initial holding position and the holding position after adjustment are excluded from the prohibited area.
  • the holding part is a suction-type work tool and is configured to be able to hold the object at one point, and the inclination of the holding part is the inclination of a cup provided at the tip of the holding part.
  • connection between the holding part and the robot arm (e.g., 110) is provided with play to create a tilt according to the direction of gravity.
  • the tilt information (the number of pixels of the marker) is derived based on the image of the marker provided on the cup 131.
  • the present invention is not limited to this configuration, and for example, the tilt information may be derived using an acceleration sensor instead of the camera 120.
  • an acceleration sensor is provided around the holder 130 to detect the tilt (gravity direction) of the cup while holding the object to be held.
  • a correction vector for the holder 130 may be calculated according to the tilt information.
  • a correction table may be used in which the tilt on the X-axis and the Y-axis are associated with the correction amount, as shown in FIG. 6.
  • control device further includes an acceleration sensor, and uses the acceleration sensor to obtain the direction of gravity when the object to be held is being held by the holding section, and derives tilt information based on the direction of gravity.
  • a trained model based on machine learning may be used.
  • the trained model may be generated by repeating the learning process using a predetermined learning algorithm (such as regression) with the tilt information as the input and the correction amount as the output.
  • the learning data used in the learning process may be composed of a pair of tilt information calculated based on image data captured by the camera 120 and annotated correction amounts. Since machine learning is expected to have a high processing load, it is preferable that the machine learning process is executed by a device separate from the control device 200, and the control device 200 acquires and uses a trained model that has been appropriately generated.
  • the degree of learning of the trained model here is not particularly limited, and a trained model that has undergone any learning may be used.
  • machine learning is not limited to deriving correction amounts, but may also be applied to any processing, such as extracting marker areas, detecting luggage to be held, identifying luggage boxes (including detecting prohibited areas), and detecting the position of the center of gravity of luggage.
  • control device adjusts the holding position of the holding part using a trained model obtained by performing machine learning that takes the tilt information of the holding part as input and outputs the correction amount of the holding position of the holding part.
  • An example of a robot work tool to which the present invention can be applied is a two-fingered hand (gripper).
  • the hand when holding a long box, the hand may rotate at the holding position, and the degree of this rotation can be detected by an acceleration sensor. Therefore, by applying the configuration of the present invention to a holding part consisting of a two-fingered hand, it is possible to estimate the center of gravity position, identify an appropriate holding position, and then hold the box stably.
  • the holding part is therefore a work tool consisting of a two-fingered hand.
  • the above rotation can occur when opposing fingers grip the object, so it can also be applied to hand shapes with three or more fingers, such as two fingers and one finger in opposing positions, in addition to two fingers.
  • the shape of the cup 131 which is the tip of the holding part 130, is not limited to a circular shape (such as FIG. 5(b)), and may be other shapes. For example, it may be an elliptical shape or a rectangular shape.
  • the cup 131 in the above embodiment, an example was shown in which one or more markers are used on the cup 131, but this is not limited to this.
  • the cup 131 itself may be regarded as the above marker and area detection may be performed.
  • FIG. 8 is a conceptual diagram of a camera 800 capable of photographing the holding unit 130 and the luggage 300 from the side.
  • the camera 800 is installed so that the holding unit 130 and the luggage 300 installed at the tip of the robot arm 110 are included in the photographing range in accordance with the operation of the robot 100.
  • the camera 800 may move together with the robot 100, or the photographing range may be adjusted after being fixed.
  • the operation of the camera 800 may be controlled by the camera control unit 201.
  • the captured image 9 shows an example of an image captured by the camera 800.
  • the captured image 900 shows an image (first side image) captured immediately before the luggage is held.
  • the immediately before state is taken as an example of a state in which the holding unit 130 and the luggage 300 are in contact.
  • the captured image 910 shows an image (second side image) captured in a state in which the luggage is held.
  • the captured image 900 includes an object 902 corresponding to the holding unit 130, an object 903 corresponding to the luggage 300, and an object 904 corresponding to other surrounding objects (e.g., the floor and the conveyor 400).
  • the captured image 910 includes an object 912 corresponding to the holding unit 130, an object 913 corresponding to the luggage 300, and an object 914 corresponding to other surrounding objects (e.g., the floor and the conveyor 400).
  • the captured image shown here omits the robot arm 110 to which the holding unit 130 is connected, etc.
  • the luggage when luggage 300 is held and lifted by holding unit 130, the luggage may tilt depending on the holding position. For example, in captured image 910 shown in FIG. 9, luggage 300 is inclined as a result of being held by holding unit 130.
  • the position of holding unit 130 before holding luggage 300 within the shooting range of camera 800 can be determined in advance. This can be determined in advance based on the shooting position and shooting range of camera 800, and the position of holding unit 130 when holding luggage 300. This position is determined as the attention area 901 within captured image 900.
  • an image included in the attention area 901 (first attention area) is trimmed and extracted from the captured image 900.
  • the position of the holding unit 130 changes in the captured image 910 as a result of the holding unit 130 rising while holding the luggage 300.
  • the amount of rise of the holding unit 130 can be determined based on information about the control of the control device.
  • the amount of movement in the captured image 910 corresponding to the amount of rise (corresponding to D in FIG. 9) can be derived using a coefficient that is predefined.
  • (corrected pixel number) (amount of rise) x (coefficient) is used.
  • the coefficient here is predefined and stored in a storage area such as a ROM so that it can be used.
  • the position coordinates of the predefined attention area 901 are corrected based on the corrected pixel number obtained by this formula, thereby determining the position of the attention area 911 in the captured image 910.
  • by trimming and extracting the image included in the attention area 911 from the captured image 910 it is possible to obtain an image corresponding to the image of the attention area 901 in the captured image 900.
  • the pixels in the attention area 901 and the pixels in the attention area 911 are compared, and the sum of the absolute values of the differences between the pixels (Sum of Absolute Difference: SAD) is derived. If the derived value is greater than a predefined threshold, it is determined that the luggage 300 is tilted, and if the derived value is equal to or less than the threshold, it is determined that the luggage 300 is not tilted.
  • the threshold here is predefined and stored in a storage area such as a ROM so that it can be used. Note that, although an example using the sum of absolute differences is shown here, the present invention is not limited to this.
  • the tilt of the luggage may be derived by detecting the edges of the holding unit 130 and the luggage 300 in the image and comparing before and after holding based on the results of the edge detection.
  • the edge detection method here may be a known method, and may use parameters suitable for the shape and color of the holding unit 130 and the luggage 300 to be held.
  • the captured images used for the tilt detection based on the side images may be acquired at the timing of steps S710 and S713 in FIG. 7.
  • the tilt detection may be determined in step S714.
  • the tilt detection based on the side images may be performed simultaneously with the tilt detection based on the amount of change in the markers, or one of them may be performed first and the other may be performed based on the detection result.
  • any pre-processing may be applied to the captured images 900 and 910 to improve the detection accuracy.
  • the pre-processing may include a filtering process for removing noise and a process for removing areas corresponding to the background.
  • the side here may be one direction, or two cameras 800 may be provided to acquire side images from two directions.
  • the tilt detection based on the side images is realized by the cooperation of each part of the control device 200.
  • the above embodiment further includes a second camera (e.g., camera 800) that captures an image of the holding unit from the side, and the control device acquires a first side image (e.g., captured image 900) in a state where the holding unit is not holding an object to be held, and a second side image (e.g., captured image 910) in a state where the holding unit is holding an object to be held, using the second camera, and derives tilt information based on the difference between the first side image and the second side image.
  • a second camera e.g., camera 800
  • the control device acquires a first side image (e.g., captured image 900) in a state where the holding unit is not holding an object to be held
  • a second side image e.g., captured image 910
  • the control device also extracts a first attention area (e.g., attention area 901) corresponding to the holding unit in the first side image, and identifies the position of a second attention area (e.g., attention area 911) corresponding to the holding unit in the second side image from the second side image using the amount of movement when the holding unit holds the object to be held and a predetermined coefficient, extracts the second attention area, and derives tilt information based on the difference between the pixels of the first attention area and the second attention area.
  • the control device also derives tilt information based on the sum of absolute differences between the first side image and the second side image.
  • This configuration makes it possible to derive tilt information based on the side image of the holding part.
  • programs and applications for realizing the functions of one or more of the above-described embodiments can be supplied to a system or device via a network or storage medium, and one or more processors in the computer of the system or device can read and execute the programs.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • a control device for controlling the robot; Equipped with The control device includes: The holding unit of the robot holds the holding object at an initial holding position; Acquire information on the inclination of the holding unit that occurs in a state in which the holding object is held, adjusting the holding position from the initial holding position to a holding position closer to a center of gravity of the holding object based on the inclination information; Robot system.
  • the control device includes: Acquire images of the one or more markers by the camera in a state where the holding unit is not holding the holding object and in a state where the holding unit is holding the holding object; deriving the tilt information based on a change in area of the one or more markers included in an image of the one or more markers;
  • the robot system according to claim 1.
  • the control device acquires, by the acceleration sensor, a direction of gravity in a state in which the holding unit is holding the holding object, and deriving the tilt information based on the direction of gravity;
  • a robot system according to any one of Technology 1 to Technology 4.
  • the control device adjusts the holding position of the holding part by using a trained model obtained by performing machine learning in which the tilt information of the holding part is used as an input and a correction amount of the holding position of the holding part is used as an output.
  • the control device specifies a prohibited area in which holding of the holding object is prohibited, The initial holding position and the adjusted holding position are excluded from the prohibited area.
  • a robot system according to any one of the first to eighth aspects of the present invention.
  • the holding unit is a suction-type work tool and is configured to be able to hold the object to be held at one point;
  • the inclination of the holding portion is the inclination of a cup provided at the tip of the holding portion.
  • a second camera is provided for photographing the holding portion from the side
  • the control device includes: The second camera acquires a first side image in a state where the holding unit is not holding the holding object and a second side image in a state where the holding unit is holding the holding object; deriving the tilt information based on a difference between the first side image and the second side image; A robot system according to any one of techniques 1 to 12.
  • the control device includes: Extracting a first attention area corresponding to the holding portion from the first lateral image; identifying a position of a second attention area corresponding to the holding part in the second side image by using an amount of movement of the holding part when holding the held object and a predetermined coefficient, and extracting the second attention area; deriving the gradient information based on a pixel difference between the first region of interest and the second region of interest; 14.
  • the robot system according to claim 13.
  • a method for controlling a robot having a holding unit that holds a holding object comprising: The processor works in conjunction with the memory to The holding unit of the robot holds the holding object at an initial holding position; Acquire information on the inclination of the holding unit that occurs in a state in which the holding object is held, adjusting the holding position from the initial holding position to a holding position closer to a center of gravity of the holding object based on the inclination information; How to control a robot.
  • the present disclosure is useful as a robot system equipped with a suction-type work tool, a robot control device, and a robot control method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

ロボットシステムは、保持対象物を保持する保持部を有するロボットと、前記ロボットを制御する制御装置と、を備え、前記制御装置は、前記ロボットの前記保持部にて前記保持対象物を、初期の保持位置にて保持させ、前記保持対象物を保持させた状態にて生じる前記保持部の傾きの情報を取得し、前記傾きの情報に基づいて、前記初期の保持位置から、前記保持対象物の重心位置により近い保持位置へ調整する。

Description

ロボットシステム、ロボットの制御装置、およびロボットの制御方法
　本開示は、ロボットシステム、ロボットの制御装置、およびロボットの制御方法に関する。
　従来、人に代わって様々な作業を作業用ロボット（以下、単に「ロボット」とも称する）によって行わせるシステムが普及している。例えば、ロボットの先端部に吸着方式の作業ツールを設け、そのロボットにより、荷物の保持、運送を行わせる構成が知られている。特許文献１では、吸着方式の作業ツールを備える産業用ロボットにおいて、先端部の回転を考慮した線条体の敷設制御に関する構成が開示されている。
日本国特許第４１６８００８号公報
　本開示は、上述した従来の事情を鑑みて案出され、ロボットによる対象物の保持の安定性を向上させることを目的とする。
　本開示は、保持対象物を保持する保持部を有するロボットと、前記ロボットを制御する制御装置と、を備え、前記制御装置は、前記ロボットの前記保持部にて前記保持対象物を、初期の保持位置にて保持させ、前記保持対象物を保持させた状態にて生じる前記保持部の傾きの情報を取得し、前記傾きの情報に基づいて、前記初期の保持位置から、前記保持対象物の重心位置により近い保持位置へ調整する、ロボットシステムを提供する。
　また、本開示は、保持対象物を保持する保持部を有するロボットの制御装置であって、前記ロボットの前記保持部にて前記保持対象物を、初期の保持位置にて保持させ、前記保持対象物を保持させた状態にて生じる前記保持部の傾きの情報を取得し、前記傾きの情報に基づいて、前記初期の保持位置から、前記保持対象物の重心位置により近い保持位置へ調整する、ロボットの制御装置を提供する。
　また、本開示は、保持対象物を保持する保持部を有するロボットの制御方法であって、プロセッサがメモリと協働して、前記ロボットの前記保持部にて前記保持対象物を、初期の保持位置にて保持させ、前記保持対象物を保持させた状態にて生じる前記保持部の傾きの情報を取得し、前記傾きの情報に基づいて、前記初期の保持位置から、前記保持対象物の重心位置により近い保持位置へ調整する、ロボットの制御方法を提供する。
　なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、記憶媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。
　本開示によれば、ロボットによる対象物の保持の安定性を向上させることが可能となる。
搬送対象の荷物の重心を説明するための概略図 搬送対象の荷物の重心を説明するための概略図 本発明の一実施の形態に係るロボットシステムの全体構成の例を示す概略図 本発明の一実施の形態に係る作業ツールの変化を説明するための概念図 本発明の一実施の形態に係る作業ツールの構成例を説明するための概略図 本発明の一実施の形態に係る補正テーブルの構成例を示すテーブル図 本発明の一実施の形態に係るロボットの制御処理のフローチャート 本発明の別の実施の形態に係る荷物の傾きの検出を説明するための概略図 本発明の別の実施の形態に係る荷物の傾きの検出を説明するための概略図
（本開示に至る経緯）
　従来、人に代わって様々な作業を行うロボットとして、先端部に吸着方式の作業ツールを有し、その作業ツールによって対象物を保持（吸着）して運搬等を行うロボットが知られている。例えば、保持対象の対象物としては、物流の現場において配送や仕分けが行われる荷物が挙げられる。荷物の箱の中には様々なものが収納されうるが、箱の仕様、中身の配置や重量など多種多様である。また、一般的に箱（例えば、段ボール箱）は不透明であり、中身の状態は外部からは目視では確認できない状態である。例えば、特許文献１では、複数の吸着部を備える保持部により、荷物を安定して保持することが可能な構成が示されている。一方、吸着式の作業ツールにて一点で荷物を安定して保持するためには、荷物の重心を適切に把握する必要がある。特許文献１では、対象物の重心を考慮した上で適切な対象物の保持位置を特定、調整することまでは行われていない。
　以下、添付図面を適宜参照しながら、本開示に係るロボットシステム、ロボットの制御装置、およびロボットの制御方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、あるいは、実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されない。
＜実施の形態１＞
　［重心位置］
　図１および図２は、本実施の形態に係るロボットシステムにて保持対象である荷物の重心を説明するための概略図である。図１（ａ）において、荷物３００がコンベア４００にて搬送されている。また、搬送されてきた荷物３００に対し、その上側に吸着式の作業ツールを含む保持部１３０が位置している。荷物３００は、長方形の段ボール箱などからなる。点３０５は、荷物３００を上側から見た場合の見かけ上の重心の位置である。見かけ上の重心位置は、例えば、荷物３００を上側から撮影し、荷物３００の領域を特定し、その領域に基づいて公知の算出式により導出できる。
　図１（ｂ）は、荷物３００内に収納される物品の配置例を示す。図１（ｂ）の例では、荷物３００は５×４の収納区画（計２０の区画）を有し、そのうちの一方に偏って計８個の物品３０２が収納されている。このような収納状態の場合、図１（ａ）の点３０５に示すような位置ではなく、他の位置が重心の位置となる。したがって、仮に見かけ上の重心の位置である点３０５にて荷物３００を保持した場合、荷物３００は不安定な保持状態となる。
　図２において、荷物の別の収納状態の例を示す。荷物３１０には、２つの物品３１４が収納されている。また、荷物３１０の表面には、利用者により開梱が容易なように、箱にミシン目などが設けられている。このような個所は、保持部にて保持した際に箱の破損や意図しない開梱が生じ得る場所であるため、保持する位置から除外する必要がある。以下の説明では、このような個所を禁止エリア（図２の場合は禁止エリア３１３）と称して説明する。なお、禁止エリアは、複数設けられてもよいし、その形状や構成は特に限定するものではない。また、禁止エリアは予め規定された情報に基づいてマッチング処理にて識別してもよいし、撮影画像から公知の手法による領域抽出にて特定してもよい。
　上述したように、見かけ上の重心位置は、例えば、荷物を上側から撮影し、荷物の領域を特定し、その領域に基づいて公知の算出式により導出できる。このとき、禁止エリアを除いた上で、見かけ上の重心位置を特定してよい。荷物３１０において、点３１１は見かけ上の重心の例である。一方、点３１２は真の重心の例である。つまり、見かけ上の重心である点３１１にて荷物３１０を保持した場合には、その保持状態は不安定な状態となり、一方、真の重心である点３１２にて荷物３１０を保持した場合には、その保持状態はより安定した状態となる。そのため、荷物３１０を安定して保持する場合には、点３１２により近い位置を特定することが求められる。
　なお、図１および図２では、荷物がコンベア４００にて搬送されている例を示しているが、荷物が停止されている状態で保持動作が行われる場合も、荷物が移動している状態で保持動作が行われる場合も、重心の位置を特定し、その位置を追従することで同様に扱うことが可能である。ここでは説明を簡略化するため、保持対象の荷物が停止した状態で保持動作を行う例について説明する。
　［システム構成］
　図３は、実施の形態１に係るロボットシステム１の全体構成の例を示す概略図である。ロボットシステム１は、ロボット１００、および制御装置２００を含んで構成される。ロボット１００は、ロボットアーム１１０を備え、ロボットアーム１１０の先端部には吸着式の作業ツールとしての保持部１３０が設けられる。更に、ロボットアーム１１０の先端部周辺には、保持部１３０の画像を撮影可能なカメラ１２０が設けられる。したがって、本実施の形態では、ロボット１００のロボットアーム１１０の動きに応じて、カメラ１２０および保持部１３０が３次元空間上の任意の位置に移動可能に構成される。
　ロボットアーム１１０は、複数の関節から構成される多関節（多軸）のロボットアームである。図３の例では、ロボットアーム１１０は、保持部１３０との接続部における回転軸、ベース回りの回転軸、およびそのほかの２つの回転軸を有する多関節の構成の例を示しているが、これに限定するものではない。また、回転軸の向きについても他の構成であってよい。ロボットアーム１１０はベースを介して任意の場所に設置される。図３では不図示であるが、ベースがスライダなどの平面上にて移動可能な機構に設置されてもよいし、ベースが壁面や天井面などに設置されてもよい。また、ロボットアーム１１０の形状やベースの形状なども特に限定されるものでは無く、任意に変更可能である。
　なお、本実施の形態の構成では、より精度良く荷物の重心の位置を特定することが可能なように、ロボットアーム１１０と保持部１３０との間の接続部分（手首部分）においては、重力方向への傾きが生じやすい一定の遊びを設けた構成とする。すなわち、重心以外の位置にて荷物を保持した際に、後述する傾きが生じやすい構成とする。言い換えると、接続部分（手首部分）が固定されている場合には、例えば荷物の重量によっては、重心以外の位置にて荷物を保持したとしても傾きが出ない場合が想定されるためである。接続部分の遊びについては、例えば、ロボットアーム１１０と保持部１３０とをボールジョイントなどで実現してもよい。
　カメラ１２０は、後述する保持部１３０の先端部周りや保持対象物を撮影可能なように設置される。カメラ１２０の画角は保持部１３０の先端部の形状を捉える範囲が設定される。更には、カメラ１２０は、保持対象物である荷物３００が撮影されるように構成される。なお、カメラ１２０は、ロボットアーム１１０の先端部に設置される構成に限定するものではなく、保持部１３０の形状変化を撮影可能な別の位置に配置されてもよい。また、カメラ１２０は複数台が設置されてもよい。なお、保持部１３０の先端部の画像を撮影するカメラと、荷物３００の画像を撮影されるカメラとが別個のカメラとして設けられてもよい。
　保持対象物は、図１などにて示した荷物３００に相当する。保持対象物である荷物３００は、サイズ、外形、重量、内容物（中身）、内部の配置などとして多種多様な荷物が含まれるものとする。
　制御装置２００は、ロボット１００の制御装置として機能する。図３では不図示であるが、制御装置２００は、例えば、プロセッサ、メモリ、入出力装置、ロボットＩＦ、および通信装置などを含んで構成され、各部位は通信可能に接続される。
　プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、あるいはＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などを用いて構成されてよい。メモリは、各種データを記憶、保持するための記憶領域であり、例えば、不揮発性の記憶領域であるＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、揮発性の記憶領域であるＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などから構成されてよい。例えば、プロセッサが、メモリに格納された各種データやプログラムを読み出して実行することにより、後述する各種機能を実現する。
　入出力装置は、例えば、不図示のマウスやキーボードからユーザによる指示のデータを受け付けたり、不図示のディスプレイなどにより各種情報のデータを出力したりする。ロボットＩＦは、ロボット１００と接続するためのインタフェースであり、プロセッサによる指示に基づき、ロボット１００に対する各種制御信号を送受信する。通信装置は、有線／無線などのネットワークを介して外部装置（不図示）との通信を行い、各種データや信号の送受信を行う。通信装置による通信方式は、特に限定するものではなく、複数の通信方式に対応していてよい。例えば、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、電力線通信、近距離無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））などが用いられてよい。
　制御装置２００は、カメラ制御部２０１、画像記録部２０２、対象認識部２０３、変形検出部２０４、補正量算出部２０５、およびロボット制御部２０６を有する。カメラ制御部２０１は、カメラ１２０の撮影制御を行う。ここでの制御内容は、撮影タイミングや撮影設定などが含まれてよい。カメラ制御部２０１は、カメラ１２０にて撮影された画像を取得し、画像記録部２０２に記録させる。カメラ１２０にて撮影される画像は、静止画像であってもよいし、動画像であってもよい。また、カメラ１２０は、荷物３００の画像の他、保持部１３０の先端部周辺の画像も撮影する。
　画像記録部２０２は、カメラ１２０にて撮影された画像を記録する。対象認識部２０３は、画像記録部２０２に記録されている画像から荷物３００を認識する。このとき、対象認識部２０３は、機械学習による領域抽出やマッチング処理による荷物のサイズの特定などを行ってよい。例えば、領域抽出の場合には、荷物の領域を特定し、追従するような処理が行われてもよい。マッチング処理の場合には、例えば、予め荷物の箱の仕様を登録しておき、その登録された仕様の箱をマッチングにて識別するような構成であってもよい。対象認識部２０３は更に、上述したような箱の禁止エリアを、予め登録された箱の仕様に基づいて識別してもよいし、領域抽出にてミシン目などの特定の構造の位置を特定した上で識別してもよい。ミシン目などの特定の構造の位置を特定できた場合には、その構造の位置から所定の範囲内を禁止エリアとして扱ってよい。
　変形検出部２０４は、画像記録部２０２にて記録されている画像から、後述する保持部１３０に設けられたマーカの領域を抽出する。このとき、変形検出部２０４は、機械学習による領域抽出やマッチング処理によるマーカの特定を行ってよい。更に、変形検出部２０４は、特定したマーカの領域の情報に基づいて、マーカが設けられた保持部１３０の変形を検知する。本実施の形態では、この変形を保持部１３０の傾き情報として用いる。
　補正量算出部２０５は、変形検出部２０４にて検出した保持部１３０の傾き情報に基づいて、補正量を算出する。より具体的には、ある時点での荷物を保持した状態の傾きから、当該荷物の重心位置を推定し、その重心位置に向けた補正ベクトル（向き、移動量）を算出する。本実施の形態では、傾き情報に基づく補正量を算出する際には予め規定された補正テーブルを用いる。補正テーブルの例については、図６を用いて後述する。
　ロボット制御部２０６は、対象認識部２０３にて認識された荷物の位置と、補正量算出部２０５にて算出された補正量に基づいて、荷物の保持位置を調整（フィードバック制御）しながら、荷物３００を保持するようにロボット１００を制御する。なお、ロボット制御部２０６は、ロボット１００を構成するロボットアーム１１０や保持部１３０の動作を制御してよい。
　なお、制御装置２００の各機能は複数の装置にて実現されてもよい。また、図３では、１つのロボット１００のみを示しているが、それぞれ異なる荷物を保持可能に構成された複数のロボット１００が１の制御装置２００にて制御されてもよい。
　［保持部］
　本実施の形態に係る保持部１３０の構成例について、図４および図５を用いて説明する。上述したように、本実施の形態に係る保持部１３０は吸着式の作業ツールである。このような作業ツールは、保持対象物に先端部のカップを接触させ、その接触面の空気を吸引することで、保持対象物を吸着して保持する。
　図４は、保持部１３０を側面側から見た場合の概略図である。図４では省略しているが、保持部１３０の上部には、カメラ１２０やロボットアーム１１０が接続されている。
　図４（ａ）は、保持部１３０の先端部周辺の形状を示す概略図である。保持部１３０の先端部には保持対象物と接触させるためのカップ１３１が設けられる。更に、支持部１３２、チャンバー１３３、吸引ホース１３４が設けられる。支持部１３２は、カップ１３１を支持するための部位であり、カップ１３１の保持面とチャンバー１３３との間にて空気を通過させるための通気孔が設けられる。カップ１３１および支持部１３２は一体となって、同じ材質で構成されてもよい。カップ１３１と支持部１３２は、例えば、形状変化が可能なゴムやシリコンなどの弾性体にて構成されてよい。このような構成により変形しやすい特性を有し、後述する傾きが生じやすい構造となる。
　チャンバー１３３は、例えばボックス形状にて構成され、その内部には通気が可能な空間（減圧室）が設けられ、吸引ホース１３４を介して接続されるポンプ（不図示）からの空気の注入もしくは空気の吸引により、内圧およびカップ１３１と保持対象物との接触面の接触圧が調整されることで保持対象物の保持状態を調整する。吸引ホース１３４には更に、不図示のポンプ等が接続される。図４（ａ）に示す状態は、保持対象物に接触していない状態であり、これを基準状態として説明する。
　図４（ｂ）～図４（ｄ）は、保持部１３０にて保持対象物を保持し、一定の高さの分だけ保持対象物を持ち上げた状態の例を示す。図４（ｂ）は、保持点が保持対象物の重心の位置よりも、図中の左側に位置する場合の例を示す。つまり、重心の位置の方向である左側が下がる様にカップ１３１が傾くこととなる。この状態の場合、保持の安定度が低いため、より安定度を向上させるためには、保持点を図中の左側（重心側）に移動させるように制御する必要がある。同様に、図４（ｃ）は、保持点が保持対象物の重心の位置よりも、図中の右側に位置する場合の例を示す。つまり、重心の位置の方向である右側が下がる様にカップ１３１が傾くこととなる。この状態の場合、保持の安定度が低いため、より安定度を向上させるためには、保持点を図中の右側（重心側）に移動させるように制御する必要がある。
　一方、図４（ｄ）は、保持対象物の重心の位置と、保持点の位置とが一致、または、ほぼ一致している状態の例を示す。この状態の場合、保持の安定度が高く、保持対象物の運搬に適している。また、図４（ｄ）の状態は、図４（ａ）の状態に比べて、カップ１３１が最も広がった状態となっている。なお、図４の例では左右の傾きを説明したが、図中の手前と奥行きの方向においても、保持点と重心との関係に応じて同様の傾きが生じる。
　本実施の形態では、上記のような保持部１３０の先端における傾きの状態を特定し、この情報（以下、「傾き情報」とも称する）に基づいて、保持部１３０による保持位置を調整する。
　図５は、本実施の形態に係る保持部１３０のカップ１３１の構成例を示す概略図である。図５（ａ）は、図４（ａ）と同様に、保持部１３０を側面側から見た図である。図５（ｂ）は、保持部１３０を上側（カメラ１２０側）から見た図である。
　本実施の形態に係る保持部１３０のカップ１３１において、２つのマーカ１３５、１３６が設けられる。本実施の形態では、カップ１３１の中心位置を原点として、Ｘ軸、Ｙ軸を規定する。ここでは、矢印の方向を正とする。そして、Ｘ軸、Ｙ軸上にそれぞれ１つのマーカを配置する。マーカ１３５、１３６において、形状、サイズ、原点からの距離を同一とし、色（ハッチングにて示す）を異なる構成の例を示しているが、これに限定するものではない。カメラ１２０にて撮影された画像にてマーカに対する領域認識が容易となるようにそれぞれ構成されてよい。カップ１３１の色に対して、補色のマーカを構成することが好ましい。例えば、シアン系の色のカップ１３１の場合、マゼンタ系やイエロー系の色にて構成されるマーカを用いることが好ましい。また、３以上のマーカが設けられてもよい。図５（ｂ）に示したＸ軸、Ｙ軸にて示される座標系は一例であり、これに限定するものではない。例えば、ロボット１００に対して設定されるロボット座標系を基準とした絶対座標系を用いてもよいし、相対座標系を用いてもよい。
　なお、カメラ１２０は、図５（ｂ）に示すようにカップ１３１全体の領域が含まれる画像を撮影できることが好ましいが、少なくともカップ１３１に設けられた１または複数のマーカを撮影できるように構成される。
　［補正テーブル］
　図６は、本実施の形態に係る保持部１３０の位置を制御する際に用いられる補正テーブルの構成例を示す。本実施の形態では、保持部１３０にて保持対象物を保持した状態にて、カメラ１２０にて保持部１３０の画像を撮影する。このとき、図４（ｂ）や図４（ｃ）に示すような傾きが生じている場合、すなわち、重心の位置に一致またはほぼ一致する位置を保持しておらず、不安定な状態となっている場合、カップ１３１に設けられたマーカの状態（サイズや形状）に変化が生じていることが撮影画像から特定できる。
　本実施の形態では、傾き情報として、撮影画像から特定できるマーカの状態の変化に着目し、このマーカの領域の画素数を用いる。まず、基準となる状態のマーカを撮影し、その領域を特定した上で画素数を導出する。次に、保持対象物を保持した状態においてマーカを撮影し、同様にその領域を特定した上で画素数を導出する。そして、これらの画素数を比較することで、マーカ、すなわち、カップ１３１の傾きの程度およびその向きを特定する。そして、傾きの程度および向きに基づいて保持部１３０の位置を調整することで、傾きが生じない、すなわち、図４（ｄ）に示すような重心に一致、またはほぼ一致した位置にて保持対象物を保持することが可能となる。
　図６に示す補正テーブルでは、画像から検出したマーカ領域の画素数と、補正量との対応関係を示す。ここでは、図５（ｂ）に示すＸ軸方向の補正量を例に挙げて説明する。また、Ｘ軸方向のマーカである図５（ｂ）のマーカ１３５に着目して説明する。よって、Ｙ軸方向においても同様の補正テーブルが設けられ、この場合には、マーカ１３６に着目する。なお、補正量の単位は、ロボット１００の制御の分解能に応じて設定されてよく（例えば、「ｍｍ」単位）、処理速度よりも精密な動作を要求される場合には、より小さな補正量の単位で実行されてよい。
　例えば、検出したマーカの領域の画素数が「１２Ｋ（１２０００）」である場合、図４（ａ）の基準状態から、図４（ｄ）に示す安定した保持状態への変化によってカップ１３１が拡張した状態におけるマーカの領域の画素数である。この場合には、Ｘ軸方向において重心に対応する位置にて保持を行っているものとして、Ｘ軸方向の補正量は「０」とする。
　一方、マーカの領域の画素数が「１８Ｋ（１８０００）」である場合、マーカがカメラ１２０に近づいていること意味する。この場合は、Ｘ軸上において、マーカが近づいている側とは逆側に重心があることを意味するため、Ｘ軸方向に沿ってマーカと逆側に保持部１３０を移動させる。図６の例では、Ｘ軸方向において負（－）の方向に「２０」の補正量とする。
　同様に、マーカの領域の画素数が「６Ｋ（６０００）」である場合、マーカがカメラ１２０から離れていること意味する。この場合は、Ｘ軸上において、マーカが離れている側と同じ側に重心があることを意味するため、Ｘ軸方向に沿ってマーカと同じ側に保持部１３０を移動させる。図６の例では、Ｘ軸方向において正（＋）の方向に「２０」の補正量とする。
　なお、図６の例では、画素数に対して３Ｋ（３０００）刻みで段階的に補正量を定義した例を示しているが、これに限定するものではない。例えば、１Ｋ（１０００）刻みなどより細かい粒度で段階的に補正量を定義してもよいし、グラフ（例えば、画素数と補正量が反比例を示すグラフ）にて定義してもよい。
　図６の例の場合、補正を繰り返して保持位置を調整することで、マーカの領域の画素数が「１２Ｋ」に近づくように制御する。なお、図６の例では、マーカの領域の画素数のみに基づいて所定軸方向の調整を行っているが、カップのバネ定数や保持対象の荷物のサイズなども考慮してカップの位置やロボットアームの姿勢などのパラメータを制御してもよい。また、本実施の形態では、繰り返しのフィードバック制御により、保持位置を調整する例を説明するが、１回のみのフィードバック制御を行うような構成であってもよい。
　また、マーカの基準画素数と保持中のマーカの画素数との差分に対して補正量を設定するような補正テーブルが用いられてもよい。または、マーカの基準画素数と保持中のマーカの画素数との差分や比率に対して１または複数の閾値を設け、この１または複数の閾値に応じた段階的な補正量を設定するような補正テーブルが用いられてもよい。
　［制御処理］
　図７は、本実施の形態に係るロボット１００の制御処理のフローチャートを示す。フローチャートの各工程は、制御装置２００がロボット１００を制御することで実現される。ここでは説明を簡略化するために、処理主体を制御装置２００としてまとめて記載するが、図３にて示した各部位が連携して以下の処理を実現する。なお、本制御処理の開始に伴って、図１に示したように保持対象物である荷物が適宜搬送または所定の位置に配置されているものとする。
　また、荷物の撮影を行って、荷物の領域を特定し、その見かけ上の重心位置、および、禁止エリア（存在する場合）が特定されているものとする。ここでの見かけ上の重心位置を初期の保持位置として説明する。
　ステップＳ７０１にて、制御装置２００は、カメラ１２０を用いて、荷物を保持前のカップ１３１の画像を撮影する。このとき、カップ１３１に設けられた複数のマーカ（例えば、Ｘ軸、Ｙ軸それぞれのマーカ）を個別に撮影してもよいし、まとめて１つの画像にて撮影してもよい。
　ステップＳ７０２にて、制御装置２００は、ステップＳ７０１にて撮影した画像から、カップ１３１に設けられたマーカの領域を抽出し、そのサイズ（画素数）を検出する。ここでの検出方法は、例えば、機械学習による領域抽出などの手法が用いられてよいが、特に限定するものではない。
　ステップＳ７０３にて、制御装置２００は、ステップＳ７０２にて検知したマーカのサイズに基づいて、閾値を設定する。例えば、保持部１３０が荷物を保持している状態と、荷物を保持していない状態との差分（すなわち、カップ１３１の拡張度合い）を予め特定しておき、その差分に基づいて閾値を設定する。つまり、荷物を保持した状態では、カップ１３１のサイズすなわちマーカの画素数が変化するため、荷物を保持していない状態の画像に対し、この閾値を用いることにより、安定して荷物を保持している状態のマーカの画素数を推定することができる。
　ステップＳ７０４にて、制御装置２００は、特定している保持位置に対して、カップ１３１を荷物に接触させるようにロボットアーム１１０を制御する。最初の場合には、見かけ上の重心位置（初期の保持位置）に対して制御が行われる。ここでは、制御装置２００は、まず、水平方向（図５（ｂ）のＸＹ平面に相当）にて位置を調整したうえで、高さ方向にロボットアーム１１０を調整するように制御してよい。また、本実施の形態では、高さ方向の調整を行う場合、所定の移動距離間隔にて段階的に行うものとして説明する。
　ステップＳ７０５にて、制御装置２００は、高さ方向に所定の移動距離の移動が完了したタイミングにてカップ１３１の撮影し、記録する。ここでの撮影は、ステップＳ７０１と同様に行われる。撮影回数をｎとした場合、ステップＳ７０１にて撮影された画像をｎ＝１とし、順に蓄積される（ｎ＝１・・・Ｎ）。したがって、最新の撮影画像がｎ＝Ｎとなる。
　ステップＳ７０６にて、制御装置２００は、ステップＳ７０５にて撮影された最新の撮影画像Ｎから、マーカサイズを検出する。ここでの検出方法は、ステップＳ７０２と同様に行われる。
　ステップＳ７０７にて、制御装置２００は、ステップＳ７０６にて検出したマーカサイズと、ステップＳ７０３にて設定した閾値とを比較し、マーカサイズが閾値以上か否かを判定する。マーカサイズが閾値以上である場合とは、荷物にカップ１３１が接触し、吸引可能な状態になっていることを意味する。一方、マーカサイズが閾値未満である場合とは、荷物にカップ１３１が接触しておらず、カップ１３１の下降が可能な状態を意味する。マーカサイズが閾値以上である場合（ステップＳ７０７；ＹＥＳ）、制御装置２００の処理はステップＳ７０８へ進む。一方、マーカサイズが閾値未満である場合（ステップＳ７０７；ＮＯ）、制御装置２００の処理はステップＳ７０４へ戻り、下降動作を継続する。
　ステップＳ７０８にて、制御装置２００は、最新の撮影画像Ｎの１つ前の撮影画像である撮影画像Ｎ－１からマーカサイズを検出する。ここでの検出方法は、ステップＳ７０２と同様に行われる。
　ステップＳ７０９にて、制御装置２００は、ステップＳ７０６にて検出したマーカサイズと、ステップＳ７０８にて検出したマーカサイズの差分を導出し、その差分が閾値以上か否かを判定する。ここでの閾値は、ステップＳ７０３にて設定した閾値と同じであってよい。つまり、撮影画像Ｎと、その直前の撮影画像Ｎ－１との間において所定の差分が生じたことにより、カップ１３１が保持対象物に確実に接触しているか否かを判定する。例えば、ロボット１００の周辺環境によっては、外部からの光などによって撮影画像に影響を与える可能性が有るため、本処理を実行する。したがって、光などの外乱が生じない環境などにおいては、ステップＳ７０８、ステップＳ７０９の処理は省略されてもよい。省略する場合、ステップＳ７０７にてＹＥＳの際にステップＳ７１０へ進む。差分が閾値以上である場合（ステップＳ７０９；ＹＥＳ）、制御装置２００の処理はステップＳ７１０へ進む。差分が閾値未満である場合（ステップＳ７０９；ＮＯ）、制御装置２００の処理はステップＳ７０４へ戻り、下降動作を継続する。
　ステップＳ７１０にて、制御装置２００は、ロボットアーム１１０の動作を制御し、カップ１３１の下降を停止させる。
　ステップＳ７１１にて、制御装置２００は、保持部１３０のポンプ（不図示）による吸引動作を行わせることで、保持部１３０に荷物を吸着させ保持させる。
　ステップＳ７１２にて、制御装置２００は、ロボットアーム１１０の動作を制御し、保持部１３０にて保持している荷物を一定の高さの分だけ上昇させる。ここでの上昇させる距離は、予め規定されていてもよいし、荷物の高さに応じて切り替えられてもよい。
　ステップＳ７１３にて、制御装置２００は、ステップＳ７１２にて一定の高さの分だけ上昇させた状態で、カメラ１２０を用いて、荷物を保持している状態のカップ１３１の画像を撮影し、記録する。ここでの撮影は、ステップＳ７０１と同様に行われる。
　ステップＳ７１４にて、制御装置２００は、ステップＳ７１２にて撮影した撮影画像からマーカサイズを検出する。ここでの検出方法は、ステップＳ７０２と同様に行われる。
　ステップＳ７１５にて、制御装置２００は、ステップＳ７１４にて検出したマーカサイズと、ステップＳ７０６にて検出したマーカサイズとを比較し、その変化量を算出する。なお、ステップＳ７１４にて検出したマーカサイズと、ステップＳ７０２にて検出したマーカサイズとを比較する構成であってもよい。この場合には、カップ１３１が荷物に接触していない場合と接触している場合との拡張度合いを考慮して変化量を算出してよい。
　ステップＳ７１６にて、制御装置２００は、変化量が閾値以上か否かを判定する。例えば、図６に示したテーブルでは、マーカに対する検出画素数を３Ｋ刻みで補正量を定義していたため、これに対応して閾値を「３Ｋ」としてもよい。したがって、マーカの変化量が３Ｋ未満である場合には、保持している位置が一致または略一致しているものとして扱ってよい。変化量が閾値以上である場合（ステップＳ７１６；ＹＥＳ）、制御装置２００の処理はステップＳ７１７へ進む。一方、変化量が閾値未満である場合（ステップＳ７１６；ＮＯ）、制御装置２００の処理はステップＳ７２１へ進む。
　ステップＳ７１７にて、制御装置２００は、マーカの変化量に基づいて、補正ベクトルを算出する。例えば、図６に示す補正テーブルの場合、Ｘ軸方向に対応するマーカについて、変化量が３Ｋ以上６Ｋ未満の増加である場合、すなわち、検出したマーカ領域の画素数が１５Ｋ以上１８Ｋ未満である場合、Ｘ軸方向の補正量を負（－）の方向に「１０」とする。Ｙ軸方向の補正量についても同様に算出される。
　ステップＳ７１８にて、制御装置２００は、ロボットアーム１１０の動作を制御し、保持部１３０にて保持している荷物を、保持を行った高さまで下降させる。すなわち、ステップＳ７１３にて上昇させた分、荷物を下降させる。
　ステップＳ７１９にて、制御装置２００は、保持部１３０のポンプ（不図示）による注入動作を行わせることで、保持部１３０から荷物を解放させて、保持状態を解除する。
　ステップＳ７２０にて、制御装置２００は、ロボットアーム１１０の動作を制御し、保持部１３０を一定の高さまで上昇させる。ここでの高さは、ステップＳ７０４にて保持部１３０の下降を開始した位置であってもよいし、ステップＳ７１９にて荷物の保持を解消した位置を基準として所定の高さの分だけ上昇させてもよい。更に、制御装置２００は、ステップＳ７１７にて算出した補正ベクトルに基づいて、ロボットアーム１１０の動作を制御し、補正後の保持点に対応する位置の直上に保持部１３０を移動させることで、位置を調整する。このとき、荷物に禁止エリアが存在し、かつ、調整後の保持位置が禁止エリア内に位置する場合には、保持位置を禁止エリア外となるように微調整する。荷物を識別した際に登録済みの箱の仕様に基づいて禁止エリアを識別できた場合には、識別した禁止エリア外となるように補正量を調整すればよい。一方、登録済みの箱の仕様ではなく、ミシン目などの構造を検出して禁止エリアを推定している場合には、その構造の位置から所定の範囲内を禁止エリアとして、その禁止エリア外となるように補正量を調整すればよい。そして、制御装置２００の処理は、ステップＳ７０４へ戻り、処理を繰り返す。
　ステップＳ７２１にて、制御装置２００は、保持部１３０にて安定して荷物を保持できているものとし、当該荷物を所定の搬送位置へ移動させる。そして、制御装置２００は、その所定の搬送位置にて、保持部１３０のポンプ（不図示）による注入動作を行わせることで、保持部１３０から荷物を解放させて、保持状態を解除する。そして、本処理フローを終了する。
　なお、次の保持対象物が、コンベア４００により搬送されてきたことを検知した場合には、本処理フローが繰り返されることとなる。
　以上、本実施の形態により、ロボットシステム（例えば、ロボットシステム１）は、保持対象物（例えば、荷物３００）を保持する保持部（例えば、保持部１３０）を有するロボット（例えば、ロボット１００）と、ロボットを制御する制御装置（例えば、制御装置２００）と、を備え、制御装置は、ロボットの保持部にて保持対象物を、初期の保持位置（例えば、点３０５）にて保持させ、保持対象物を保持させた状態にて生じる保持部の傾きの情報を取得し、傾きの情報に基づいて、初期の保持位置から、保持対象物の重心位置により近い保持位置へ調整する。
　これにより、ロボットによる対象物の保持の安定性を向上させることが可能となる。特に荷物の実際の重心位置を保持部の傾きに応じて推定し、現在の保持位置からの補正ベクトル（向き、補正量）を特定して調整することが可能となる。
　また、カメラ（例えば、カメラ１２０）を更に有し、保持部に１または複数のマーカ（例えば、マーカ１３５、１３６）が設けられ、制御装置は、カメラにより、保持部にて保持対象物を保持していない状態と保持している状態における１または複数のマーカの画像を取得し、１または複数のマーカの画像に含まれる１または複数のマーカの領域の変化に基づいて、傾きの情報を導出する。
　これにより、同じ撮影条件下のマーカの領域の変化に応じて、保持部の傾きを捉えることが可能となる。
　また、１または複数のマーカは、調整方向それぞれに対応して設けられる。
　これにより、保持位置の調整の方向に応じてマーカを設定して、傾きを捉え、より精度の高い位置調整が可能となる。
　また、１または複数のマーカ領域の変化に基づいて、保持部による保持対象物の保持のタイミングを制御する。
　これにより、画像から特定できるマーカの領域の変化に応じて、保持部と荷物と接触したことを検知し、より確実に荷物を保持することが可能となる。
　また、制御装置は、傾きの情報に対応して補正量が定義された補正テーブル（例えば、図６）を用いて、保持部の保持位置を調整する。
　これにより、傾き情報に対応して予め規定された補正量を用いて簡易に保持位置を調整することが可能となる。
　また、初期の保持位置は、保持対象物の見かけ上の重心位置である。
　これにより、容易に保持対象物の初期の保持位置を決定することができる。
　また、制御装置は、保持対象物において保持が禁止される禁止エリアを特定し、初期の保持位置および調整された後の保持位置は、前記禁止エリアから除かれる。
　これにより、保持対象物を保持した際の意図しない開梱などが発生することを抑止することが可能となる。
　また、保持部は、吸着方式の作業ツールであり、かつ、１点にて前記保持対象物を保持可能に構成され、保持部の傾きは、保持部の先端部に設けられたカップの傾きである。
　これにより、吸着方式にて１点で荷物を保持する作業ツールを用いて、保持対象物を保持する際の安定性を向上させることが可能となる。
　また、ロボットにおいて、保持部とロボットアーム（例えば、１１０）との接続部分には重力方向に応じた傾きを生じさせるための遊びが設けられる。
　これにより、重心以外の位置を保持部にて保持した際の傾きをより精度良く実現することができ、精度の高い傾き情報を導出することが可能となる。その結果、重心位置をより精度良く特定することが可能となる。
＜その他の実施形態＞
　上記の実施の形態では、カップ１３１に設けられたマーカの画像に基づいて、傾き情報（マーカの画素数）を導出していた。しかし、この構成に限定するものではなく、例えば、カメラ１２０に代えて、加速度センサを用いて傾き情報を導出してもよい。この場合、保持部１３０周りに加速度センサを設け、保持対象物を保持した状態でのカップの傾き（重力方向）を検出する。そして、その傾き情報に応じて、保持部１３０に対する補正ベクトルを算出するように構成してよい。この場合も、図６に示したように、Ｘ軸、Ｙ軸それぞれにおける傾きと補正量とを対応付けた補正テーブルを用いてよい。
　したがって、加速度センサを更に有し、制御装置は、加速度センサにより、保持部にて保持対象物を保持している状態における重力の向きを取得し、重力の向きに基づいて、傾きの情報を導出する。
　これにより、加速度センサにて検出できる重力の向きに応じて、保持部の傾きを捉えることが可能となる。
　また、傾き情報に基づいて補正量を導出する場合には、機械学習による学習済みモデルが用いられてもよい。この場合、入力を傾き情報とし、出力を補正量として所定の学習アルゴリズム（回帰など）によって学習処理を繰り返すことで、学習済みモデルを生成してよい。学習処理に用いられる学習用データは、カメラ１２０にて撮影された画像データに基づいて算出される傾き情報と、アノテーション（注釈）がなされた補正量との対から構成されていてよい。機械学習は、処理負荷が高いことが想定されるため、機械学習処理は、制御装置２００とは別個の装置で実行させ、制御装置２００が適宜生成された学習済みモデルを取得して利用することが好ましい。ここでの学習済みモデルの学習の程度は特に限定するものではなく、任意の学習が行われた学習済みモデルを用いてよい。
　また、機械学習の利用は、補正量の導出のみに限定するものではなく、マーカの領域抽出、保持対象となる荷物の検出、荷物の箱の識別（禁止エリアの検出含む）、荷物の重心位置の検出など任意の処理にも適用されてよい。
　したがって、制御装置は、入力を保持部の傾き情報とし、保持部の保持位置の補正量を出力とする機械学習が行われることにより得られた学習済みモデルを用いて、保持部の保持位置を調整する。
　これにより、機械学習にて得られた学習済みモデルを用いて、傾き情報に対応する保持位置の調整が可能となる。また、学習処理にて用いられる画像データが容易に取得可能であるため、より精度のよい学習済みモデルを適宜生成することが可能となる。
　また、上記の実施の形態では、１点にて保持対象物を保持する保持部の例を示したが、これに限定するものではない。例えば、２点などでも傾きが生じるようなロボット構成であれば、本発明は適用可能である。
　本発明を適用可能なロボットの作業ツールの例としては、２本指のハンド（グリッパー）などが挙げられる。２本指の構成の場合、長手の箱を保持する際に、ハンドの保持位置で回転を起こすことがあり、この回転度合いは加速度センサによって検知できる。そのため、２本指のハンドから構成される保持部においても、本発明の構成を適用することで、重心位置を推定して適切な保持位置を特定した上で、安定した保持が可能となる。
　したがって、保持部は、２本指のハンドから構成される作業ツールである。
　これにより、吸引式の作業ツール以外にも本発明を適用して、より安定性の高い保持機能を提供することが可能となる。
　なお、上記の回転は、対抗する指同士で挟持する場合に起こすことがあるため、ハンドの形状として２本指以外にも、対抗する位置に２本指と１本指など３本以上の指がある場合にも適用可能である。
　また、保持部１３０の先端部であるカップ１３１の形状は円形状（図５（ｂ）など）に限定するものではなく、他の形状であってもよい。例えば、楕円形状や矩形形状などであってもよい。
　また、上記の実施の形態では、カップ１３１に１または複数のマーカを用いる例を示したが、これに限定するものではない。例えば、カップ１３１自体が形状やその領域を特定しやすい色や構造である場合には、カップ１３１そのものを上記のマーカとみなして領域の検出を行ってもよい。
　また、保持部１３０の情報に設置したカメラ１２０に加え、保持部１３０および荷物３００の側方から撮影可能なカメラ（第２のカメラ）を設け、そのカメラにて取得した側方からの画像（以下、「側方画像」とも称する）に基づいて傾き検出を行うような構成であってもよい。図８は、保持部１３０および荷物３００を側方から撮影可能なカメラ８００の概念図である。カメラ８００は、カメラ１２０と同様に、ロボット１００の動作に合わせてロボットアーム１１０の先端部に設置された保持部１３０および荷物３００が撮影範囲に含まれるように設置される。カメラ８００は、ロボット１００と一体として移動してもよいし、固定されたうえで撮影範囲が調整されてもよい。カメラ８００の動作は、カメラ制御部２０１にて制御されてよい。
　図９は、カメラ８００にて撮影される撮影画像の例を示す。撮影画像９００は、荷物を保持する直前の状態の撮影画像（第１の側方画像）を示す。ここでは、直前の状態として、保持部１３０と荷物３００が接触した状態を例に挙げる。また、撮影画像９１０は、荷物を保持状態での撮影画像（第２の側方画像）を示す。撮影画像９００には、保持部１３０に対応するオブジェクト９０２、荷物３００に対応するオブジェクト９０３、その他の周辺物体（例えば、床やコンベア４００）に対応するオブジェクト９０４が含まれている。同様に、撮影画像９１０には、保持部１３０に対応するオブジェクト９１２、荷物３００に対応するオブジェクト９１３、その他の周辺物体（例えば、床やコンベア４００）に対応するオブジェクト９１４が含まれている。なお、説明を簡単にするため、ここで示す撮影画像では保持部１３０が接続されるロボットアーム１１０等は省略している。
　例えば、保持部１３０にて荷物３００を保持して持ち上げた場合、保持位置に応じて荷物に傾きが生じうる。例えば、図９に示す撮影画像９１０では、保持部１３０による保持の結果、荷物３００に傾きが生じている状態となる。本実施の形態では、カメラ８００の撮影範囲において、荷物３００を保持する前の保持部１３０の位置は、予め規定できるものとする。これは、カメラ８００の撮影位置および撮影範囲、荷物３００を保持する際の保持部１３０の位置に基づいて予め規定することができる。この位置を、撮影画像９００内の注目領域９０１として規定する。
　まず、撮影画像９００から、注目領域９０１（第１の注目領域）に含まれる画像をトリミングして抽出する。一方、保持部１３０にて荷物３００を保持した状態での撮影画像９１０では、保持部１３０が荷物３００を保持して上昇した結果、撮影画像９１０内で保持部１３０の位置が変化している。このとき、保持部１３０の上昇量は制御装置の制御に関する情報に基づいて特定できる。また、その上昇量に対応する撮影画像９１０内での移動量（図９中のＤに対応）は、予め規定された係数を用いて導出することができる。そこで、撮影画像９１０における注目領域９１１（第２の注目領域）の位置を特定するために、（補正画素数）＝（上昇量）×（係数）を用いる。ここでの係数は予め規定され、利用可能なようにＲＯＭ等の記憶領域に保持されているものとする。そして、本式にて得られた補正画素数に基づいて、予め規定された注目領域９０１の位置座標を補正することで、撮影画像９１０における注目領域９１１の位置を特定する。結果として、図９の注目領域９１１に示すように、保持部１３０周辺の領域を設定することができる。そして、撮影画像９１０から注目領域９１１に含まれる画像をトリミングして抽出することで、撮影画像９００の注目領域９０１の画像に対応する画像を取得することができる。
　次に、注目領域９０１内の画素と、注目領域９１１内の画素とを比較し、その画素の差分の絶対値の総和（差分絶対値和：ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ））を導出する。そして、この導出された値が、予め規定された閾値よりも大きい場合には荷物３００の傾きがあると判定し、閾値以下である場合には荷物３００の傾きが無いと判定してよい。ここでの閾値は、予め規定され、利用可能なようにＲＯＭ等の記憶領域に保持されているものとする。なお、ここでは差分絶対値和を用いる例を示したが、これに限定するものではない。例えば、画像内において保持部１３０や荷物３００のエッジ検出を行い、当該エッジ検出の結果に基づいて保持前後の比較を行うことで荷物の傾きを導出してもよい。ここでのエッジ検出の手法は公知の方法を用いてよく、例えば、保持部１３０や保持対象の荷物３００の形状や色などに適したパラメータを用いてよい。
　上記の側方画像に基づく傾き検出に用いる撮影画像は、図７のステップＳ７１０およびステップＳ７１３の工程のタイミングで取得されてよい。また、傾き検出の判定は、ステップＳ７１４の工程にて行われてよい。上記の側方画像に基づく傾き検出は、マーカの変化量に基づく傾き検出と同時並行的に行われてもよいし、いずれか一方を先に実施し、その検出結果に基づいて、もう一方が実行されるような構成であってもよい。また、撮影画像９００や撮影画像９１０に対し、検出精度を向上させるために、任意の前処理を適用してもよい。前処理としては、ノイズを除去するためのフィルタリング処理や背景に相当する領域の除去処理などが含まれてよい。また、ここでの側方とは、１方向であってもよいし、カメラ８００を２つ設け、２つの方向から側方画像を取得してもよい。側方画像に基づく傾き検出は、制御装置２００が備える各部位が協働して実現される。
　以上、上記の形態では、保持部を側方から撮影する第２のカメラ（例えば、カメラ８００）を更に有し、制御装置は、第２のカメラにより、保持部が保持対象物を保持していない状態の第１の側方画像（例えば、撮影画像９００）と、保持部が保持対象物を保持している状態の第２の側方画像（例えば、撮影画像９１０）を取得し、第１の側方画像と第２の側方画像の差分に基づいて傾きの情報を導出する。また、制御装置は、第１の側方画像のうちの保持部に対応する第１の注目領域（例えば、注目領域９０１）を抽出し、第２の側方画像のうちの保持部に対応する第２の注目領域（例えば、注目領域９１１）の位置を、保持部が保持対象物を保持する際の動作量と所定の係数とを用いて第２の側方画像の中から特定した上で、当該第２の注目領域を抽出し、第１の注目領域と第２の注目領域の画素の差分に基づいて傾きの情報を導出する。また、制御装置は、第１の側方画像と第２の側方画像の差分絶対値和に基づいて傾きの情報を導出する。
　この形態により、保持部の側方画像に基づいて傾き情報を導出することができる。特に、側方画像の中から保持部に相当する領域を保持に係る移動量等に基づいて適切に特定し、当該領域間の差異に基づいて精度良く傾きの情報を導出することができる。また、画像全体ではなく、保持部の周辺のみを用いているため、側方画像全体を用いた場合よりも処理負荷を抑制することが可能となる。
　また、上述した１つ以上の実施の形態の機能を実現するためのプログラムおよびアプリケーションを、ネットワークまたは記憶媒体などを用いてシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。
　また、１以上の機能を実現する回路（例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、またはＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ））によって実現してもよい。
　以上、図面を参照しながら各種の実施形態について説明したが、本開示は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に相当し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施形態における各構成要素を任意に組み合わせてもよい。
　以上の実施の形態により、下記の技術が開示される。
　（技術１）
　保持対象物を保持する保持部を有するロボットと、
　前記ロボットを制御する制御装置と、
　を備え、
　前記制御装置は、
　前記ロボットの前記保持部にて前記保持対象物を、初期の保持位置にて保持させ、
　前記保持対象物を保持させた状態にて生じる前記保持部の傾きの情報を取得し、
　前記傾きの情報に基づいて、前記初期の保持位置から、前記保持対象物の重心位置により近い保持位置へ調整する、
　ロボットシステム。
　（技術２）
　カメラを更に有し、
　前記保持部に１または複数のマーカが設けられ、
　前記制御装置は、
　前記カメラにより、前記保持部にて前記保持対象物を保持していない状態と保持している状態における前記１または複数のマーカの画像を取得し、
　前記１または複数のマーカの画像に含まれる前記１または複数のマーカの領域の変化に基づいて、前記傾きの情報を導出する、
　技術１に記載のロボットシステム。
　（技術３）
　前記１または複数のマーカは、調整方向それぞれに対応して設けられる、技術２に記載のロボットシステム。
　（技術４）
　前記制御装置は、前記１または複数のマーカ領域の変化に基づいて、前記保持部による前記保持対象物の保持のタイミングを制御する、技術２に記載のロボットシステム。
　（技術５）
　加速度センサを更に有し、
　前記制御装置は、前記加速度センサにより、前記保持部にて前記保持対象物を保持している状態における重力の向きを取得し、
　前記重力の向きに基づいて、前記傾きの情報を導出する、
　技術１から技術４のいずれかに記載のロボットシステム。
　（技術６）
　前記制御装置は、前記傾きの情報に対応して補正量が定義された補正テーブルを用いて、前記保持部の保持位置を調整する、技術１から技術５のいずれかに記載のロボットシステム。
　（技術７）
　前記制御装置は、入力を前記保持部の前記傾き情報とし、前記保持部の保持位置の補正量を出力とする機械学習が行われることにより得られた学習済みモデルを用いて、前記保持部の保持位置を調整する、技術１から技術５に記載のロボットシステム。
　（技術８）
　前記初期の保持位置は、前記保持対象物の見かけ上の重心位置である、技術１から技術７のいずれかに記載のロボットシステム。
　（技術９）
　前記制御装置は、前記保持対象物において保持が禁止される禁止エリアを特定し、
　前記初期の保持位置および前記調整された後の保持位置は、前記禁止エリアから除かれる、
　技術１から技術８のいずれかに記載のロボットシステム。
　（技術１０）
　前記保持部は、吸着方式の作業ツールであり、かつ、１点にて前記保持対象物を保持可能に構成され、
　前記保持部の傾きは、前記保持部の先端部に設けられたカップの傾きである、
　技術１から技術９のいずれかに記載のロボットシステム。
　（技術１１）
　前記保持部は、少なくとも２本指のハンドから構成される作業ツールである、技術１から技術１０のいずれかに記載のロボットシステム。
　（技術１２）
　前記ロボットにおいて、前記保持部とロボットアームとの接続部分には重力方向に応じた傾きを生じさせるための遊びが設けられる、技術１から技術１１のいずれかに記載のロボットシステム。
　（技術１３）
　前記保持部を側方から撮影する第２のカメラを更に有し、
　前記制御装置は、
　前記第２のカメラにより、前記保持部が前記保持対象物を保持していない状態の第１の側方画像と、前記保持部が前記保持対象物を保持している状態の第２の側方画像を取得し、
　前記第１の側方画像と前記第２の側方画像の差分に基づいて前記傾きの情報を導出する、
　技術１から技術１２のいずれかに記載のロボットシステム。
　（技術１４）
　前記制御装置は、
　前記第１の側方画像のうちの前記保持部に対応する第１の注目領域を抽出し、
　前記第２の側方画像のうちの前記保持部に対応する第２の注目領域の位置を、前記保持部が前記保持対象物を保持する際の動作量と所定の係数とを用いて前記第２の側方画像の中から特定した上で、当該第２の注目領域を抽出し、
　前記第１の注目領域と前記第２の注目領域の画素の差分に基づいて、前記傾きの情報を導出する、
　技術１３に記載のロボットシステム。
　（技術１５）
　前記制御装置は、前記第１の側方画像と前記第２の側方画像の差分絶対値和に基づいて前記傾きの情報を導出する、技術１３または技術１４に記載のロボットシステム。
　（技術１６）
　保持対象物を保持する保持部を有するロボットの制御装置であって、
　前記ロボットの前記保持部にて前記保持対象物を、初期の保持位置にて保持させ、
　前記保持対象物を保持させた状態にて生じる前記保持部の傾きの情報を取得し、
　前記傾きの情報に基づいて、前記初期の保持位置から、前記保持対象物の重心位置により近い保持位置へ調整する、
　ロボットの制御装置。
　（技術１７）
　保持対象物を保持する保持部を有するロボットの制御方法であって、
　プロセッサがメモリと協働して、
　前記ロボットの前記保持部にて前記保持対象物を、初期の保持位置にて保持させ、
　前記保持対象物を保持させた状態にて生じる前記保持部の傾きの情報を取得し、
　前記傾きの情報に基づいて、前記初期の保持位置から、前記保持対象物の重心位置により近い保持位置へ調整する、
　ロボットの制御方法。
　以上、各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０２２年１０月１４日出願の日本特許出願（特願２０２２－１６５６５０）に基づくものであり、その内容は本出願の中に参照として援用される。
　本開示は、吸着式の作業ツールを備えたロボットシステム、ロボットの制御装置、およびロボットの制御方法として有用である。
１…ロボットシステム
１００…ロボット
１１０…ロボットアーム
１２０、８００…カメラ
１３０…保持部
１３１…カップ
１３２…支持部
１３３…チャンバー
１３４…吸引ホース
１３５、１３６…マーカ
２００…制御装置
２０１…カメラ制御部
２０２…画像記録部
２０３…対象認識部
２０４…変形検出部
２０５…補正量算出部
２０６…ロボット制御部
３００…保持対象物（荷物）
４００…コンベア

Claims (17)

  1. 　保持対象物を保持する保持部を有するロボットと、
    　前記ロボットを制御する制御装置と、
    　を備え、
    　前記制御装置は、
    　前記ロボットの前記保持部にて前記保持対象物を、初期の保持位置にて保持させ、
    　前記保持対象物を保持させた状態にて生じる前記保持部の傾きの情報を取得し、
    　前記傾きの情報に基づいて、前記初期の保持位置から、前記保持対象物の重心位置により近い保持位置へ調整する、
    　ロボットシステム。
  2. 　カメラを更に有し、
    　前記保持部に１または複数のマーカが設けられ、
    　前記制御装置は、
    　前記カメラにより、前記保持部にて前記保持対象物を保持していない状態と保持している状態における前記１または複数のマーカの画像を取得し、
    　前記１または複数のマーカの画像に含まれる前記１または複数のマーカの領域の変化に基づいて、前記傾きの情報を導出する、
    　請求項１に記載のロボットシステム。
  3. 　前記１または複数のマーカは、調整方向それぞれに対応して設けられる、請求項２に記載のロボットシステム。
  4. 　前記制御装置は、前記１または複数のマーカ領域の変化に基づいて、前記保持部による前記保持対象物の保持のタイミングを制御する、請求項２に記載のロボットシステム。
  5. 　加速度センサを更に有し、
    　前記制御装置は、前記加速度センサにより、前記保持部にて前記保持対象物を保持している状態における重力の向きを取得し、
    　前記重力の向きに基づいて、前記傾きの情報を導出する、
    　請求項１に記載のロボットシステム。
  6. 　前記制御装置は、前記傾きの情報に対応して補正量が定義された補正テーブルを用いて、前記保持部の保持位置を調整する、請求項１に記載のロボットシステム。
  7. 　前記制御装置は、入力を前記保持部の前記傾き情報とし、前記保持部の保持位置の補正量を出力とする機械学習が行われることにより得られた学習済みモデルを用いて、前記保持部の保持位置を調整する、請求項１に記載のロボットシステム。
  8. 　前記初期の保持位置は、前記保持対象物の見かけ上の重心位置である、請求項１に記載のロボットシステム。
  9. 　前記制御装置は、前記保持対象物において保持が禁止される禁止エリアを特定し、
    　前記初期の保持位置および前記調整された後の保持位置は、前記禁止エリアから除かれる、
    　請求項１に記載のロボットシステム。
  10. 　前記保持部は、吸着方式の作業ツールであり、かつ、１点にて前記保持対象物を保持可能に構成され、
    　前記保持部の傾きは、前記保持部の先端部に設けられたカップの傾きである、
    　請求項１に記載のロボットシステム。
  11. 　前記保持部は、少なくとも２本指のハンドから構成される作業ツールである、請求項１に記載のロボットシステム。
  12. 　前記ロボットにおいて、前記保持部とロボットアームとの接続部分には重力方向に応じた傾きを生じさせるための遊びが設けられる、請求項１に記載のロボットシステム。
  13. 　前記保持部を側方から撮影する第２のカメラを更に有し、
    　前記制御装置は、
    　前記第２のカメラにより、前記保持部が前記保持対象物を保持していない状態の第１の側方画像と、前記保持部が前記保持対象物を保持している状態の第２の側方画像を取得し、
    　前記第１の側方画像と前記第２の側方画像の差分に基づいて前記傾きの情報を導出する、
    　請求項１に記載のロボットシステム。
  14. 　前記制御装置は、
    　前記第１の側方画像のうちの前記保持部に対応する第１の注目領域を抽出し、
    　前記第２の側方画像のうちの前記保持部に対応する第２の注目領域の位置を、前記保持部が前記保持対象物を保持する際の動作量と所定の係数とを用いて前記第２の側方画像の中から特定した上で、当該第２の注目領域を抽出し、
    　前記第１の注目領域と前記第２の注目領域の画素の差分に基づいて、前記傾きの情報を導出する、
    　請求項１３に記載のロボットシステム。
  15. 　前記制御装置は、前記第１の側方画像と前記第２の側方画像の差分絶対値和に基づいて前記傾きの情報を導出する、請求項１３に記載のロボットシステム。
  16. 　保持対象物を保持する保持部を有するロボットの制御装置であって、
    　前記ロボットの前記保持部にて前記保持対象物を、初期の保持位置にて保持させ、
    　前記保持対象物を保持させた状態にて生じる前記保持部の傾きの情報を取得し、
    　前記傾きの情報に基づいて、前記初期の保持位置から、前記保持対象物の重心位置により近い保持位置へ調整する、
    　ロボットの制御装置。
  17. 　保持対象物を保持する保持部を有するロボットの制御方法であって、
    　プロセッサがメモリと協働して、
    　前記ロボットの前記保持部にて前記保持対象物を、初期の保持位置にて保持させ、
    　前記保持対象物を保持させた状態にて生じる前記保持部の傾きの情報を取得し、
    　前記傾きの情報に基づいて、前記初期の保持位置から、前記保持対象物の重心位置により近い保持位置へ調整する、
    　ロボットの制御方法。
PCT/JP2023/035552 2022-10-14 2023-09-28 ロボットシステム、ロボットの制御装置、およびロボットの制御方法 WO2024080155A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022165650 2022-10-14
JP2022-165650 2022-10-14

Publications (1)

Publication Number Publication Date
WO2024080155A1 true WO2024080155A1 (ja) 2024-04-18

Family

ID=90669132

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/035552 WO2024080155A1 (ja) 2022-10-14 2023-09-28 ロボットシステム、ロボットの制御装置、およびロボットの制御方法

Country Status (1)

Country Link
WO (1) WO2024080155A1 (ja)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09290385A (ja) * 1996-04-24 1997-11-11 Kobe Steel Ltd デパレタイズ用ハンド装置
JP2005001055A (ja) * 2003-06-11 2005-01-06 Fanuc Ltd ロボット装置
JP2013052451A (ja) * 2011-09-01 2013-03-21 Seiko Epson Corp ロボット制御システム、ロボットシステム及びプログラム
JP2014029664A (ja) * 2012-06-28 2014-02-13 Seiko Epson Corp 比較画像範囲生成方法、位置姿勢検出方法、比較画像範囲生成装置、位置姿勢検出装置、ロボット、ロボットシステム、比較画像範囲生成プログラム及び位置姿勢検出プログラム
JP2014210311A (ja) * 2013-04-18 2014-11-13 ファナック株式会社 ワークを搬送するロボットの制御装置
JP2017177294A (ja) * 2016-03-31 2017-10-05 キヤノン株式会社 ロボット制御装置、ロボット制御方法、ロボットシステムおよびコンピュータプログラム
JP2019150887A (ja) * 2018-02-28 2019-09-12 オムロン株式会社 シミュレーション装置、方法、及びプログラム
WO2019208162A1 (ja) * 2018-04-26 2019-10-31 パナソニック株式会社 アクチュエータ装置、アクチュエータ装置による対象物取出方法、及び、対象物取出システム
WO2020230248A1 (ja) * 2019-05-13 2020-11-19 オムロン株式会社 吸着パッド、および変形計測装置
JP2021030367A (ja) * 2019-08-23 2021-03-01 株式会社東芝 保持装置および搬送装置
WO2021198053A1 (en) * 2020-04-03 2021-10-07 Beumer Group A/S Pick and place robot system, method, use and sorter system
JP2021171896A (ja) * 2020-04-30 2021-11-01 トヨタ自動車株式会社 ロボットアームの制御方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09290385A (ja) * 1996-04-24 1997-11-11 Kobe Steel Ltd デパレタイズ用ハンド装置
JP2005001055A (ja) * 2003-06-11 2005-01-06 Fanuc Ltd ロボット装置
JP2013052451A (ja) * 2011-09-01 2013-03-21 Seiko Epson Corp ロボット制御システム、ロボットシステム及びプログラム
JP2014029664A (ja) * 2012-06-28 2014-02-13 Seiko Epson Corp 比較画像範囲生成方法、位置姿勢検出方法、比較画像範囲生成装置、位置姿勢検出装置、ロボット、ロボットシステム、比較画像範囲生成プログラム及び位置姿勢検出プログラム
JP2014210311A (ja) * 2013-04-18 2014-11-13 ファナック株式会社 ワークを搬送するロボットの制御装置
JP2017177294A (ja) * 2016-03-31 2017-10-05 キヤノン株式会社 ロボット制御装置、ロボット制御方法、ロボットシステムおよびコンピュータプログラム
JP2019150887A (ja) * 2018-02-28 2019-09-12 オムロン株式会社 シミュレーション装置、方法、及びプログラム
WO2019208162A1 (ja) * 2018-04-26 2019-10-31 パナソニック株式会社 アクチュエータ装置、アクチュエータ装置による対象物取出方法、及び、対象物取出システム
WO2020230248A1 (ja) * 2019-05-13 2020-11-19 オムロン株式会社 吸着パッド、および変形計測装置
JP2021030367A (ja) * 2019-08-23 2021-03-01 株式会社東芝 保持装置および搬送装置
WO2021198053A1 (en) * 2020-04-03 2021-10-07 Beumer Group A/S Pick and place robot system, method, use and sorter system
JP2021171896A (ja) * 2020-04-30 2021-11-01 トヨタ自動車株式会社 ロボットアームの制御方法

Similar Documents

Publication Publication Date Title
US10870204B2 (en) Robotic system control method and controller
JP6912415B2 (ja) ハンド制御装置およびハンド制御システム
JP6707485B2 (ja) 物体ハンドリング装置およびその較正方法
US9259844B2 (en) Vision-guided electromagnetic robotic system
CN113771045B (zh) 视觉引导的直角机器人手机中框高适应定位抓取方法
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
US7957580B2 (en) Workpiece picking device
JP2023155399A (ja) ピースロス管理メカニズムを有するロボットシステム
JP2022036243A (ja) カメラによって生成される画像情報に基づいて、物体検出またはロボット相互作用計画作成を行う方法および計算システム
JP6771744B2 (ja) ハンドリングシステム及びコントローラ
JP7191569B2 (ja) 把持装置
US20170277167A1 (en) Robot system, robot control device, and robot
US20150231785A1 (en) Robot system for preventing accidental dropping of conveyed objects
JP6950638B2 (ja) マニピュレータ制御装置、マニピュレータ制御方法、及びマニピュレータ制御プログラム
JP2016196077A (ja) 情報処理装置、情報処理方法、およびプログラム
US20200316783A1 (en) Robot System And Imaging Method
JP2008023630A (ja) アームを誘導可能な移動体およびアームを誘導する方法
CN108698225B (zh) 机器人码放货物的方法及机器人
JP2018192592A (ja) ワーク取出しシステム
Roy et al. Pose estimation of texture-less cylindrical objects in bin picking using sensor fusion
WO2024080155A1 (ja) ロボットシステム、ロボットの制御装置、およびロボットの制御方法
JP6666764B2 (ja) ワーク認識方法及びランダムピッキング方法
JP2017047479A (ja) ロボット、制御装置、及びロボットシステム
JP2015145050A (ja) ロボットシステム、ロボット制御装置、ロボット制御方法およびロボット制御プログラム
Luo et al. Robotic conveyor tracking with dynamic object fetching for industrial automation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23877160

Country of ref document: EP

Kind code of ref document: A1