WO2025215964A1 - ロボット制御装置、ロボット、ロボット制御システム、および、ロボット制御方法 - Google Patents

ロボット制御装置、ロボット、ロボット制御システム、および、ロボット制御方法

Info

Publication number
WO2025215964A1
WO2025215964A1 PCT/JP2025/007132 JP2025007132W WO2025215964A1 WO 2025215964 A1 WO2025215964 A1 WO 2025215964A1 JP 2025007132 W JP2025007132 W JP 2025007132W WO 2025215964 A1 WO2025215964 A1 WO 2025215964A1
Authority
WO
WIPO (PCT)
Prior art keywords
control device
robot control
robot
boundary
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/007132
Other languages
English (en)
French (fr)
Inventor
研人 関谷
宣隆 木村
泰樹 矢野
潔人 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of WO2025215964A1 publication Critical patent/WO2025215964A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to a robot control device, a robot, a robot control system, and a robot control method that are capable of recognizing boundaries between objects.
  • robots such as articulated arm robots to transport objects.
  • this type of robot selects and transports one object from among a mixture of objects on a pallet, it needs to be able to correctly recognize the boundaries between the object being transported, even when the object is tightly packed against other objects.
  • Patent Document 1 The workpiece transfer system described in Patent Document 1 is known as a conventional technology for recognizing the boundary between closely spaced objects.
  • the abstract of Patent Document 1 describes the problem of "providing a workpiece transfer system capable of accurately recognizing a workpiece to be transferred," and describes the solution as including "a determination means (S3) for determining whether the boundary of the workpiece to be transferred is clear when the measurement means measures the workpiece to be transferred (S2); an estimation means (S5) for estimating that the unclear portion is the workpiece to be transferred if the determination means determines that the boundary of the workpiece to be transferred is unclear; a shifting means (S9) for shifting the workpiece to be transferred estimated by the estimation means by a predetermined distance; a re-measurement means (S12, S13) for re-measuring the workpiece to be transferred that has been shifted by the predetermined distance by the shifting means; and a determination means (S14) for confirming that the workpiece to be transferred measured by the re-measurement means is the workpiece to be
  • paragraph 0030 of the same document states, "As shown in FIG. 4(b), if the boundary portion K1 between adjacent workpieces Wa is clear (step S3: YES), the CPU 50 stores each of the workpieces Wa of the cut-out portion T shown in FIG. 4(b) in the measurement result storage unit 56 as a workpiece Wa to be transferred (step S4).”
  • Paragraph 0031 states, "On the other hand, as shown in FIG. 4(c), if the boundary portion K2 between adjacent workpieces Wa is unclear (in the illustration, the unclear portion is indicated by a dashed line) (step S3: NO), the CPU 50 presumes that the unclear portion is also a workpiece to be transferred (step S5). In other words, in this embodiment, the cut-out portion T shown in FIG. 4(c) is presumed to be the entire workpiece Wa1 to be transferred.”
  • Figure 2 of the same document discloses a group of processes required after step S5 mentioned above to determine whether the unclear boundary portion K2 is a true boundary, such as "instructing the shifting operation (step S9),” “checking the results of the shifting operation (step S10),” and “did the operation proceed as a single unit? (step S11).”
  • the present invention aims to provide a robot control device, robot control system, and robot control method that can extract the boundaries of multiple objects with high accuracy and correctly recognize the regions of individual objects.
  • the robot control device of the present invention is a robot control device that controls a robot having an articulated arm and an end effector, and is equipped with an image acquisition unit that acquires an image including a moving object and an adjacent object, a movement direction acquisition unit that acquires the movement direction in which the robot moves the moving object, a boundary estimation unit that estimates the boundary between the moving object and the adjacent object using the image and the movement direction, and an operation control unit that controls the operation of the robot using the boundary estimated by the boundary estimation unit.
  • FIG. 1 is a hardware configuration diagram of a transfer robot system according to a first embodiment.
  • FIG. 2 is a hardware configuration diagram of a control device according to the first embodiment.
  • FIG. 2 is a functional block diagram of the control device according to the first embodiment.
  • FIG. 3 is a flowchart of the control device according to the first embodiment.
  • 10A and 10B are diagrams for explaining a scene in which rectangular objects are closely spaced with no gaps according to the second embodiment.
  • 10A and 10B are diagrams for explaining a scene after a rectangular object is moved in the second embodiment.
  • 10A to 10C are diagrams for explaining image differences before and after moving a rectangular object in the second embodiment.
  • 10A to 10C are diagrams for explaining a method of drawing auxiliary lines that become boundaries of rectangular objects according to the second embodiment.
  • FIG. 10A and 10B are diagrams for explaining a scene in which the packed objects of Example 3 are tightly packed together with no gaps.
  • FIG. 11 is a diagram for explaining a scene after the packed object of the third embodiment is moved.
  • 11A and 11B are diagrams for explaining the relationship between the line segment connecting the centers of the circular boundaries and the movement direction in the third embodiment.
  • 10A and 10B are diagrams for explaining a method of drawing auxiliary lines that become boundaries of a packaging object in the third embodiment.
  • FIG. 10 is a functional block diagram of a control device according to a fourth embodiment.
  • FIG. 1 is a schematic diagram showing the environment in which the robot control system 100 of this embodiment is used.
  • the robot control system 100 is a system in which a robot control device 1, a robot 2, and a stereo camera 3 are connected to each other via wired or wireless communication, and is used to grasp any of various objects 4 (e.g., plastic bottles, toilet paper, cardboard boxes, etc.) placed on a pallet 5 and transfer it to another pallet.
  • objects 4 e.g., plastic bottles, toilet paper, cardboard boxes, etc.
  • the robot 2 is a multi-joint arm robot having a multi-joint arm 21 and an end effector 22 such as a robot hand, and the operation of which is controlled by a robot control device 1.
  • the robot 2 is installed in a location where, by moving the multi-joint arm 21, it can grasp an arbitrary object 4 on a pallet 5 with the end effector 22 and transfer it to another pallet.
  • the stereo camera 3 is an imaging device or a measuring device that transmits to the robot control device 1 stereo images captured synchronously by the left camera 3L and the right camera 3R and three-dimensional information obtained by processing the images.
  • the stereo camera 3 is installed in a location where it can capture an image of the entire top surface of the pallet 5.
  • the stereo camera 3 which is made up of left and right cameras each equipped with an image sensor of 1280 pixels x 1024 pixels (approximately 1.31 million pixels), is installed facing downward at a position approximately 2 m above the pallet 5, but the specifications and installation position of the stereo camera 3 are not limited to those described above as long as it is possible to measure gaps of approximately 20 mm between objects on the pallet 5 with high accuracy, including in the depth direction.
  • ⁇ Robot control device 1> 2 is a block diagram showing the hardware configuration of the robot control device 1.
  • the robot control device 1 is a computer equipped with an arithmetic unit 11 such as a CPU, a storage device 12 such as a semiconductor memory, an input device 13 such as a keyboard or mouse operated by an operator, an output device 14 such as a liquid crystal display that presents information to the operator, a communication interface 15 for communicating with the robot 2 and the stereo camera 3, and a bus 16 that connects them.
  • FIG. 3 is a functional block diagram of the robot control device 1 realized by the hardware configuration of FIG. 2.
  • the robot control device 1 includes an image acquisition unit 15a, a movement direction acquisition unit 15b, an object recognition unit 11a, a boundary estimation unit 11b, and an operation control unit 11c.
  • the image acquisition unit 15a and the movement direction acquisition unit 15b are realized by cooperation between the communication interface 15 and the storage device 12 of FIG. 2, and the object recognition unit 11a, the boundary estimation unit 11b, and the operation control unit 11c are realized by cooperation between the calculation device 11 and the storage device 12 of FIG. 2.
  • Each unit will be explained in detail below.
  • the image acquisition unit 15a is a functional unit that acquires and stores stereo images of the entire top surface of the pallet 5 from the stereo camera 3.
  • the image acquisition unit 15a can store multiple stereo images taken at different times.
  • the movement direction acquisition unit 15b is a functional unit that acquires and stores the movement direction of the end effector 22 when moving the object 4 on the pallet 5. As an example of a method for acquiring the movement direction, the movement direction acquisition unit 15b monitors the angles of each joint of the articulated arm 21 and estimates the movement direction by calculating the coordinate changes of the end effector 22 based on these joint angles.
  • the object recognition unit 11a is a functional unit that processes the stereo images acquired by the image acquisition unit 15a, estimates the contours of the objects 4 on the pallet 5, and estimates the shape, position, and orientation of the objects 4 based on the estimated contours.
  • Methods for estimating contours include, for example, extracting contours from brightness edges or depth edges in the images, matching with stereo image features of the objects 4 acquired in advance, and detecting boundaries between areas of approximately the same height in the three-dimensional information. Note that when multiple objects 4 are closely adjacent to each other, the boundaries between the adjacent objects become unclear, so the object recognition unit 11a may estimate a single contour for the multiple closely adjacent objects 4. How to deal with this case will be described later.
  • the boundary estimation unit 11b is a functional unit that estimates whether a boundary between objects 4 exists within the contour recognized by the object recognition unit 11a, based on the data acquired by the image acquisition unit 15a and the movement direction acquisition unit 15b. Details of the boundary estimation process here will be described later.
  • the movement control unit 11c is a functional unit that controls the movement of the robot 2, taking into account the boundary estimated by the boundary estimation unit 11b.
  • the image acquisition unit 15a acquires and stores stereo images of the object 4 on the pallet 5 taken from above using the stereo camera 3. Note that, hereinafter, the stereo images acquired in this process will be referred to as pre-movement images P1.
  • the object recognition unit 11a estimates the contour of each object on the pallet 5 based on the pre-movement image P1, and further recognizes the shape and position and orientation of each object based on the estimated contour.
  • the object 4 on the pallet 5 may be, for example, a cardboard or box-shaped object and an object in which several plastic bottles are wrapped together, as shown in Fig. 1.
  • the general shape of the single object is preferably a rectangle in which the outer edges of adjacent contours are approximately perpendicular to each other.
  • the object recognition unit 11a estimates six-dimensional information, combining three dimensions in the translational direction and three dimensions in the rotational direction, as the position and orientation of the object 4.
  • the object recognition unit 11a determines whether the contour recognized in process S2 is the contour of a single object.
  • the contour estimated by the object recognition unit 11a may contain multiple objects 4 whose individual contours could not be detected. Therefore, in this process, if a single contour contains brightness edges or depth edges that are not recognized as boundaries and are equal to or greater than a predetermined threshold, or if the size of a single contour is larger than the maximum (known) size of the object to be recognized, the extracted contour is estimated not to be the contour of a single object.
  • the method for estimating that the extracted contour is not the contour of a single object is not limited to the above.
  • the operation control unit 11c causes the end effector 22 of the robot 2 to grasp the edge of the object 4 and slightly move the object 4. Furthermore, the movement direction acquisition unit 15b stores the movement direction of the end effector 22 (i.e., the movement direction of the grasped object 4).
  • the direction of movement of object 4 can basically be determined appropriately depending on the gripping position of object 4.
  • the gripping position of object 4 can be determined taking these circumstances into consideration, and then object 4 can be moved in that specific restricted direction.
  • the amount of movement of the object 4 in this process is a distance that allows for reliable detection of gaps that occur between objects as a result of moving the object 4 grasped by the end effector 22, and can be set appropriately depending on the specifications and installation position of the stereo camera 3, but is, for example, a distance of 20 mm or more.
  • the image acquisition unit 15a acquires and stores an image of the object 4 taken from above after it has been moved by the end effector 22 using the stereo camera 3. Note that, hereinafter, the image acquired in this process will be referred to as the post-movement image P2.
  • the boundary estimation unit 11b estimates the boundary of the object 4 based on the pre-movement image P1, the post-movement image P2, and the movement direction. Details of the boundary estimation method here will be explained in Examples 2 and 3.
  • the boundary estimation unit 11b re-estimates the position and orientation of the moving object 4, taking into account the boundary estimated in process S6.
  • the method for estimating the position and orientation may be the same as in process S2, or may be achieved by another algorithm that utilizes the moving object and its boundary information.
  • the operation control unit 11c operates the end effector 22 based on the position and orientation re-estimated in process S7 to grasp the object 4 and perform the desired operation, such as transferring it to another pallet. It goes without saying that even if the object is determined to be a single object in process S3, the object 4 can still be grasped based on the position and orientation estimated in process S2.
  • the robot control system of this embodiment described above can correctly recognize the regions of individual objects even in situations where a variety of objects are mixed together and there are no gaps between the objects.
  • Figure 5A is an example of a pre-movement image P1 in this embodiment, showing a scene viewed from directly above where six rectangular objects 41 are tightly packed together.
  • the outline O shown by the solid line is estimated by the object recognition unit 11a as the object boundary line based on differences in height and geometric characteristics from the surroundings.
  • the boundary B shown by the dotted line is real, but cannot be recognized as a boundary by the object recognition unit 11a because the rectangular objects 41 are tightly packed together with no gaps.
  • the object recognition unit 11a mistakes the six rectangular objects 41 for a single object 4 surrounded by the outline O, and erroneously estimates its shape, position, and orientation.
  • FIG. 5B is an example of a post-movement image P2 in this embodiment after steps S4 and S5 described above are performed. It shows a scene viewed from directly above after the end effector 22 is used to move the moving object 41A , one of the six rectangular objects 41, a predetermined distance (e.g., 20 mm) in the moving direction D to create a gap.
  • the moving direction of the moving object 41A is determined to be a direction in which no rectangular object 41 exists (to the right in FIG. 5B ), because it cannot be moved in a direction in which other rectangular objects 41 exist. Furthermore, this direction is not limited to the situation of the other rectangular objects 41, but may also be limited by space constraints, prevention of load shifting, and other factors.
  • the moving direction D is to the right, and this direction is stored in the storage device 12 in vector format or the like.
  • Figure 5C is an image in which the difference between the post-movement image P2 in Figure 5B and the pre-movement image P1 in Figure 5A is indicated by a solid line.
  • contour OA is a straight line substantially perpendicular to the movement direction D, and coincides with the short side of the contour of the moving object 41A .
  • contour OB is a straight line substantially parallel to the movement direction D, and coincides with only a part of the long side of the contour of the moving object 41A . Therefore, at this point, the entire long side of the original contour of the moving object 41A has not been extracted.
  • FIG. 5D shows an example in which an auxiliary line LS is drawn by extending a contour OB that is substantially parallel to the movement direction D.
  • Whether the contour OB is substantially parallel to the movement direction D can be determined, for example, by calculating the inclination vector of the contour OB from the coordinates of both ends of the contour OB and considering the dot product with the direction vector of the movement direction D.
  • the auxiliary line LS drawn in this manner includes the entire long side of the contour of the moving object 41A , which was difficult to extract in FIG. 5C. Therefore, the boundary estimation unit 11b can estimate the auxiliary line LS as the boundary of the moving object 41A .
  • the object recognition unit 11a can estimate the shape, position, and orientation of the moving object 41A based on the boundary estimated by the boundary estimation unit 11b.
  • the operation control unit 11c can then generate the next operation of the end effector 22 based on the shape, position, and orientation estimated by the object recognition unit 11a.
  • FIG. 6A a robot control system 100 according to a third embodiment of the present invention will be described using Figures 6A to 6D.
  • This embodiment describes a method for estimating an object boundary when the object 4 to be grasped by the robot 2 is a packaged object 42, which is a bundle of six objects with a circular outline C, such as plastic bottles, wrapped in transparent plastic wrap or the like. A redundant description of points common to the above embodiments will be omitted.
  • Figure 6A is an example of a pre-movement image P1 in this embodiment, showing two packed objects 42 closely packed together with no gaps, viewed from directly above.
  • Line segment L shown by a solid line, is a straight line connecting the centers of circular contours C that are close together on the pre-movement image P1.
  • One method for extracting the circular contours C is to extract a circular pattern from the pre-movement image P1.
  • the object recognition unit 11a estimates the entire area connected by line segment L as a single object 4, but in Figure 6A, the centers of the circular contours C included in adjacent packed objects 42 are close to each other, so the object recognition unit 11a erroneously estimates the 12 circular contours C as a single packed object 42.
  • 6B is an example of a post-movement image P2 in this embodiment, showing a scene viewed from directly above after the object 42A to be moved, of the two packed objects 42, has been moved in the movement direction D using the end effector 22.
  • the robot control device 1 stores these line segments L A and L B and the inclination of the movement direction D in the storage device 12 in vector format.
  • FIG. 6C shows only the line segments L A and L B and the movement direction D extracted from FIG. 6B.
  • the line segment approximately parallel to or approximately perpendicular to the moving direction D is the line segment L A shown by the solid line
  • the other line segment is the line segment L B shown by the dotted line. Since the line segment L B is neither approximately parallel to nor approximately perpendicular to the moving direction D, it can be determined that it is not a line segment connecting circles inside a single packaged object 42.
  • FIG. 6D shows an auxiliary line LS drawn on the post-movement image P2, the auxiliary line LS being substantially parallel to the movement direction D.
  • the auxiliary line LS drawn here is a straight line passing through the center point of the line segment LB and substantially parallel to the movement direction D.
  • the auxiliary line LS drawn represents the boundary between the two packed objects 42, which was difficult to detect in the pre-movement image P1. Therefore, the boundary estimation unit 11b can estimate the boundary of the moving object 42A by referring to the auxiliary line LS .
  • the object recognition unit 11a can estimate the shape, position, and orientation of the moving object 42A based on the contour of the moving object 42A estimated by the boundary estimation unit 11b.
  • the operation control unit 11c can then generate the next operation of the end effector 22 based on the shape, position, and orientation estimated by the object recognition unit 11a.
  • the robot control device 1 of this embodiment is equipped with a display 14a that presents the estimation results of the boundary estimation unit 11b to the operator as an image.
  • the boundary estimation unit 11b presents an image of the estimated object boundary to the operator via the display 14a and requests the operator to determine whether the estimated object boundary is appropriate.
  • the operator who receives the request to make a judgment checks the object boundary on the presented image, and if it is not appropriate, can manually register an appropriate object boundary or manually specify an appropriate grasp point, thereby assisting the robot 2 to properly grasp the object 4.
  • Robot control system 1 Robot control device 11 Arithmetic device 11a Object recognition unit 11b Boundary estimation unit 11c Operation control unit 12 Storage device 13 Input device 14 Output device 14a Display 15 Communication interface 15a Image acquisition unit 15b Movement direction acquisition unit 16 Bus 2 Robot 21 Articulated arm 22 End effector 3 Stereo camera 3L Left camera 3R Right camera 4 Object 41 Rectangular object 42 Packing object 5 Pallet O Contour B Boundary D Movement direction L S Auxiliary line C Circular contour L, L A , L B Line segment

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

複数物体のピッキングにおいて、ある方向に動かすだけでは境界が推定できない問題に対し、画像変化と方向情報から隙間なく密着した物体間の境界を推定する、制御装置を提供する。多関節アームとエンドエフェクタを有するロボットを制御するロボット制御装置であって、移動対象物と隣接物体を含む画像を取得する画像取得部と、前記ロボットが前記移動対象物を移動させた移動方向を取得する移動方向取得部と、前記画像と前記移動方向を用いて、前記移動対象物と前記隣接物体の境界を推定する境界推定部と、前記境界推定部が推定した前記境界を用いて、前記ロボットの動作を制御する動作制御部と、を備えるロボット制御装置。

Description

ロボット制御装置、ロボット、ロボット制御システム、および、ロボット制御方法
　本発明は、物体同士の境界を認識可能な、ロボット制御装置、ロボット、ロボット制御システム、および、ロボット制御方法に関する。
　近年の物流倉庫等では、物体を搬送する多関節アームロボット等のロボットの利用が進んでいる。この種のロボットが、例えば、パレット上に混載された物体の中から１つ選んで搬送する場合には、搬送する物体と他の物体が隙間なく密着した状態であっても物体同士の境界を正しく認識する必要がある。
　隙間なく密着した物体同士の境界を認識する従来技術としては、特許文献１のワーク移載システムが知られている。例えば、特許文献１の要約書には「移載対象ワークを正確に認識することができるワーク移載システムを提供する」という課題が記載されており、その解決手段として「計測手段にて移載対象ワークを計測（Ｓ２）した際、移載対象ワークの境界が明確であるか否かを判定する判定手段（Ｓ３）と、判定手段移載対象ワークの境界が不明確であると判定された場合、不明確な部分を含めて移載対象ワークであると推定する推定手段（Ｓ５）と、推定手段にて推定された移載対象ワークを所定距離だけずらし動作させるずらし動作手段（Ｓ９）と、ずらし動作手段にて所定距離だけずらし動作された移載対象ワークを、再度計測する再計測手段（Ｓ１２、Ｓ１３）と、再計測手段にて計測された移載対象ワークを移載対象として確定する確定手段（Ｓ１４）と、を有してなる。」との記載がある。
　また、同文献の段落００３０には「図４（ｂ）に示すように、隣接するワークＷａ同士の境界部分Ｋ１が明確であれば（ステップＳ３：ＹＥＳ）、ＣＰＵ５０は、図４（ｂ）に示す切り出し部分ＴのワークＷａをそれぞれ移載対象のワークＷａとして計測結果記憶部５６に記憶する（ステップＳ４）。」との記載があり、段落００３１には「一方、図４（ｃ）に示すように、隣接するワークＷａ同士の境界部分Ｋ２が不明確（図示では、不明確であることを破線で示している）であれば（ステップＳ３：ＮＯ）、ＣＰＵ５０は、不明確な部分を含めて移載対象ワークであると推定する（ステップＳ５）。すなわち、本実施形態においては、図４（ｃ）に示す切り出し部分Ｔをすべて移載対象ワークＷａ１であると推定する。」との記載がある。
　さらに、同文献の図２では、上記したステップＳ５後の処理として、「ずらし動作を指示する（ステップＳ９）」、「ずらし動作の結果を確認する（ステップＳ１０）」、「一体として動作したか？（ステップＳ１１）」などの、不明確な境界部分Ｋ２が真の境界であるかを識別するために必要な処理群が開示されている。
特開２０２０－１２１３４６号公報
　しかしながら、特許文献１のワーク移載システムは、同文献の図４（ｃ）で例示されるような不明確な境界部分Ｋ２を検出した場合に、同文献の図２のステップＳ５～Ｓ１４の処理により、境界部分Ｋ２が真の境界であるか否かを識別するものであるため、不明確な境界すら認識できなかった場合には、真の境界を識別しようとする動機がなく、実在する境界の一部を検出できない可能性があった。
　また、特許文献１のワーク移載システムでは、同文献の図７、図８に例示されるように、不明確な境界部分Ｋ２が真の境界か否かを判定する際に、境界部分Ｋ２と垂直な方向にワークをずらす動作を実行し、その動作の結果、隙間が生じるか否かを考慮する。そのため、同文献の技術で検出可能な境界は、ワークをずらした結果、境界部分Ｋ２が分離して生じた境界に限定され、それ例外の境界を検出できないという問題があった。
　以上を踏まえ、本発明は、複数の物体の境界を高精度に抽出し、個々の物体領域を正しく認識することができる、ロボット制御装置、ロボット制御システム、および、ロボット制御方法を提供することを目的とする。
　上記課題を解決するため、本発明のロボット制御装置は、多関節アームとエンドエフェクタを有するロボットを制御するロボット制御装置であって、移動対象物と隣接物体を含む画像を取得する画像取得部と、前記ロボットが前記移動対象物を移動させた移動方向を取得する移動方向取得部と、前記画像と前記移動方向を用いて、前記移動対象物と前記隣接物体の境界を推定する境界推定部と、前記境界推定部が推定した前記境界を用いて、前記ロボットの動作を制御する動作制御部と、を備えるロボット制御装置とした。
　本発明によれば、複数の物体の境界を高精度に抽出し、個々の物体領域を正しく認識することができる。
実施例１の搬送ロボットシステムのハードウェア構成図。 実施例１の制御装置のハードウェア構成図。 実施例１の制御装置の機能ブロック図。 実施例１の制御装置のフローチャート図。 実施例２の矩形物体が隙間なく密着したシーンを説明するための図。 実施例２の矩形物体を動かした後のシーンを説明するための図。 実施例２の矩形物体を動かす前後の画像差分を説明するための図。 実施例２の矩形物体の境界となる補助線の描画方法を説明するための図。 実施例３の梱包物体が隙間なく密着したシーンを説明するための図。 実施例３の梱包物体を動かした後のシーンを説明するための図。 実施例３の円形境界の中心を結ぶ線分と移動方向の関係を説明するための図。 実施例３の梱包物体の境界となる補助線の描画方法を説明するための図。 実施例４の制御装置の機能ブロック図。
　以下、図面を用いて、本発明のロボット制御装置の実施例を説明する。
　まず、図１から図４を用いて、本発明の実施例１に係るロボット制御システム１００を説明する。
　図１は、本実施例のロボット制御システム１００の使用環境を示す概説図である。ここに示すように、ロボット制御システム１００は、ロボット制御装置１と、ロボット２と、ステレオカメラ３を、有線または無線で通信可能に接続したシステムであり、パレット５上に載置した種々の物体４（例えば、ペットボトル、トイレットペーパー、段ボール箱など）の何れかを把持して、他パレットに移載等する際に利用するシステムである。以下、各構成要素の詳細を順次説明する。
　＜ロボット２＞
　ロボット２は、多関節アーム２１と、ロボットハンド等のエンドエフェクタ２２を有し、ロボット制御装置１によって動作が制御される多関節アームロボットである。なお、図１から明らかなように、ロボット２は、多関節アーム２１を動かすことで、パレット５上の任意の物体４をエンドエフェクタ２２で把持し、他パレットへ移載する等の動作ができる場所に設置されている。
　＜ステレオカメラ３＞
　ステレオカメラ３は、左カメラ３Ｌと右カメラ３Ｒで同期撮像したステレオ画像やそれを処理した三次元情報をロボット制御装置１に送信する撮像装置または計測装置である。
図１から明らかなように、ステレオカメラ３は、パレット５の上面全体を撮像可能な場所に設置されている。なお、本実施例では、1280ピクセル×1024ピクセル（約131万画素）のイメージセンサを個々に備えた左右カメラからなるステレオカメラ３を、パレット５の約２ｍ上方の位置に下方を向けて設置したものとするが、パレット５上の物体間の２０ｍｍ程度の隙間を、奥行き方向を含めて高精度に計測可能であれば、ステレオカメラ３の仕様や設置位置は上記したものに限定されない。
　＜ロボット制御装置１＞
　図２は、ロボット制御装置１のハードウェア構成を示すブロック図である。ここに示すように、ロボット制御装置１は、ＣＰＵなどの演算装置１１、半導体メモリなどの記憶装置１２、オペレータが操作するキーボードやマウスなどの入力装置１３、オペレータに情報を提示する液晶ディスプレイなどの出力装置１４、ロボット２やステレオカメラ３と通信するための通信インターフェース１５、および、それらを接続するバス１６などを備えたコンピュータである。
　また、図３は、図２のハードウェア構成により実現される、ロボット制御装置１の機能ブロック図である。ここに示すように、ロボット制御装置１は、画像取得部１５ａ、移動方向取得部１５ｂ、物体認識部１１ａ、境界推定部１１ｂ、動作制御部１１ｃを備えている。なお、画像取得部１５ａと移動方向取得部１５ｂは、図２の通信インターフェース１５や記憶装置１２などの協働によって実現され、物体認識部１１ａと境界推定部１１ｂと動作制御部１１ｃは、図２の演算装置１１や記憶装置１２などの協働によって実現される。以下、各部の詳細を順次説明する。
　画像取得部１５ａは、パレット５の上面全体のステレオ画像をステレオカメラ３から取得して記憶する機能部である。なお、画像取得部１５ａでは、撮像時の異なる複数のステレオ画像を保持することができる。
　移動方向取得部１５ｂは、パレット５上の物体４を移動させた際のエンドエフェクタ２２の移動方向を取得して記憶する機能部である。移動方向の取得方法の一例を挙げれば、移動方向取得部１５ｂは、多関節アーム２１の各関節の角度を監視し、それらの関節角度に基づいてエンドエフェクタ２２の座標変化を算出することで、移動方向を推定する。
　物体認識部１１ａは、画像取得部１５ａが取得したステレオ画像を処理し、パレット５上の物体４の輪郭を推定するとともに、推定した輪郭に基づき物体４の形状と位置姿勢を推定する機能部である。輪郭の推定方法は、例えば、画像内の輝度エッジや深度エッジから輪郭を抽出する方法や、事前に取得した物体４のステレオ画像特徴とマッチングする方法や、三次元情報の略等しい高さの領域の境界を検出する方法などがある。なお、複数の物体４が密着して隣接する場合、隣接する物体同士の境界が不明瞭となるため、物体認識部１１ａは、密着した複数の物体４に対し１つの輪郭を推定することがある。この場合の対処方法は後述する。
　境界推定部１１ｂは、画像取得部１５ａと移動方向取得部１５ｂが取得したデータに基づいて、物体認識部１１ａで認識した輪郭内に物体４同士の境界が存在するかを推定する機能部である。ここでの境界推定処理の詳細は後述する。
　動作制御部１１ｃは、境界推定部１１ｂが推定した境界を考慮して、ロボット２の動作を制御する機能部である。
　＜ロボット制御装置１の処理フローチャート＞
　次に、図４のフローチャートを用いて、図３の機能ブロックを備えたロボット制御装置１における処理手順を説明する。
　まず、処理Ｓ１では、画像取得部１５ａは、パレット５上の物体４を上方から撮像したステレオ画像をステレオカメラ３から取得して記憶する。なお、以下では、本処理で取得したステレオ画像を移動前画像Ｐ１と称する。
　処理Ｓ２では、物体認識部１１ａは、移動前画像Ｐ１に基づいてパレット５上の各物体の輪郭を推定し、さらに、推定した輪郭に基づいて各物体の形状と位置姿勢を認識する。
パレット５上の物体４としては、例えば、図１に例示したように、段ボールや箱形状の物体と複数のペットボトルがひとまとまりにラッピングされた物体が考えられるが、ひとまとまりの単一物体の概形状は隣り合う輪郭の外辺が互いに略垂直であるような矩形であることが望ましい。また、物体認識部１１ａは、物体４の位置姿勢として、並進方向の３次元と回転方向の３次元を合わせた６次元情報を推定する。
　処理Ｓ３では、物体認識部１１ａは、処理Ｓ２で認識した輪郭が単一物体の輪郭であるか否かを判定する。上記したように、物体同士が隙間なく密着している場合、物体認識部１１ａが推定した輪郭内には、個別の輪郭を検出できなかった複数の物体４が含まれる可能性がある。そこで、本処理では、一つの輪郭内に境界と認識されなかった輝度エッジや深度エッジが所定の閾値以上ある場合や、一つの輪郭サイズが認識対象となる物体サイズの最大値（既知）より大きい場合に、抽出した輪郭が単一物体の輪郭でないと推定する。
なお、抽出した輪郭が単一物体の輪郭でないと推定する方法は上記に限定されない。
　処理Ｓ４では、動作制御部１１ｃは、ロボット２のエンドエフェクタ２２に物体４の端を把持させ、物体４をわずかに移動させる。また、移動方向取得部１５ｂは、エンドエフェクタ２２の移動方向（すなわち、把持した物体４の移動方向）を記憶する。
　なお、本処理での物体４の移動方向は、基本的には、物体４の把持位置に応じて適当に定めれば良いが、移動対象の物体４が他の物体に載置されており荷崩れの抑制を考慮しなければならない場合や、移動対象の物体４が他の物体に囲まれておりその物体４をずらすことができる方向が制限される場合などには、それらの事情を考慮して物体４の把持位置を決定した後、その制限された特定方向に物体４を移動させても良い。
　また、本処理での物体４の移動量は、エンドエフェクタ２２で把持した物体４を移動させた結果、物体間に生じる隙間を確実に検出できる程度の距離であり、ステレオカメラ３の仕様や設置位置に応じて適宜設定すればよいが、例えば、２０ｍｍ以上の距離である。
　処理Ｓ５では、画像取得部１５ａは、エンドエフェクタ２２で移動させた後の物体４を上方から撮像した画像をステレオカメラ３から取得して記憶する。なお、以下では、本処理で取得した画像を移動後画像Ｐ２と称する。
　処理Ｓ６では、境界推定部１１ｂは、移動前画像Ｐ１と移動後画像Ｐ２、および、移動方向に基づいて、物体４の境界を推定する。ここでの境界推定方法の詳細は、実施例２、３で説明する。
　処理Ｓ７では、境界推定部１１ｂは、処理Ｓ６で推定した境界を踏まえ、移動対象の物体４の位置姿勢を再推定する。位置姿勢の推定方法は処理Ｓ２と同様でも良いし、移動対象物とその境界情報を活用した他のアルゴリズムによって実現しても良い。
　処理Ｓ８では、動作制御部１１ｃは、処理Ｓ７で再推定した位置姿勢をもとにエンドエフェクタ２２を操作して物体４を把持し、他パレットに移載するなどの所望の動作を実行させる。なお、処理Ｓ３において、単体物体であると判定された場合においても、処理Ｓ２で推定した位置姿勢をもとに物体４を把持することができることは言うまでもない。
　以上で説明した本実施例のロボット制御システムにより、多様な物体が混載されて物体同士の隙間がないような状況において、個々の物体領域を正しく認識することができる。
　次に、図５Ａ～図５Ｄを用いて、本発明の実施例２に係るロボット制御システム１００を説明する。なお、本実施例は、ロボット２の把持対象の物体４が矩形物体４１である場合における、物体境界の推定方法を説明するものであり、実施例１との共通点は重複説明を省略する。
　図５Ａは、本実施例における移動前画像Ｐ１の一例であり、６個の矩形物体４１が隙間なく密着したシーンを真上から見たものである。実線で示す輪郭Ｏは、周囲との高さや幾何学的特徴の違いから、物体認識部１１ａが物体境界線として推定したものである。また、点線で示す境界Ｂは、実在するものの、矩形物体４１が隙間なく密着しているため、物体認識部１１ａでは境界として認識できないものである。そのため、物体認識部１１ａは、６個の矩形物体４１を、輪郭Ｏで囲まれた１つの物体４と誤解して、その形と位置姿勢を誤って推定している。
　図５Ｂは、上記した手順Ｓ４、Ｓ５の実施後の、本実施例における移動後画像Ｐ２の一例であり、エンドエフェクタ２２を用いて６個の矩形物体４１のうち移動対象物４１Ａを移動方向Ｄの方向に所定量（例えば、２０mｍ）だけ動かして隙間を生成した後のシーンを真上から見たものである。移動対象物４１Ａを動かす方向は、他の矩形物体４１が存在する方向には動かすことが出来ないため、矩形物体４１が存在しない方向（図５Ｂでは右方向）に決定される。さらにこの方向は他の矩形物体４１の状況に限らず、スペース制約や荷崩れ防止などの状況に応じても限定される。図５Ｂでは移動方向Ｄが右方向であり、この方向についてはベクトル形式などで記憶装置１２に記憶される。
　図５Ｃは、図５Ｂの移動後画像Ｐ２と図５Ａの移動前画像Ｐ１の差分を実線で示した画像である。差分として残った輪郭のうち輪郭ＯＡは移動方向Ｄに対して略垂直な直線であり、移動対象物４１Ａの輪郭のうちの短辺と一致している。一方、差分として残った輪郭のうち輪郭ＯＢは移動方向Ｄに対して略平行な直線であり、移動対象物４１Ａの輪郭のうちの長辺の一部とのみ一致している。従って、この時点で、移動対象物４１Ａの本来の輪郭のうちの長辺全体は抽出できていない。
　図５Ｄは、移動方向Ｄと略平行な輪郭ＯＢを延長する形で補助線ＬＳを描画したものである。なお、輪郭ＯＢが移動方向Ｄと略平行であるかの判定は、例えば、輪郭ＯＢの両端の座標から、輪郭ＯＢの傾きベクトルを算出し、移動方向Ｄの方向ベクトルとの内積を考えることで可能となる。このようにして描画した補助線ＬＳは、図５Ｃでは抽出困難であった、移動対象物４１Ａの輪郭の長辺全体を含んでいるため、境界推定部１１ｂは、補助線ＬＳを移動対象物４１Ａの境界と推定することができ、また、物体認識部１１ａは、境界推定部１１ｂが推定した境界に基づいて、移動対象物４１Ａの形や位置姿勢を推定することが可能となる。そして、物体認識部１１ａが推定した形や位置姿勢をもとに、動作制御部１１ｃがエンドエフェクタ２２の次の動作を生成することができる。
　次に、図６Ａ～図６Ｄを用いて、本発明の実施例３に係るロボット制御システム１００を説明する。なお、本実施例は、ロボット２の把持対象の物体４が、ペットボトル等の円形輪郭Ｃをもつ物体６個を透明ラップなどの包装でひとまとまりに梱包した梱包物体４２である場合における、物体境界の推定方法を説明するものであり、上記の実施例との共通点は重複説明を省略する。
　図６Ａは、本実施例における移動前画像Ｐ１の一例であり、２個の梱包物体４２が隙間なく密着したシーンを真上から見たものである。実線で示す線分Ｌは移動前画像Ｐ１上で距離が近い各円形輪郭Ｃの中心同士を結んだ直線である。円形輪郭Ｃを抽出する方法は、例えば、移動前画像Ｐ１から円模様を抽出する方法が挙げられる。物体認識部１１ａは、線分Ｌで結ばれた全体の領域を１つの物体４と推定するが、図６Ａでは隣り合う梱包物体４２に含まれる円形輪郭Ｃの中心の距離が近いため、物体認識部１１ａは、１２個の円形輪郭Ｃをひとまとまりの梱包物体４２と誤って推定することになる。
　図６Ｂは、本実施例における移動後画像Ｐ２の一例であり、エンドエフェクタ２２を用いて２個の梱包物体４２のうち移動対象物４２Ａを移動方向Ｄの方向に動かした後のシーンを真上から見たものである。移動後画像Ｐ２では、移動対象物４２Ａを移動させたことにより、線分の傾きが変化しなかった線分ＬＡと、線分の傾きが変化した線分ＬＢが観測される。そこで、ロボット制御装置１は、これらの線分ＬＡ、ＬＢ、移動方向Ｄの傾きをベクトル形式で記憶装置１２に記憶する。
　図６Ｃは、図６Ｂから線分ＬＡ、ＬＢ、移動方向Ｄのみを抽出して表したものである。
図から明らかなように、移動方向Ｄに対して略平行または略垂直な線分が実線で示す線分ＬＡであり、それ以外の線分が点線で示す線分ＬＢである。線分ＬＢは移動方向Ｄに対して略平行でなく、かつ、略垂直でもないことから、単一の梱包物体４２の内部の円形同士を結んだ線分でないと判定することができる。
　図６Ｄは、移動後画像Ｐ２に対して移動方向Ｄと略平行な補助線ＬＳを描画したものである。ここで描画された補助線ＬＳは、線分ＬＢの中心点を通り、かつ、移動方向Ｄと略平行な直線である。描画した補助線ＬＳは、移動前画像Ｐ１からは検出困難であった２個の梱包物体４２同士の境界を表している。従って、境界推定部１１ｂは、補助線ＬＳを参照して移動対象物４２Ａの境界を推定することができ、また、物体認識部１１ａは、境界推定部１１ｂが推定した移動対象物４２Ａの輪郭に基づいて、移動対象物４２Ａの形や位置姿勢を推定することが可能となる。そして、物体認識部１１ａが推定した形や位置姿勢をもとに、動作制御部１１ｃがエンドエフェクタ２２の次の動作を生成することができる。
　次に、図７の機能ブロック図を用いて、本発明の実施例４に係るロボット制御システム１００を説明する。なお、本実施例は、処理Ｓ４でのエンドエフェクタ２２の移動方向Ｄを考慮しても物体境界を正しく推定できなかった場合を想定するものであり、上記した実施例との共通点は重複説明を省略する。
　図７に示すように、本実施例のロボット制御装置１は、境界推定部１１ｂの推定結果を画像としてオペレータに提示するディスプレイ１４ａを備えている。動作制御部１１ｃが生成したロボット２の動作指令を実行した際に、エンドエフェクタ２２が対象物を正しく把持できない場合が存在する。その原因としては、境界推定部１１ｂで推定した物体境界が誤っている可能性が考えられる。そこで、境界推定部１１ｂは、ディスプレイ１４ａを介して、推定した物体境界を描画した画像をオペレータに提示し、推定した物体境界が妥当であるかの判断を依頼する。判断依頼を受けたオペレータは、提示された画像上の物体境界を確認し、それが妥当でなければ、妥当な物体境界を手作業で登録したり、妥当な把持点を手作業で指定したりすることで、ロボット２が物体４を適切に把持できるように補助することが可能となる。
１００　ロボット制御システム
１　ロボット制御装置
　１１　演算装置
　　１１ａ　物体認識部
　　１１ｂ　境界推定部
　　１１ｃ　動作制御部
　１２　記憶装置
　１３　入力装置
　１４　出力装置
　　１４ａ　ディスプレイ
　１５　通信インターフェース
　　１５ａ　画像取得部
　　１５ｂ　移動方向取得部
　１６　バス
２　ロボット
　２１　多関節アーム
　２２　エンドエフェクタ
３　ステレオカメラ
　３Ｌ　左カメラ
　３Ｒ　右カメラ
４　物体
　４１　矩形物体
　４２　梱包物体
５　パレット
Ｏ　輪郭
Ｂ　境界
D　移動方向
ＬＳ　補助線
Ｃ　円形輪郭
Ｌ、ＬＡ、ＬＢ　線分

Claims (15)

  1. 　多関節アームとエンドエフェクタを有するロボットを制御するロボット制御装置であって、
    　移動対象物と隣接物体を含む画像を取得する画像取得部と、
    　前記ロボットが前記移動対象物を移動させた移動方向を取得する移動方向取得部と、
    　前記画像と前記移動方向を用いて、前記移動対象物と前記隣接物体の境界を推定する境界推定部と、
    　前記境界推定部が推定した前記境界を用いて、前記ロボットの動作を制御する動作制御部と、
    　を備えることを特徴とするロボット制御装置。
  2. 　請求項１に記載のロボット制御装置において、
    　前記境界推定部は、前記移動方向と略平行な直線を、前記移動対象物と前記隣接物体の境界と推定することを特徴とするロボット制御装置。
  3. 　請求項１に記載のロボット制御装置において、
    　前記画像取得部が取得した画像をもとに前記移動対象物の位置姿勢を推定し、単一物体か否かを判定する物体認識部を備え、
    　前記動作制御部は、単一物体ではない前記移動対象物を移動するように前記ロボットを制御することを特徴とするロボット制御装置。
  4. 　請求項３に記載のロボット制御装置において、
    　前記移動対象物は矩形物体であり、
    　前記境界推定部は、前記画像の内、移動前画像と移動後画像の直線状差分を前記境界と推定することを特徴とするロボット制御装置。
  5. 　請求項３に記載のロボット制御装置において、
    　前記移動対象物は円形境界を有する複数の物体を梱包した梱包物体であり、
    　前記物体認識部は、前記円形境界同士を線分で連結し、
    　前記境界推定部は、前記画像の内、移動後画像における、前記移動方向と略垂直または略平行ではない前記線分を通るように前記境界を推定することを特徴とするロボット制御装置。
  6. 　請求項１に記載のロボット制御装置において、
    　前記移動方向取得部は、前記多関節アームの関節角度からエンドエフェクタの座標変化を算出し、前記移動方向を推定することを特徴とするロボット制御装置。
  7. 　請求項１に記載のロボット制御装置において
    　推定した前記境界を画像に描画して出力する出力装置を備えることを特徴とするロボット制御装置。
  8. 　請求項７に記載のロボット制御装置において、
    　前記出力装置は、オペレータに対して、描画した前記境界が妥当であるかの判断を依頼することを特徴とするロボット制御装置。
  9. 　請求項１に記載のロボット制御装置において
    　前記移動方向は、前記エンドエフェクタが前記移動対象物を把持した位置に応じて定まる方向であることを特徴とするロボット制御装置。
  10. 　請求項１に記載のロボット制御装置において
    　前記移動方向は、前記移動対象物を移動させても荷崩れが生じない方向であることを特徴とするロボット制御装置。
  11. 　請求項１に記載のロボット制御装置において
    　前記移動方向は、前記移動対象物の移動が前記隣接物体により妨げられない方向であることを特徴とするロボット制御装置。
  12. 　請求項１に記載のロボット制御装置において
    　前記移動方向への移動量は、２０ｍｍ程度であることを特徴とするロボット制御装置。
  13. 　請求項１に記載のロボット制御装置を内蔵し、
    　前記動作制御部が動作を制御する多関節アームとエンドエフェクタを備えるロボット。
  14. 　請求項１から請求項１２の何れか一項に記載のロボット制御装置と、
    　前記画像取得部に画像を送信するステレオカメラと、
    　前記ロボット制御装置により制御されるロボットと、
    　を備えることを特徴とするロボット制御システム。
  15. 　多関節アームとエンドエフェクタを有するロボットを制御するロボット制御方法であって、
    　移動対象物と隣接物体を含む画像を取得する画像取得処理と、
    　前記ロボットが前記移動対象物を移動させた移動方向を取得する移動方向取得処理と、　前記画像と前記移動方向を用いて、前記移動対象物と前記隣接物体の境界を推定する境界推定処理と、
    　推定した前記境界を用いて、前記ロボットの動作を制御する動作制御処理と、
    　を備えることを特徴とするロボット制御方法。
PCT/JP2025/007132 2024-04-11 2025-02-28 ロボット制御装置、ロボット、ロボット制御システム、および、ロボット制御方法 Pending WO2025215964A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024063700A JP2025160946A (ja) 2024-04-11 2024-04-11 ロボット制御装置、ロボット、ロボット制御システム、および、ロボット制御方法
JP2024-063700 2024-04-11

Publications (1)

Publication Number Publication Date
WO2025215964A1 true WO2025215964A1 (ja) 2025-10-16

Family

ID=97349775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/007132 Pending WO2025215964A1 (ja) 2024-04-11 2025-02-28 ロボット制御装置、ロボット、ロボット制御システム、および、ロボット制御方法

Country Status (2)

Country Link
JP (1) JP2025160946A (ja)
WO (1) WO2025215964A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003172605A (ja) * 2001-12-10 2003-06-20 Daifuku Co Ltd 物品位置認識装置
JP2020121346A (ja) * 2019-01-29 2020-08-13 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 ワーク移載システム及びその方法
JP2024040715A (ja) * 2022-09-13 2024-03-26 株式会社日立製作所 物体認識装置、ロボットシステム、および、物体認識方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003172605A (ja) * 2001-12-10 2003-06-20 Daifuku Co Ltd 物品位置認識装置
JP2020121346A (ja) * 2019-01-29 2020-08-13 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 ワーク移載システム及びその方法
JP2024040715A (ja) * 2022-09-13 2024-03-26 株式会社日立製作所 物体認識装置、ロボットシステム、および、物体認識方法

Also Published As

Publication number Publication date
JP2025160946A (ja) 2025-10-24

Similar Documents

Publication Publication Date Title
JP7548516B2 (ja) 自動パッケージスキャンおよび登録メカニズムを備えたロボットシステム、ならびにその動作方法
US11046530B2 (en) Article transfer apparatus, robot system, and article transfer method
CN106575438B (zh) 立体和结构光处理的组合
US11325261B2 (en) Transfer device and delivery system
JP7201189B2 (ja) 物体サイズ検出のためのロボットシステム
JP5088278B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
JP7549121B2 (ja) ロボットシステム及び制御装置
JP2004090183A (ja) 物品の位置姿勢検出装置及び物品取出し装置
EP4245480A1 (en) Measuring system, measuring device, measuring method, and measuring program
JP6489894B2 (ja) 対象物の取出経路を補正する機能を有するロボットシステム
JP7633423B2 (ja) 学習データの生成装置および学習データの生成方法、並びに学習データを使用する機械学習装置および機械学習方法
JPWO2020157875A1 (ja) 作業座標作成装置
US20250308063A1 (en) Object recognition apparatus, robot system, and object recognition method
EP4094904B1 (en) Robot system control device, robot system control method, computer control program, and robot system
JP2025160946A (ja) ロボット制御装置、ロボット、ロボット制御システム、および、ロボット制御方法
JP7436170B2 (ja) ロボットシステム
CN112318497A (zh) 同时进行工件选择以及机器人作业的机器人控制系统
US11193755B2 (en) Measurement system, measurement device, measurement method, and measurement program
WO2025146718A1 (ja) 画像処理装置
JP2020125916A (ja) 移載対象ワーク記憶システム
US20200391388A1 (en) Robot system
JP2026022175A (ja) 情報処理装置及び方法
JP2025035343A (ja) ピッキングシステム、ピッキングロボット、及びピッキング方法
Okada et al. Planning for parts-picking tasks by using multi-sensor visual system
JPH09178428A (ja) 物品位置検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25786627

Country of ref document: EP

Kind code of ref document: A1