WO2019130429A1 - ピッキング対象物把持情報登録システム - Google Patents

ピッキング対象物把持情報登録システム Download PDF

Info

Publication number
WO2019130429A1
WO2019130429A1 PCT/JP2017/046661 JP2017046661W WO2019130429A1 WO 2019130429 A1 WO2019130429 A1 WO 2019130429A1 JP 2017046661 W JP2017046661 W JP 2017046661W WO 2019130429 A1 WO2019130429 A1 WO 2019130429A1
Authority
WO
WIPO (PCT)
Prior art keywords
picking
see
gripping
dimensional
dimensional point
Prior art date
Application number
PCT/JP2017/046661
Other languages
English (en)
French (fr)
Inventor
克英 鈴木
朋弘 仲道
徐　剛
勉 石田
Original Assignee
Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 filed Critical Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社
Priority to PCT/JP2017/046661 priority Critical patent/WO2019130429A1/ja
Priority to JP2019561433A priority patent/JP6940186B2/ja
Publication of WO2019130429A1 publication Critical patent/WO2019130429A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Definitions

  • the present invention relates to a picking target object gripping information registration system.
  • the three-dimensional shape of the objects to be picked must be made into a database beforehand.
  • the number of kinds of objects to be picked is several thousand to hundreds of thousands.
  • an object of the present invention is to provide a picking target object gripping information registration system capable of realizing automation at a distribution site in view of the above problems.
  • the first generation means for example, a diagram for generating three-dimensional point cloud information of the picking target (for example, picking target 2 shown in FIG. 1) Camera 5 shown in 1), Second generation means (for example, the camera 5 shown in FIG. 1) for generating a two-dimensional image of the picking object (for example, the picking object 2 shown in FIG. 1); Three-dimensional point cloud information generated by the first generation unit (for example, the camera 5 shown in FIG. 1) and a two-dimensional image generated by the second generation unit (for example the camera 5 shown in FIG. 1) Hypothesis area means (eg, step S2 shown in FIG. 3) which hypothesizes the area of the picking object (eg, picking object 2 shown in FIG.
  • Step S4) A memory for storing the gripping position and gripping method in which the picking object (for example, picking object 2 shown in FIG. 1) is successfully grasped as a result of verification by the verification means (for example, step S4 shown in FIG. 3) And means (for example, a picking target related information registration database 66 shown in FIG. 1).
  • the first generation means and the second generation means may be different or identical.
  • the picking object in the picking target object gripping information registration system according to claim 1, as a result of verification by the verification means (for example, step S4 shown in FIG. 3), the picking object
  • the second generating means for example, the camera 5 shown in FIG. 1 again generates the three-dimensional point cloud information and the second Based on the two-dimensional image generated by the generating means (for example, the camera 5 shown in FIG. 1), the area of the picking object (for example, the picking object 2 shown in FIG. 1)
  • determining means e.g., step S8 shown in FIG. 3) for determining whether or not it is necessary to make a hypothesis in step S2) shown in FIG.
  • the storage means for example, picking object related information registration database 66 shown in FIG. 1
  • the gripping position and gripping method which failed in gripping the picking object are also stored. It is characterized by
  • the three-dimensional point cloud information generated by the first generation means (for example, the camera 5 shown in FIG. 1) and the second generation means (for example the camera 5 shown in FIG. 1) Based on the generated two-dimensional image, the area of the picking target (for example, picking target 2 shown in FIG. 1) is hypothesized area means (for example, step S2 shown in FIG. 3) and then hypothesized picking target Assuming the picking target (for example, picking target 2 shown in FIG. 1) based on the area of picking target 2 shown in FIG. 1, the assumed picking target (for example, FIG. 1)
  • the gripping position and gripping method of the picking object 2) are hypothesized by the hypothetical gripping means (for example, step S3 shown in FIG.
  • the method is verified by a verification means (for example, step S4 shown in FIG. 3) using a robot (for example, robot 3 shown in FIG. 1), and the picking object (eg, picking object 2 shown in FIG. 1) Since it becomes possible to automatically perform the process of storing the gripping position and gripping method that has succeeded in gripping in storage means (for example, picking target object related information registration database 66 shown in FIG. 1), as in the prior art, It is not necessary to store the three-dimensional shape of the picking target in advance in storage means (for example, picking target related information registration database 66 shown in FIG. 1). Further, since the verification result that has been successfully stored is stored in the storage means (for example, picking target object related information registration database 66 shown in FIG. 1), it can be used as master data at the time of actual operation. Thereby, automation at the distribution site can be realized.
  • a verification means for example, step S4 shown in FIG. 3
  • the picking object eg, picking object 2 shown in FIG.
  • the picking object for example, picking object 2 shown in FIG. 1
  • the three-dimensional point group information generated by the first generation means for example, the camera 5 shown in FIG. 1
  • the two-dimensional information generated by the second generation means for example the camera 5 shown in FIG.
  • the determination means for example, step S2 shown in FIG. 3 is necessary to hypothesize the area of the picking object (for example, the picking object 2 shown in FIG. 1). For example, since the determination is made in step S8) shown in FIG.
  • the correct gripping position and gripping method can be stored in storage means (for example, picking object related information registration database 66 shown in FIG. 1). .
  • storage means for example, picking object related information registration database 66 shown in FIG. 1).
  • an accurate gripping position and gripping method can be used as master data.
  • the storage means for example, picking target object related information registration database 66 shown in FIG. 1 is verified by the verification means (for example, step S4 shown in FIG. 3). Since the gripping position / gripping method in which gripping of the picking object (for example, picking object 2 shown in FIG. 1) fails is also stored, the failed gripping position / gripping method, the successful gripping position / gripping method is a fixed amount Once stored, machine learning can be performed.
  • FIG. 1 is a schematic overall view of a picking target object gripping information registration system according to an embodiment of the present invention. It is a figure which shows the table stored in the picking target object relevant-information registration database which concerns on the embodiment. It is a flowchart figure which shows the control procedure at the time of registering information in the picking target object pertinent information registration database concerning the embodiment.
  • A is a perspective view of a picking object of a horizontally long rectangular thick plate in which three-dimensional point group information is represented,
  • (b) is three-dimensional coordinates in the X direction, Y direction, and Z direction
  • C is a plan two-dimensional image of the picking object shown in (a) and (b), and (d) is shown in (c).
  • (A) is a planar two-dimensional image in which noise is present in the planar two-dimensional image shown in FIG. 4 (c), and (b) is a region of a picking object using the planar two-dimensional image shown in (a)
  • (A-1) is a perspective view of a triangular pyramid shaped picking object
  • (a-2) is a two-dimensional image of a triangular pyramid shaped picking object
  • (b-1) is (a-2)
  • (b-2) is a third order in which three-dimensional coordinates in the X direction, Y direction, and Z direction are expressed.
  • (C-1) is a part of a planar two-dimensional image of a triangular pyramid-like picking object shown in (a-2). Is a plane two-dimensional image extracted differently from (b-1), and (c-2) represents three-dimensional point group information representing three-dimensional coordinates in the X, Y, and Z directions. It is the perspective view which extracted a part of picked object to be different from (b-2).
  • (A) to (d) are diagrams showing a list of gripping positions and gripping methods hypothesized based on the area of the hypothesized picking object.
  • the picking target object gripping information registration system 1 includes a picking target object 2 (four containers are illustrated in the drawing) and a robot 3 for picking the picking target object 2.
  • the robot control device 4 for controlling the robot 3, a plurality of three-dimensional point cloud information indicating the three-dimensional coordinates of the picking target 2, and a plurality of three (three in the figure shown) capable of acquiring a two-dimensional image of the picking target 2. It comprises the camera 5 of the example) and the registration device 6 in which the information necessary for picking the picking object 2 is registered.
  • the robot 3 is attached to a base 30 fixed to an installation surface such as a floor or a wall, a robot arm 31 whose base end is rotatably connected to the base 30, and a tip of the robot arm 31
  • a robot hand 32 capable of gripping the object 2 by suction, sandwiching, supporting or the like is provided.
  • the robot hand 32 is provided with a grip sensor for measuring whether or not the picking object 2 is gripped, and a weight sensor for measuring the weight of the picking object 2 when gripping the picking object 2 is provided.
  • the measurement information of the grip sensor and / or the weight sensor is output to the registration device 6.
  • the robot control device 4 controls the operation of the robot 3 based on the data output from the registration device 6.
  • the registration device 6 includes a CPU 60, an input unit 61 capable of externally inputting predetermined data to the registration device 6 through a mouse, a keyboard, a touch panel, etc., and an output unit capable of outputting the predetermined data outside the registration device 6 62, a ROM 63 comprising a writable flash ROM or the like storing a predetermined program, etc., a RAM 64 functioning as a work area or a buffer memory, a display unit 65 comprising an LCD (Liquid Crystal Display), etc.
  • a picking object related information registration database 66 in which information necessary for picking 2 is stored.
  • a table TBL shown in FIG. 2 is stored. That is, the contents (see TB1a) of picking object 2 (see FIG. 1) are stored in table TBL, and furthermore, three-dimensional point cloud information (see TB1 b) of the contents of the picking object is stored, Furthermore, a two-dimensional image (see TB1 c) of each content of the picking target is stored, and further, a gripping position (see TB1 d) and a gripping method (refer to TB1 e) of each content of the picking target are stored. Further, verification results (see TB1f) of the gripping position (see TB1d) and the gripping method (see TB1e) are stored.
  • the contents (see TB1a to TB1f) stored in the table TBL (see FIG. 2) stored in the picking object related information registration database 66 (see FIG. 1) in more detail are the table TBL (see FIG. 2)
  • the method of storing the information will be specifically described with reference to FIGS. 3 to 7 as well.
  • the operator instructs the activation of the program stored in the ROM 63 shown in FIG. 1 using the input unit 61 of the registration device 6 shown in FIG.
  • the CPU 60 (see FIG. 1) of the registration device 6 performs the process as shown in FIG.
  • description will be made with reference to FIG.
  • the processing content of the program shown in FIG. 3 is merely an example, and the present invention is not limited to this.
  • the CPU 60 acquires three-dimensional point group information indicating three-dimensional coordinates of the picking target 2 acquired by the camera 5 and a two-dimensional image of the picking target 2 (step S1). More specifically, when the three-dimensional point group information indicating the three-dimensional coordinates of the picking target 2 acquired by the camera 5 and the two-dimensional image of the picking target 2 are output from the camera 5, the output picking The three-dimensional point cloud information indicating the three-dimensional coordinates of the object 2 and the two-dimensional image of the picking object 2 are input into the registration device 6 through the input unit 61 (see FIG. 1) of the registration device 6. In response to this, the CPU 60 (see FIG. 1) acquires three-dimensional point group information indicating three-dimensional coordinates of the picking target 2 acquired by the camera 5 and a two-dimensional image of the picking target 2 (step S1). More specifically, when the three-dimensional point group information indicating the three-dimensional coordinates of the picking target 2 acquired by the camera 5 and the two-dimensional image of the picking target 2 are output from the camera 5, the output picking The three-dimensional point
  • the picking object related information registration database 66 (see FIG. 1) Registered in the item (see TB1 b) of the three-dimensional point cloud information of the table TBL (see FIG. 2), and the two-dimensional image of the picking object 2 is stored in the picking object related information registration database 66 (see FIG. 1) It registers in the item (see TB1 c) of the two-dimensional image of the table TBL (see FIG. 2). That is, to specifically illustrate, the three-dimensional coordinates (X n1 , Y n1 , Z n1 ) (n 1 11 integer) of the picking target object (container A) acquired by the camera 5 is the table TBL (FIG.
  • the two-dimensional image (two-dimensional image Ba, two-dimensional image Bb) of the picking object (container B) registered and acquired by the camera 5 is an item (see TB1 c) of the two-dimensional image of the table TBL (see FIG. 2) Will be registered.
  • the angle in the X direction of the three-dimensional point group information of the picking object (container A) (exemplified by ⁇ X n1 in FIG. 2)
  • the angle of the Y direction of the three-dimensional point group information of the picking object (container A) in Figure 2 illustrates a .phi.Y n1)
  • the picking object Z-direction angle of the three-dimensional point group data of the container a)
  • the CPU 60 stores the three-dimensional point cloud information item (see TB1 b) of the table TBL (see FIG. 2) stored in the picking target object related information registration database 66 (see FIG. 1) 3D point group information and the 2D image stored in the 2D image item (see TB1c) of the table TBL (see FIG. 2) are read out, and based on the 3D point group information and the 2D image Then, the area (segmentation) of picking object 2 (see FIG. 1) is hypothesized (step S2). That is, to illustrate specifically, the content (container A) registered in the picking target object (see TB1a) of the table TBL (see FIG. 2) is as shown in FIG.
  • the upper picking object 2A is the upper picking object 2Aa, and the lower picking is performed.
  • the object 2A will be described as the lower picking object 2Ab.
  • the three-dimensional point group TGA acquired by the camera 5 includes two picking objects 2A (upper picking objects).
  • the object 2Aa, the lower picking object 2Ab) is represented throughout.
  • These three-dimensional point groups TGA are, as shown in FIG. 4B, three-dimensional point group information of three-dimensional coordinates (table TBL (see FIG. 2)) represented in the X direction, Y direction, and Z direction.
  • the hypothesis of the area (segmentation) of picking object 2 can not always be correct. That is, as shown in FIG. 5A, when noise N is present in the two-dimensional image acquired by the camera 5 (registered in the two-dimensional image (see TB1 c) in the table TBL (see FIG. 2) The contents of the two-dimensional image Ab) and the CPU 60 (see FIG. 1) determine that the noise N portion is an edge portion, and as shown in FIG. 5B, the upper picking target is It may be determined that the object 2Aa is divided into the first upper picking target 2Aa1 and the second upper picking target 2Aa2. Thereby, as shown in FIG.
  • the first upper picking target object 2Aa1 and the first upper picking target object 2Aa1 are originally supposed to be hypothesized based on the area (segmentation) of the upper picking target object 2Aa and the lower picking target object 2Ab. It may be hypothesized that there is a region (segmentation) of the two upper picking objects 2Aa2 and the lower picking objects 2Ab.
  • the content (container B) registered in the picking target object (see TB1a) of the table TBL (see FIG. 2) is a triangular pyramid shaped picking target object 2B as shown in FIG. 6 (a-1).
  • the left picking object 2B is taken as the left picking object 2Ba
  • the center side picking object 2B is at the center side Picking object 2Bb
  • right picking object 2C is described as right picking object 2Bc
  • shadow K occurs between left picking object 2Ba and center side picking object 2B
  • center side picking object A shadow K may occur between the object 2Bb and the right picking object 2Bc.
  • the CPU 60 see FIG.
  • the CPU 60 has three picking objects 2B (left picking object 2Ba, center side picking object 2Bb, right picking shown in FIG. 6 (a-2)) acquired by the camera 5.
  • the three-dimensional shape for hypothesizing the correct area is not registered in the table TBL shown in FIG. 2 in advance, and the area of picking object 2 (see FIG. 1) ( After hypothesising (segmentation), the validity of the hypothesis is verified.
  • the CPU 60 estimates the picking object 2 (refer to FIG. 1) based on the area (segmentation) of the picking object 2 (refer to FIG. 1) hypothesized in step S2.
  • the gripping position and gripping method of the picked object 2 (see FIG. 1) are hypothesized (step S3). Specifically, when the CPU 60 (see FIG. 1) hypothesizes the area (segmentation) of the upper picking target 2Aa and the lower picking target 2Ab shown in FIG.
  • the upper picking target The shape and position of 2Aa are three-dimensional coordinates (X n1 ) registered in the three-dimensional point group information item (see TB1 b) of the X direction, Y direction, and Z direction (table TBL (see FIG. 2)).
  • X n1 three-dimensional coordinates registered in the three-dimensional point group information item (see TB1 b) of the X direction, Y direction, and Z direction (table TBL (see FIG. 2)).
  • Y n1 , Z n1 ) (n 1 ) 1 integer) can be estimated by analyzing the value of the three-dimensional point group TGA by the CPU 60 (see FIG. 1).
  • the shape and position of the upper picking target 2Aa can be estimated in this way, the position of the center of gravity of the upper picking target 2Aa can also be estimated by the CPU 60 (see FIG. 1).
  • the virtual shape of the upper picking object 2Aa can be estimated by the CPU 60 (see FIG. 1). That is, in the case of the two-dimensional image Aa as an example of contents registered in the two-dimensional image (see the table TBL (see TB2) in the two-dimensional image (see the table TBL (see FIG. 2)) as shown in FIG. Assuming that the origin O of 5 is on the left side in the figure, the two-dimensional image shown in FIG.
  • the 4C is not inclined with respect to the origin O of the camera 5 (in this case, the inclination 0).
  • the inclination angle ⁇ ⁇ ⁇ ⁇ with respect to the origin O can be estimated by the CPU 60 (see FIG. 1).
  • the inclination of the estimated shape of the upper picking object 2Aa can be estimated by the CPU 60 (see FIG. 1).
  • three-dimensional coordinates in the X direction, Y direction, and Z direction (table TBL (see FIG. 2)) based on the estimated inclination.
  • a three-dimensional point group TGA represented by three-dimensional coordinates (X n1 , Y n1 , Z n1 ) (n 1 11 integer) registered in the item (see TB1 b) of three-dimensional point group information
  • the slope can also be estimated. That is, the angle in the X direction of the three-dimensional point group information of the picking object (container A) (exemplified as .phi.X n1 in FIG. 2), the angle in the Y direction of the three-dimensional point group information of the picking object (container A) in Figure 2, illustrates a .phi.Y n1), the picking object (Z-direction angle of the three-dimensional point group data of the container a) (Fig.
  • the CPU 60 hypothesizes various gripping positions and gripping methods and generates a list Do. Specifically, as shown in FIG. 7 (a), a list of hypothesis numbers (in the illustration, 1... And an illustration (see L1a)) is generated, and a gripping position (in the illustration, A list of the center of gravity of the upper picking object shown in FIG. 4 and an example (see L1 b) is generated, and a gripping method corresponding to the hypothesis number (in the drawing, adsorption from the upper surface normal direction, and so on) Generate a list of L1 c))).
  • a list of hypothesis numbers in the illustration, 1... And an illustration (see L1a)
  • a gripping position in the illustration, A list of the center of gravity of the upper picking object shown in FIG. 4 and an example (see L1 b) is generated, and a gripping method corresponding to the hypothesis number (in the drawing, adsorption from the upper surface normal direction, and so on) Generate a list of L1 c)
  • FIG. 5 (b) it is hypothesized that there is a region (segmentation) of the first upper picking target 2Aa1, the second upper picking target 2Aa2, and the lower picking target 2Ab.
  • the same processing as described above is performed to estimate the shapes, positions, center-of-gravity positions, and orientations of the first upper picking target object 2Aa1 and the second upper picking target object 2Aa2.
  • Reference) hypothesizes various gripping positions and gripping methods and generates a list. Specifically, as shown in FIG. 7 (b), a list of hypothesis numbers (in the figure, 1, 2, 3... And an illustration (see L2a)) is generated, and a gripping position corresponding to the hypothesis number is generated.
  • the CPU 60 hypothesizes various gripping positions and gripping methods and generates a list. Specifically, as shown in FIG. 7 (c), a list of hypothesis numbers (in the drawing, 1, 2... And an illustration (see L3a)) is generated, and the gripping position (in the illustration) Then, a list of the center of gravity of the left picking target shown in FIG. 6 (b-2), the center of gravity of the left picking target shown in FIG.
  • the CPU 60 hypothesizes various gripping positions and gripping methods, and generates a list. Specifically, as shown in FIG. 7 (d), a list of hypothesis numbers (in the drawing, 1, 2... And an illustration (see L4a)) is generated, and the gripping position (in the illustration) Then, a list of the center of gravity of the left picking target shown in FIG. 6 (c-2), the bottom of the left picking target shown in FIG.
  • the CPU 60 first verifies the gripping position and gripping method of the picking target 2 (see FIG. 1) hypothesized in the step S3.
  • FIG. 7B for example, a list shown in FIG. 7B is generated.
  • the holding position and holding method of the hypothesized picking target 2 (see FIG. 1) corresponding to the first hypothesis number of the list generated as shown.
  • the gripping position corresponding to the hypothesis number “1” see L2a “the center of gravity of ⁇ of the upper picking object shown in FIG.
  • the gripping method “suction from the upper surface normal direction” (see L2c)
  • the command value is output to the robot control device 4 via the output unit 62 (see FIG. 1).
  • the robot control device 4 controls the robot 3 (see FIG. 1) based on the indicated value, and thereby, the picking target object with the robot hand 32 (see FIG. 1) of the robot 3 (see FIG. 1). Hold 2 (see FIG. 1).
  • the gripping sensor provided on the robot hand 32 detects whether or not the picking target 2 (see FIG. 1) is gripped, and the detection result is registered in the registration device 6 (see FIG. 1). ) (Step S4).
  • the CPU 60 analyzes the detection result Check whether the gripping is successful (step S5). If gripping is not successful (step S5: NO), the CPU 60 (see FIG. 1) hypothesized corresponding to the first hypothesis number of the list generated as shown in FIG. 7 (a) to (d) above. It is registered in the table TBL (see FIG. 2) that the gripping result of the gripping position / gripping method of the picking object 2 (see FIG. 1) is “failure”. That is, the gripping position (for example, "the center of gravity of the upper picking object shown in FIG. 5" (see L2b) shown in FIG.
  • the CPU 60 confirms whether or not there is a hypothesis number to be verified next in the list generated as shown in FIGS. 7A to 7D (step S6). If there is a hypothesis to be verified next (for example, if the list shown in FIG. 7B is generated, hypothesis number "1" is a failure, so the next hypothesis number "2") (step S6: YES) Then, in order to verify the hypothesis, the process returns to step S4, and if the list to be verified (for example, the list shown in FIG. 7B is generated), the grasp corresponding to hypothesis number "2" (see L2a) The robot hand 32 of the robot 3 (see FIG. 1) based on the position “center of gravity of the upper picking object shown in FIG. 5” (see L2 b) and the gripping method “suction from upper surface normal direction” (see L2 c) The picking object 2 (see FIG. 1) is gripped by the (see FIG. 1).
  • steps S4 to S6 are repeated until the hypothesis number corresponding to the gripping position and gripping method in which gripping is successful is found.
  • step S6 if there is no hypothesis to be verified in the generated list (step S6: NO), the CPU 60 (see FIG. 1) urges readjustment of the camera 5, the robot 3, etc. A warning is displayed on the display unit 65 (see FIG. 1) (step S7), and the process ends.
  • step S5 if gripping is successful (step S5: YES), the CPU 60 (see FIG. 1) corresponds to the successful hypothesis number among the lists generated as shown in FIG. 7 (a) to (d) above. It is registered in the table TBL (see FIG. 2) that the gripping result of the gripping position and gripping method of the hypothesized picking target 2 (see FIG. 1) is “success”. That is, the grip position (TB1 d) of the table TBL (see FIG. 2) and the grip position (for example, “the center of gravity of ⁇ + ⁇ of the upper picking target shown in FIG. 5 (b)” (see L2b) shown in FIG.
  • the gripping method for example, “suction from the upper surface normal direction” (see L2c) shown in FIG. 7B) is registered in the gripping method (TB1e) of the table TBL (see FIG. 2).
  • the gripping position / gripping method is “success”. Note that the gripping position and gripping method registered as “successful” will be used as master data at the time of actual operation.
  • the CPU 60 determines again whether the area (segmentation) of the picking target 2 (see FIG. 1) needs to be hypothesized (step S8).
  • a successful gripping position for example, "the center of gravity of ⁇ + ⁇ of the upper picking target shown in Fig. 5 (b) shown in Fig. 2 (see TB1 d)
  • ⁇ gripping method for example, Fig. 5 (b) Is displayed on the display unit 65 (see FIG. 1), and the operator is asked to select whether this content is acceptable or not.
  • the operator is urged to visually confirm that a plurality of picking objects 2 (see FIG. 1) are not gripped but a single picking object 2 (see FIG. 1) is gripped.
  • the weight sensor provided on the robot hand 32 detects the weight of the picking object 2 (see FIG. 1) being held, and the detected weight is registered in the registration device 6 (FIG. 1).
  • the CPU 60 confirms whether the weight matches the weight of the picking target 2 (see FIG. 1) stored in advance in the ROM 63 (see FIG. 1).
  • step S8: NO If it is not necessary to hypothesize the area (segmentation) of picking object 2 (see FIG. 1) again, that is, the worker chooses that this content is good, or a single picking object 2 (see FIG. 1) ) Is gripped or the weights match (step S8: NO), the process is ended.
  • step S8 YES
  • the process returns to step S2, and the area (segmentation) of the picking target 2 (see FIG. 1) is again performed.
  • step S8 YES
  • the process returns to step S2, and the area (segmentation) of the picking target 2 (see FIG. 1) is again performed.
  • step S8 YES
  • the process returns to step S2, and the area (segmentation) of the picking target 2 (see FIG. 1) is again performed.
  • make a hypothesis If it is necessary to hypothesize the area (segmentation) of picking object 2 (see FIG. 1) again, CPU 60 (see FIG. 1) checks the verification result (see TB1 f) of table TBL (see FIG. 2). The content in which the gripping position / gripping method is registered as “success” is changed as “failure”.
  • the contents shown in TB1a to TB1f shown in FIG. 2 are displayed in the table TBL (see FIG. 2) stored in the picking target object related information registration database 66 (see FIG. 1) by performing the processing as described above. It will be stored.
  • the area (segmentation) of picking object 2 after the area (segmentation) of picking object 2 (see FIG. 1) is hypothesized, the area (segmentation) of the hypothesized picking object 2 (see FIG. 1) It is possible to automatically perform the process of hypothesizing the gripping position and gripping method, verifying the validity, and registering the verification result in the picking object related information registration database 66 (see FIG. 1). It is not necessary to register the three-dimensional shapes of all picking objects in the picking object related information registration database 66 (see FIG. 1) in advance as in the prior art. Further, since the verification result of success is registered in the picking target related information registration database 66 (see FIG. 1), it can be used as master data at the time of actual operation. As a result, automation at a distribution site can be realized.
  • a failed gripping position / gripping method and a successful gripping position / gripping method are registered in a fixed amount in the table TBL (see FIG. 2) stored in the picking target object related information registration database 66 (see FIG. 1), This is because machine learning can be performed.
  • machine learning is divided into a process of learning a region (segmentation) of the picking target object 2 (see FIG. 1) and a process of learning a gripping position and gripping method.
  • a process of learning the area (segmentation) of picking object 2 (see FIG. 1)
  • three-dimensional points of table TBL stored in picking object related information registration database 66 (see FIG. 1)
  • the CPU 60 Using three-dimensional point group information registered in the group information item (see TB1 b) and a two-dimensional image registered in the two-dimensional image item (see TB1 c) of the table TBL (see FIG. 2)
  • the CPU 60 see FIG.
  • the CPU 60 uses the known supervised learning program stored in the ROM 63 (see FIG. 1) to select the picking object 2 (see FIG. 1) on the display unit 65 (see FIG. 1). Display area (segmentation) list of reference).
  • the teacher data use the success case of the table TBL (see FIG. 2) stored in the picking object related information registration database 66 (see FIG. 1) or use the display unit 65 (see FIG. 1) What a worker selected from the area
  • the CPU 60 uses the known supervised learning program stored in the ROM 63 (see FIG. 1) to select the picking object 2 (see FIG. 1) on the display unit 65 (see FIG. 1). Display the gripping position and gripping method list (see).
  • the teacher data use the success case of the table TBL (see FIG. 2) stored in the picking object related information registration database 66 (see FIG. 1) or use the display unit 65 (see FIG. 1) What is selected by the operator from the grip position / gripping method list of the picking target 2 (see FIG. 1) to be displayed may be used.
  • the CPU 60 when using reinforcement learning as machine learning, is a table TBL (see FIG. 2) stored in the picking target object related information registration database 66 (see FIG. 1) as "reward”.
  • Reward “1” is given to “Success” registered in the verification result item (see TB1f) in Table TBL (see FIG. 2) stored in the picking target object related information registration database 66 (see FIG. 1).
  • Reward “0” is given to “failure” registered in the verification result item (see TB1f).
  • the CPU 60 places “action” in the item (see TB1 d) of the gripping position of the table TBL (see FIG.
  • the CPU 60 uses the well-known reinforcement learning program stored in the ROM 63 (see FIG. 1) to display the picking object 2 (see FIG. 1) on the display unit 65 (see FIG. 1). Each time, the combination of the grasping position and the grasping method in which the predetermined evaluation was made is displayed.
  • the machine learning as described above can be performed if the failed gripping position / gripping method and the successful gripping position / gripping method are registered by a fixed amount, the failed gripping position / gripping method It is preferable to register.
  • the picking target object 2 exemplified in the present embodiment is merely an example, and any item can be applied as long as it is an article to be handled at a distribution site.
  • the example which can acquire the three-dimensional point-group information which shows the three-dimensional coordinate of the picking object 2 and the two-dimensional image of the picking object 2 with the camera 5 was shown, it does not restrict to it.
  • 5 is a mere imaging function
  • the CPU 60 (see FIG. 1) of the registration device 6 (see FIG. 1) generates three-dimensional point cloud information indicating three-dimensional coordinates of the picking object 2.
  • a two-dimensional image may be generated.
  • three-dimensional point group information indicating the three-dimensional coordinates of the picking object 2 is generated by one of the camera 5 and the CPU 60 (see FIG. 1) of the registration device 6 (see FIG. 1).
  • a two-dimensional image of the picking object 2 may be generated by the CPU 60 (see FIG. 1) of the registration device 6 (see FIG. 1).
  • the present invention is not limited thereto, and the camera 5 may be incorporated in the robot 3.
  • the robot control device 4 and the registration device 6 are separately provided, the robot control device 4 and the registration device 6 may be integrated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

物流現場における自動化を実現することができるピッキングシステムを提供することを目的としている。　カメラにて生成された三次元点群情報と二次元画像に基づき、ピッキング対象物の領域を仮説する仮説領域手段（ステップＳ２）と、　仮説領域手段（ステップＳ２）にて仮説したピッキング対象物の領域に基づいて、ピッキング対象物を想定し、該想定したピッキング対象物の把持位置・把持方法を仮説する仮説把持手段（ステップＳ３）と、　仮説把持手段（ステップＳ３）にて仮説した把持位置・把持方法を、ロボットを用いて検証する検証手段（ステップＳ４）と、　検証手段（ステップＳ４）にて検証した結果、ピッキング対象物の把持に成功した把持位置・把持方法を登録するピッキング対象物関連情報登録データベースと、を備えている。

Description

ピッキング対象物把持情報登録システム
　本発明は、ピッキング対象物把持情報登録システムに関する。
　従来、製造現場などで、画像処理技術を用いた様々な自動化技術が利用されている。このような技術として、たとえば、画像処理により対象物の位置情報を認識し、認識した位置情報に基づいてロボットハンドを用いて対象物を把持し移動させる技術が知られている（例えば、特許文献１）。
特開２０１０－６９５４２号公報
　ところで、昨今、通販等の大量の商品を扱う物流現場において、人的削減や時間短縮を目的として、上記のような技術を用いて自動化が図れないか否かの実験が行われている。
　しかしながら、上記のような技術を用いるにあたって、ピッキング対象物の三次元形状を予めデータベース化しなければならないところ、物流現場においては、ピッキング対象物の種類が、数千～数十万件という膨大な数に上り、このような膨大な数の三次元形状を予め全てデータベース化しておくことは非常に困難であるという問題があった。
　そこで、上記のような技術を用いて多種の商品を扱うシステムにおいて、ピッキング対象物の形状・姿勢を自動で推定・認識するとともに、推定・認識の結果に基づいて適切な把持位置・把持方法を自動設定する方法が求められている。
　しかしながら、上記のような自動設定する方法は未だ実現できておらず、もって、物流現場においては、未だ自動化が実現できていないという問題があった。
　そこで、本発明は、上記問題に鑑み、物流現場における自動化を実現することができるピッキング対象物把持情報登録システムを提供することを目的としている。
　上記本発明の目的は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。
　請求項１の発明に係るピッキング対象物把持情報登録システムによれば、ピッキング対象物（例えば、図１に示すピッキング対象物２）の三次元点群情報を生成する第１生成手段（例えば、図１に示すカメラ５）と、
　前記ピッキング対象物（例えば、図１に示すピッキング対象物２）の二次元画像を生成する第２生成手段（例えば、図１に示すカメラ５）と、
　前記第１生成手段（例えば、図１に示すカメラ５）にて生成された三次元点群情報と前記第２生成手段（例えば、図１に示すカメラ５）にて生成された二次元画像に基づき、前記ピッキング対象物（例えば、図１に示すピッキング対象物２）の領域を仮説する仮説領域手段（例えば、図３に示すステップＳ２）と、
　前記仮説領域手段（例えば、図３に示すステップＳ２）にて仮説したピッキング対象物（例えば、図１に示すピッキング対象物２）の領域に基づいて、ピッキング対象物（例えば、図１に示すピッキング対象物２）を想定し、該想定したピッキング対象物（例えば、図１に示すピッキング対象物２）の把持位置・把持方法を仮説する仮説把持手段（例えば、図３に示すステップＳ３）と、
　前記仮説把持手段（例えば、図３に示すステップＳ３）にて仮説した前記把持位置・把持方法を、ロボット（例えば、図１に示すロボット３）を用いて検証する検証手段（例えば、図３に示すステップＳ４）と、
　前記検証手段（例えば、図３に示すステップＳ４）にて検証した結果、前記ピッキング対象物（例えば、図１に示すピッキング対象物２）の把持に成功した前記把持位置・把持方法を記憶する記憶手段（例えば、図１に示すピッキング対象物関連情報登録データベース６６）と、を備えてなることを特徴としている。なお、第１生成手段と、第２生成手段は、異なっても良いし、同一でも良い。
　また、請求項２の発明によれば、上記請求項１に記載のピッキング対象物把持情報登録システムにおいて、前記検証手段（例えば、図３に示すステップＳ４）にて検証した結果、前記ピッキング対象物（例えば、図１に示すピッキング対象物２）の把持に成功した際、再度、前記第１生成手段（例えば、図１に示すカメラ５）にて生成された三次元点群情報と前記第２生成手段（例えば、図１に示すカメラ５）にて生成された二次元画像に基づき、前記ピッキング対象物（例えば、図１に示すピッキング対象物２）の領域を仮説領域手段（例えば、図３に示すステップＳ２）にて仮説させる必要があるか否かの判定を行う判定手段（例えば、図３に示すステップＳ８）と、をさらに備えてなることを特徴としている。
　さらに、請求項３の発明によれば、上記請求項１に記載のピッキング対象物把持情報登録システムにおいて、前記記憶手段（例えば、図１に示すピッキング対象物関連情報登録データベース６６）は、前記検証手段（例えば、図３に示すステップＳ４）にて検証した結果、前記ピッキング対象物（例えば、図１に示すピッキング対象物２）の把持に失敗した前記把持位置・把持方法も記憶してなることを特徴としている。
　次に、本発明の効果について、図面の参照符号を付して説明する。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。
　請求項１に係る発明によれば、第１生成手段（例えば、図１に示すカメラ５）にて生成された三次元点群情報と第２生成手段（例えば、図１に示すカメラ５）にて生成された二次元画像に基づき、ピッキング対象物（例えば、図１に示すピッキング対象物２）の領域を仮説領域手段（例えば、図３に示すステップＳ２）仮説した後、仮説したピッキング対象物（例えば、図１に示すピッキング対象物２）の領域に基づいて、ピッキング対象物（例えば、図１に示すピッキング対象物２）を想定し、該想定したピッキング対象物（例えば、図１に示すピッキング対象物２）の把持位置・把持方法を仮説把持手段（例えば、図３に示すステップＳ３）にて仮説し、仮説把持手段（例えば、図３に示すステップＳ３）にて仮説した把持位置・把持方法を、ロボット（例えば、図１に示すロボット３）を用いて検証手段（例えば、図３に示すステップＳ４）にて検証し、ピッキング対象物（例えば、図１に示すピッキング対象物２）の把持に成功した把持位置・把持方法を記憶手段（例えば、図１に示すピッキング対象物関連情報登録データベース６６）に記憶する工程を自動で行うことが可能となるから、従来のように、全てのピッキング対象物の三次元形状を予め記憶手段（例えば、図１に示すピッキング対象物関連情報登録データベース６６）に記憶しておく必要がなくなる。さらに、成功した検証結果を記憶手段（例えば、図１に示すピッキング対象物関連情報登録データベース６６）に記憶しているから、実際の稼働時に、マスターデータとして使用することができる。これにより、物流現場における自動化を実現することができる。
　また、請求項２に係る発明によれば、検証手段（例えば、図３に示すステップＳ４）にて検証した結果、ピッキング対象物（例えば、図１に示すピッキング対象物２）の把持に成功した際、再度、第１生成手段（例えば、図１に示すカメラ５）にて生成された三次元点群情報と第２生成手段（例えば、図１に示すカメラ５）にて生成された二次元画像に基づき、ピッキング対象物（例えば、図１に示すピッキング対象物２）の領域を仮説領域手段（例えば、図３に示すステップＳ２）にて仮説させる必要があるか否かを、判定手段（例えば、図３に示すステップＳ８）にて判定させているから、正確な把持位置・把持方法を、記憶手段（例えば、図１に示すピッキング対象物関連情報登録データベース６６）に記憶することができる。これにより、実際の稼働時に、正確な把持位置・把持方法が、マスターデータとして使用できることとなる。
　さらに、請求項３に係る発明によれば、記憶手段（例えば、図１に示すピッキング対象物関連情報登録データベース６６）は、検証手段（例えば、図３に示すステップＳ４）にて検証した結果、ピッキング対象物（例えば、図１に示すピッキング対象物２）の把持に失敗した把持位置・把持方法も記憶しているから、失敗した把持位置・把持方法、成功した把持位置・把持方法が一定量記憶されれば、機械学習を実施することができる。
本発明の一実施形態に係るピッキング対象物把持情報登録システムの概略全体図である。 同実施形態に係るピッキング対象物関連情報登録データベースに格納されているテーブルを示す図である。 同実施形態に係るピッキング対象物関連情報登録データベースに情報を登録する際の制御手順を示すフローチャート図である。 （ａ）は、三次元点群情報が表わされた横長矩形状厚板のピッキング対象物の斜視図、（ｂ）は、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標が表わされた三次元点群情報が表わされたピッキング対象物の斜視図、（ｃ）は、（ａ），（ｂ）に示すピッキング対象物の平面二次元画像、（ｄ）は、（ｃ）に示す平面二次元画像が傾いている場合の平面二次元画像を示す図である。 （ａ）は、図４（ｃ）に示す平面二次元画像にノイズが存在している平面二次元画像、（ｂ）は、（ａ）に示す平面二次元画像を用いてピッキング対象物の領域を推定した状態を示す図である。 （ａ－１）は、三角錐状のピッキング対象物の斜視図、（ａ－２）は、三角錐状のピッキング対象物の平面二次元画像、（ｂ－１）は、（ａ－２）に示す三角錐状のピッキング対象物の平面二次元画像の一部を抽出した平面二次元画像、（ｂ－２）は、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標が表わされた三次元点群情報が表わされたピッキング対象物の一部を抽出した斜視図、（ｃ－１）は、（ａ－２）に示す三角錐状のピッキング対象物の平面二次元画像の一部を（ｂ－１）とは異なるように抽出した平面二次元画像、（ｃ－２）は、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標が表わされた三次元点群情報が表わされたピッキング対象物の一部を（ｂ－２）とは異なるように抽出した斜視図である。 （ａ）～（ｄ）は、仮説したピッキング対象物の領域に基づいて仮説した把持位置・把持方法のリストを示す図である。
　以下、本発明に係るピッキング対象物把持情報登録システムの一実施形態を、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。
　図１に示すように、ピッキング対象物把持情報登録システム１は、ピッキング対象であるピッキング対象物２（図示では４本の容器を例示している）と、このピッキング対象物２をピッキングするロボット３と、このロボット３を制御するロボット制御装置４と、ピッキング対象物２の三次元座標を示す三次元点群情報とピッキング対象物２の二次元画像を取得できる複数台（図示では、３台を例示）のカメラ５と、ピッキング対象物２をピッキングする際に必要な情報が登録される登録装置６と、で構成されている。
　ロボット３は、床や壁等の設置面に固定される土台３０と、土台３０に対して基端が回転可能に連結されているロボットアーム部３１と、ロボットアーム部３１の先端に取り付けられ、ピッキング対象物２を吸着・挟み込み・支持等によって把持することができるロボットハンド３２とを備えている。なお、このロボットハンド３２には、ピッキング対象物２を把持した否かを計測する把持センサが設けられ、ピッキング対象物２を把持した際の当該ピッキング対象物２の重量を計測する重量センサが設けられており、把持センサ及び／又は重量センサの計測情報は、登録装置６に出力される。
　一方、ロボット制御装置４は、登録装置６より出力されるデータに基づきロボット３の稼動を制御するものである。
　登録装置６は、ＣＰＵ６０と、マウスやキーボード、タッチパネル等にて外部から所定データを登録装置６に入力することができる入力部６１と、登録装置６外に所定データを出力することができる出力部６２と、所定のプログラム等を格納した書込み可能なフラッシュＲＯＭ等からなるＲＯＭ６３と、作業領域やバッファメモリ等として機能するＲＡＭ６４と、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等からなる表示部６５と、ピッキング対象物２をピッキングする際に必要な情報が格納されているピッキング対象物関連情報登録データベース６６と、で構成されている。
　ところで、ピッキング対象物関連情報登録データベース６６には、図２に示すテーブルＴＢＬが格納されている。すなわち、テーブルＴＢＬには、ピッキング対象物２（図１参照）の内容（ＴＢ１ａ参照）が格納され、さらに、そのピッキング対象物の内容それぞれの三次元点群情報（ＴＢ１ｂ参照）が格納され、そしてさらに、そのピッキング対象物の内容それぞれの二次元画像（ＴＢ１ｃ参照）が格納され、またさらに、そのピッキング対象物の内容それぞれの把持位置（ＴＢ１ｄ参照），把持方法（ＴＢ１ｅ参照）が格納され、またさらに、その把持位置（ＴＢ１ｄ参照），把持方法（ＴＢ１ｅ参照）それぞれの検証結果（ＴＢ１ｆ参照）が格納されている。
　ここで、より詳しくピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）に格納されている内容（ＴＢ１ａ～ＴＢ１ｆ参照）をテーブルＴＢＬ（図２参照）に格納する方法を、図３～図７も参照して具体的に説明する。
　上記のような方法を行うにあたっては、作業者が、図１に示す登録装置６の入力部６１を用いて、図１に示すＲＯＭ６３内に格納されているプログラムの起動を指示する。これにより、登録装置６のＣＰＵ６０（図１参照）は、図３に示すような処理を行う。以下、図３を参照して説明する。なお、図３に示すプログラムの処理内容はあくまで一例であり、これに限定されるものではない。
　まず、ＣＰＵ６０（図１参照）は、カメラ５にて取得されたピッキング対象物２の三次元座標を示す三次元点群情報とピッキング対象物２の二次元画像を取得する（ステップＳ１）。より詳しく説明すると、カメラ５にて取得されたピッキング対象物２の三次元座標を示す三次元点群情報とピッキング対象物２の二次元画像がカメラ５より出力されると、その出力されたピッキング対象物２の三次元座標を示す三次元点群情報とピッキング対象物２の二次元画像は、登録装置６の入力部６１（図１参照）を介して登録装置６内に入力される。これを受けて、ＣＰＵ６０（図１参照）は、その入力されたピッキング対象物２の三次元座標を示す三次元点群情報をピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録し、ピッキング対象物２の二次元画像をピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の二次元画像の項目（ＴＢ１ｃ参照）に登録する。すなわち、具体的に例示すると、カメラ５にて取得されたピッキング対象物（容器Ａ）の三次元座標（Ｘｎ１，Ｙｎ１，Ｚｎ１）（ｎ１≧１の整数）がテーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録され、カメラ５にて取得されたピッキング対象物（容器Ｂ）の三次元座標（Ｘｎ２，Ｙｎ２，Ｚｎ２）（ｎ２≧１の整数）がテーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されることとなる。さらに、カメラ５にて取得されたピッキング対象物（容器Ａ）の二次元画像（二次元画像Ａａ，二次元画像Ａｂ）がテーブルＴＢＬ（図２参照）の二次元画像の項目（ＴＢ１ｃ参照）に登録され、カメラ５にて取得されたピッキング対象物（容器Ｂ）の二次元画像（二次元画像Ｂａ，二次元画像Ｂｂ）がテーブルＴＢＬ（図２参照）の二次元画像の項目（ＴＢ１ｃ参照）に登録されることとなる。なお、ピッキング対象物（容器Ａ）の三次元点群情報のＸ方向の角度（図２では、φＸｎ１と例示），ピッキング対象物（容器Ａ）の三次元点群情報のＹ方向の角度（図２では、φＹｎ１と例示），ピッキング対象物（容器Ａ）の三次元点群情報のＺ方向の角度（図２では、φＺｎ１と例示）、ピッキング対象物（容器Ｂ）の三次元点群情報のＸ方向の角度（図２では、φＸｎ２と例示），ピッキング対象物（容器Ｂ）の三次元点群情報のＹ方向の角度（図２では、φＹｎ２と例示），ピッキング対象物（容器Ｂ）の三次元点群情報のＺ方向の角度（図２では、φＺｎ２と例示）は、この時点では、まだ、テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されていない。なお、テーブルＴＢＬ（図２参照）のピッキング対象物（ＴＢ１ａ参照）に登録されている内容（図２では、容器Ａ，容器Ｂと例示）は、作業者が、図１に示す登録装置６の入力部６１を用いて、登録しておけばよい。
　次いで、ＣＰＵ６０（図１参照）は、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に格納されている三次元点群情報と、テーブルＴＢＬ（図２参照）の二次元画像の項目（ＴＢ１ｃ参照）に格納されている二次元画像とを読み出し、三次元点群情報と二次元画像とに基づいて、ピッキング対象物２（図１参照）の領域（セグメンテーション）を仮説する（ステップＳ２）。すなわち、具体的に例示すると、テーブルＴＢＬ（図２参照）のピッキング対象物（ＴＢ１ａ参照）に登録されている内容（容器Ａ）が、図４（ａ）に示すような、横長矩形状厚板のピッキング対象物２Ａであって、２個のピッキング対象物２Ａが上下に重なり合っている場合（説明の都合上、以下では、上側のピッキング対象物２Ａを上側ピッキング対象物２Ａａとし、下側のピッキング対象物２Ａを下側ピッキング対象物２Ａｂとして説明する）、図４（ａ）に示すように、カメラ５にて取得される三次元点群ＴＧＡは、２個のピッキング対象物２Ａ（上側ピッキング対象物２Ａａ，下側ピッキング対象物２Ａｂ）の全体に亘って表わされる。そして、これら三次元点群ＴＧＡは、それぞれ、図４（ｂ）に示すように、Ｘ方向，Ｙ方向，Ｚ方向で表わされる三次元座標（テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されている三次元座標（Ｘｎ１，Ｙｎ１，Ｚｎ１）（ｎ１≧１の整数））にて表わすことができる。また、カメラ５にて取得される２個のピッキング対象物２Ａ（上側ピッキング対象物２Ａａ，下側ピッキング対象物２Ａｂ）の二次元画像（テーブルＴＢＬ（図２参照）の二次元画像（ＴＢ１ｃ参照）に登録されている内容としては、二次元画像Ａａと例示）は、図４（ｃ）に示すように、２個のピッキング対象物２Ａ（上側ピッキング対象物２Ａａ，下側ピッキング対象物２Ａｂ）が重なり合っている状態にて表わされる。しかして、ＣＰＵ６０（図１参照）は、このＸ方向，Ｙ方向，Ｚ方向の三次元座標で表される三次元点群ＴＧＡによって、距離情報を算出し、そして、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標で表される三次元点群ＴＧＡと二次元画像を用いて、２個のピッキング対象物２Ａのエッジ情報を算出し、もって、これら算出した情報から、上側ピッキング対象物２Ａａ、下側ピッキング対象物２Ａｂを判定する。これにより、上側ピッキング対象物２Ａａ、下側ピッキング対象物２Ａｂの領域（セグメンテーション）が仮説できることとなる。
　しかしながら、ピッキング対象物２（図１参照）の領域（セグメンテーション）の仮説はこのように必ずしも正しくできるとは限らない。すなわち、カメラ５にて取得される二次元画像に、図５（ａ）に示すように、ノイズＮが存在していた場合（テーブルＴＢＬ（図２参照）の二次元画像（ＴＢ１ｃ参照）に登録されている内容としては、二次元画像Ａｂと例示）、ＣＰＵ６０（図１参照）は、このノイズＮ部分がエッジ部分だと判断し、もって、図５（ｂ）に示すように、上側ピッキング対象物２Ａａが第１の上側ピッキング対象物２Ａａ１と、第２の上側ピッキング対象物２Ａａ２とに分かれたものであると判定する可能性がある。これにより、本来は、図４に示すように、上側ピッキング対象物２Ａａ、下側ピッキング対象物２Ａｂの領域（セグメンテーション）で仮説されるにも係らず、第１の上側ピッキング対象物２Ａａ１と、第２の上側ピッキング対象物２Ａａ２と、下側ピッキング対象物２Ａｂとの領域（セグメンテーション）があるものとして仮説される可能性がある。
　一方、テーブルＴＢＬ（図２参照）のピッキング対象物（ＴＢ１ａ参照）に登録されている内容（容器Ｂ）が、図６（ａ－１）に示すような、三角錐状のピッキング対象物２Ｂであって、３個のピッキング対象物２Ｂが横並びになっている場合（説明の都合上、以下では、左側のピッキング対象物２Ｂを左側ピッキング対象物２Ｂａとし、中央側のピッキング対象物２Ｂを中央側ピッキング対象物２Ｂｂとし、右側のピッキング対象物２Ｃを右側ピッキング対象物２Ｂｃとして説明する）、左側ピッキング対象物２Ｂａと中央側のピッキング対象物２Ｂとの間に影Ｋが発生し、中央側ピッキング対象物２Ｂｂと右側ピッキング対象物２Ｂｃとの間に影Ｋが発生する可能性がある。この際、ＣＰＵ６０（図１参照）は、影Ｋの影響で、左側のピッキング対象物２Ｂを左側ピッキング対象物２Ｂａと、中央側ピッキング対象物２Ｂｂと、右側ピッキング対象物２Ｂｃとの領域（セグメンテーション）をまとめて仮説出来ない場合、図６（ａ－２）に示す、カメラ５にて取得される３個のピッキング対象物２Ｂ（左側ピッキング対象物２Ｂａ、中央側ピッキング対象物２Ｂｂ、右側ピッキング対象物２Ｂｃ）の二次元画像のうち、明瞭な個所で、且つ、連続性が認められる部分で構成された、図６（ｂ－１）に示す二次元画像（テーブルＴＢＬ（図２参照）の二次元画像（ＴＢ１ｃ参照）に登録されている内容としては、二次元画像Ｂａと例示）を抽出し、さらに、図６（ｂ－２）に示す、左側ピッキング対象物２Ｂａの全体に亘って表わされるＸ方向，Ｙ方向，Ｚ方向の三次元座標（テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されている三次元座標（Ｘｎ２，Ｙｎ２，Ｚｎ２）（ｎ２≧１の整数））で表わされる三次元点群ＴＧＢを抽出する可能性がある。そして、ＣＰＵ６０（図１参照）は、この抽出した二次元画像と三次元点群ＴＧＢを用いて、左側ピッキング対象物２Ｂａを判定する。これにより、左側ピッキング対象物２Ｂａの領域（セグメンテーション）が仮説されることとなる。
　一方、ＣＰＵ６０（図１参照）は、図６（ａ－２）に示す、カメラ５にて取得される３個のピッキング対象物２Ｂ（左側ピッキング対象物２Ｂａ、中央側ピッキング対象物２Ｂｂ、右側ピッキング対象物２Ｂｃ）の二次元画像のうち、不連続性が強い部分を排除した構成、図６（ｃ－１）に示す二次元画像（テーブルＴＢＬ（図２参照）の二次元画像（ＴＢ１ｃ参照）に登録されている内容としては、二次元画像Ｂｂと例示）を抽出し、さらに、図６（ｃ－２）に示す、左側ピッキング対象物２Ｂａの全体に亘って表わされるＸ方向，Ｙ方向，Ｚ方向の三次元座標（テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されている三次元座標（Ｘｎ２，Ｙｎ２，Ｚｎ２）（ｎ２≧１の整数））で表わされる三次元点群ＴＧＢを抽出する可能性がある。そして、ＣＰＵ６０（図１参照）は、この抽出した二次元画像と三次元点群ＴＧＢを用いて、左側ピッキング対象物２Ｂａを判定する。これにより、左側ピッキング対象物２Ｂａの領域（セグメンテーション）が仮説されることとなる。
　ところで、図５，図６に示すようなケースの場合、図２に示すテーブルＴＢＬに、正しい領域（セグメンテーション）を仮説するための三次元形状を予め登録しておけば、正しい領域（セグメンテーション）を仮説することができる。しかしながら、このような三次元形状を登録しようとしても、ピッキング対象物の種類が、数千～数十万件という膨大な数に上ることから、このような膨大な数の三次元形状を予め全てデータベース化しておくことは非常に困難であるという問題がある。
　そこで、本実施形態においては、図２に示すテーブルＴＢＬに、正しい領域（セグメンテーション）を仮説するための三次元形状を予め登録することはせず、ピッキング対象物２（図１参照）の領域（セグメンテーション）を仮説した後、その仮説の妥当性を検証している。
　すなわち、ＣＰＵ６０（図１参照）は、上記ステップＳ２にて仮説したピッキング対象物２（図１参照）の領域（セグメンテーション）に基づいて、ピッキング対象物２（図１参照）を推定し、その推定したピッキング対象物２（図１参照）の把持位置・把持方法を仮説する（ステップＳ３）。具体的に例示すると、ＣＰＵ６０（図１参照）が、上記ステップＳ２にて、図４に示す上側ピッキング対象物２Ａａ、下側ピッキング対象物２Ａｂの領域（セグメンテーション）を仮説した際、上側ピッキング対象物２Ａａの形状と位置は、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標（テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されている三次元座標（Ｘｎ１，Ｙｎ１，Ｚｎ１）（ｎ１≧１の整数））で表わされる三次元点群ＴＧＡの値をＣＰＵ６０（図１参照）にて解析することにより、推定することができる。しかして、このように上側ピッキング対象物２Ａａの形状と位置を推定することができれば、上側ピッキング対象物２Ａａの重心位置もＣＰＵ６０（図１参照）にて推定することができる。
　また、二次元画像（テーブルＴＢＬ（図２参照）の二次元画像（ＴＢ１ｃ参照）に登録されている内容としては、二次元画像Ａａと例示）を用いれば、上側ピッキング対象物２Ａａの仮想形状の傾き（姿勢）をＣＰＵ６０（図１参照）にて推定することができる。すなわち、図４（ｃ）に示すような二次元画像（テーブルＴＢＬ（図２参照）の二次元画像（ＴＢ１ｃ参照）に登録されている内容としては、二次元画像Ａａと例示）の場合、カメラ５の原点Ｏを図示左側と仮定した際、図４（ｃ）に示す二次元画像は、カメラ５の原点Ｏに対して傾いていない（この場合は、傾き０）が、図４（ｄ）に示すように、傾いている場合、原点Ｏに対する傾き角ΘをＣＰＵ６０（図１参照）にて推定することができる。これにより、上側ピッキング対象物２Ａａの推定形状の傾きをＣＰＵ６０（図１参照）にて推定できることとなる。しかるに、このように上側ピッキング対象物２Ａａの推定形状の傾きを推定することができれば、その推定した傾きに基づいて、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標（テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されている三次元座標（Ｘｎ１，Ｙｎ１，Ｚｎ１）（ｎ１≧１の整数））で表わされる三次元点群ＴＧＡ、それぞれの傾きも推定することができることとなる。すなわち、ピッキング対象物（容器Ａ）の三次元点群情報のＸ方向の角度（図２では、φＸｎ１と例示），ピッキング対象物（容器Ａ）の三次元点群情報のＹ方向の角度（図２では、φＹｎ１と例示），ピッキング対象物（容器Ａ）の三次元点群情報のＺ方向の角度（図２では、φＺｎ１と例示）が推定できることとなる。これにより、上側ピッキング対象物２Ａａの推定形状の姿勢を推定することができることとなる。なお、このように推定されたピッキング対象物（容器Ａ）の三次元点群情報のＸ方向の角度（図２では、φＸｎ１と例示），ピッキング対象物（容器Ａ）の三次元点群情報のＹ方向の角度（図２では、φＹｎ１と例示），ピッキング対象物（容器Ａ）の三次元点群情報のＺ方向の角度（図２では、φＺｎ１と例示）は、テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されることとなる。
　しかして、このように、上側ピッキング対象物２Ａａの形状・位置・重心位置・姿勢を推定することができれば、ＣＰＵ６０（図１参照）は、様々な把持位置・把持方法を仮説し、リストを生成する。具体的には、図７（ａ）に示すように、仮説番号（図示では、１・・・と例示（Ｌ１ａ参照））のリストを生成し、その仮説番号に対応した把持位置（図示では、図４に示す上側ピッキング対象物の重心・・・と例示（Ｌ１ｂ参照））のリストを生成し、その仮説番号に対応した把持方法（図示では、上面法線方向から吸着・・・と例示（Ｌ１ｃ参照））のリストを生成する。
　かくして、図５（ｂ）に示すように、第１の上側ピッキング対象物２Ａａ１と、第２の上側ピッキング対象物２Ａａ２と、下側ピッキング対象物２Ａｂとの領域（セグメンテーション）があるものとして仮説された場合においても、上記と同様の処理を行い、第１の上側ピッキング対象物２Ａａ１と、第２の上側ピッキング対象物２Ａａ２の形状・位置・重心位置・姿勢を推定した上で、ＣＰＵ６０（図１参照）は、様々な把持位置・把持方法を仮説し、リストを生成する。具体的には、図７（ｂ）に示すように、仮説番号（図示では、１，２，３・・・と例示（Ｌ２ａ参照））のリストを生成し、その仮説番号に対応した把持位置（図示では、図５（ｂ）に示す上側ピッキング対象物のαの重心，図５（ｂ）に示す上側ピッキング対象物のβの重心，図５（ｂ）に示す上側ピッキング対象物のα＋βの重心，・・・と例示（Ｌ２ｂ参照））のリストを生成し、その仮説番号に対応した把持方法（図示では、上面法線方向から吸着，上面法線方向から吸着，上面法線方向から吸着・・・と例示（Ｌ２ｃ参照））のリストを生成する。なお、このように推定されたピッキング対象物（容器Ａ）の三次元点群情報のＸ方向の角度（図２では、φＸｎ１と例示），ピッキング対象物（容器Ａ）の三次元点群情報のＹ方向の角度（図２では、φＹｎ１と例示），ピッキング対象物（容器Ａ）の三次元点群情報のＺ方向の角度（図２では、φＺｎ１と例示）は、テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されることとなる。
　さらに、図６（ｂ－２）に示すように、左側ピッキング対象物２Ｂａの領域（セグメンテーション）が仮説された場合においても、上記と同様の処理を行い、左側ピッキング対象物２Ｂａの形状・位置・重心位置・姿勢を推定した上で、ＣＰＵ６０（図１参照）は、様々な把持位置・把持方法を仮説し、リストを生成する。具体的には、図７（ｃ）に示すように、仮説番号（図示では、１，２・・・と例示（Ｌ３ａ参照））のリストを生成し、その仮説番号に対応した把持位置（図示では、図６（ｂ－２）に示す左側ピッキング対象物の重心，図６（ｂ－２）に示す左側ピッキング対象物の重心・・・と例示（Ｌ３ｂ参照））のリストを生成し、その仮説番号に対応した把持方法（図示では、左斜面法線方向から吸着，両側から挟みこみ・・・と例示（Ｌ３ｃ参照））のリストを生成する。なお、このように推定されたピッキング対象物（容器Ｂ）の三次元点群情報のＸ方向の角度（図２では、φＸｎ２と例示），ピッキング対象物（容器Ｂ）の三次元点群情報のＹ方向の角度（図２では、φＹｎ２と例示），ピッキング対象物（容器Ｂ）の三次元点群情報のＺ方向の角度（図２では、φＺｎ２と例示）は、テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されることとなる。
　そしてさらに、図６（ｃ－２）に示すように、左側ピッキング対象物２Ｂａの領域（セグメンテーション）が仮説された場合においても、上記と同様の処理を行い、左側ピッキング対象物２Ｂａの形状・位置・重心位置・姿勢を推定した上で、ＣＰＵ６０（図１参照）は、様々な把持位置・把持方法を仮説し、リストを生成する。具体的には、図７（ｄ）に示すように、仮説番号（図示では、１，２・・・と例示（Ｌ４ａ参照））のリストを生成し、その仮説番号に対応した把持位置（図示では、図６（ｃ－２）に示す左側ピッキング対象物の重心，図６（ｃ－２）に示す左側ピッキング対象物の底面・・・と例示（Ｌ４ｂ参照））のリストを生成し、その仮説番号に対応した把持方法（図示では、左斜面法線方向から吸着，底面から水平に持ち上げる・・・と例示（Ｌ４ｃ参照））のリストを生成する。なお、このように推定されたピッキング対象物（容器Ｂ）の三次元点群情報のＸ方向の角度（図２では、φＸｎ２と例示），ピッキング対象物（容器Ｂ）の三次元点群情報のＹ方向の角度（図２では、φＹｎ２と例示），ピッキング対象物（容器Ｂ）の三次元点群情報のＺ方向の角度（図２では、φＺｎ２と例示）は、テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されることとなる。
　次いで、ＣＰＵ６０（図１参照）は、上記ステップＳ３にて仮説したピッキング対象物２（図１参照）の把持位置・把持方法を検証すべく、まずは、上記図７（ａ）～（ｄ）に示すように生成されたリストの最初の仮説番号に対応した仮説したピッキング対象物２（図１参照）の把持位置・把持方法を指示値（例えば、図７（ｂ）に示すリストが生成された場合、仮説番号「１」（Ｌ２ａ参照）に対応した把持位置「図５に示す上側ピッキング対象物のαの重心」（Ｌ２ｂ参照）、把持方法「上面法線方向から吸着」（Ｌ２ｃ参照）を指示値）として、出力部６２（図１参照）を介してロボット制御装置４に出力する。これにより、ロボット制御装置４は、その指示値に基づいて、ロボット３（図１参照）を制御し、もって、ロボット３（図１参照）のロボットハンド３２（図１参照）にてピッキング対象物２（図１参照）を把持させる。これにより、ロボットハンド３２（図１参照）に設けられている把持センサは、ピッキング対象物２（図１参照）を把持したか否かを検出し、この検出結果を登録装置６（図１参照）に出力する（ステップＳ４）。
　次いで、ＣＰＵ６０（図１参照）は、把持センサから出力された検出結果が登録装置６の入力部６１（図１参照）を介して登録装置６内に入力されると、その検出結果を解析し、把持に成功したか否かを確認する（ステップＳ５）。把持に成功していなければ（ステップＳ５：ＮＯ）、ＣＰＵ６０（図１参照）は、上記図７（ａ）～（ｄ）に示すように生成されたリストの最初の仮説番号に対応した仮説したピッキング対象物２（図１参照）の把持位置・把持方法の把持結果が「失敗」である旨を、テーブルＴＢＬ（図２参照）に登録する。すなわち、テーブルＴＢＬ（図２参照）の把持位置（ＴＢ１ｄ）に把持位置（例えば、図７（ｂ）に示す「図５に示す上側ピッキング対象物のαの重心」（Ｌ２ｂ参照））を登録し、テーブルＴＢＬ（図２参照）の把持方法（ＴＢ１ｅ）に把持方法（例えば、図７（ｂ）に示す「上面法線方向から吸着」（Ｌ２ｃ参照））を登録し、テーブルＴＢＬ（図２参照）の検証結果（ＴＢ１ｆ参照）に、その把持位置・把持方法は「失敗」である旨を登録する。
　次いで、ＣＰＵ６０（図１参照）は、図７（ａ）～（ｄ）に示すように生成されたリストに、次に検証すべき仮説番号があるか否かを確認する（ステップＳ６）。次に検証すべき仮説があれば（例えば、図７（ｂ）に示すリストが生成された場合、仮説番号「１」が失敗だったため、次の仮説番号「２」）（ステップＳ６：ＹＥＳ）、その仮説を検証すべく、ステップＳ４の処理に戻り、その検証すべき仮説（例えば、図７（ｂ）に示すリストが生成された場合、仮説番号「２」（Ｌ２ａ参照）に対応した把持位置「図５に示す上側ピッキング対象物のβの重心」（Ｌ２ｂ参照）、把持方法「上面法線方向から吸着」（Ｌ２ｃ参照））に基づいて、ロボット３（図１参照）のロボットハンド３２（図１参照）にピッキング対象物２（図１参照）を把持させる。
　しかして、このように、把持が成功する把持位置・把持方法に対応する仮説番号が見つかるまで、ステップＳ４～ステップＳ６の処理を繰り返し行う。
　かくして、このような処理を繰り返した結果、生成したリストの中に検証すべき仮説がなくなれば（ステップＳ６：ＮＯ）、ＣＰＵ６０（図１参照）は、カメラ５やロボット３等の再調整を促す警告を表示部６５（図１参照）に表示させ（ステップＳ７）、処理を終える。
　一方、把持に成功していれば（ステップＳ５：ＹＥＳ）、ＣＰＵ６０（図１参照）は、上記図７（ａ）～（ｄ）に示すように生成されたリストのうち成功した仮説番号に対応した仮説したピッキング対象物２（図１参照）の把持位置・把持方法の把持結果が「成功」である旨を、テーブルＴＢＬ（図２参照）に登録する。すなわち、テーブルＴＢＬ（図２参照）の把持位置（ＴＢ１ｄ）に把持位置（例えば、図７（ｂ）に示す「図５（ｂ）に示す上側ピッキング対象物のα＋βの重心」（Ｌ２ｂ参照））を登録し、テーブルＴＢＬ（図２参照）の把持方法（ＴＢ１ｅ）に把持方法（例えば、図７（ｂ）に示す「上面法線方向から吸着」（Ｌ２ｃ参照））を登録し、テーブルＴＢＬ（図２参照）の検証結果（ＴＢ１ｆ参照）に、その把持位置・把持方法は「成功」である旨を登録する。なお、この「成功」で登録された把持位置・把持方法が、実際の稼働時にマスターデータとして使用されることとなる。
　次いで、ＣＰＵ６０（図１参照）は、ピッキング対象物２（図１参照）の領域（セグメンテーション）を、再度、仮説する必要があるかの判定を行う（ステップＳ８）。具体的には、成功した把持位置（例えば、図２に示す「図５（ｂ）に示す上側ピッキング対象物のα＋βの重心」（ＴＢ１ｄ参照））・把持方法（例えば、「図５（ｂ）に示す上面法線方向から吸着」（ＴＢ１ｅ参照））を表示部６５（図１参照）に表示し、作業者にこの内容で良いか否かの選択を求める。又は、複数個のピッキング対象物２（図１参照）が把持されず、単数個のピッキング対象物２（図１参照）が把持されていることを目視確認するよう、作業者に促す。或いは、ロボットハンド３２（図１参照）に設けられている重量センサにて、把持しているピッキング対象物２（図１参照）の重量を検出し、その検出した重量が登録装置６（図１参照）のＲＯＭ６３（図１参照）内に予め格納されているピッキング対象物２（図１参照）の重量と一致しているかを、ＣＰＵ６０（図１参照）にて確認を行う。
　ピッキング対象物２（図１参照）の領域（セグメンテーション）を、再度、仮説する必要がなければ、すなわち、作業者がこの内容で良いと選択、又は、単数個のピッキング対象物２（図１参照）が把持されている、或いは、重量が一致していれば（ステップＳ８：ＮＯ）、処理を終える。
　一方、ピッキング対象物２（図１参照）の領域（セグメンテーション）を、再度、仮説する必要があれば、すなわち、作業者がこの内容で良くないと選択、又は、複数個のピッキング対象物２（図１参照）が把持されている、或いは、重量が一致していなければ（ステップＳ８：ＹＥＳ）、ステップＳ２の処理に戻り、再度、ピッキング対象物２（図１参照）の領域（セグメンテーション）の仮説を行う。なお、ピッキング対象物２（図１参照）の領域（セグメンテーション）を、再度、仮説する必要がある場合、ＣＰＵ６０（図１参照）は、テーブルＴＢＬ（図２参照）の検証結果（ＴＢ１ｆ参照）に、その把持位置・把持方法は「成功」である旨を登録した内容を、「失敗」として登録の変更を行う。
　しかして、このように、例え、把持に成功したとしても、ピッキング対象物２（図１参照）の領域（セグメンテーション）を、再度、仮説する必要があるか否かの判定を行うことにより、正確な把持位置・把持方法を、テーブル（図２参照）に登録することができる。これにより、実際の稼働時に、正確な把持位置・把持方法が、マスターデータとして使用されることとなる。
　かくして、上記のような処理を行うことにより、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）に、図２に示すＴＢ１ａ～ＴＢ１ｆに示す内容が格納されることとなる。
　しかして、以上説明した本実施形態によれば、ピッキング対象物２（図１参照）の領域（セグメンテーション）を仮説した後、その仮説したピッキング対象物２（図１参照）の領域（セグメンテーション）の把持位置・把持方法を仮説し、その妥当性を検証し、その検証結果を、ピッキング対象物関連情報登録データベース６６（図１参照）に登録するという工程を自動で行うことが可能となるから、従来のように、全てのピッキング対象物の三次元形状を予めピッキング対象物関連情報登録データベース６６（図１参照）に登録しておく必要がなくなる。さらに、成功した検証結果をピッキング対象物関連情報登録データベース６６（図１参照）に登録しているから、実際の稼働時に、マスターデータとして使用することができる。これにより、物流現場における自動化を実現することができることとなる。
　なお、本実施形態においては、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の検証結果の項目（ＴＢ１ｆ参照）に「失敗」を登録する例を示したが、失敗した把持位置・把持方法を登録しなくとも良い。
　しかしながら、失敗した把持位置・把持方法は、登録しておいた方が好ましい。ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）に、失敗した把持位置・把持方法、成功した把持位置・把持方法が一定量登録されれば、機械学習を実施することができるためである。
　すなわち、機械学習として、教師あり学習を用いる場合、ピッキング対象物２（図１参照）の領域（セグメンテーション）を学習するプロセスと、把持位置・把持方法を学習するプロセスに分けて機械学習を行う。ピッキング対象物２（図１参照）の領域（セグメンテーション）を学習するプロセスにおいては、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されている三次元点群情報と、テーブルＴＢＬ（図２参照）の二次元画像の項目（ＴＢ１ｃ参照）に登録されている二次元画像とを用いて、ＣＰＵ６０（図１参照）は、エッジ、線のつながり、輪郭、深さ方向の距離等の特徴量を算出し、その算出した特徴量を入力層に入力する。これにより、ＣＰＵ６０（図１参照）は、ＲＯＭ６３（図１参照）に記憶されている周知の教師あり学習プログラムを使用して、表示部６５（図１参照）に、ピッキング対象物２（図１参照）の領域（セグメンテーション）リストを表示する。なお、教師データとしては、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の成功事例を用いるか、又は、表示部６５（図１参照）に表示されるピッキング対象物２（図１参照）の領域（セグメンテーション）リストの中から作業者が選択したものを用いればよい。
　次に、把持位置・把持方法を学習するプロセスにおいては、ピッキング対象物２（図１参照）の領域（セグメンテーション）を学習するプロセスにおいて生成されたピッキング対象物２（図１参照）の領域（セグメンテーション）リストを入力層に入力する。これにより、ＣＰＵ６０（図１参照）は、ＲＯＭ６３（図１参照）に記憶されている周知の教師あり学習プログラムを使用して、表示部６５（図１参照）に、ピッキング対象物２（図１参照）の把持位置・把持方法リストを表示する。なお、教師データとしては、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の成功事例を用いるか、又は、表示部６５（図１参照）に表示されるピッキング対象物２（図１参照）の把持位置・把持方法リストの中から作業者が選択したものを用いれば良い。
　かくして、このようにして、教師あり学習を用いた機械学習を行うことができる。
　一方、機械学習として、強化学習を用いる場合、ＣＰＵ６０（図１参照）は、「報酬」として、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の検証結果の項目（ＴＢ１ｆ参照）に登録されている「成功」に対して報酬「１」を与え、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の検証結果の項目（ＴＢ１ｆ参照）に登録されている「失敗」に対して報酬「０」を与える。そして、ＣＰＵ６０（図１参照）は、「行動」を、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の把持位置の項目（ＴＢ１ｄ参照）に登録されている把持位置、テーブルＴＢＬ（図２参照）の把持方法の項目（ＴＢ１ｅ参照）に登録されている把持方法の組み合わせとする。これにより、ＣＰＵ６０（図１参照）は、ＲＯＭ６３（図１参照）に記憶されている周知の強化学習プログラムを使用して、表示部６５（図１参照）に、ピッキング対象物２（図１参照）毎に、所定の評価がされた把持位置・把持方法の組み合わせを表示する。
　かくして、このようにして、強化学習を用いた機械学習を行うことができる。
　しかして、失敗した把持位置・把持方法、成功した把持位置・把持方法が一定量登録されれば、上記のような機械学習を実施することができることとなるため、失敗した把持位置・把持方法を登録しておいた方が好ましい。
　ところで、本実施形態にて例示したピッキング対象物２は、あくまで一例であり、物流現場において取り扱う物品であればどのようなものにも適用可能である。
　また、本実施形態においては、ピッキング対象物２の三次元座標を示す三次元点群情報とピッキング対象物２の二次元画像をカメラ５にて取得できる例を示したが、それに限らず、カメラ５は単なる撮像機能だけにし、登録装置６（図１参照）のＣＰＵ６０（図１参照）にて、ピッキング対象物２の三次元座標を示す三次元点群情報を生成し、ピッキング対象物２の二次元画像を生成するようにしても良い。またさらに、カメラ５，登録装置６（図１参照）のＣＰＵ６０（図１参照）の何れか一方で、ピッキング対象物２の三次元座標を示す三次元点群情報を生成し、他方のカメラ５又は登録装置６（図１参照）のＣＰＵ６０（図１参照）にてピッキング対象物２の二次元画像を生成するようにしても良い。
　一方、本実施形態においては、カメラ５を別に設ける例を示したが、それに限らず、カメラ５をロボット３に組み込むようにしても良い。また、ロボット制御装置４と登録装置６とを別々に設ける例を示したが、ロボット制御装置４と登録装置６を一体化しても良い。
　なお、本実施形態にて例示した内容は、あくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において種々の変形・変更が可能である。
１　　　　　ピッキング対象物把持情報登録システム
２　　　　　ピッキング対象物
３　　　　　ロボット
４　　　　　ロボット制御装置
５　　　　　カメラ（第１生成手段、第２生成手段）
６　　　　　登録装置
６０　　　　ＣＰＵ
６６　　　　ピッキング対象物関連情報登録データベース（記憶手段）
ＴＢＬ　　　テーブル

Claims (3)

  1. 　ピッキング対象物の三次元点群データを生成する第１生成手段と、
    　前記ピッキング対象物の二次元画像を生成する第２生成手段と、
    　前記第１生成手段にて生成された三次元点群情報と前記第２生成手段にて生成された二次元画像に基づき、前記ピッキング対象物の領域を仮説する仮説領域手段と、
    　前記仮説領域手段にて仮説したピッキング対象物の領域に基づいて、ピッキング対象物を想定し、該想定したピッキング対象物の把持位置・把持方法を仮説する仮説把持手段と、
    　前記仮説把持手段にて仮説した前記把持位置・把持方法を、ロボットを用いて検証する検証手段と、
    　前記検証手段にて検証した結果、前記ピッキング対象物の把持に成功した前記把持位置・把持方法を記憶する記憶手段と、を備えてなるピッキング対象物把持情報登録システム。
  2. 　前記検証手段にて検証した結果、前記ピッキング対象物の把持に成功した際、再度、前記第１生成手段にて生成された三次元点群情報と前記第２生成手段にて生成された二次元画像に基づき、前記ピッキング対象物の領域を仮説領域手段にて仮説させる必要があるか否かの判定を行う判定手段と、をさらに備えてなる請求項１に記載のピッキング対象物把持情報登録システム。
  3. 　前記記憶手段は、前記検証手段にて検証した結果、前記ピッキング対象物の把持に失敗した前記把持位置・把持方法も記憶してなる請求項１に記載のピッキング対象物把持情報登録システム。
PCT/JP2017/046661 2017-12-26 2017-12-26 ピッキング対象物把持情報登録システム WO2019130429A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/046661 WO2019130429A1 (ja) 2017-12-26 2017-12-26 ピッキング対象物把持情報登録システム
JP2019561433A JP6940186B2 (ja) 2017-12-26 2017-12-26 ピッキング対象物把持情報登録システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/046661 WO2019130429A1 (ja) 2017-12-26 2017-12-26 ピッキング対象物把持情報登録システム

Publications (1)

Publication Number Publication Date
WO2019130429A1 true WO2019130429A1 (ja) 2019-07-04

Family

ID=67066775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/046661 WO2019130429A1 (ja) 2017-12-26 2017-12-26 ピッキング対象物把持情報登録システム

Country Status (2)

Country Link
JP (1) JP6940186B2 (ja)
WO (1) WO2019130429A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023233992A1 (ja) * 2022-06-01 2023-12-07 パナソニックＩｐマネジメント株式会社 非定形物の画像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007088735A1 (ja) * 2006-02-02 2007-08-09 Kabushiki Kaisha Yaskawa Denki ロボットシステム
JP2015112654A (ja) * 2013-12-10 2015-06-22 セイコーエプソン株式会社 制御装置、ロボット、教示データ生成方法及びロボットシステム
JP2017185578A (ja) * 2016-04-05 2017-10-12 株式会社リコー 物体把持装置及び把持制御プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5458274B2 (ja) * 2009-02-09 2014-04-02 本田技研工業株式会社 把持位置計算装置及び把持位置計算方法
FI20105732A0 (fi) * 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
JP5983506B2 (ja) * 2013-04-04 2016-08-31 トヨタ自動車株式会社 把持対象物の把持パターン検出方法およびロボット
JP2014205209A (ja) * 2013-04-11 2014-10-30 三菱電機株式会社 ロボットシステム、及びロボットシステムの制御方法
JP6357785B2 (ja) * 2014-02-04 2018-07-18 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置および制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007088735A1 (ja) * 2006-02-02 2007-08-09 Kabushiki Kaisha Yaskawa Denki ロボットシステム
JP2015112654A (ja) * 2013-12-10 2015-06-22 セイコーエプソン株式会社 制御装置、ロボット、教示データ生成方法及びロボットシステム
JP2017185578A (ja) * 2016-04-05 2017-10-12 株式会社リコー 物体把持装置及び把持制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023233992A1 (ja) * 2022-06-01 2023-12-07 パナソニックＩｐマネジメント株式会社 非定形物の画像処理方法

Also Published As

Publication number Publication date
JP6940186B2 (ja) 2021-09-22
JPWO2019130429A1 (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
JP6415291B2 (ja) 情報処理装置、情報処理方法、プログラム
US11511421B2 (en) Object recognition processing apparatus and method, and object picking apparatus and method
JP5788460B2 (ja) バラ積みされた物品をロボットで取出す装置及び方法
JP5458885B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
JP6415026B2 (ja) 干渉判定装置、干渉判定方法、コンピュータプログラム
JP6298035B2 (ja) モデル生成装置、位置姿勢算出装置、およびハンドリングロボット装置
JP6180087B2 (ja) 情報処理装置及び情報処理方法
JP5088278B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
US11654571B2 (en) Three-dimensional data generation device and robot control system
JP4004899B2 (ja) 物品の位置姿勢検出装置及び物品取出し装置
JP6744709B2 (ja) 情報処理装置、情報処理方法
JP6677522B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
CN107851181B (zh) 用于控制机器人和/或自主无人驾驶运输系统的方法
JP2017136677A (ja) 情報処理装置、情報処理方法、ロボット制御装置及びロボットシステム
JP6632656B2 (ja) 干渉判定装置、干渉判定方法、コンピュータプログラム
US20130054030A1 (en) Object gripping apparatus, object gripping method, and object gripping program
JP2015114722A (ja) 情報処理装置、情報処理装置の制御方法、情報処理システムおよびプログラム
US10688665B2 (en) Robot system, and control method
CN115989117A (zh) 用于物体检测的系统和方法
JP5983506B2 (ja) 把持対象物の把持パターン検出方法およびロボット
WO2019130429A1 (ja) ピッキング対象物把持情報登録システム
JP7117126B2 (ja) ピッキング装置及びその方法
De Gregorio et al. Robotfusion: Grasping with a robotic manipulator via multi-view reconstruction
WO2020054724A1 (ja) ピッキングシステム、情報処理装置及びコンピュータ可読記憶媒体
JP2020049651A (ja) 干渉判定装置、干渉判定方法、コンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17936728

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019561433

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17936728

Country of ref document: EP

Kind code of ref document: A1