WO2024053150A1 - ピッキングシステム - Google Patents

ピッキングシステム Download PDF

Info

Publication number
WO2024053150A1
WO2024053150A1 PCT/JP2023/015558 JP2023015558W WO2024053150A1 WO 2024053150 A1 WO2024053150 A1 WO 2024053150A1 JP 2023015558 W JP2023015558 W JP 2023015558W WO 2024053150 A1 WO2024053150 A1 WO 2024053150A1
Authority
WO
WIPO (PCT)
Prior art keywords
article
picking
unit
handling
information
Prior art date
Application number
PCT/JP2023/015558
Other languages
English (en)
French (fr)
Inventor
大佑 萩原
潔人 伊藤
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2024053150A1 publication Critical patent/WO2024053150A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Definitions

  • the present invention relates to a technology for performing a picking operation on a picking object (article) using a picking robot.
  • the present invention relates to a technique for estimating the gripping position of a picking object by a picking robot.
  • picking robots At logistics sites and production sites, goods are moved and transported as part of the logistics and production process.
  • picking robots At logistics sites and production sites, goods are moved and transported as part of the logistics and production process.
  • picking robots At distribution sites such as distribution warehouses, picking robots have been used to pick specific items from among a large number of stored items. In picking work, it is necessary to estimate the gripping position of the picking robot.
  • Patent Document 1 has been proposed as a technique for estimating the gripping position.
  • Patent Document 1 aims to "accurately determine the gripping position of an object to be gripped by a gripping device.”
  • Patent Document 1 states that "a plurality of gripping candidate positions of the object are estimated using an acquisition unit (111) that acquires an image including the object as a subject and an estimation model (221) that receives the image as input.
  • a grasping system (1) comprising: an estimating unit (112) and a determining unit (113) that refers to a plurality of candidate grasping positions and determines a grasping position at which the grasping device (30) is to grasp an object. ing.
  • an object of the present invention is to estimate a gripping position that easily satisfies handling conditions even when shape model matching is difficult or impossible.
  • a picking system that performs a picking operation on an article to be picked includes a picking robot that grips and moves the article, and a control device that controls the picking robot,
  • the device includes an image input unit that receives image data of the article acquired by a sensor, and evaluates a plurality of element reliability indicators indicating grippability for each physical element of the article based on the image data.
  • an element reliability evaluation unit a gripping position estimation unit that estimates a gripping position of the picking robot with respect to the article based on the plurality of element reliability; and handling related to movement and gripping of the article gripped at the gripping position.
  • the picking robot has a handling information input unit that receives handling information indicating conditions, and a recognition parameter estimation unit that estimates recognition parameters used in estimating the gripping position in the gripping position estimation unit based on the handling information.
  • a picking system that operates using the gripping position estimated by the control device.
  • the present invention also includes devices constituting the picking system and subsystems that are a combination of some of these devices. Furthermore, the present invention also includes a picking method using these and a supporting method thereof. Furthermore, the present invention also includes a program for causing a control device constituting the picking system to function as a computer, and a storage medium storing the program.
  • FIG. 1 is an external view of a picking system in an embodiment of the present invention. It is a functional block diagram of a control device in one embodiment of the present invention.
  • FIG. 1 is a hardware configuration diagram of a control device in an embodiment of the present invention.
  • FIG. 3 is a diagram showing handling information used in an embodiment of the present invention.
  • FIG. 2 is a diagram schematically showing reliability data used in an embodiment of the present invention.
  • FIG. 3 is a diagram showing history information used in an embodiment of the present invention.
  • FIG. 3 is a diagram showing hardware information used in an embodiment of the present invention. It is a figure showing article characteristic information used in one embodiment of the present invention. 3 is a flowchart illustrating processing contents of an embodiment of the present invention.
  • FIG. 1 is an external view of a picking system 1 in this embodiment.
  • a picking system 1 includes a control device 2, a picking robot 3, and a sensor 4. Further, in the vicinity of the picking system 1, a pick source container 5 and a pick destination container 6 loaded with articles 7-1 to be picked are provided. Then, the picking robot 3 moves the article 7-1 from the pick source container 5 to the pick destination container 6. As a result, the article 7-2 is loaded into the pick destination container 6.
  • the picking robot 3 executes a picking operation, that is, grasps and moves the article 7-1, in accordance with a control signal generated by the control device 2 based on image data of the article 7-1 photographed by the sensor 4. do.
  • control device 2 is connected to the picking robot 3 and the sensor 4 via a communication path 8.
  • the control device 2 will be explained below. Note that in the following, when the before and after movement of the article is not distinguished, it is expressed as article 7, and when it is to be distinguished, before and after the movement are expressed as article 7-1 and article 7-2, respectively.
  • control device 2 can be realized by a so-called computer having a main body 20, a display 21, and an input device 22.
  • the main body 20 has a function for controlling the picking robot 3.
  • the functions of the control device 2 will be described below, focusing on the main body 20.
  • FIG. 2 is a functional block diagram of the control device 2 in this embodiment.
  • the control device 2 includes a main body 20, a display 21, and an input device 22.
  • the main body part 20, which is the main part in this embodiment, includes an input part 201, an element reliability evaluation part 207, a recognition parameter estimation part 208, a grasping position estimation part 209, an object surface extraction part 210, and a reliability calculation part 211. , a control signal generation section 212, an output section 213, and a storage section 216.
  • the input unit 201 receives information and data used for creating control signals and the like.
  • the input section 201 includes an image data input section 202, an article characteristic information input section 203, a handling information input section 204, a hardware information input section 205, and a change instruction input section 206.
  • the image data input unit 202 receives input of image data captured by the sensor 4.
  • This image data includes an image of the article 7.
  • This image data takes the form of, for example, a grayscale image, an RGB image, a depth image, a three-dimensional point group, or the like.
  • the article characteristic information input unit 203 receives article characteristic information 292 regarding the characteristics of the article 7. Furthermore, the handling information input unit 204 receives handling information 287 indicating handling conditions. Further, the hardware information input unit 205 receives hardware information 291 indicating the characteristics of the picking robot 3. The change instruction input unit 206 receives change instructions for modifying or changing the handling information 287. This concludes the explanation of the input section 201.
  • the element reliability evaluation unit 207 evaluates the element reliability of each physical element in the article 7 regarding gripability, in other words, ease of gripping. That is, the element reliability evaluation unit 207 calculates element reliability indicating an index of graspability for each physical element. Furthermore, the recognition parameter estimating unit 208 estimates recognition parameters used in estimating the grip position. Furthermore, the gripping position estimating unit 209 estimates the gripping position of the article 7-1 by the picking robot 3 based on a plurality of element reliabilities.
  • the article surface extraction section 210 extracts the surface portion of the article 7-1 from the image data received by the image data input section 202.
  • the article surface extraction unit 210 has an article recognition function, and the control device 2 can also function as an article recognition device. The surface segment extracted in this way may be used to estimate the gripping position.
  • the reliability calculation unit 211 calculates the reliability regarding the gripability of the article 7-1 itself based on the element reliability. At this time, it is preferable that the reliability calculation unit 211 uses a weight parameter indicating the importance of each element reliability as a recognition parameter. Further, it is preferable that the reliability calculation unit 211 calculates the reliability regarding the gripability of the article 7-1 itself by integrating a plurality of element reliability. Here, integration includes calculating a total sum. Furthermore, the control signal generation unit 212 generates a control signal for controlling the picking operation of the picking robot 3 based on the gripping position estimated by the gripping position estimating unit 209. Note that it is desirable that the control signal includes the estimated gripping position.
  • the output section 213 includes a grip position output section 214 and a display data output section 215.
  • the gripping position output unit 214 outputs at least the estimated gripping position to the picking robot 3.
  • the gripping position output unit 214 may be configured to output the gripping position by outputting the generated control signal to the picking robot 3.
  • the display data output unit 215 outputs various information to be displayed on the display 21 to the display 21. This display content will be explained later.
  • the storage unit 216 stores information and data used in processing in each of the above-mentioned units. These information and data will be explained later.
  • the input device 22 accepts user operations, and the input unit 201 accepts operation details.
  • the input unit 201 is also connected to the storage unit 216 and can receive information and data.
  • the display 21 displays various information output by the display data output section 215.
  • the display 21 can be realized by a CRT display, an LCD (Liquid Crystal Display), an organic EL (Electro-Luminescence) display, or the like.
  • the input device 22 can be realized by a pointing device such as a touch panel, a keyboard, or a mouse. Therefore, the display 21 and the input device 22 may be configured in common, such as a touch panel. This concludes the description of FIG. 2, and one implementation example of the control device 2 will now be described.
  • FIG. 3 is a hardware configuration diagram of the control device 2 in this embodiment.
  • the control device 2 is realized by a computer.
  • the control device 2 includes a display 21, an input device 22, a CPU 23, a RAM 24, a communication device 26, a ROM 25, a media reading device 27, and an auxiliary storage device 28. Since the display 21 and the input device 22 have already been explained, the other configurations will be explained below.
  • the CPU 23 Central Processing Unit
  • the CPU 23 executes various processes by executing the picking robot control program 280 loaded from the auxiliary storage device 28 into the RAM 24 . Note that these various processes correspond to the processes in the element reliability evaluation unit 207 to control signal generation unit 212 in FIG. 2, and details thereof will be described later using a flowchart.
  • the picking robot control program 280 is, for example, an application program executable on an OS (Operating System) program.
  • the picking robot control program 280 includes an element reliability evaluation module 281, a recognition parameter estimation module 282, a grasping position estimation module 283, an article surface extraction module 284, a reliability calculation module 285, and a control signal creation module 286.
  • the processing using each of these modules corresponds to the processing in the element reliability evaluation unit 207 to control signal generation unit 212 in FIG. 2, respectively.
  • the picking robot control program 280 is composed of a plurality of modules for each function, but it may be realized by a plurality of independent programs for each function.
  • the picking robot control program 280 may be installed in the auxiliary storage device 28 from a portable storage medium via the media reading device 27, for example. That is, the picking robot control program 280 can be stored in a storage medium. Note that the CPU 23 may execute processing according to a program other than the picking robot control program 280. In this case, it is desirable to store this program in the auxiliary storage device 28.
  • the RAM 24 Random Access Memory
  • the ROM 25 Read Only Memory
  • the communication device 26 is connected to the picking robot 3 and the sensor 4 via the communication path 8 .
  • the communication channel 8 can be realized by a network such as a LAN (Local Area Network) or the Internet.
  • the communication device 26 functions not only as the input section 201 and the output section 213 in FIG. 2 but also as an interface connected to the display 21 and the input device 22.
  • the media reading device 27 can be realized by a device that reads information from a portable storage medium such as a flash memory or a CD-ROM.
  • the auxiliary storage device 28 can be realized by, for example, an HDD (Hard Disk Drive), and is a device that stores data and programs for executing various processes.
  • HDD Hard Disk Drive
  • the auxiliary storage device 28 may be realized by an SSD (Solid State Drive) using a flash memory or the like.
  • the RAM 24, ROM 25, and auxiliary storage device 28 correspond to the storage section 216 in FIG.
  • the auxiliary storage device 28 stores the above-mentioned picking robot control program 280 and the following various information and data. That is, the auxiliary storage device 28 stores handling information 287, reliability data 288, recognition parameters 289, history information 290, hardware information 291, and article characteristic information 292. Each of these pieces of information and data will be explained below.
  • FIG. 4 is a diagram showing handling information 287 used in this embodiment.
  • the handling information 287 is information indicating handling conditions regarding picking work for the article 7, that is, movement and gripping.
  • the handling conditions are defined separately for picking time, collision, speed, and accuracy.
  • time indicates time related to picking work.
  • the time used is "pick-place” and "until place operation.”
  • “Pick-Place” indicates the time from when the article 7-1 is gripped by the pick-source container 5 to when it is placed in the pick-destination container 6.
  • "Until place operation” indicates the time from when the picking robot 3 is activated until it starts moving.
  • collision is an item related to collision during picking work.
  • collision probability and “margin for collision determination” are used as the collision.
  • the “collision probability” indicates the probability of collision between the article 7 and the picking robot 3 during the picking operation.
  • the “margin for collision determination” indicates the reference distance of the object to be collided when determining a collision.
  • the speed refers to the speed of the picking robot 3 and the articles 7 that move along with the picking robot 3 during the picking operation.
  • maximum speed and “maximum acceleration” are used as the speed.
  • Maximum speed indicates the maximum speed of the picking robot 3 and the article 7 during picking work.
  • maximum acceleration indicates the maximum acceleration of the picking robot 3 and the article 7 during the picking operation.
  • accuracy refers to accuracy in picking work.
  • device is used as the accuracy. This deviation includes the actual deviation from the target position in the operation of the picking robot 3, for example, the gripping position or the placement position of the article 7-2.
  • standards for the degree of consideration of each item are recorded as handling conditions.
  • a numerical value is recorded as a standard for "large,” “medium,” and “small.”
  • the degree of consideration is shown as “large” if T1>, “medium” if T1 to T2, and “small” if T2 ⁇ . Note that the degree of consideration for each item and its criteria are optional items and can be omitted.
  • Reliability data 288 is data indicating an index of grippability, and indicates the value of the index at each position of the image data. Note that the position here can be a pixel of image data.
  • the reliability data 288, for example, a two-dimensional heat map image representing the degree of flatness of each pixel for the image data to be processed can be used.
  • FIG. 5 is a diagram schematically showing reliability data 288 used in this embodiment.
  • the reliability data 288 is data such as a heat map image, but in order to understand this embodiment, in FIG. 5, the value of the index at each position of the image data of each article is schematically shown. is shown as a scalar value. As shown in FIG.
  • the reliability data 288 of this embodiment includes physical elements such as flatness, distance from the geometric center, height, normal, surface overlap, surface shape, and surface normal. It is sufficient if the value of the index at each position can be specified. However, these are just examples, and some or other items may be used. Furthermore, the "geometric center" in the “distance from the geometric center” is defined for each position of the image data to be subjected to reliability calculation with respect to the article surface to which it belongs. The article surface here is calculated by the article surface extraction section 210.
  • the recognition parameter 289 is a parameter used to estimate the grip position. Note that calculation of the recognition parameter 289 will be described later using a flowchart.
  • FIG. 6 is a diagram showing history information 290 used in this embodiment.
  • the history information 290 is information indicating whether or not the above-mentioned handling conditions were satisfied in past picking operations, that is, in gripping and moving the article 7.
  • the history information 290 of this embodiment indicates which degree of handling conditions were satisfied in past picking operations. Furthermore, in this embodiment, the time when the picking operation was performed is also recorded.
  • FIG. 7 is a diagram showing hardware information 291 used in this embodiment.
  • the hardware information 291 is information indicating the characteristics of the picking robot 3.
  • performance in picking work is used as the feature of the hardware information 291.
  • the size and gripping force of the hand are used as the performance.
  • FIG. 8 is a diagram showing article characteristic information 292 used in this embodiment.
  • the article characteristic information 292 is information regarding the characteristics of the article 7.
  • the article characteristic information 292 includes items such as flexibility, strength, weight, and shape of the article. However, these are just examples, and a part of them or other items may be used.
  • the picking robot 3 grasps the article 7-1 in the pick source container 5 and moves it to the pick destination container 6 in accordance with a control signal from the control device 2.
  • the picking robot 3 has a hand that grips the article 7-1.
  • the gripping method includes, for example, sucking the article 7-1, grasping it, and pinching it. Then, by operating the arm of the picking robot 3, the article 7-1 gripped by the hand is moved to the pick destination container 6.
  • the senor 4 photographs the vicinity of the pick source container 5 as shown by the broken line in FIG. 1, and acquires photographic data.
  • the article 7-1 is also photographed by the sensor 4. Therefore, the sensor 4 can be implemented by a device such as a camera that can acquire image data that allows confirmation of the shape of the article 7-1.
  • the pick source container 5 is loaded with articles 7-1 to be picked. Further, the article 7-2 moved from the pick source container 5 is loaded into the pick destination container 6. Note that the installation location of the articles 7-1 and 7-2 is not limited to the container. For example, it may be a loading platform or a shelf of a transport vehicle.
  • FIG. 9 is a flowchart showing the processing contents of this embodiment. Note that the following processing of the control device 2 will be explained using each section shown in FIG. 2 as the processing main body.
  • step S1 the grip position estimation unit 209 of the control device 2 determines whether the handling conditions in the handling information 287 have been changed.
  • the grip position estimating unit 209 may detect, for example, that the handling information 287 in the storage unit 216 has been changed, or may detect that a change instruction has been received by the change instruction input unit 206. good.
  • the processing main body in step S1 may be executed by another configuration such as the recognition parameter estimation unit 208, or may be executed by the input unit 201.
  • step S2 the handling information input unit 204 acquires handling information 287 including the changed handling conditions.
  • the recognition parameter estimation unit 208 estimates recognition parameters based on the acquired handling information 287.
  • the recognition parameter estimating unit 208 can calculate the recognition parameter using a predetermined formula using the degree of handling condition of the handling information 287 as a variable.
  • step S4 the image data input unit 202 acquires image data from the sensor 4. That is, image data is captured by the sensor 4 and includes the article 7-1. Note that the image data may be accumulated in the storage unit 216, and the element reliability evaluation unit 207 that executes step S5, which will be described later, may take in the accumulated image data.
  • the element reliability evaluation unit 207 evaluates (calculates) the reliability of a plurality of elements of the article 7-1 based on the acquired image data.
  • the element reliability is an index of the grippability of each physical element at each position (pixel) of the article 7-1.
  • the article surface extraction unit 210 performs image processing such as image recognition on the image data, identifies the article 7-1, and extracts physical elements of the article 7-1 such as surfaces. do.
  • the element reliability evaluation unit 207 estimates a numerical value for the physical element at each position (pixel) in the article 7-1. For example, a numerical value of flatness is estimated.
  • the element reliability evaluation unit 207 evaluates the index (value) according to the specified numerical value, that is, the element reliability. As a result, the element reliability evaluation unit 207 accumulates the element reliability as an index (value) of the reliability data 288 in the storage unit 216.
  • the reliability calculation unit 211 and the recognition parameter estimation unit 208 calculate an article reliability indicating the graspability of the article 7-1 itself using the plurality of element reliability evaluated in step S5. do.
  • recognition parameters are specified according to user specifications.
  • the recognition parameter estimation unit 208 displays an input screen for the degree of consideration of handling conditions on the display 21 via the display data output unit 215.
  • FIG. 10 is a diagram showing a screen 2100 of the display 21 when inputting the degree of consideration in this embodiment.
  • a slider is displayed in which the degree of consideration can be input for each specification of picking work related to handling conditions ("no collisions", “conveyance time”, “stacking accuracy").
  • the recognition parameter estimation unit 208 specifies a numerical value according to the position of the slider. Further, the recognition parameter estimation unit 208 may change the numerical values of other specifications according to the movement of the slider. For example, if "no collision” is given more importance (moved to the right), the values for "transport time” and “stacking accuracy” are reduced by that amount. As a result, the weight of each specification can be balanced. Further, as shown in FIG. 10, it is desirable to display the slider to be moved separately from other sliders.
  • the recognition parameter estimation unit 208 calculates a weight parameter, that is, a recognition parameter, based on the weight according to the slider. Then, in the process (2), the element reliability of the physical element is multiplied by the calculated recognition parameter value and the sum is calculated, thereby calculating the article reliability in step S6.
  • the recognition parameter estimation unit 208 can be constructed as a parameter estimator. For this reason, the recognition parameter estimation unit 208 can be constructed by machine learning, that is, the accuracy can be improved. First, the value of the recognition parameter and the degree to which handling conditions are satisfied in the movement operation at the estimated gripping point are recorded. Further, a sufficient amount of the combinations for learning is prepared and used as learning data for the recognition parameter estimating unit 208. Then, for example, by learning the neural network, the relationship between the recognition parameters and the handling information 287 is reflected in the recognition parameter estimation section. As described above, a cycle of estimating the gripping position, collecting learning data, performing a picking operation, and learning a model using the learning data is executed, and the recognition parameter estimation unit 208 can be constructed.
  • the recognition parameter estimation unit 208 can also be constructed manually. If the graspability index is heuristic, the influence of the index on the handling conditions can be easily understood, and the recognition parameter estimation unit 208 can be manually performed. The contents will be explained below.
  • the higher the degree of flatness of the gripping position the greater the suction force of the gripped article, and the faster the conveyance becomes possible.
  • you want to tighten the speed constraints increase the flatness recognition parameter.
  • the higher the height of the gripping position the lower the possibility that the article 7-1 will be below another article, and the lower the possibility of collision. Therefore, if you want to tighten the collision constraints, increase the height recognition parameter.
  • the gripping position estimating unit 209 determines the gripping position of the picking robot 3 with respect to the article 7-1 based on the plurality of element reliabilities, for example, using the article reliability calculated from the plurality of element reliabilities. Estimate. At this time, the gripping position estimation unit 209 estimates the gripping position based on the article reliability at each position of the article 7-1. For example, the position with the highest article reliability is estimated as the gripping position.
  • the position in this embodiment is not limited to a point (coordinates) on the article 7-1, but preferably covers a certain area. In particular, it is desirable that the area corresponds to the size of the hand of the picking robot 3. For example, this area includes a hand attraction area.
  • FIG. 11 is a diagram showing a screen 2100 of the display 21 that displays the gripping position and article reliability in this embodiment.
  • image data A to D of each of the plurality of articles 7-1 are displayed on a screen 2100.
  • the product reliability value is shown as a gradation. In other words, the darker the color, the higher the product reliability.
  • the gripping position estimated in this step is clearly shown in the image data A.
  • a configuration may be adopted in which the reliability of the article at the position specified by the input device 22 is displayed. An example of this is shown in image data B in FIG.
  • control signal creation unit 212 creates a control signal that includes the grip position estimated in step S7.
  • control signal may be created when a confirmation instruction is received on the screen 2100 shown in FIG. 11 using the user's input device 22.
  • step S9 the grip position output unit 214 having a control signal output function outputs the created control signal to the picking robot 3.
  • the picking robot 3 performs a picking operation on the article 7-1 according to the control signal. That is, the picking robot 3 moves its own hand to the estimated gripping position and grips the article.
  • FIG. 12 is a list showing the concept of reliability in this embodiment.
  • the feature refers to a feature related to graspability in the corresponding physical element.
  • the information shown in FIG. 12 may be stored in the storage unit 216 and used to estimate the gripping position.
  • FIG. 13 is a diagram showing a modification of this embodiment.
  • the control device 2 is implemented as a so-called server, and controls a plurality of picking robots 3-1 and 3-2.
  • the control device 2 and the picking robots 3-1 and 3-2 are connected via a communication path 8.
  • sensors 4-1 and 4-2 for photographing objects to be picked by the picking robots 3-1 and 3-2 are also connected to the communication path 8.
  • a terminal device 10 and a tablet terminal 11 are provided in place of the display 21 and the input device 22.
  • the terminal device 10 and the tablet terminal 11 can be realized by a computer such as a so-called PC, tablet, or smartphone operated by a user. In these cases, a screen 2100 shown in FIGS. 10 and 11 is displayed.
  • the database 9 accumulates history information 290, hardware information 291, and article characteristic information 292.
  • the information sent out from the control device 2 is not limited to these.
  • the database 9 may be omitted and this information may be stored in the control device 2.
  • the handling information 287 may be changed in accordance with a change instruction to the change instruction input section 206.
  • the change instruction input unit receives a change instruction to the input device 22 or a change instruction to the terminal device 10 or tablet terminal 11 via the communication device 26, and makes the change.
  • handling information 287 information from the sensor 4, for example, a visual sensor, that grasps the situation of the picking source, place destination (picking destination), etc. can also be used. Furthermore, the handling information 287 can also be changed using information from a system that manages the entire operating location of the picking robot 3. Note that a warehouse can be exemplified as an operational location, and a WCS (warehouse management system) can be used as the system.
  • WCS warehouse management system
  • control device 2 may be realized by hardware such as a dedicated circuit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

形状モデル照合が困難であっても、ハンドリング条件を満たしやすい把持位置を推定すること。物品７を把持し、移動させるピッキングロボット３と、ピッキングロボット３を制御する制御装置２を有し、制御装置２は、センサ４で取得された物品７の画像データを受け付ける画像入力部と、画像データに基づいて、物品７の物理的要素ごとの把持可能性の指標を示す複数の要素信頼度を評価する要素信頼度評価部と、複数の要素信頼度に基づいて、ピッキングロボット３の７物品に対する把持位置を推定する把持位置推定部と、把持位置で把持される物品７の移動および把持に関するハンドリング条件を示すハンドリング情報を受け付けるハンドリング情報入力部と、ハンドリング情報に基づいて、把持位置推定部での把持位置の推定で用いられる認識パラメータを推定する認識パラメータ推定部を有するピッキングシステム１。

Description

ピッキングシステム
　本発明は、ピッキングロボットを用いた、ピッキング対象（物品）に対するピッキング作業を実行するための技術に関する。その中でも特に、ピッキングロボットによるピッキング対象への把持位置を推定するための技術に関する。
　物流現場や生産現場などでは、物流や生産の一工程として、物品の移動、搬送を行うことがなされている。例えば、近年、物流倉庫などの物流現場において、保管した多数の物品の中から、指定された特定の物品を取り出すピッキング作業を、ピッキングロボットを使用して行われている。ピッキング作業においては、ピッキングロボットの把持位置を推定することが必要である。
　把持位置を推定するための技術として、特許文献１が提案されている。特許文献１では、「物体において把持装置に把持させる把持位置を精度よく決定する」ことを課題とする。このために、特許文献１には「物体を被写体として含む画像を取得する取得部（１１１）と、画像を入力とする推測モデル（２２１）を用いて、物体の複数の把持候補位置を推測する推測部（１１２）と、複数の把持候補位置を参照して、把持装置（３０）に物体を把持させる把持位置を決定する決定部（１１３）と、を備える」把持システム（１）が開示されている。
特開2022-21147号公報
　ピッキング作業では、単に把持の成否だけでなく、ピッキング作業の正確性、安全性の確保や効率化を考慮する必要がある。例えば、ピッキング対象に対する疵の防止、積み付けの精度向上や素早い搬送の実現が望まれている。これらの実現のためには、ピッキングロボットの把持の条件を示すハンドリング条件が重要となる。さらに、これらを実現するハンドリング条件を満たすピッキング作業の実現は、ピッキングロボットの把持位置に左右される。このため、ハンドリング条件を満たしやすい把持位置を推定することが求められる。
　ここで、形状モデル照合を用いられる場合は、形状モデルに複数の把持位置を予め設定し、ハンドリング条件に応じて切り替えることができる。しかし、形状モデル照合が困難な状況ではそのように把持位置を予め教示しておくことができない。このため、ハンドリング条件に応じた後処理の追加は知られているが、関係するパラメータの人手での調整工数が膨大となる。
　そこで、本発明では、形状モデル照合が困難ないしできない場合であっても、ハンドリング条件を満たしやすい把持位置を推定することを課題とする。
　上記の課題を解決するために、本発明では、ハンドリング条件を示すハンドリング情報に基づいて、把持位置を推定するために用いられる認識パラメータを推定する。より具体的には、ピッキング対象である物品に対して、ピッキング作業を実現するピッキングシステムにおいて、前記物品を把持し、移動させるピッキングロボットと、前記ピッキングロボットを制御する制御装置を有し、前記制御装置は、センサで取得された前記物品の画像データを受け付ける画像入力部と、前記画像データに基づいて、前記物品の物理的要素ごとの把持可能性の指標を示す複数の要素信頼度を評価する要素信頼度評価部と、前記複数の要素信頼度に基づいて、前記ピッキングロボットの前記物品に対する把持位置を推定する把持位置推定部と、前記把持位置で把持される前記物品の移動および把持に関するハンドリング条件を示すハンドリング情報を受け付けるハンドリング情報入力部と、前記ハンドリング情報に基づいて、前記把持位置推定部での把持位置の推定で用いられる認識パラメータを推定する認識パラメータ推定部を有し、前記ピッキングロボットは、前記制御装置で推定された前記把持位置を用いて動作するピッキングシステムである。
　また、本発明には、ピッキングシステムを構成する装置やこれらの一部の組合せであるサブシステムも含まれる。さらに、本発明には、これらを用いたピッキング方法やその支援方法も含まれる。またさらに、ピッキングシステムを構成する制御装置をコンピュータとして機能させるためのプログラムやこれを格納した記憶媒体も本発明に含まれる。
　本発明によれば、形状モデル照合が困難ないしできない場合であっても、ピッキング作業におけるハンドリング条件を満たしやすい把持位置を推定することが可能となる。
本発明の一実施形態におけるピッキングシステムの外観図である。 本発明の一実施形態における制御装置の機能ブロック図である。 本発明の一実施形態における制御装置のハードウェア構成図である。 本発明の一実施形態で用いられるハンドリング情報を示す図である。 本発明の一実施形態で用いられる信頼度データを模式的に示す図である。 本発明の一実施形態で用いられる履歴情報を示す図である。 本発明の一実施形態で用いられるハードウェア情報を示す図である。 本発明の一実施形態で用いられる物品特性情報を示す図である。 本発明の一実施形態の処理内容を示すフローチャートである。 本発明の一実施形態における重みを入力する際のディスプレイの画面を示す図である。 本発明の一実施形態における把持位置や物品信頼度を表示するディスプレイの画面を示す図である。 本発明の一実施形態における信頼度の考え方を示す一覧表である。 本発明の一実施形態における変形例を示す図である。
　以下、本発明の一実施形態を、図面を用いて説明する。本実施形態では、コンテナに積まれた物品を把持し、他のコンテナに移動するピッキングシステムを例として説明する。
なお、本実施形態は、倉庫等の物流拠点、工場等に適用できるが、その場所は限定されない。
　まず、図１は、本実施形態におけるピッキングシステム１の外観図である。図１において、ピッキングシステム１は、制御装置２、ピッキングロボット３およびセンサ４を有する。また、ピッキングシステム１の近傍には、ピッキング対象である物品７－１が積み込まれたピック元コンテナ５およびピック先コンテナ６が設けられる。そして、ピッキングロボット３が、物品７－１を、ピック元コンテナ５からピック先コンテナ６へ移動する。
この結果、ピック先コンテナ６に、物品７－２が積み込まれる。ここで、ピッキングロボット３は、センサ４で撮影された物品７－１の画像データに基づき、制御装置２で作成される制御信号に従って、ピッキング作業、つまり、物品７－１の把持および移動を実行する。このために、制御装置２は、ピッキングロボット３およびセンサ４と、通信路８を介して接続している。以下、各装置について説明する。なお、以下では、物品の移動前後を区別しない場合、物品７と表現し、区別する場合、移動前後でそれぞれ物品７－１、物品７－２と表現する。
　まず、制御装置２は、本体部２０、ディスプレイ２１および入力デバイス２２を有するいわゆるコンピュータで実現できる。本体部２０は、ピッキングロボット３を制御するための機能を有する。以下、本体部２０を中心に、制御装置２の機能について説明する。
　図２は、本実施形態における制御装置２の機能ブロック図である。図２においても、制御装置２は、本体部２０、ディスプレイ２１および入力デバイス２２を有する。そして、本実施形態での主要部である本体部２０は、入力部２０１、要素信頼度評価部２０７、認識パラメータ推定部２０８、把持位置推定部２０９、物品面抽出部２１０、信頼度算出部２１１、制御信号作成部２１２、出力部２１３および記憶部２１６を有する。
　また、入力部２０１は、制御信号の作成等のために用いられる情報、データを受け付ける。このために、入力部２０１は、画像データ入力部２０２、物品特性情報入力部２０３、ハンドリング情報入力部２０４、ハードウェア情報入力部２０５および変更指示入力部２０６を有する。ここで、画像データ入力部２０２は、センサ４で撮影された画像データの入力を受け付ける。この画像データには、物品７の画像が含まれる。この画像データは、例えば、グレースケール画像、ＲＧＢ画像、Ｄｅｐｔｈ画像、３次元点群などの形式をとる。
　また、物品特性情報入力部２０３は、物品７の特性に関する物品特性情報２９２を受け付ける。また、ハンドリング情報入力部２０４は、ハンドリング条件を示すハンドリング情報２８７を受け付ける。また、ハードウェア情報入力部２０５は、ピッキングロボット３の特徴を示すハードウェア情報２９１を受け付ける。変更指示入力部２０６は、ハンドリング情報２８７を修正、変更するための変更指示を受け付ける。以上で、入力部２０１の説明を終わる。
　次に、要素信頼度評価部２０７は、物品７における物理的要素ごとの把持可能性、言い換えると、把持の容易性についての要素信頼度を評価する。つまり、要素信頼度評価部２０７は、物理的要素ごとの把持可能性の指標を示す要素信頼度を算出する。また、認識パラメータ推定部２０８は、把持位置の推定で用いられる認識パラメータを推定する。また、把持位置推定部２０９は、複数の要素信頼度に基づいて、ピッキングロボット３での物品７－１に対する把持位置を推定する。
　また、物品面抽出部２１０は、画像データ入力部２０２で受け付けられた画像データから、物品７－１の面部分を抽出する。つまり、物品面抽出部２１０は、物品認識機能を有することになり、制御装置２は物品認識装置として機能することも可能である。このようにして抽出された面分を把持位置の推定に用いてもよい。
　また、信頼度算出部２１１は、要素信頼度に基づいて、物品７－１自体の把持可能性に関する信頼度を算出する。この際、信頼度算出部２１１は、要素信頼度ごとの重要性を示す重みパラメータを認識パラメータとして用いることが望ましい。さらに、信頼度算出部２１１は、複数の要素信頼度を統合して、物品７－１自体の把持可能性に関する信頼度を算出することが望ましい。ここで、統合とは、総和を算出することが含まれる。また、制御信号作成部２１２は、把持位置推定部２０９で推定される把持位置に基づき、ピッキングロボット３のピッキング作業を制御するための制御信号を作成する。なお、制御信号には、推定された把持位置が含まれることが望ましい。
　次に、出力部２１３は、把持位置出力部２１４および表示データ出力部２１５を有する。まず、把持位置出力部２１４は、少なくとも推定された把持位置をピッキングロボット３に出力する。なお、把持位置出力部２１４は、作成された制御信号をピッキングロボット３に出力することで、把持位置を出力する構成としてもよい。また、表示データ出力部２１５は、ディスプレイ２１に、当該ディスプレイ２１で表示する各種情報を出力する。
この表示内容については、追って説明する。また、記憶部２１６は、上述の各部での処理で用いられる情報、データを蓄積する。これらの情報、データについては追って説明する。
　また、入力デバイス２２は、ユーザの操作を受け付け、入力部２０１が操作内容を受け付ける。なお、入力部２０１は、記憶部２１６とも接続し、情報、データを受け付けることができることが望ましい。また、ディスプレイ２１は、表示データ出力部２１５で出力する各種情報を表示する。このために、ディスプレイ２１は、ＣＲＴディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどで実現できる。さらに、入力デバイス２２は、タッチパネル、キーボードやマウスといったポインティングデバイスで実現できる。このため、ディスプレイ２１および入力デバイス２２は、タッチパネルのように共通化して構成してもよい。以上で、図２の説明を終わるが、続いて制御装置２の一実装例を説明する。
　図３は、本実施形態における制御装置２のハードウェア構成図である。本実施形態では、制御装置２をコンピュータで実現する。図３において、制御装置２は、ディスプレイ２１、入力デバイス２２、ＣＰＵ２３、ＲＡＭ２４、通信装置２６、ＲＯＭ２５、メディア読取装置２７および補助記憶装置２８を有する。ディスプレイ２１および入力デバイス２２については、説明済のため、以下、他の構成について説明する。
　まず、ＣＰＵ２３（Central Processing Unit）は、いわゆるプロセッサで実現でき、各種演算を実行するユニットである。ＣＰＵ２３は、補助記憶装置２８からＲＡＭ２４にロードしたピッキングロボット制御プログラム２８０を実行することにより、各種処理を実行する。なお、これら各種処理は、図２の要素信頼度評価部２０７～制御信号作成部２１２での処理に該当し、その詳細については、フローチャートを用いて後述する。
　ここで、ピッキングロボット制御プログラム２８０は、例えば、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）プログラム上で実行可能なアプリケーションプログラムである。そして、ピッキングロボット制御プログラム２８０は、要素信頼度評価モジュール２８１、認識パラメータ推定モジュール２８２、把持位置推定モジュール２８３、物品面抽出モジュール２８４、信頼度算出モジュール２８５および制御信号作成モジュール２８６で構成される。これら各モジュールを用いた処理は、それぞれ図２の要素信頼度評価部２０７～制御信号作成部２１２での処理に相当する。なお、本実施形態では、ピッキングロボット制御プログラム２８０は、機能ごとの複数のモジュールで構成されるが、機能ごとの独立した複数のプログラムで実現してもよい。
　また、ピッキングロボット制御プログラム２８０は、例えば、メディア読取装置２７を介して可搬型記憶媒体から、補助記憶装置２８にインストールされてもよい。つまり、ピッキングロボット制御プログラム２８０は、記憶媒体に格納されることができる。なお、ＣＰＵ２３は、ピッキングロボット制御プログラム２８０以外のプログラムに従った処理を実行してもよい。この場合、補助記憶装置２８にこのプログラムを格納することが望ましい。
　また、ＲＡＭ２４（Random Access Memory）は、ピッキングロボット制御プログラム２８０等のＣＰＵ２３により実行されるプログラムや、プログラムの実行に必要なデータなどを格納するメモリである。また、ＲＯＭ２５（Read Only Memory）は、制御装置２の起動に必要なプログラム、ＯＳなどを格納するメモリである。また、通信装置２６は、通信路８を介して、ピッキングロボット３やセンサ４と接続される。なお、通信路８は、ＬＡＮ（Local Area Network）やインターネット等のネットワークで実現できる。なお、通信装置２６は、図２の入力部２０１や出力部２１３として機能する他、ディスプレイ２１や入力デバイス２２と接続するインターフェースとして機能することになる。
　また、メディア読取装置２７は、フラッシュメモリ、ＣＤ－ＲＯＭ等の可搬性を有する可搬型記憶媒体の情報を読み出す装置で実現できる。また、補助記憶装置２８は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などで実現でき、各種処理を実行するためのデータやプログラムを格納する装置である。
　また、補助記憶装置２８は、フラッシュメモリなどを用いたＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）で実現してもよい。なお、ＲＡＭ２４、ＲＯＭ２５および補助記憶装置２８が、図１の記憶部２１６に相当する。そして、補助記憶装置２８は、上述のピッキングロボット制御プログラム２８０および以下の各種情報、データを蓄積する。つまり、補助記憶装置２８は、ハンドリング情報２８７、信頼度データ２８８、認識パラメータ２８９、履歴情報２９０、ハードウェア情報２９１および物品特性情報２９２を蓄積する。以下、これら各情報、データについて説明する。
　図４は、本実施形態で用いられるハンドリング情報２８７を示す図である。ハンドリング情報２８７は、物品７に対するピッキング作業、つまり、移動および把持に関するハンドリング条件を示す情報である。本実施形態では、ハンドリング条件を、ピッキング作業の時間、衝突、速度および精度の各項目に分けて定義する。ここで、時間は、ピッキング作業に関する時間を示す。そして、本実施形態では、時間として、「ピック－プレイス」および「プレイス動作まで」の時間が用いられる。「ピック－プレイス」は、物品７－１をピック元コンテナ５で把持してからピック先コンテナ６へ配置するまでの時間を示す。
「プレイス動作まで」は、ピッキングロボット３の起動から移動を開始するまでの時間を示す。
　また、衝突とは、ピッキング作業での衝突に関する項目である。そして、本実施形態では、衝突として、「衝突確率」および「衝突判定の際のマージン」が用いられる。「衝突確率」とは、ピッキング作業中における物品７やピッキングロボット３の衝突の確率を示す。また、「衝突判定の際のマージン」は、衝突と判定する際の衝突対象の物体の基準距離を示す。
　また、速度とは、ピッキング作業におけるピッキングロボット３やこれに付随して移動する物品７の速度を示す。本実施形態では、速度として、「最高速度」および「最高加速度」が用いられる。「最高速度」とは、ピッキング作業におけるピッキングロボット３や物品７の最高速度を示す。また、「最高加速度」とは、ピッキング作業におけるピッキングロボット３や物品７の最高加速度を示す。
　また、精度とは、ピッキング作業における精度を示す。本実施形態では、精度として、「ずれ」が用いられる。このずれには、ピッキングロボット３の動作における位置、例えば、把持位置や物品７－２の配置位置における目標と実際のずれが含まれる。
　なお、これら各項目はあくまでも一例であり、これらの一部を用いてもよいし、他の項目を用いてもよい。さらに、本実施形態では、ハンドリング条件として、各項目の考慮の度合いの基準を記録している。つまり、各項目について「大」「中」「小」ごとに、その基準となる数値が記録される。例えば、「ピック－プレイス」については、Ｔ１＞の場合は「大」、「Ｔ１～Ｔ２」の場合は「中」、Ｔ２＜の場合「小」と、との考慮度合いが示される。なお、各項目の考慮の度合いやその基準は選択的な項目であり、省略可能である。
　次に、本実施形態で用いられる信頼度データ２８８について説明する。信頼度データ２８８は、把持可能性の指標を示すデータであり、画像データの各位置におけるその指標の値を示す。なお、ここでの位置とは、画像データの画素を用いることができる。信頼度データ２８８は、例えば、処理対象の画像データに対して、各画素での平面度合いを表す２次元ヒートマップ画像を用いることができる。ここで、図５は、本実施形態で用いられる信頼度データ２８８を模式的に示す図である。上述のように、信頼度データ２８８は、ヒートマップ画像のようなデータであるが、図５では本実施形態の理解のために、各物品の画像データの各位置におけるその指標の値を模式的にスカラー値として示している。図５に示すように、本実施形態の信頼度データ２８８は、物理的要素（要素）として、平面度合い、幾何中心からの距離、高さ、法線、面重なり、面形状、面法線が用いられ、各位置におけるその指標の値を特定できればよい。但し、これらは一例であり、その一部を用いたり、他の項目を用いたりしてもよい。さらに、「幾何中心からの距離」における「幾何中心」とは、信頼度計算対象の画像データの各位置について、それが属する物品面に対して定義される。ここでの物品面というは物品面抽出部２１０で計算される。
　また、認識パラメータ２８９は、把持位置の推定に用いられるパラメータである。なお、認識パラメータ２８９の算出については、フローチャートを用いて後述する。
　次に、図６は、本実施形態で用いられる履歴情報２９０を示す図である。履歴情報２９０は、過去のピッキング作業、つまり、物品７の把持および移動において上述のハンドリング条件を満たしたどうかを示す情報である。本実施形態の履歴情報２９０では、過去のピッキング作業において、ハンドリング条件のいずれの度合いを満たしたかを示している。さらに、本実施形態では、ピッキング作業が実行された時期も記録される。
　次に、図７は、本実施形態で用いられるハードウェア情報２９１を示す図である。ハードウェア情報２９１は、ピッキングロボット３の特徴を示す情報である。本実施形態では、ハードウェア情報２９１の特徴として、ピッキング作業における性能を用いる。特に望ましくは上述したハンドリング条件に対応した動作時間、速度や精度の他、ハンドの大きさや把持力を、性能として用いられる。
　次に、図８は、本実施形態で用いられる物品特性情報２９２を示す図である。物品特性情報２９２は、物品７の特性に関する情報である。本実施形態では、図８に示すように、物品特性情報２９２として、物品の可撓性、強度、重量および形状の各項目を有する。但し、これらは一例であり、その一部を用いたり、他の項目を用いたりしてもよい。
　以上で、本実施形態で用いられる情報、データの説明を終わり、図１に戻り、本実施形態におけるピッキングシステム１の構成の説明を続ける。図１において、ピッキングロボット３は、制御装置２の制御信号に従って、ピック元コンテナ５の物品７－１を把持し、ピック先コンテナ６へ移動する。このために、ピッキングロボット３は、物品７－１を把持するハンドを有する。なお、ハンドでの把持方法は問わない。把持方法としては、例えば、物品７－１を吸着してもよいし、掴まえたり、挟み込んだりすることが含まれる。そして、ピッキングロボット３のアームが動作することにより、ハンドで把持された物品７－１がピック先コンテナ６に移動される。
　また、センサ４は、図１の破線で示すようなピック元コンテナ５の近傍を撮影し、撮影データを取得する。この結果、物品７－１もセンサ４で撮影されることになる。このため、センサ４は、カメラなど物品７－１の形状を確認できる画像データを取得できる装置で実現できる。
　また、図１において、ピック元コンテナ５には、ピッキング作業の対象となる物品７－１が積み込まれている。また、ピック先コンテナ６には、ピック元コンテナ５から移動された物品７－２が積み込まれる。なお、物品７－１や７－２の設置場所は、コンテナに限定されない。例えば、搬送車の荷台や棚などであってもよい。
　以上で、本実施形態の構成および情報、データの説明を終わり、次に、本実施形態での処理内容を説明する。図９は、本実施形態の処理内容を示すフローチャートである。なお、以下の制御装置２の処理については、処理主体として図２に示す各部を用いて説明する。
　まず、ステップＳ１において、制御装置２の把持位置推定部２０９が、ハンドリング情報２８７のハンドリング条件が変更されているかを判定する。このために、把持位置推定部２０９は、例えば、記憶部２１６のハンドリング情報２８７が変更されたことを検知してもよいし、変更指示入力部２０６で変更指示を受け付けたことを検知してもよい。この結果、ハンドリング条件が変更されている場合（Ｙｅｓ）、ステップＳ２に遷移する。また、ハンドリング条件が変更されていない場合（Ｎｏ）、ステップＳ４に遷移する。なお、ステップＳ１における処理主体は、認識パラメータ推定部２０８など他の構成で実行してもよいし、入力部２０１で実行してもよい。
　また、ステップＳ２において、ハンドリング情報入力部２０４が、変更されたハンドリング条件を含むハンドリング情報２８７を取得する。
　また、ステップＳ３において、認識パラメータ推定部２０８が、取得されたハンドリング情報２８７に基づいて、認識パラメータを推定する。例えば、認識パラメータ推定部２０８は、ハンドリング情報２８７のハンドリング条件の度合いを変数として、所定の計算式で認識パラメータを算出することができる。
　また、ステップＳ４において、画像データ入力部２０２が、センサ４から画像データを取得する。つまり、センサ４で撮影され、物品７－１を含む画像データが取得される。なお、画像データを記憶部２１６に蓄積しておき、後述のステップＳ５を実行する要素信頼度評価部２０７が、蓄積された画像データを取り込んでもよい。
　また、ステップＳ５において、要素信頼度評価部２０７が、取得された画像データに基づいて、物品７－１の複数の要素信頼度を評価（算出）する。要素信頼度は、物品７－１の各位置（画素）における物理的要素ごとの把持可能性の指標である。このために、事前処理として、物品面抽出部２１０が、画像データに対して画像認識の如き画像処理を施し、物品７－１を識別し、面などの物品７－１の物理的要素を抽出する。そして、要素信頼度評価部２０７が、物品７－１における各位置（画素）の物理的要素についての数値を推定する。例えば、平面度合いの数値が推定される。
　そして、要素信頼度評価部２０７は、特定された数値に応じた指標（値）、つまり、要素信頼度を評価する。この結果、要素信頼度評価部２０７は、要素信頼度を、記憶部２１６の信頼度データ２８８の指標（値）として蓄積する。
　また、ステップＳ６において、信頼度算出部２１１および認識パラメータ推定部２０８が、ステップＳ５で評価された複数の要素信頼度を用いて、物品７－１自体の把持可能性を示す物品信頼度を算出する。例えば、以下のように物品信頼度が算出される。
（１）認識パラメータ推定部２０８は、ハンドリング情報２８７を受け付け、これに基づき認識パラメータを算出し、これを出力する。なお、認識パラメータ推定部２０８は、後述のように機械学習により構築でき、より正確な認識パラメータを算出できるようになる。
（２）そして、信頼度算出部２１１は、認識パラメータを用いて、要素信頼度を統合して、物品信頼度を算出する。例えば、Σ（要素信頼度×認識パラメータ（重みパラメータ））＝物品信頼度として算出される。
　ここで、（１）で用いられる認識パラメータの特定方法について説明する。本実施形態では、認識パラメータをユーザの指定に応じて特定する。このために、認識パラメータ推定部２０８は、表示データ出力部２１５を介して、ディスプレイ２１にハンドリング条件の考慮度合いの入力画面を表示する。図１０は、本実施形態における考慮度合いを入力する際のディスプレイ２１の画面２１００を示す図である。画面２１００には、ハンドリング条件に関するピッキング作業の仕様（「ぶつけない」「搬送時間」「積み付け精度」）ごとに、考慮度合いを入力可能なスライダが表示される。
　このスライダに対して、ユーザが入力デバイス２２を用いて、その重要度も示す考慮度合いを指定する。つまり、スライダが右ほど重要視する。このために、認識パラメータ推定部２０８が、スライダの位置に応じた数値を特定する。また、認識パラメータ推定部２０８は、スライダの移動に応じて、他の仕様の数値を変更してもよい。例えば、「ぶつけない」を重要視（右に移動）した場合、「搬送時間」「積み付け精度」の数値をその分低下する。この結果、各仕様の重みのバランスを取ることができる。また、図１０に示すように、移動対象のスライダを、他のスライダと区別して表示することが望ましい。
　そして、認識パラメータ推定部２０８は、スライダに応じた重みに基づき、重みパラメータ、つまり、認識パラメータを算出する。そして、（２）の処理において、物理的要素の要素信頼度に、算出された認識パラメータ数値を掛け、その総和を計算することで、ステップＳ６の物品信頼度が算出されることになる。
　ここで、認識パラメータ推定部２０８については、パラメータ推定器として構築することができる。このために、認識パラメータ推定部２０８は、機械学習により構築、つまり、精度の向上を図ることができる。まず、認識パラメータの値と、その下で推定された把持点での移動作業におけるハンドリング条件の満たし具合いを記録する。また、その組み合わせを、学習に十分な量分用意して認識パラメータ推定部２０８の学習データとして用いる。そして、例えば、ニューラルネットワークの学習により、認識パラメータとハンドリング情報２８７の関係性を、認識パラメータ推定部に反映させる。以上により、把持位置の推定、学習データを収集、ピッキング作業の実行、学習データを用いたモデル学習のサイクルが実行され、認識パラメータ推定部２０８の構築が可能となる。
　さらに、認識パラメータ推定部２０８の構築は、人手で構築することも可能となる。把持可能性の指標がヒューリスティックなものであれば、指標のハンドリング条件に対する影響が分かりやすく、人手で認識パラメータ推定部２０８が可能となる。以下、その内容を説明する。
　例えば、把持位置の平面度合いが高いほど、把持物品の吸着力が大きくなり素早い搬送が可能となる。この場合、速度制約を厳しくしたい場合は、平面度合いの認識パラメータを大きくする。
　また、把持位置が物品面の中心付近ほど、把持物品の変形が少なくプレイス（搬送）の難易度が下がる。さらに、物品７－１がハンドから外れにくく素早い搬送が可能となる。
積み付け精度制約を厳しくしたい場合は、物品７－１の中心の認識パラメータを大きくする。さらに、時間制約を厳しくしたい場合は、物品７－１の中心の認識パラメータを大きくする。
　また、把持位置の高さが高いほど、物品７－１が他物品の下側に存在する可能性が下がり衝突する可能性が下がる。このため、衝突制約を厳しくしたい場合は、高さの認識パラメータを大きくする。
　また、把持位置の法線方向が鉛直に近いほど、物品７－１もしくはハンドがピック元コンテナ５やピック先コンテナ６に衝突する可能性が下がる。このため、衝突制約を厳しくしたい場合は、法線方向の認識パラメータを大きくする。
　また、ステップＳ７において、把持位置推定部２０９が、複数の要素信頼度に基づき、例えば、複数の要素信頼度から算出された物品信頼度を用いて、物品７－１に対するピッキングロボット３の把持位置を推定する。その際、把持位置推定部２０９は、物品７－１の各位置の物品信頼度に基づき、把持位置を推定する。例えば、物品信頼度が最も大きな位置を把持位置として推定される。なお、本実施形態の位置とは、物品７－１上の点（座標）に限定されずある程度の領域を有することが望ましい。特に、ピッキングロボット３のハンドの大きさに応じた領域であることが望ましい。例えば、この領域には、ハンドの吸着領域が含まれる。
　そして、望ましくは、把持位置推定部２０９が、表示データ出力部２１５を介して、ディスプレイ２１に、把持位置や物品信頼度を表示させる。図１１は、本実施形態における把持位置や物品信頼度を表示するディスプレイ２１の画面２１００を示す図である。図１１において、複数の物品７－１それぞれの画像データＡ～Ｄが画面２１００に表示されている。そして、各画像データＡ～Ｄには、物品信頼度の値がグラデーションとして示される。つまり、濃い色ほど物品信頼度が高いことを示す。そして、図１１では、画像データＡには、本ステップで推定された把持位置が明示される。さらに、入力デバイス２２で指定された位置の物品信頼度を表示する構成としてもよい。この例を、図１１の画像データＢに示す。
　また、ステップＳ８において、制御信号作成部２１２が、ステップＳ７で推定された把持位置を含む制御信号を作成する。なお、制御信号の作成は、ユーザの入力デバイス２２を用いて、図１１に示す画面２１００に対して確定指示を受け付けた場合に行ってもよい。
　そして、ステップＳ９において、制御信号出力機能を有する把持位置出力部２１４が、作成された制御信号を、ピッキングロボット３へ出力する。この結果、ステップＳ１０において、ピッキングロボット３が制御信号に従って、物品７－１に対してピッキング作業を実行する。つまり、ピッキングロボット３は、自身のハンドを推定された把持位置に移動し、物品を把持する。
　以上により、ハンドリング条件に応じた把持位置を推定でき、より正確で、効率的なピッキング作業を実行することが可能となる。このために、本実施形態では、信頼度（要素信頼度、物品信頼度）を用いて把持位置を推定している。そこで、この信頼度の考え方について簡単にまとめる。図１２は、本実施形態における信頼度の考え方を示す一覧表である。図１２では、物理的要素ごとに、その特徴が示される。特徴とは、対応する物理的要素における把持可能性に関する特徴を示す。このような信頼度の考え方を用いることにより、本実施形態では、状況、ニーズに応じたより適切な把持位置を推定できる。なお、本実施形態では、図１２に示す情報を、記憶部２１６に格納しておき、これを用いて把持位置を推定してもよい。
　次に、本実施形態の一変形例を説明する。図１では、ピッキングロボット３を１台記載しているが、ピッキングロボット３の台数は複数でもよい。また、ディスプレイ２１や入力デバイス２２を、制御装置２と別構成としてもよい。さらに、別途データベース９を設けてもよい。以上の変形例について、図１３に示す。図１３は、本実施形態における変形例を示す図である。本変形例では、制御装置２がいわゆるサーバで実現され、複数のピッキングロボット３－１、３－２の制御を行う。このため、制御装置２とピッキングロボット３－１、３－２が、通信路８を介して接続されている。また、ピッキングロボット３－１、３－２のピッキング対象を撮影するセンサ４－１、４－２も通信路８に接続されている。さらに、本変形例では、ディスプレイ２１や入力デバイス２２の代わりに、端末装置１０やタブレット端末１１が設けられる。端末装置１０やタブレット端末１１は、ユーザにより操作されるいわゆるＰＣ、タブレット、スマートフォンなどのコンピュータで実現できる。そして、これらでは、図１０や図１１に示す画面２１００が表示される。
　また、図１３において、データベース９は、履歴情報２９０、ハードウェア情報２９１および物品特性情報２９２を蓄積する。但し、制御装置２から外出しされる情報はこれらに限定されない。また、データベース９は省略し、これらの情報を制御装置２で蓄積してもよい。
　またさらに、本実施形態や変形例においては、変更指示入力部２０６に対する変更指示に応じてハンドリング情報２８７を変更する構成としてもよい。この場合、入力デバイス２２に対する変更指示や端末装置１０やタブレット端末１１に対し、通信装置２６を介しした変更指示を、変更指示入力部が受け付け、変更を行うことになる。
　また、ハンドリング情報２８７の変更としては、ピッキング元やプレイス先（ピッキング先）などの状況を把握するセンサ４、例えば、視覚センサからの情報を利用することもできる。さらに、ピッキングロボット３の運用場所全体を管理するシステムからの情報を利用して、ハンドリング情報２８７を変更することもできる。なお、運用場所としては、倉庫が例示でき、そのシステムとしてはＷＣＳ(倉庫管理システム)を用いることができる。
　以上で、本変形例の説明を終わるが、本発明はこの変形例や実施形態に限定されない。
例えば、制御装置２を専用回路等のハードウェアで実現してもよい。
１…ピッキングシステム、２…制御装置、２０…本体部、２１…ディスプレイ、２２…入力デバイス、２０１…入力部、２０２…画像データ入力部、２０３…物品特性情報入力部、２０４…ハンドリング情報入力部、２０５…ハードウェア情報入力部、２０６…変更指示入力部、２０７…要素信頼度評価部、２０８…認識パラメータ推定部、２０９…把持位置推定部、２１０…物品面抽出部、２１１…信頼度算出部、２１２…制御信号作成部、２１３…出力部、２１４…把持位置出力部、２１５…表示データ出力部、２１６…記憶部、３…ピッキングロボット、４…センサ、５…ピック元コンテナ、６…ピック先コンテナ、７…物品、８…通信路、９…データベース

Claims (8)

  1. 　ピッキング対象である物品に対して、ピッキング作業を実現するピッキングシステムにおいて、
    　前記物品を把持し、移動させるピッキングロボットと、
    　前記ピッキングロボットを制御する制御装置を有し、
    　前記制御装置は、
    　　センサで取得された前記物品の画像データを受け付ける画像入力部と、
    　　前記画像データに基づいて、前記物品の物理的要素ごとの把持可能性の指標を示す複数の要素信頼度を評価する要素信頼度評価部と、
    　　前記複数の要素信頼度に基づいて、前記ピッキングロボットの前記物品に対する把持位置を推定する把持位置推定部と、
    　　前記把持位置で把持される前記物品の移動および把持に関するハンドリング条件を示すハンドリング情報を受け付けるハンドリング情報入力部と、
    　　前記ハンドリング情報に基づいて、前記把持位置推定部での把持位置の推定で用いられる認識パラメータを推定する認識パラメータ推定部を有し、
    　前記ピッキングロボットは、前記制御装置で推定された前記把持位置を用いて動作するピッキングシステム。
  2. 　請求項１に記載のピッキングシステムにおいて、
    　前記ハンドリング情報は、前記ハンドリング条件として、移動中における前記物品の他物体との衝突、前記移動に要する時間、移動中の移動速度あるいは加速度、移動後の前記物品の位置の精度、の少なくとも１つを示すピッキングシステム。
  3. 　請求項１に記載のピッキングシステムにおいて、
    　前記制御装置は、
    　前記認識パラメータは、前記複数の要素信頼度ごとの重要性を示す重みパラメータであるピッキングシステム。
  4. 　請求項３に記載のピッキングシステムにおいて、
    　前記制御装置は、さらに、前記認識パラメータを用いて前記複数の要素信頼度を統合して前記物品自体の把持可能性を示す物品信頼度を算出する信頼度算出部を有し、
    　前記把持位置推定部は、前記物品信頼度を用いて、前記把持位置を推定するピッキングシステム。
  5. 　請求項１に記載のピッキングシステムにおいて、
    　前記制御装置は、
    　さらに、前記物品の特性に関する物品特性情報を受け付ける物品特性情報入力部を有し、
    　前記認識パラメータ推定部は、前記認識パラメータの値を前記ハンドリング情報および前記物品特性情報に基づいて推定するピッキングシステム。
  6. 　請求項１に記載のピッキングシステムにおいて、
    　前記制御装置は、
    　さらに、前記ピッキングロボットを構成するハードウェアに関するハードウェア情報を受け付けるハードウェア情報入力部を有し、
    　前記認識パラメータ推定部は、前記認識パラメータの値を前記ハンドリング情報および前記ハードウェア情報に基づいて推定するピッキングシステム。
  7. 　請求項１に記載のピッキングシステムにおいて、
    　さらに、
    　過去に実行された前記物品の把持および移動において前記ハンドリング条件を満たしたどうかを示す履歴情報を蓄積するデータベースと、
    　前記ハンドリング情報を、前記履歴情報に基づいて変更するハンドリング情報変更部を有するピッキングシステム。
  8. 　請求項７に記載のピッキングシステムにおいて、
    　さらに、前記ハンドリング情報の変更指示を受け付ける変更指示入力部を有し、
    　前記ハンドリング情報変更部は、前記ハンドリング情報を前記変更指示に応じて変更するピッキングシステム。
PCT/JP2023/015558 2022-09-08 2023-04-19 ピッキングシステム WO2024053150A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022142821A JP2024038642A (ja) 2022-09-08 2022-09-08 ピッキングシステム
JP2022-142821 2022-09-08

Publications (1)

Publication Number Publication Date
WO2024053150A1 true WO2024053150A1 (ja) 2024-03-14

Family

ID=90192208

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/015558 WO2024053150A1 (ja) 2022-09-08 2023-04-19 ピッキングシステム

Country Status (2)

Country Link
JP (1) JP2024038642A (ja)
WO (1) WO2024053150A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021524385A (ja) * 2018-05-23 2021-09-13 トルンプフ ヴェルクツォイクマシーネン ゲゼルシャフト ミット ベシュレンクテル ハフツング ウント コンパニー コマンディートゲゼルシャフトＴｒｕｍｐｆ Ｗｅｒｋｚｅｕｇｍａｓｃｈｉｎｅｎ ＧｍｂＨ ＋ Ｃｏ． ＫＧ 取り外し工具を用いてワークピースを取り扱う方法およびこの方法を実施する機械
US20220016767A1 (en) * 2020-07-14 2022-01-20 Vicarious Fpc, Inc. Method and system for object grasping
JP2022021147A (ja) * 2020-07-21 2022-02-02 株式会社エクサウィザーズ 制御装置、把持システム、方法、およびプログラム
JP2022033660A (ja) * 2020-08-17 2022-03-02 ソニーグループ株式会社 情報処理装置及び情報処理方法、並びにコンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021524385A (ja) * 2018-05-23 2021-09-13 トルンプフ ヴェルクツォイクマシーネン ゲゼルシャフト ミット ベシュレンクテル ハフツング ウント コンパニー コマンディートゲゼルシャフトＴｒｕｍｐｆ Ｗｅｒｋｚｅｕｇｍａｓｃｈｉｎｅｎ ＧｍｂＨ ＋ Ｃｏ． ＫＧ 取り外し工具を用いてワークピースを取り扱う方法およびこの方法を実施する機械
US20220016767A1 (en) * 2020-07-14 2022-01-20 Vicarious Fpc, Inc. Method and system for object grasping
JP2022021147A (ja) * 2020-07-21 2022-02-02 株式会社エクサウィザーズ 制御装置、把持システム、方法、およびプログラム
JP2022033660A (ja) * 2020-08-17 2022-03-02 ソニーグループ株式会社 情報処理装置及び情報処理方法、並びにコンピュータプログラム

Also Published As

Publication number Publication date
JP2024038642A (ja) 2024-03-21

Similar Documents

Publication Publication Date Title
CN111776762B (zh) 具有自动化包裹扫描和登记机构的机器人系统及其操作方法
CN110054121B (zh) 一种智能叉车以及容器位姿偏移检测方法
WO2021249568A1 (zh) 仓储机器人的控制方法、装置、设备及可读存储介质
JP2019509559A (ja) センサ誘導式ロボットを用いたボックスの位置特定、分離、およびピッキング
CN111461107A (zh) 用于识别感兴趣区的材料搬运方法、装置和系统
CN112009812A (zh) 具有动态打包机制的机器人系统
JP2020064335A (ja) 形状情報生成装置、制御装置、積み降ろし装置、物流システム、プログラム、及び、制御方法
US11393063B2 (en) Object detecting method, object detecting device, and robot system
CN111191650B (zh) 基于rgb-d图像视觉显著性的物品定位方法与系统
JP7175487B1 (ja) 画像ベースのサイジングメカニズムを備えたロボットシステム及びロボットシステムを操作するための方法
WO2019240273A1 (ja) 情報処理装置、情報処理装置を備える荷降しシステム、及びコンピュータ可読記憶媒体
Li et al. Using Kinect for monitoring warehouse order picking operations
WO2024053150A1 (ja) ピッキングシステム
CN116803631A (zh) 自主系统和由自主系统执行的方法
US20220284216A1 (en) Method and computing system for generating a safety volume list for object detection
CN113284129A (zh) 基于3d包围盒的压箱检测方法及装置
CN112907666A (zh) 一种基于rgb-d的托盘位姿估计方法、系统及装置
TWI799051B (zh) 叉取棧板的自動搬運車和叉取棧板方法
JP7408107B2 (ja) 物体取り扱いを伴うロボットシステムのためのシステム及び方法
WO2023073780A1 (ja) 学習データの生成装置および学習データの生成方法、並びに学習データを使用する機械学習装置および機械学習方法
CN117555308B (zh) 一种基于无人叉车的托盘回收方法、系统及存储介质
EP4184275A1 (en) Handling machine control method, handling machine control system and control host
WO2022264381A1 (ja) ワーク取出し個数算出装置、ハンドシステム、及び表示装置
JP2023059988A (ja) ロボットによるオブジェクト配置のシステム及び方法
JP2024020532A (ja) 重なり処理機構を備えたロボットシステム及びその操作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23862700

Country of ref document: EP

Kind code of ref document: A1