WO2021199467A1 - ピッキング制御装置 - Google Patents

ピッキング制御装置 Download PDF

Info

Publication number
WO2021199467A1
WO2021199467A1 PCT/JP2020/038000 JP2020038000W WO2021199467A1 WO 2021199467 A1 WO2021199467 A1 WO 2021199467A1 JP 2020038000 W JP2020038000 W JP 2020038000W WO 2021199467 A1 WO2021199467 A1 WO 2021199467A1
Authority
WO
WIPO (PCT)
Prior art keywords
master image
article
product number
product
picking
Prior art date
Application number
PCT/JP2020/038000
Other languages
English (en)
French (fr)
Inventor
俊晴 菅原
翔一 半田
大輝 阿部
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2021199467A1 publication Critical patent/WO2021199467A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Definitions

  • the present invention relates to a picking control device.
  • the conventional robot control device shown in FIG. 1 includes a master image extraction unit 1 and a master image database 2. Data of the product number of the product to be extracted is supplied to the master image extraction unit 1 from the outside.
  • the master image database 2 stores the correspondence between the master image, which is an image of the product stored in the warehouse, and the product number.
  • the database is described as "DB".
  • the master image extraction unit 1 extracts the master image associated with the input product number from the master image database 2, and extracts the area of the article matching the corresponding master image from the image taken by the camera provided by the robot. .. Then, the master image extraction unit 1 determines the position where the corresponding article is placed from the coordinate position of the extracted image, and provides the robot with data for performing a picking operation to grab the article at the determined position. send.
  • the data for performing the picking work includes, for example, work recognition data d1 instructing the work performed by the robot, trajectory planning data d2 instructing the movement of the robot arm, and control of the robot. Control data d3 indicating a command or the like for the operation is included.
  • FIG. 2 shows an example of the data structure of the master image database.
  • the product number corresponds to the type of product handled by the distribution site. For example, there are tens of thousands of product numbers at one distribution site.
  • the master image is an image of a box containing products handled by a distribution site, and although the number is smaller than the number of product numbers, for example, there are dozens to hundreds of types of master images. For example, even if the products are different, the packaging boxes may be the same for products of the same brand and almost the same size, and the master image used for picking work is the same, so the number of master images Is less than the number of item numbers.
  • Patent Document 1 in order to automate the picking work at the distribution site, the data of the three-dimensional shape which is the reference of the picking object is stored in the database and collated with the shape of the object measured by the measuring device. The technology is described. Further, in Patent Document 1, when the collation result with the three-dimensional shape of the object measured by the measuring device is out of the predetermined range, the three-dimensional shape of the measured object is used as a reference three-dimensional. It is also described that the recommended process for encouraging registration as shape data is performed.
  • Patent Document 1 As described in Patent Document 1, it has been conventionally known that when the shape of an article to be picked is different from the shape of an already registered article, a process for promoting the registration of the article is performed. Has been done. However, even if the registration of an article having a new shape is urged, the worker must perform the work itself of registering the product number for the corresponding article. Therefore, there is no change in the need for product association work, and the problem of heavy burden for registration work has not been improved.
  • An object of the present invention is to improve the efficiency of work for picking by a robot.
  • the present application includes a plurality of means for solving the above problems, and to give an example thereof, the present invention is a product number of a managed article and an image of the article or an image of a box containing the article.
  • a master image database that stores the master image
  • a master image extraction unit that acquires the product number of the item to be picked and extracts the master image associated with the acquired product number from the master image database, and a master image.
  • a work recognition unit that recognizes the gripping position of the product based on, a trajectory planning unit that plans the trajectory of the robot based on the gripping position of the product, and a robot control unit that causes the robot to perform picking based on the planned trajectory.
  • the item of the item to be picked is selected from the master image stored in the master image database. It is provided with a master image management unit that extracts master image candidates corresponding to numbers and registers the extracted master image candidates in the master image database in association with the product number of the article to be picked.
  • FIG. 3 shows an outline of the overall configuration of the picking system of this example.
  • the picking system of this example includes a distribution control device 10, a picking control device 20, and a robot 30.
  • the distribution control device 10 controls the entire distribution in the distribution warehouse, and when it becomes necessary to remove the goods from the distribution warehouse, the distribution control device 10 supplies the picking control device 20 with information on the product number of the goods to be taken out.
  • the picking control device 20 extracts the master image corresponding to the product number and performs the picking operation to take out the product indicated by the master image. Instruct 30.
  • the robot 30 has an arm 31 that freely moves within a predetermined range, and under the control of the picking control device 20, the robot 30 grips and takes out the conveyed product by using the grip portion 32 at the tip of the arm 31.
  • a transport box 50 containing a large number of articles 51, 52, ... Flows on a transport line in a distribution warehouse.
  • the picking control device 20 is instructed by the product number of the article 51.
  • the robot 30 takes out the designated article 51 from the transport box 50 by the grip portion 32 at the tip of the arm 31, and puts the taken-out article 51 on a predetermined pallet 60 or the like.
  • a camera 41, a LiDAR sensor 42, and a millimeter-wave radar 43 are arranged in the vicinity of the robot 30, and the camera 41 takes a picture of the transported article or the like, and the LiDAR sensor 42 and the millimeter-wave radar 43 move the position of the article and the position of the article. Measure the shape.
  • the image taken by the camera 41 and the data measured by the LiDAR sensor 42 and the millimeter wave radar 43 are supplied to the picking control device 20.
  • the sensor for measuring the position and shape of the article may be a part of the above-mentioned sensor or may be combined with another sensor.
  • the picking control device 20 acquires the master image associated with the product number.
  • the acquired master image is an image of the surface of the box containing the article 51, and the picking control device 20 stores the article 51 in the box 50 by comparing the image taken by the camera 41 with the master image. Determine the position. Then, the picking control device 20 determines the position where the article 51 is stored, and then sends the robot 30 information on the trajectory plan for moving the arm 31 to the position where the article 51 is stored.
  • the robot 30 operates the arm 31 of the robot 30 for picking based on the trajectory plan sent from the picking control device 20, and executes the work of grasping the article 51.
  • the robot 30 uses the grip portion 32 at the tip of the arm 31 to take out the designated article 51 from the transport box 50 based on the command from the picking control device 20, and takes out the article 51.
  • the work of placing on the instructed pallet 60 or the like is performed.
  • FIG. 4 shows a configuration example of the picking control device 20.
  • the picking control device 20 includes a master image extraction unit 21, a master image database 22, a master image management unit 23, a work recognition unit 24, a trajectory planning unit 25, a robot control unit 26, and a new master image generation unit 27.
  • the master image extraction unit 21 extracts the data of the master image associated with the product number from the master image database 22.
  • the master image data extracted by the master image extraction unit 21 is sent to the master image management unit 23. If the master image data cannot be extracted, the master image extraction unit 21 transmits information indicating that the master image data cannot be extracted to the master image management unit 23.
  • the master image database 22 stores a product list showing a list of product numbers handled by the distribution warehouse in which the picking system of this example is installed, and master image data associated with each product number in the product list. .. A specific example of the product list stored in the master image database 22 will be described later.
  • the master image stored in the master image database 22 is an image of a box containing a product (article) or an image of the product itself.
  • an image of a specific surface that needs to be recognized at the time of picking may be used as a master image, but an image of a plurality of surfaces of the box may be provided as a master image.
  • the box does not have to have a square shape, and may be an article having a non-constant shape such as a bag.
  • the specific surface that needs to be recognized at the time of picking for example, the surface in which the manufacturer, brand, type, etc. of the product are described, that is, the surface having a large amount of features is preferable.
  • the master image may be a parallax image or a point cloud image instead of the image of the box containing the article or the article itself. Further, data such as the shape data of the box or the article (three-dimensional shape data, etc.) and the gripping position may be added to the master image.
  • the master image extraction unit 21 can extract the master image associated with the product number by the above processing.
  • the master image management unit 23 transmits the master image to the work recognition unit 24.
  • the work recognition unit 24 recognizes the position of the article based on the master image and the image captured by the camera 41, and calculates the position to be gripped by the grip unit 32 of the robot 30.
  • the data of the gripping position of the article calculated by the work recognition unit 24 is supplied to the track planning unit 25.
  • the trajectory planning unit 25 plans a trajectory for moving the arm 31 of the robot 30 based on the data of the gripping position of the article, and sends the created trajectory planning data to the robot control unit 26.
  • the robot control unit 26 controls the movement of the arm 31 based on the trajectory planning data sent from the trajectory planning unit 25, and also controls the gripping unit 32 of the robot 30 to grip the article.
  • the master image management unit 23 receives information indicating that the master image data cannot be extracted from the master image extraction unit 21, it sends a request for a master image candidate to the master image database 22 and extracts the data of the candidate master image. do. Then, the extracted master image candidates are transmitted to the work recognition unit 24. The details of the process of extracting the data of the candidate master image from the master image database 22 will be described later.
  • the work recognition unit 24 recognizes the gripping position of the article based on the above-mentioned master image candidate and the image captured by the camera 41.
  • the trajectory planning unit 25 and the robot control unit 26 control the arm 31 based on the result of the gripping position in the same manner as described above, and the gripping unit 32 of the robot 30 grips the article.
  • the work recognition unit 24 informs the master image management unit 23 that the recognition of the gripping position is successful, that is, that the product number of the handled article and the candidate of the master image correspond to each other.
  • the master image management unit 23 associates the product number with the master image and registers it in the master image database 22.
  • the work recognition unit 24 tries to recognize the gripping position of the article by collating the above-mentioned master image candidate and the image captured by the camera 41 and cannot recognize the gripping position will be described.
  • the work recognition unit informs the master image management unit 23 that the master image candidate could not recognize the image.
  • the master image management unit 23 requests another master image candidate from the master image database 22. If there is another master image candidate, the master image candidate is transmitted to the work recognition unit 24, and the work recognition unit 24 repeats the same processing as described above. If there is no other master image candidate in the database that has not been collated, the master image management unit 23 instructs the new master image generation unit 27 to generate a master image.
  • the new master image generation unit 27 generates a master image based on the image of the camera 41, the point cloud information of LiDAR, the shape recognition result of the millimeter wave, and the like, and sends the new master image to the master image management unit 23.
  • the master image management unit 23 transmits the new master image to the work recognition unit, and registers the target product number and the new master image in the master image database 12 in association with each other.
  • the picking control device 20 includes a display unit 20g and an input unit 20f as shown in FIG. 5, and displays a picking work status and a notification to an operator.
  • the display on the display unit 20g can be received by the worker on the input unit 20f to allow the worker to register the association between the product number and the master image.
  • the worker performs the registration work of associating the product number with the master image, and the picking control device 20 acquires the data of the registration work and masters it. It may be registered in the image database 22.
  • the picking control device 20 can be configured by, for example, a computer.
  • FIG. 5 shows a hardware configuration when the picking control device 20 is configured by a computer.
  • the computer functioning as the picking control device 20 includes a CPU (Central Processing Unit) 20a, a ROM (Read Only Memory) 20b, and a RAM (Random Access Memory) 20c, which are connected to the bus, respectively.
  • the picking control device 20 includes a non-volatile storage 20d, a network interface 20e, an input unit 20f, and a display unit 20g.
  • the CPU 20a executes arithmetic processing on the master image in the master image extraction unit 21, master image management unit 23, and new master image generation unit 27, and arithmetic processing related to robot control in the work recognition unit 24, the trajectory planning unit 25, and the like.
  • This is an arithmetic processing unit that reads the program code of the software to be executed from the ROM 20b and executes it. Variables, parameters, etc. generated during the arithmetic processing are temporarily written in the RAM 20c.
  • non-volatile storage 20d for example, a large-capacity information storage unit such as an HDD (Hard Disk Drive) or SSD (Solid State Drive) is used.
  • the non-volatile storage 20d constitutes a master image database 22 in which data such as a master image and a product list are stored.
  • a NIC Network Interface Card
  • the network interface 20e receives, for example, the data of the product number transmitted from the distribution control device 10.
  • instructions to the robot 30 are given via the network interface 20e.
  • the input unit 20f in performing the processing as the picking control device 20, the user who performs the master image registration work and the like performs the input processing of various data.
  • the operation status of the picking control device 20 is displayed on the display unit 20g. Further, the display unit 20g displays a candidate image and displays various warnings when the master image is registered.
  • the picking control device 20 is configured by the computer shown in FIG. 5 as an example, and may be configured by a device other than the computer that performs arithmetic processing.
  • a part or all of the functions performed by the picking control device 20 may be realized by hardware such as FPGA (Field Programmable Gate Array) or ASIC (Application Specific Integrated Circuit).
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the picking control device 20 is configured to include an input unit 20f and a display unit 20g, and the picking control device 20 is a computer that does not have either one or both of the input unit 20f and the display unit 20g. It may be configured as.
  • FIG. 6 is a flowchart showing a flow of processing operations performed by the picking control device 20.
  • the master image extraction unit 21 receives the product number from the distribution control device 10
  • the master image extraction unit 21 performs an extraction process of the master image associated with the product number (step S11).
  • the master image extraction unit 21 determines whether or not the master image associated with the product number exists in the master image database 22 (step S12).
  • step S12 When it is determined in step S12 that the master image associated with the product number exists (Yes in step S12), the work recognition unit 24 receives the image via the master image management unit 23 extracted by the master image extraction unit 21. , The camera image taken based on the image is collated with the master image, and the gripping position of the article is recognized (step S13). Then, when the work recognition unit 24 recognizes the gripping position of the article, in step S23, the picking control device 20 executes a process of gripping the article at the recognized position and carries the article to a desired position.
  • step S12 When it is determined in step S12 that the master image associated with the product number does not exist (No in step S12), the master image extraction unit 21 determines that the master image associated with the product number cannot be extracted. Notify 23. Upon receiving this, the master image management unit 23 sends a request for the master image to the master image database 22, and extracts data of the candidate master image from the master image database 22 (step S14).
  • the master image management unit 23 When extracting the data of the candidate master image in step S14, the master image management unit 23 extracts, for example, in order from the one with the highest frequency of use of the master image. Alternatively, a master image that may be highly related to the product number determined in step S11 is selected and extracted. As a master image that may be highly related to the product number, for example, a manufacturer or brand is inferred from the product number, and a master image corresponding to the inferred manufacturer or brand is selected as a candidate.
  • the master image management unit 23 sends the acquired master image candidates to the work recognition unit 24.
  • the work recognition unit 24 collates the photographed image of the box 50 (FIG. 3) containing the article to be taken out taken by the camera 41 with the candidate of the master image, and recognizes the gripping position of the article (step S15). In the collation in step S15, the work recognition unit 24 determines whether or not there is a matching article in the image captured by the camera 41 and the gripping position of the matching article can be recognized (step S16).
  • step S16 If it is determined in step S16 that the gripping position of the article that matches the master image candidate can be recognized (Yes in step S16), the master image management unit 23 selects the corresponding master image candidate for the product at this time. It is registered in the master image database 22 as the master image associated with the number (step S17). Then, the picking control device 20 executes a process of gripping the article associated as the master image at the gripping position recognized in step S15 (step S23).
  • step S16 the master image management unit 23 determines that none of the images captured by the camera 41 match the candidate master image (No in step S16)
  • the master image management unit 23 Determines whether or not another master image candidate that has not been collated is in the master image database 22 (step S18).
  • step S18 If it is determined in step S18 that there is another candidate for the master image that has not been collated (Yes in step S18), the master image management unit 23 returns to the process of step S14 and returns to the data of another master image that is a candidate. Is extracted from the master image database 22, and the processes after step S14 already described are executed.
  • the master image management unit 23 issues an instruction to the new master image generation unit 27.
  • the new master image generation unit 27 generates a master image based on the information of the sensors of the camera 41, the LiDAR sensor 42, and the millimeter wave radar 43, and outputs the master image to the master image management unit 23.
  • the master image management unit 23 registers the master image in the master image database 22 in association with the target product number (step S19).
  • the master image may be registered automatically as described above, but the display unit 20g indicates that the master image needs to be newly registered, and the operator operates to newly register the master image. May be executed.
  • a specific article instructed by the operation of the worker may be registered as a master image.
  • an image other than the camera image may be registered as the master image.
  • the work recognition unit 24 recognizes the gripping position of the article associated as the master image (step S20), and executes the process of gripping the corresponding article (step S23).
  • step S13, S17 or S20 is executed, the article gripping process of step S23 is performed, and then the process from step S11 is repeatedly executed by inputting the next product number.
  • the display unit 20g may display the candidate master image.
  • the master image may be associated with the product number after the worker accepts the operation of accepting the registration.
  • FIG. 7 shows a second example of a flowchart showing the flow of control operation of the picking system according to the embodiment of the present invention. Since the processes of steps S11 to S18 of the flowchart of FIG. 7 are the same as those of the flowchart of FIG. 6, the description thereof will be omitted.
  • the process of grasping the corresponding article is performed in step S20.
  • the master image management unit 23 determines in step S18 that there is no candidate for another master image (No in step S18)
  • the operation of the worker Instructs the gripping position of a specific article in the work area of the robot 30 so that the work recognition unit 24 first performs the work of recognizing the gripping position (step S21).
  • the new master image generation unit 27 newly registers the camera image of the article whose grip position has been recognized as the master image after performing the picking operation for taking out the article at the recognized grip position (step S22). Then, in step S22, after newly registering the master image, the process from step S11 is repeated by inputting the next product number.
  • step S22 after newly registering the master image, the process from step S11 is repeated by inputting the next product number.
  • FIGS. 8 to 10 show an example of the correspondence between the product list La associated with the product number and the product list Lb associated with the master image.
  • the product list La associated with the product number is about product characteristics such as product number, type, brand, product size, box size, logo type, logo size, logo position, box color, hole position, etc. Has the information of. However, it is not necessary to have all the information shown in the product list La for each item of the product number.
  • the product list Lb associated with the master image has characteristic information of the product having the master image such as the master image, brand, product size, box size, and logo type. However, for each master image, it is not necessary to have all the information shown in the product list Lb for each master image.
  • the candidate of the master image associated with the product number is associated with the master image. It is taken out from the product list Lb.
  • the product list Lb associated with the master image has the same logo type "AAA” master image.
  • a certain master image of No. 1 and a master image of No. 2 are candidates.
  • master images such as different logo types "BBB" are excluded from the candidates.
  • the optimum master image can be compared with the camera image or instructed by the operator, for example, product number AAA-.
  • the master image associated with 1 is selected.
  • FIG. 9 shows a case where the master image is not associated with the three product numbers AAA-1, AAA-2, and AAA-3 as the product list Lc associated with the product number.
  • the product numbers AAA-1, AAA-2, and AAA-3 have the same type, brand, and product name, but differ only in size.
  • the picking control device 20 of this example associates the master image B with respect to one product number AAA-1 by the process described in the flowchart of FIG.
  • the picking control device 20 of this example also has two product numbers AAA-2 and AAA-3, which differ only in size from the product number AAA-1. , Perform the registration process of associating the same master image B with the product number.
  • the product number to which the master image is associated and the product number having a predetermined similar relationship are described.
  • the same master image may be associated.
  • the same master image may be associated with product numbers having different product colors.
  • the registration process for first associating the master image B with respect to one product number AAA-1 is performed by a worker in addition to the case of the automatic registration process described in the flowchart of FIG. 6 or FIG. It can also be applied when the master image B is manually registered. That is, when a worker manually associates a master image with a specific product number, another product number having a predetermined similarity relationship such as size and color with the product number associated with the master image. For the product number, register the same master image at once. By registering the same master image for a plurality of product numbers having a predetermined similar relationship in this way, it is possible to improve the efficiency of the master image registration work.
  • FIG. 10 shows a case where the product list Ld associated with the product number has the information of the master image group for each product number.
  • the picking control device 20 associates the same master image with other product numbers in the same group. That is, when a plurality of product numbers having a common master image are stored as a group in advance and the master image is associated with the product number assigned to each article, the picking control device 20 uses the group information and the master image. Based on this, the same master image can be registered in another product number of the same group.
  • the master images of a plurality of product numbers can be registered together, and the efficiency of the master image registration work can be improved. Can be done. Even when the information of such a group is possessed, the master image registration work is performed manually by the worker in addition to the case of the automatic registration process described in the flowchart of FIG. 6 or FIG. It also applies to cases.
  • FIG. 11 shows an example of a configuration in which a plurality of robots are provided as the picking system of this example.
  • the picking system shown in FIG. 11 includes three robots 110, 120, and 130 in addition to the robot 30 described in the system configuration of FIG.
  • the robot 30 is controlled by the picking control device 20, and the robots 110, 120, and 130 are controlled by the picking control devices 210, 220, and 230, respectively.
  • Each of the picking control devices 210, 220, and 230 has the same configuration as the picking control device 20 shown in FIG.
  • the master image database 71 is commonly used by all the picking control devices 20, 210, 220, and 230.
  • the picking system shown in FIG. 11 includes a sorter control device 70.
  • the sorter control device 70 performs a process of sorting the transported products into lanes corresponding to the robots 30, 110, 120, and 130 based on the information of the product numbers supplied from the distribution control device 10. Further, the sorter control device 70 also sorts the product numbers supplied from the distribution control device 10 to the robots 30, 110, 120, and 130 in conjunction with the sorting of the lanes.
  • the sorter control device 70 refers to the master image database 71 for the product number supplied from the distribution control device 10 and determines whether or not there is an associated master image. Then, the product with the product number having the associated master image is sorted into any lane of the three robots 110, 120, 130, and the picking control devices 210, 220, 230 of the robots 110, 120, 130, respectively. , Perform picking of the corresponding product.
  • the robots 110, 120, and 130 may be provided with only the camera 41 as a sensor for detecting the product, and the LiDAR sensor 42 and the millimeter wave radar 43 (all of which are shown in FIG. 4) may be omitted. ..
  • the sorter control device 70 sorts the products with the product numbers that do not have the associated master image into the lanes of the robot 30. Then, the picking control device 20 of the robot 30 executes picking of the corresponding product. At this time, the picking control device 20 executes the master image registration process described in the flowchart of FIG. 6 or FIG.
  • the robot 30 has a configuration in which the LiDAR sensor 42 and the millimeter wave radar 43 shown in FIG. 4 are arranged.
  • picking processes are executed one after another using the registered master images by the three robots 110, 120, and 130, and the picking operation is performed. Throughput can be improved.
  • a product that does not have a master image associated with the product number is assigned to a specific robot 30, and the robot 30 executes a picking process while registering the master image to ensure the master image.
  • the robot 30 executes a picking process while registering the master image to ensure the master image.
  • these LiDAR sensors 42 and the millimeter wave radar 43 are preferable. , It suffices to be arranged only in the robot 30, which contributes to the simplification of the system configuration.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • a box containing shoes is used, but it may be applied to picking processing of various other products.
  • the example of picking the box containing the products has been described, but the robot may pick the products from the state in which the products themselves are directly arranged.
  • the above-described embodiment examples have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations.
  • the apparatus or system configuration may be changed, and some processing procedures may be omitted or replaced without changing the gist of the present invention.
  • information such as a program that performs picking processing can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or an optical disk.
  • FIGS. 4 and 5 only control lines and information lines that are considered necessary for explanation are shown, and not all control lines and information lines are necessarily shown in the product. No. In practice, it can be considered that almost all configurations are interconnected. Further, in the flowcharts shown in FIGS. 6 and 7, a plurality of processes may be executed at the same time or the processing order may be changed as long as the processing results are not affected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

物品の商品番号と、物品又はその箱などの画像であるマスタ画像とをマスタ画像として記憶する。商品番号でピッキングの指示があるとき、商品番号に関連付けられたマスタ画像を抽出し、該当するマスタ画像の物品をロボットでピッキングする。ここで、ピッキング対象となる物品の商品番号に関連付けられたマスタ画像が抽出できない場合に、記憶したマスタ画像から、マスタ画像の候補を抽出する。そして、抽出したマスタ画像の候補を、ピッキング対象となる物品の商品番号に関連付けて登録する。

Description

ピッキング制御装置
　本発明は、ピッキング制御装置に関する。
　近年、物流倉庫などの物流現場において、保管した多数の物品の中から、指定された特定の物品を取り出すピッキング作業を、ロボットを使用して自動化することが各種提案されている。
　例えば図１に示す従来のロボットの制御装置は、マスタ画像抽出部１とマスタ画像データベース２とを備える。マスタ画像抽出部１には、取り出す商品の商品番号のデータが外部から供給される。マスタ画像データベース２には、倉庫が保管した商品の画像であるマスタ画像と商品番号との対応が記憶される。なお、図面では、データベースは「ＤＢ」と記載している。
　そして、マスタ画像抽出部１は、入力した商品番号に関連付けられたマスタ画像をマスタ画像データベース２から抽出し、ロボットが備えるカメラが撮影した画像から、該当するマスタ画像と一致する物品の領域を取り出す。そして、マスタ画像抽出部１は、取り出した画像の座標位置などから、該当する物品が配置された位置を判断し、ロボットに対して、判断した位置の物品を掴むピッキング作業を行うためのデータを送る。
　図１に示されるように、ピッキング作業を行うためのデータには、例えば、ロボットが行う作業を指示するワーク認識データｄ１と、ロボットのアームの移動を指示する軌道計画データｄ２と、ロボットを制御するための指令などを示す制御データｄ３が含まれる。
　図２は、マスタ画像データベースのデータ構造の例を示している。
　マスタ画像データベースには、個々の商品番号と、その商品番号に関連付けられたマスタ画像との対応が記憶される。
　商品番号は、物流現場が扱う商品の種類に対応し、例えば１つの物流現場で数万種類の商品番号が存在する。
　マスタ画像は、物流現場が扱う商品を収めた箱の画像であり、商品番号の数よりは少ないが、例えば数十から数百種類のマスタ画像が存在する。例えば、違う商品であっても、同一のブランドの商品で、かつほぼ同一サイズの商品については、包装箱が同じ場合があり、ピッキング作業時に使用するマスタ画像は同じになるため、マスタ画像の数は商品番号の数よりも少なくなる。
　従来、このようなピッキング作業に必要な商品番号とマスタ画像との関連付けの作業は、新しい商品番号の商品が登録される毎に、作業員が端末を使って手作業で行っていた。
　特許文献１には、物流現場におけるピッキング作業を自動化するために、ピッキングの対象物の基準となる三次元形状のデータをデータベースに記憶し、計測装置が計測した対象物の形状との照合を行う技術が記載されている。また、特許文献１には、計測装置が計測した対象物の三次元形状との照合結果が、予め定められた範囲外であるとき、計測した対象物の三次元形状を、基準となる三次元形状のデータとして登録するように促す推奨処理を行うことも記載されている。
特開２０１９－３８０４７号公報
　上述したように、ピッキング作業に必要な商品番号とマスタ画像との関連付けの作業は、現状では手作業で行っているため、事前の関連付けのための登録作業には、多大な手間と時間を要するという問題があった。すなわち、１つの物流倉庫が扱う商品は、数万点という膨大な数であり、非常に多くの商品の関連付け作業が必要であった。また、衣服、靴、スポーツ用品、アクセサリーなどの流行や季節による商品の入れ替わりが激しい業界の商品を扱う場合には、数万点の関連付け作業を数ヶ月ごとに行う必要があり、物流倉庫のピッキング作業を自動化する上で大きな障害になっていた。
　特許文献１に記載されたように、ピッキング作業を行う物品の形状が、既に登録された物品の形状と相違する等の条件を満たすとき、その物品の登録を促す処理を行うことは従来から知られている。しかしながら、例え新たな形状の物品の登録を促したとしても、該当する物品について商品番号を登録する作業そのものは作業員が行う必要がある。したがって、商品の関連付け作業が必要であることには変わりがなく、登録作業のための負担が大きいという問題は改善されてはいない。
　本発明は、ロボットによるピッキングを行うための作業の効率化を図ることを目的とする。
　上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
　本願は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、本発明は、管理している物品の商品番号と、物品の画像又は物品を収めた箱の画像であるマスタ画像とが記憶されるマスタ画像データベースと、ピッキング対象となる物品の商品番号を取得し、取得した商品番号に関連付けられたマスタ画像を、マスタ画像データベースから抽出するマスタ画像抽出部と、マスタ画像に基づいて商品の把持位置を認識するワーク認識部と、商品の把持位置に基づいてロボットの軌道を計画する軌道計画部と、計画された軌道に基づいてピッキングをロボットに実行させるロボット制御部と、マスタ画像抽出部でピッキング対象となる物品の商品番号に関連付けられたマスタ画像がマスタ画像データベースから抽出できない場合には、マスタ画像データベースに記憶されているマスタ画像から、ピッキング対象となる物品の商品番号に対応したマスタ画像の候補を抽出し、抽出したマスタ画像の候補を、ピッキング対象となる物品の商品番号に関連付けてマスタ画像データベースに登録するマスタ画像管理部と、を備える。
　本発明によれば、商品番号に関連付けられたマスタ画像が存在しない場合に、自動的に適切なマスタ画像を関連付ける作業が行われ、ピッキング作業のためのデータの登録を適切に行うことができる。
　上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
従来のピッキングシステムの概要を示す図である。 従来のピッキングシステムによる商品番号とマスタ画像との対応を示す図である。 本発明の一実施の形態例によるピッキングシステム全体の概要構成を示す図である。 本発明の一実施の形態例によるピッキング制御装置の構成例を示すブロック図である。 本発明の一実施の形態例によるピッキングシステムのハードウェア構成例を示すブロック図である。 本発明の一実施の形態例によるピッキングシステムの制御動作の流れを示すフローチャート（例１）である。 本発明の一実施の形態例によるピッキングシステムの制御動作の流れを示すフローチャート（例２）である。 本発明の一実施の形態例のデータベースによる商品リストの例（例１）を示す図である。 本発明の一実施の形態例のデータベースによる商品リストの例（例２）を示す図である。 本発明の一実施の形態例のデータベースによる商品リストの例（例３）を示す図である。 本発明の一実施の形態例を複数台のロボットによるシステムに拡張した例を示す構成図である。
　以下、本発明の一実施の形態例（以下「本例」と称する）を、図３～図１１を参照して説明する。
［ピッキングシステムの全体構成］
　図３は、本例のピッキングシステムの全体構成の概略を示す。
　本例のピッキングシステムは、物流制御装置１０とピッキング制御装置２０とロボット３０とを備える。
　物流制御装置１０は、物流倉庫での物流全体を制御し、物流倉庫から物品の取り出しが必要になったとき、取り出す物品の商品番号の情報を、ピッキング制御装置２０に供給する。
　ピッキング制御装置２０は、物流制御装置１０から商品番号の情報が供給されたとき、その商品番号に対応したマスタ画像を抽出して、マスタ画像で示される商品を取り出すピッキング作業を行うように、ロボット３０に対して指示する。
　ロボット３０は、所定の範囲内を自在に動くアーム３１を有し、ピッキング制御装置２０の制御により、アーム３１の先端の把持部３２を使って、搬送された商品を把持して取り出す。
　例えば、図３に示すように、多数の物品５１，５２，・・・が収められた搬送用の箱５０が物流倉庫内で搬送ライン上を流れて来たとする。ここで、ピッキング制御装置２０には、物品５１の商品番号が指示されたとする。このとき、ロボット３０は、アーム３１の先端の把持部３２により、搬送用の箱５０から指示された物品５１を取り出して、所定のパレット６０などに取り出した物品５１を置く作業を行う。
　ロボット３０の近傍には、カメラ４１とＬｉＤＡＲセンサ４２とミリ波レーダ４３とが配置され、カメラ４１が搬送された物品などを撮影すると共に、ＬｉＤＡＲセンサ４２及びミリ波レーダ４３が、物品の位置や形状を計測する。カメラ４１が撮影した画像やＬｉＤＡＲセンサ４２及びミリ波レーダ４３が計測したデータは、ピッキング制御装置２０に供給される。なお、物品の位置や形状を計測するセンサは、上述したセンサの一部でもよく、他のセンサと組合せてもよい。
　ピッキング制御装置２０は、ピッキング作業を行う物品の商品番号が供給されたとき、その商品番号に関連付けられたマスタ画像を取得する。取得したマスタ画像は、物品５１が収められた箱の表面の画像であり、ピッキング制御装置２０は、カメラ４１が撮影した画像とマスタ画像との比較により、箱５０内に物品５１が収められた位置を判断する。
　そして、ピッキング制御装置２０は、物品５１が収められた位置を判断した後、ロボット３０に、物品５１が収められた位置にアーム３１を動かす軌道計画の情報を送る。ロボット３０は、ピッキング制御装置２０から送られた軌道計画に基づいて、ロボット３０のアーム３１をピッキング用に作動させて、物品５１を掴む作業を実行する。
　すなわち、ロボット３０は、ピッキング制御装置２０からの指令に基づいて、アーム３１の先端の把持部３２を使って、搬送用の箱５０から、指定された物品５１を取り出し、取り出した物品５１を、指示されたパレット６０などに載せる作業を行う。
［ピッキング制御装置の構成］
　図４は、ピッキング制御装置２０の構成例を示す。
　ピッキング制御装置２０は、マスタ画像抽出部２１、マスタ画像データベース２２、マスタ画像管理部２３、ワーク認識部２４、軌道計画部２５、ロボット制御部２６、及び新規マスタ画像生成部２７を備える。
　マスタ画像抽出部２１は、物流制御装置１０から商品番号が伝送されるとき、その商品番号に関連付けられたマスタ画像のデータを、マスタ画像データベース２２から抽出する。マスタ画像抽出部２１が抽出したマスタ画像のデータは、マスタ画像管理部２３に送られる。また、マスタ画像のデータが抽出できない場合には、マスタ画像抽出部２１は、マスタ画像管理部２３に、マスタ画像のデータを抽出できないことを示す情報を送信する。
　マスタ画像データベース２２には、本例のピッキングシステムが設置された物流倉庫が扱う商品番号の一覧を示す商品リストと、商品リスト中の各商品番号に関連付けられたマスタ画像のデータが記憶されている。なお、マスタ画像データベース２２に記憶される商品リストの具体的な例については後述する。
　マスタ画像データベース２２に記憶されるマスタ画像は、商品（物品）を収めた箱の画像や、商品そのものの画像である。商品を収めた箱の画像の場合には、マスタ画像としてピッキング時に認識が必要な特定の面の画像でもよいが、マスタ画像として箱の複数の面の画像を持つようにしてもよい。さらに、箱は四角い形状である必要はなく、袋などの形が一定でない物品でもよい。
　なお、ピッキング時に認識が必要な特定の面は、例えば商品の製造会社、ブランド、種類など記載されている面、すなわち特徴量が多い面が好ましい。また、マスタ画像には、物品を収めた箱又は物品そのものの画像の代わりに、視差画像、点群画像でもよい。さらに、マスタ画像に箱又は物品の形状データ（三次元形状データなど）、把持位置などのデータを付加してもよい。
　まず、上述の処理でマスタ画像抽出部２１が商品番号に関連付けられたマスタ画像を抽出できた場合について説明する。この場合、マスタ画像管理部２３は、該マスタ画像をワーク認識部２４に送信する。
　ワーク認識部２４は、上記マスタ画像およびカメラ４１で撮像した画像に基づいて、物品の位置を認識し、ロボット３０の把持部３２が把持する位置を算出する。ワーク認識部２４が算出した物品の把持位置のデータは、軌道計画部２５に供給される。
　軌道計画部２５は、物品の把持位置のデータに基づいて、ロボット３０のアーム３１を移動させる軌道を計画し、作成した軌道計画のデータをロボット制御部２６に送る。ロボット制御部２６は、軌道計画部２５から送られた軌道計画のデータに基づいて、アーム３１を移動させる制御を行うと共に、ロボット３０の把持部３２による物品の把持を制御する。
　つづいて、上述の処理でマスタ画像抽出部２１がマスタ画像を抽出できなかった場合、すなわちマスタ画像と商品番号が関連付けられて保存されていない場合について説明する。マスタ画像管理部２３は、マスタ画像抽出部２１よりマスタ画像のデータを抽出できないことを示す情報を受信すると、マスタ画像候補のリクエストをマスタ画像データベース２２に送り、候補となるマスタ画像のデータを抽出する。そして、抽出したマスタ画像の候補をワーク認識部２４に送信する。なお、候補となるマスタ画像のデータをマスタ画像データベース２２から抽出する処理の詳細は後述する。
　ワーク認識部２４は、上記のマスタ画像の候補およびカメラ４１で撮像した画像に基づいて物品の把持位置を認識する。上記把持位置を認識できた場合は，上述と同様に把持位置の結果に基づき、軌道計画部２５およびロボット制御部２６が，アーム３１の制御を行うと共に、ロボット３０の把持部３２による物品の把持を制御する。
　そして、ワーク認識部２４は、把持位置の認識成功した旨、すなわち扱った物品の商品番号とマスタ画像の候補が対応していることをマスタ画像管理部２３に伝える。マスタ画像管理部２３は、上記商品番号とマスタ画像を関連付けてマスタ画像データベース２２に登録する。
　つづいて、ワーク認識部２４が、前述したマスタ画像の候補およびカメラ４１で撮像した画像を照合し、物品の把持位置を認識しようとして、把持位置を認識できなかった場合について述べる。この場合、ワーク認識部は、マスタ画像候補により認識できなかった旨をマスタ画像管理部２３に伝える。マスタ画像管理部２３は，別のマスタ画像の候補をマスタ画像データベース２２にリクエストする。別のマスタ画像候補がある場合は、該マスタ画像候補をワーク認識部に２４に送信し、ワーク認識部２４は上述と同様の処理を繰り返す。照合処理を行っていない別のマスタ画像候補がデータベースにない場合は、マスタ画像管理部２３が、新規マスタ画像生成部２７に、マスタ画像を生成するように指示を出す。新規マスタ画像生成部２７は、カメラ４１の画像、ＬｉＤＡＲの点群情報、ミリ波の形状認識結果などに基づき、マスタ画像を生成し、新規マスタ画像をマスタ画像管理部２３に送付する。マスタ画像管理部２３は、新規マスタ画像をワーク認識部に伝えると共に、対象としている商品番号と新規マスタ画像を対応付けてマスタ画像データベース１２に登録する。
　なお、図４では図示を省略しているが、ピッキング制御装置２０は、図５に示すように表示部２０ｇや入力部２０ｆを備えており、ピッキング作業状態の表示や作業員に対する告知の表示を行うとともに、作業員からの操作入力も可能にしている。例えば、表示部２０ｇにおける表示に対して、入力部２０ｆにおける作業員からの操作入力の受付けで、作業員が商品番号とマスタ画像との関連付けの登録作業を行うことを可能にしている。あるいは、ピッキング制御装置２０と通信が可能な別の端末装置で、作業員が商品番号とマスタ画像との関連付けの登録作業を行い、その登録作業のデータをピッキング制御装置２０が取得して、マスタ画像データベース２２に登録させるようにしてもよい。
［ピッキング制御装置のハードウェア構成の例］
　ピッキング制御装置２０は、例えばコンピュータで構成することができる。
　図５は、ピッキング制御装置２０をコンピュータで構成した場合のハードウェア構成を示す。
　ピッキング制御装置２０として機能するコンピュータは、バスにそれぞれ接続されたＣＰＵ（Central Processing Unit：中央処理ユニット）２０ａと、ＲＯＭ（Read Only Memory）２０ｂと、ＲＡＭ（Random Access Memory）２０ｃを備える。さらに、ピッキング制御装置２０は、不揮発性ストレージ２０ｄと、ネットワークインタフェース２０ｅと、入力部２０ｆと、表示部２０ｇとを備える。
　ＣＰＵ２０ａは、マスタ画像抽出部２１、マスタ画像管理部２３、新規マスタ画像生成部２７でのマスタ画像についての演算処理や、ワーク認識部２４や軌道計画部２５などでのロボット制御に関する演算処理を実行するソフトウェアのプログラムコードをＲＯＭ２０ｂから読み出して実行する演算処理部である。ＲＡＭ２０ｃには、演算処理の途中に発生した変数やパラメータ等が一時的に書き込まれる。
　不揮発性ストレージ２０ｄには、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの大容量の情報記憶部が用いられる。不揮発性ストレージ２０ｄは、マスタ画像や商品リストなどのデータが格納されるマスタ画像データベース２２を構成する。
　ネットワークインタフェース２０ｅには、例えば、ＮＩＣ（Network Interface Card）などが用いられる。ネットワークインタフェース２０ｅは、例えば物流制御装置１０から伝送される商品番号のデータを受信する。また、ロボット３０に対する指示を、ネットワークインタフェース２０ｅを介して行う。
　入力部２０ｆは、ピッキング制御装置２０としての処理を行う上で、マスタ画像の登録作業などを行うユーザが各種データの入力処理を行う。
　表示部２０ｇには、ピッキング制御装置２０の作動状況が表示される。また、表示部２０ｇは、マスタ画像の登録時に、候補画像の表示や、各種警告表示を行う。
　なお、ピッキング制御装置２０を図５に示すコンピュータで構成するのは一例であり、コンピュータ以外のその他の演算処理を行う装置で構成してもよい。例えば、ピッキング制御装置２０が行う機能の一部または全部を、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェアによって実現してもよい。
　また、ピッキング制御装置２０が入力部２０ｆや表示部２０ｇを備える構成とした点についても一例であり、ピッキング制御装置２０として、入力部２０ｆや表示部２０ｇのいずれか一方、又は双方を備えないコンピュータとして構成してもよい。
［ピッキング制御装置が行う処理の流れ］
　図６は、ピッキング制御装置２０が行う処理動作の流れを示すフローチャートである。
　まず、マスタ画像抽出部２１は、物流制御装置１０から商品番号を受信すると、その商品番号に関連付けられたマスタ画像の抽出処理を行う（ステップＳ１１）。そして、マスタ画像抽出部２１は、商品番号に関連付けられたマスタ画像が、マスタ画像データベース２２に存在するか否かを判断する（ステップＳ１２）。
　ステップＳ１２で、商品番号に関連付けられたマスタ画像が存在すると判断したとき（ステップＳ１２のＹｅｓ）、ワーク認識部２４が、マスタ画像抽出部２１で抽出したマスタ画像管理部２３を経由して受信し、それに基づいて撮影したカメラ画像とマスタ画像とを照合して、物品の把持位置を認識する（ステップＳ１３）。そして、ワーク認識部２４が物品の把持位置を認識すると、ステップＳ２３で、ピッキング制御装置２０は、認識した位置の物品を把持する処理を実行し、所望の位置に物品を運ぶ。
　ステップＳ１２で、商品番号に関連付けられたマスタ画像が存在しないと判断したとき（ステップＳ１２のＮｏ）、マスタ画像抽出部２１は、商品番号に関連付けられたマスタ画像が抽出できないことをマスタ画像管理部２３に通知する。これを受信したマスタ画像管理部２３は、マスタ画像のリクエストをマスタ画像データベース２２に送り、候補となるマスタ画像のデータをマスタ画像データベース２２から抽出する（ステップＳ１４）。
　なお、ステップＳ１４で、候補となるマスタ画像のデータを抽出する際には、マスタ画像管理部２３は、例えばマスタ画像の利用頻度が高いものから順に抽出する。あるいは、ステップＳ１１で判断した商品番号と関連が高い可能性があるマスタ画像を選択して抽出する。商品番号と関連が高い可能性があるマスタ画像としては、例えば商品番号から、製造メーカやブランドを推測して、その推測した製造メーカやブランドに対応したマスタ画像を候補とする。
　そして、マスタ画像管理部２３は、取得したマスタ画像の候補をワーク認識部２４に送る。ワーク認識部２４は、カメラ４１が撮影した取り出し対象の物品が含まれる箱５０（図３）を撮影した画像とマスタ画像の候補とを照合し、物品の把持位置を認識する（ステップＳ１５）。このステップＳ１５の照合で、ワーク認識部２４は、カメラ４１が撮影した画像内に、一致する物品があり、かつその一致した物品の把持位置を認識できるか否かを判断する（ステップＳ１６）。
　ステップＳ１６で、マスタ画像の候補と一致した物品の把持位置を認識できると判断した場合（ステップＳ１６のＹｅｓ）には、マスタ画像管理部２３は、該当するマスタ画像の候補を、このときの商品番号に関連付けられたマスタ画像としてマスタ画像データベース２２に登録する（ステップＳ１７）。そして、ピッキング制御装置２０は、ステップＳ１５で認識した把持位置で、マスタ画像として関連付けられた物品を把持する処理を実行する（ステップＳ２３）。
　また、ステップＳ１６で、マスタ画像管理部２３が、カメラ４１が撮影した画像内に、マスタ画像の候補と一致したものがないと判断した場合には（ステップＳ１６のＮｏ）、マスタ画像管理部２３は、照合処理を行っていない別のマスタ画像候補がマスタ画像データベース２２にあるか否かを判断する（ステップＳ１８）。
　ステップＳ１８で、照合していないマスタ画像の別の候補があると判断した場合（ステップＳ１８のＹｅｓ）、マスタ画像管理部２３は、ステップＳ１４の処理に戻り、候補となる別のマスタ画像のデータをマスタ画像データベース２２から抽出し、既に説明したステップＳ１４以降の処理を実行する。
　また、ステップＳ１８で、別のマスタ画像の候補がないと判断した場合には（ステップＳ１８のＮｏ）、マスタ画像管理部２３は、新規マスタ画像生成部２７に指示を出す。新規マスタ画像生成部２７は、カメラ４１、ＬｉＤＡＲセンサ４２、ミリ波レーダ４３のセンサの情報に基づき、マスタ画像を生成し、マスタ画像管理部２３に出力する。マスタ画像管理部２３は、上記のマスタ画像を対象としている商品番号と対応付けてマスタ画像データベース２２へ登録する（ステップＳ１９）。なお、このマスタ画像の登録は、上述のように自動で行ってもよいが、表示部２０ｇにマスタ画像の新規登録が必要であることを表示し、作業員による操作で、マスタ画像の新規登録を実行してもよい。
　このとき、例えばカメラ４１が撮影したカメラ画像の内で、作業員の操作で指示した特定の物品をマスタ画像として登録するようにしてもよい。あるいは、カメラ画像以外のものの画像をマスタ画像として登録してもよい。
　ステップＳ１９の登録処理が行われた後、ワーク認識部２４は、マスタ画像として関連付けられた物品の把持位置を認識し（ステップＳ２０）、該当する物品を把持する処理を実行する（ステップＳ２３）。
　そして、ステップＳ１３、Ｓ１７又はＳ２０の処理が実行され、ステップＳ２３の物品の把持処理が行われた後、次の商品番号の入力で、ステップＳ１１からの処理を繰り返し実行する。
　なお、ステップＳ１４でマスタ画像の候補を抽出した際には、候補の抽出中であることを、ピッキング制御装置２０の表示部２０ｇ（図５）に表示して、作業者に告知するのが好ましい。このとき、表示部２０ｇは、候補のマスタ画像を表示してもよい。また、ステップＳ１７で商品番号にマスタ画像を関連付ける処理の実行時にも、ピッキング制御装置２０の表示部２０ｇを通して、関連付け処理が実行中であることを作業者に告知するのが好ましい。これらの告知時には、作業者が登録を承諾する操作を受け付けた後に、商品番号にマスタ画像を関連付けるようにしてもよい。
　図７は、本発明の一実施の形態例によるピッキングシステムの制御動作の流れを示すフローチャートの第２の例を示す。
　図７のフローチャートのステップＳ１１～Ｓ１８までの処理は、図６のフローチャートと同じなので説明は省略する。
　図６のフローチャートでは、ステップＳ１９でマスタ画像を新規登録した後、ステップＳ２０で該当する物品を把持する処理を行うようにした。
　これに対して、図７のフローチャートに示す第２の例では、ステップＳ１８で、別のマスタ画像の候補がないとマスタ画像管理部２３が判断した場合（ステップＳ１８のＮｏ）、作業員の操作でロボット３０の作業エリアの特定の物品の把持位置を指示し、ワーク認識部２４が把持位置を認識する作業を最初に行うようにする（ステップＳ２１）。
　この場合、新規マスタ画像生成部２７は、認識した把持位置の物品を取り出すピッキング作業を行った後に、把持位置を認識した物品のカメラ画像を、マスタ画像として新規登録する（ステップＳ２２）。そして、ステップＳ２２で、マスタ画像を新規登録した後、次の商品番号の入力で、ステップＳ１１からの処理が繰り返すようにしている。
　図６のフローチャートに示す処理又は図７のフローチャートに示す処理を実行することで、商品番号にマスタ画像を関連付ける登録作業の大部分が自動化され、ロボットによるピックアップ作業を非常に効率よく実行できるようになる。すなわち、流通倉庫などが扱う商品番号は、一定の時期ごとに大きく変わることが多々あり、そのような場合でも、作業員が手作業で関連付けの登録作業を行う必要がなく、ピックアップ作業のために必要な登録の手間を大幅に軽減できるようになる。
［商品番号と関連付けられた商品リストの例］
　次に、商品番号のリストである商品リストの具体例を、図８～図１０に示す。
　図８は、商品番号と関連付けられた商品リストＬａと、マスタ画像と関連付けられた商品リストＬｂとの対応関係の例を示す。
　商品番号と関連付けられた商品リストＬａは、商品番号、種類、ブランド、商品サイズ、箱サイズ、ロゴの種類、ロゴのサイズ、ロゴの位置、箱の色、穴の位置などの、商品の特性についての情報を持つ。但し、それぞれの商品番号の項目について、商品リストＬａに示す全ての情報を持つ必要はない。
　マスタ画像と関連付けられた商品リストＬｂは、マスタ画像、ブランド、商品サイズ、箱サイズ、ロゴの種類などのマスタ画像を有する商品の特性情報を持つ。但し、それぞれのマスタ画像について、マスタ画像ごとに商品リストＬｂに示す全ての情報を持つ必要はない。
　ここで、例えば商品番号と関連付けられた商品リストＬａに示される商品番号ＡＡＡ－１と関連付けられたマスタ画像が未登録であるとき、その商品番号と関連したマスタ画像の候補が、マスタ画像と関連付けられた商品リストＬｂから取り出される。
　例えば、商品番号ＡＡＡ－１が、商品リストＬａ上でロゴの種類「ＡＡＡ」と登録されている場合に、マスタ画像と関連付けられた商品リストＬｂで、同じロゴの種類「ＡＡＡ」のマスタ画像である、No.1のマスタ画像と、No.2のマスタ画像が候補になる。また、異なるロゴの種類「ＢＢＢ」などのマスタ画像は、候補から除外される。
　そして、候補となった２つのマスタ画像（No.1及びNo.2のマスタ画像）の内で、カメラ画像との比較または作業者による指示などで、最適なマスタ画像として、例えば商品番号ＡＡＡ－１に関連付けられるマスタ画像が選ばれる。
　図９は、商品番号と関連付けられた商品リストＬｃとして、商品番号ＡＡＡ－１、ＡＡＡ－２、ＡＡＡ－３の３つの商品番号について、マスタ画像の関連付けがない場合を示す。
　ここで、商品番号ＡＡＡ－１、ＡＡＡ－２、ＡＡＡ－３は、種類、ブランド及び商品名が同じで、サイズのみが相違しているとする。
　このとき、本例のピッキング制御装置２０は、図６のフローチャートなどで説明した処理で、１つの商品番号ＡＡＡ－１について、マスタ画像Ｂを関連付けるようにする。
　この商品番号ＡＡＡ－１にマスタ画像Ｂが関連付けられたとき、本例のピッキング制御装置２０は、商品番号ＡＡＡ－１とサイズのみが相違する商品番号ＡＡＡ－２、ＡＡＡ－３の２つについても、同じマスタ画像Ｂを商品番号に関連付ける登録処理を行う。
　なお、ここではサイズのみが相違する場合について説明したが、サイズ以外の項目が相違する場合であっても、マスタ画像の関連付けが行われた商品番号と、所定の類似関係を有する商品番号について、同じマスタ画像を関連付けるようにしてもよい。例えば、商品の色が相違する商品番号についても、同じマスタ画像を関連付けるようにしてもよい。
　また、図９の場合において、最初に１つの商品番号ＡＡＡ－１について、マスタ画像Ｂを関連付ける登録処理は、図６又は図７のフローチャートで説明した自動登録処理の場合の他に、作業員が手作業でマスタ画像Ｂの登録処理を行う場合にも適用することができる。すなわち、作業員が手作業で、特定の１つの商品番号にマスタ画像の関連付け作業を行ったとき、そのマスタ画像が関連付けられた商品番号と、サイズや色などの所定の類似関係を有する別の商品番号についても、一括して同じマスタ画像を登録する。
　このように所定の類似関係を有する複数の商品番号について、同じマスタ画像を登録することで、マスタ画像の登録作業の効率化を図ることができる。
　図１０は、商品番号と関連付けられた商品リストＬｄとして、商品番号ごとにマスタ画像グループの情報を持つ場合を示している。
　このマスタ画像グループの情報を持つ場合、ピッキング制御装置２０は、１つの商品番号にマスタ画像が関連付けられたとき、同じグループ内の他の商品番号にも、同じマスタ画像を関連付ける。
　すなわち、予めマスタ画像が共通である複数の商品番号がグループとして記憶され、物品ごとに付与された商品番号にマスタ画像が関連付けられたとき、ピッキング制御装置２０は、グループの情報とマスタ画像とに基づいて、同じグループの別の商品番号に同じマスタ画像を登録することができる。
　このように、商品番号と関連付けられた商品リストＬｄがグループの情報を持つ場合にも、複数の商品番号のマスタ画像をまとめて登録することができ、マスタ画像の登録作業の効率化を図ることができる。
　このようなグループの情報を持つ場合でも、マスタ画像の登録作業は、図６又は図７のフローチャートで説明した自動登録処理の場合の他に、作業員が手作業でマスタ画像の登録処理を行う場合にも適用される。
［複数台のロボットを備えるシステムに適用した例］
　図１１は、本例のピッキングシステムとして、複数台のロボットを備える構成の例を示す。
　図１１に示すピッキングシステムは、図３のシステム構成で説明したロボット３０の他に３台のロボット１１０、１２０、１３０を有する。ロボット３０は、ピッキング制御装置２０により制御され、ロボット１１０、１２０、１３０は、それぞれピッキング制御装置２１０、２２０、２３０により制御される。
　各ピッキング制御装置２１０、２２０、２３０は、図４に示すピッキング制御装置２０と同様の構成である。但し、図１１に示すシステム構成の場合には、マスタ画像データベース７１は、全てのピッキング制御装置２０、２１０、２２０、２３０で共通に使用される。
　また、図１１に示すピッキングシステムは、ソータ制御装置７０を備える。ソータ制御装置７０は、物流制御装置１０から供給される商品番号の情報に基づいて、搬送される商品を各ロボット３０、１１０、１２０、１３０に対応したレーンに仕分ける処理を行う。また、ソータ制御装置７０は、レーンの仕分けに連動して、物流制御装置１０から各ロボット３０、１１０、１２０、１３０に供給する商品番号についても、仕分けを行う。
　ここで、ソータ制御装置７０は、物流制御装置１０から供給される商品番号について、マスタ画像データベース７１を参照して、関連付けられたマスタ画像があるか否かを判断する。そして、関連付けられたマスタ画像がある商品番号の商品を、３台のロボット１１０、１２０、１３０のいずれかのレーンに仕分け、それぞれのロボット１１０、１２０、１３０のピッキング制御装置２１０，２２０，２３０で、該当する商品のピッキングを実行する。なお、ロボット１１０、１２０、１３０は、商品を検出するためのセンサとして、カメラ４１のみを備えるようにして、ＬｉＤＡＲセンサ４２やミリ波レーダ４３（いずれも図４に図示）は省略してもよい。
　一方、ソータ制御装置７０は、関連付けられたマスタ画像がない商品番号の商品については、ロボット３０のレーンに仕分ける。そして、ロボット３０のピッキング制御装置２０で、該当する商品のピッキングを実行する。このとき、ピッキング制御装置２０は、図６又は図７のフローチャートで説明したマスタ画像の登録処理を実行する。なお、ロボット３０は、図４に示すＬｉＤＡＲセンサ４２やミリ波レーダ４３を配置した構成とする。
　このように構成したことで、商品番号に関連付けられたマスタ画像がある商品については、３台のロボット１１０、１２０、１３０で、登録されたマスタ画像を使ってピッキング処理が次々実行され、ピッキング作業のスループットを向上させることができる。
　一方、商品番号に関連付けられたマスタ画像がない商品は、特定の１台のロボット３０に割り当てられ、ロボット３０が、マスタ画像の登録処理が行われながらのピッキング処理を実行し、確実にマスタ画像を登録するようにする。また、マスタ画像の登録時には、ＬｉＤＡＲセンサ４２やミリ波レーダ４３を備えることで、箱（商品）の形状などの詳細を計測することができ好ましいが、これらのＬｉＤＡＲセンサ４２やミリ波レーダ４３は、ロボット３０だけに配置すればよく、それだけシステム構成の簡易化に貢献する。
［変形例］
　なお、本発明は、上述した実施の形態例に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施の形態例では、商品リストの例として、靴を収めた箱の例としたが、その他の各種商品のピッキング処理に適用してもよい。この場合、上述した実施の形態例では、商品を収めた箱をピッキングする例を説明したが、商品そのものが直接並べられた状態から、ロボットが商品をピッキングしてもよい。
　また、上述した実施の形態例は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
　さらに、上述した実施の形態例において、本発明の主旨を変えない範囲内で、装置またはシステム構成の変更や、一部の処理手順の省略や入れ替えを行ってもよい。
　また、ピッキング処理を行うプログラム等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、光ディスク等の記録媒体に置くことができる。
　さらにまた、図４，図５などのブロック図では、制御線や情報線は説明上必要と考えられるものだけを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。また、図６，図７に示すフローチャートにおいて、処理結果に影響を及ぼさない範囲で、複数の処理を同時に実行するか、あるいは処理順序を変更してもよい。
　１…マスタ画像抽出部、２…マスタ画像データベース、１０…物流制御装置、２０…ピッキング制御装置、２０ａ…中央処理ユニット（ＣＰＵ）、２０ｂ…ＲＯＭ、２０ｃ…ＲＡＭ、２０ｄ…不揮発性ストレージ、２０ｅ…ネットワークインタフェース、２０ｆ…入力部、２０ｇ…表示部、２１…マスタ画像抽出部、２２…マスタ画像データベース、２３…マスタ画像検索部、２４…ワーク認識部、２５…軌道計画部、２６…ロボット制御部、２７…新規マスタ画像生成部、３０…ロボット、３１…アーム、３２…挟持部、４１…カメラ、４２…ＬｉＤＡＲセンサ、４３…ミリ波レーダ、５０…箱、５１，５２…物品、６０…パレット、７０…ソータ制御装置、７１…マスタ画像データベース、１１０～１４０…ロボット、２１０～２６０…ピッキングシステム

Claims (9)

  1. 　管理している物品の商品番号と、物品の画像又は物品を収めた箱の画像であるマスタ画像とが記憶されるマスタ画像データベースと、
    　ピッキング対象となる物品の商品番号を取得し、取得した商品番号に関連付けられたマスタ画像を、マスタ画像データベースから抽出するマスタ画像抽出部と、
    　前記マスタ画像に基づいて商品の把持位置を認識するワーク認識部と、
    　前記商品の把持位置に基づいてロボットの軌道を計画する軌道計画部と、
    　前記計画された軌道に基づいてピッキングをロボットに実行させるロボット制御部と、
    　前記マスタ画像抽出部でピッキング対象となる物品の商品番号に関連付けられたマスタ画像がマスタ画像データベースから抽出できない場合に、マスタ画像データベースに記憶されているマスタ画像から、ピッキング対象となる物品の商品番号に対応したマスタ画像の候補を抽出し、抽出したマスタ画像の候補を、ピッキング対象となる物品の商品番号に関連付けてマスタ画像データベースに登録するマスタ画像管理部と、を備える
    　ピッキング制御装置。
  2. 　前記マスタ画像管理部は、抽出したマスタ画像の候補が、ピッキング作業を行う範囲を撮影した画像に含まれるとき、該当したマスタ画像の候補を、ピッキング対象となる物品の商品番号に関連付ける
    　請求項１に記載のピッキング制御装置。
  3. 　前記マスタ画像データベースには、それぞれのマスタ画像の利用頻度が記憶され、
    　前記マスタ画像管理部は、前記マスタ画像データベースに記憶されたマスタ画像の利用頻度に基づいて、マスタ画像の候補を抽出する
    　請求項１に記載のピッキング制御装置。
  4. 　前記マスタ画像管理部は、ピッキング対象となる物品の商品番号に基づいて物品の特性情報を取得し、取得した特性情報からマスタ画像の候補を抽出する
    　請求項１に記載のピッキング制御装置。
  5. 　前記マスタ画像管理部が、ピッキング対象となる物品の商品番号に対応したマスタ画像の候補が前記マスタ画像データベースから抽出できない場合、ピッキング対象となる物品を計測及び／又は撮影した結果に基づいて生成した画像を、ピッキング対象となる物品に関連付けられたマスタ画像として登録させる
    　請求項１に記載のピッキング制御装置。
  6. 　前記ロボットは、少なくとも第１のロボットと第２のロボットを有し、
    　前記ロボット制御部は、前記第１のロボットに対して、ピッキング対象となる物品の商品番号に関連付けられたマスタ画像が存在する商品のピッキング作業を実行させ、前記第２のロボットに対して、ピッキング対象となる物品の商品番号に関連付けられたマスタ画像が存在しない商品のピッキング作業を実行させる
    　請求項１に記載のピッキング制御装置。
  7. 　さらに表示部を備え、
    　前記マスタ画像管理部が、ピッキング対象となる物品の商品番号に対応したマスタ画像の候補を抽出した際に、前記表示部は、候補の抽出中を表示する
    　請求項１～６のいずれか１項に記載のピッキング制御装置。
  8. 　さらに表示部を備え、
    　前記マスタ画像管理部が、抽出したマスタ画像の候補を、ピッキング対象となる物品の商品番号に関連付ける際に、前記表示部は、商品番号に関連付ける処理の実行を表示する
    　請求項１～６のいずれか１項に記載のピッキング制御装置。
  9. 　管理している物品の商品番号と、物品の画像又は物品を収めた箱の画像であるマスタ画像とが記憶されるマスタ画像データベースと、
    　ピッキング対象となる物品の商品番号を取得し、取得した商品番号に関連付けられたマスタ画像を、マスタ画像データベースから抽出するマスタ画像抽出部と、
    　前記マスタ画像に基づいて商品の把持位置を認識するワーク認識部と、
    　前記商品の把持位置に基づいてロボットの軌道を計画する軌道計画部と、
    　前記計画された軌道に基づいてピッキングをロボットに実行させるロボット制御部と、
    　ピッキング対象となる物品の商品番号を、前記マスタ画像データベースに記憶されたマスタ画像に関連付ける登録処理を行うと共に、前記登録処理が行われた際に、マスタ画像への関連付けが行われていない商品番号の内で、前記ピッキング対象となる物品の商品番号と所定の関係を有する商品番号を、前記マスタ画像データベースに記憶されたマスタ画像に関連付けるマスタ画像管理部と、を備える
    　ピッキング制御装置。
PCT/JP2020/038000 2020-03-30 2020-10-07 ピッキング制御装置 WO2021199467A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020059921A JP7328173B2 (ja) 2020-03-30 2020-03-30 ピッキング制御装置
JP2020-059921 2020-03-30

Publications (1)

Publication Number Publication Date
WO2021199467A1 true WO2021199467A1 (ja) 2021-10-07

Family

ID=77918996

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038000 WO2021199467A1 (ja) 2020-03-30 2020-10-07 ピッキング制御装置

Country Status (2)

Country Link
JP (1) JP7328173B2 (ja)
WO (1) WO2021199467A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023068252A1 (ja) * 2021-10-21 2023-04-27 アセントロボティクス株式会社 対象デジタルツインモデル生成システム、ロボットの制御システム、仮想店舗生成システム、対象デジタルツインモデル生成方法、ロボットの制御方法、および仮想店舗生成方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014043287A (ja) * 2012-08-24 2014-03-13 Fujifilm Corp 物品マスターテーブル作成装置および方法並びにプログラム
JP2016185845A (ja) * 2015-03-27 2016-10-27 日本電気株式会社 検品処理装置、検品処理方法及びプログラム
JP2018045485A (ja) * 2016-09-15 2018-03-22 コニカミノルタ株式会社 管理システム、管理装置、管理方法、および管理プログラム
WO2018173948A1 (ja) * 2017-03-24 2018-09-27 株式会社日立国際電気 サービス提供システム
US20180282066A1 (en) * 2017-03-23 2018-10-04 Berkshire Grey, Inc. Systems and methods for processing objects, including automated mobile matrix bins
JP6661208B1 (ja) * 2019-05-31 2020-03-11 株式会社Ｍｕｊｉｎ ロボットシステムの制御装置及び制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014043287A (ja) * 2012-08-24 2014-03-13 Fujifilm Corp 物品マスターテーブル作成装置および方法並びにプログラム
JP2016185845A (ja) * 2015-03-27 2016-10-27 日本電気株式会社 検品処理装置、検品処理方法及びプログラム
JP2018045485A (ja) * 2016-09-15 2018-03-22 コニカミノルタ株式会社 管理システム、管理装置、管理方法、および管理プログラム
US20180282066A1 (en) * 2017-03-23 2018-10-04 Berkshire Grey, Inc. Systems and methods for processing objects, including automated mobile matrix bins
WO2018173948A1 (ja) * 2017-03-24 2018-09-27 株式会社日立国際電気 サービス提供システム
JP6661208B1 (ja) * 2019-05-31 2020-03-11 株式会社Ｍｕｊｉｎ ロボットシステムの制御装置及び制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023068252A1 (ja) * 2021-10-21 2023-04-27 アセントロボティクス株式会社 対象デジタルツインモデル生成システム、ロボットの制御システム、仮想店舗生成システム、対象デジタルツインモデル生成方法、ロボットの制御方法、および仮想店舗生成方法

Also Published As

Publication number Publication date
JP2021154467A (ja) 2021-10-07
JP7328173B2 (ja) 2023-08-16

Similar Documents

Publication Publication Date Title
US11420329B2 (en) Processing systems and methods for providing processing of a variety of objects
US11905116B2 (en) Controller and control method for robot system
US12002007B2 (en) Robotic system with automated package scan and registration mechanism and methods of operating the same
DE102020114577B4 (de) Steuerung und steuerverfahren für robotersystem
JP6738112B2 (ja) ロボットシステムの制御装置及び制御方法
KR102492129B1 (ko) 동적인 재고 관리 시스템 및 방법
US11077554B2 (en) Controller and control method for robotic system
US11338436B2 (en) Assessing robotic grasping
KR20200047433A (ko) 주문 이행을 위한 식별 및 계획 시스템 및 방법
JP2019532883A (ja) 中継式物品仕分けシステムおよび仕分け方法
CN113894826A (zh) 用于提供使用运动规划的各种物体的处理的系统和方法
CN105404540B (zh) 一种机器人远程升级的方法、系统及远程服务器
JP2020073407A (ja) 中継式物品仕分けシステムおよび仕分け方法
CN109592433B (zh) 一种货物拆垛方法、装置及拆垛系统
JP6556717B2 (ja) 持続的バッチ注文履行
US11534923B1 (en) Robotic manipulation and frame sensor placement for in-motion object modeling and identification
WO2021199467A1 (ja) ピッキング制御装置
TW202247965A (zh) 機器人分割系統感測器
TW202241669A (zh) 可適性機器人單分系統
JP7241374B2 (ja) ロボットによるオブジェクト配置のシステム及び方法
JP2022035925A (ja) 仕分け作業員のピッキング情報に対する処理方法及びピッキングロボット
CN118103880A (zh) 用于在物体处理系统中辅助物体辨识的系统和方法
CN115496565A (zh) 商品识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20928825

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20928825

Country of ref document: EP

Kind code of ref document: A1