WO2023140266A1 - ピッキング装置及び画像生成プログラム - Google Patents

ピッキング装置及び画像生成プログラム Download PDF

Info

Publication number
WO2023140266A1
WO2023140266A1 PCT/JP2023/001255 JP2023001255W WO2023140266A1 WO 2023140266 A1 WO2023140266 A1 WO 2023140266A1 JP 2023001255 W JP2023001255 W JP 2023001255W WO 2023140266 A1 WO2023140266 A1 WO 2023140266A1
Authority
WO
WIPO (PCT)
Prior art keywords
picking
dimensional
image data
information
region
Prior art date
Application number
PCT/JP2023/001255
Other languages
English (en)
French (fr)
Inventor
徹 岩▲崎▼
Original Assignee
興和株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 興和株式会社 filed Critical 興和株式会社
Publication of WO2023140266A1 publication Critical patent/WO2023140266A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Definitions

  • the present invention relates to a picking device and an image generation program that can accurately identify the position of an object to be picked.
  • robots have been used to automate tasks such as sorting, transshipment, and unloading of packages at the shipping stage from factories and distribution bases.
  • Patent Document 1 has already been proposed as a technique for automatically confirming and measuring a box-shaped picking object to be gripped.
  • This patent document 1 discloses a configuration for accurately grasping a box-shaped picking target to be gripped by using two pieces of information, a two-dimensional image captured by a two-dimensional camera and three-dimensional point cloud information obtained by a three-dimensional camera or the like.
  • Patent Document 1 it is possible to improve the detection accuracy of the position of the picking target by using two pieces of information, a two-dimensional image captured by a two-dimensional camera and three-dimensional point cloud information obtained by a three-dimensional camera, etc., but even if the two are combined, there is still a possibility that the position of the picking target will be detected incorrectly. For example, when the picking objects are precisely stacked without gaps, there is a possibility that the boundary of the picking objects on the top surface cannot be specified only with the three-dimensional point cloud information.
  • the position of a picking target is detected by, for example, image recognition processing by AI for a two-dimensional image captured by a two-dimensional camera
  • the two-dimensional image includes overexposed areas due to light reflection or dark areas caused by being shaded by other objects, the position of the picking target may be erroneously detected.
  • the present invention has been made in view of the above problems, and an object thereof is to provide a picking device and an image generation program capable of accurately specifying the position of an object to be picked.
  • a picking device comprises a picking robot having a hand for picking an object to be picked, a two-dimensional camera for two-dimensionally photographing the object to be picked, a three-dimensional camera for acquiring three-dimensional point group information representing distance information to the object to be picked, and a control unit for controlling the picking operation of the picking robot.
  • a 2D captured image acquisition function for acquiring captured image data
  • a 3D point group information acquisition function for controlling the 3D camera to acquire 3D point group information relating to the entirety of the plurality of picked objects loaded
  • a calibration function for standardizing coordinate information between the 2D captured image data and the 3D point group information based on the target object to be picked
  • an AI determination image acquisition function for obtaining image data for AI determination by selecting or synthesizing the two-dimensional captured image data whose brightness information in the region of interest satisfies a predetermined condition based on at least one or more of the two-dimensional captured image data; and inputting the image data for AI determination to a trained model that has previously learned about identifying the picking target from the input image data and outputting center coordinate information of each picking target.
  • a center coordinate information acquisition function for acquiring center coordinate information of each picking target object in the AI determination image data
  • a picking control function for controlling the picking operation and transfer operation of the picking target object by the picking robot based on the height information acquired from the center coordinate information and the three-dimensional point group information.
  • the AI determination image acquisition function is characterized in that the average luminance value of pixels in the region of interest is equal to or greater than a predetermined lower threshold and/or equal to or less than a predetermined upper threshold as a predetermined condition to be satisfied by the AI determination image data.
  • the AI determination image acquisition function acquires the AI determination image data by determining whether or not a plurality of two-dimensional captured image data acquired by performing multiple shots by changing the exposure condition of the two-dimensional camera satisfies the predetermined condition.
  • the AI determination image acquisition function is characterized in that the AI determination image data is generated by performing HDR processing based on a plurality of two-dimensional photographed image data obtained by performing multiple photographing operations by changing the exposure conditions of the two-dimensional camera, thereby generating the AI judgment image data in which luminance information within the region of interest satisfies a predetermined condition.
  • the picking device is characterized in that the two-dimensional camera is installed near the hand of the picking robot so that it can move together with the hand.
  • the picking device is characterized in that the three-dimensional camera is installed near the hand of the picking robot so that it can move together with the hand.
  • the picking device employs a stereo camera instead of the two-dimensional camera and the three-dimensional camera, and the stereo camera acquires the two-dimensional captured image data and the three-dimensional point cloud information.
  • An image generation program is an image generation program for causing a computer to realize the processing of generating image data for AI determination used in a configuration in which two-dimensional photographed image data obtained by photographing a picking object is determined, and the process of specifying the picking object and calculating the center coordinate information of the picking object is performed based on a learned model (AI) that has been learned in advance by machine learning.
  • AI learned model
  • a 2D captured image acquisition function for acquiring dimensional captured image data
  • a 3D point group information acquisition function for controlling a 3D camera to acquire 3D point group information relating to the entirety of the plurality of picked objects loaded
  • a calibration function for standardizing coordinate information between the 2D captured image data and the 3D point group information on the basis of the target object to be picked
  • an AI determination image acquisition function for obtaining AI determination image data by selecting or synthesizing the two-dimensional captured image data that satisfies a predetermined condition for brightness information in the region of interest based on at least one or more of the two-dimensional captured image data.
  • the AI determination image data to be input to the trained model that has been trained in advance to specify the picking target from the input image data and output the center coordinate information of each picking target is obtained by selecting or synthesizing the 2D image data that satisfies the predetermined condition for the brightness information in the region of interest corresponding to the top surface candidate region extracted from the 3D point cloud information. ) can be obtained.
  • FIG. 1 is an explanatory diagram for explaining the overall configuration of a picking device corresponding to at least one embodiment of the present invention
  • FIG. It is a block diagram showing an example of a configuration of a picking device corresponding to at least one embodiment of the present invention.
  • FIG. 4 is a flowchart diagram showing an example of the flow of picking processing for pick-up objects corresponding to at least one of the embodiments of the present invention;
  • FIG. 4 is an image diagram showing an example of two-dimensional captured image data acquired by a picking device corresponding to at least one embodiment of the present invention;
  • FIG. 4 is an image diagram showing an example of three-dimensional point group information acquired by a picking device corresponding to at least one embodiment of the present invention;
  • FIG. 10 is an image diagram showing an example of how a region of interest is set in two-dimensional captured image data in a picking device corresponding to at least one embodiment of the present invention
  • FIG. 5 is an image diagram showing an example of image data for AI determination generated by a picking device corresponding to at least one embodiment of the present invention
  • FIG. 5 is an image diagram showing an example of a state in which center coordinate information output by an AI is superimposed on two-dimensional captured image data in a picking device corresponding to at least one embodiment of the present invention
  • FIG. 10 is an image diagram showing an example of captured images captured a plurality of times with different exposure times by a picking device corresponding to at least one embodiment of the present invention
  • FIG. 5 is an explanatory diagram for explaining how a picking device corresponding to at least one embodiment of the present invention determines a predetermined condition by focusing only on a region of interest of two-dimensional captured image data;
  • FIG. 5 is an explanatory diagram for explaining an example of generating image data for AI determination by HDR processing in a picking device corresponding to at least one embodiment of the present invention;
  • FIG. 1 is an explanatory diagram for explaining the overall configuration of a picking device corresponding to at least one embodiment of the present invention.
  • the picking device 100 includes at least a picking robot 10, a two-dimensional camera 20, a three-dimensional camera 30, and a control unit 40.
  • the picking apparatus 100 of this example is for specifying the correct position of the top surface of the object to be picked up in the control unit 40 based on the two-dimensional image data taken by the two-dimensional camera 20 and the three-dimensional point group information acquired by the three-dimensional camera 30, controlling the picking robot 10 based on the specified information, and automatically performing work such as transshipment of the object to be picked.
  • FIG. 2 is a block diagram showing an example of the configuration of a picking device corresponding to at least one embodiment of the present invention.
  • the picking device 100 includes at least a picking robot 10, a two-dimensional camera 20, a three-dimensional camera 30, and a control unit 40.
  • the picking device 100 includes at least a picking robot 10, a two-dimensional camera 20, a three-dimensional camera 30, and a control unit 40.
  • the picking robot 10 is a robot equipped with a hand for picking objects.
  • the picking robot 10 is described as having a suction hand that suctions and lifts the center of the picking target, but the picking robot 10 is not limited to this, and may be equipped with a hand that grips the side of the picking target, for example.
  • the operation of the picking robot 10 is controlled by a control unit 40 which will be described later.
  • the two-dimensional camera 20 is configured for two-dimensional imaging of the picking target. If the picking object can be photographed, the installation position and photographing angle can be set in various ways. However, in the case where the top surface of the picking object is grasped by suction as in this example, it is preferable to install the picking object so that the top surface of the picking object is photographed from above. Specifically, it is conceivable to install near the hand portion at the tip of the picking robot 10 .
  • the vicinity of the hand means a position that can be moved together with the hand, and means a position that does not affect the picking operation even if it is moved in conjunction with the hand.
  • the two-dimensional camera 20 may be installed in the tower separately from the picking robot 10 by forming a tower near the picking object so as not to interfere with the operation range of the picking robot 10, without being limited to the case where it is installed integrally with the hand part.
  • the two-dimensional camera 20 is controlled to perform photographing by a control unit 40, which will be described later.
  • the three-dimensional camera 30 is a configuration for acquiring three-dimensional point group information representing distance information to the picking target. Any means may be used as long as it is possible to acquire three-dimensional point group information.
  • a TOF camera Time-of-Flight Camera
  • it may be a configuration for extracting distance information using a stereo camera, or a configuration for acquiring three-dimensional point group information using LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging).
  • the three-dimensional camera 30 is controlled to perform photographing by a control unit 40, which will be described later.
  • the three-dimensional camera 30 can be set at various installation positions and shooting angles as long as it can shoot the picking target object.
  • the three-dimensional camera 30 so that the top surface of the picking target object is photographed from above.
  • the vicinity of the hand means a position that can be moved together with the hand, and means a position that does not affect the picking operation even if it is moved in conjunction with the hand.
  • a tower may be assembled near the picking object separately from the picking robot 10 so as not to interfere with the movement range of the picking robot 10, and the three-dimensional camera 30 may be installed on the tower.
  • the two-dimensional camera 20 and the three-dimensional camera 30 are installed adjacent to each other so that they have substantially the same shooting angle.
  • the control unit 40 is a configuration for controlling the photographing by the two-dimensional camera 20, the photographing by the three-dimensional camera 30, and the picking operation of the picking robot.
  • the control unit 40 may be configured by any means as long as it can execute the control described later, but is realized by, for example, a computer, a microcomputer, a PLC (Programmable Logic Controller), or a combination thereof.
  • the computer comprises a CPU (Central Processing Unit), which a general computer would normally have, a memory, a hard disk drive, a storage such as an SSD, etc. It may also be equipped with an input device such as a mouse and keyboard, an output device such as a display and a printer, and a communication device for connecting to a communication network, and these may be connected via a bus.
  • a CPU Central Processing Unit
  • the processing in each part of the information processing device 10 is realized by reading a program for executing the processing in each part from the memory and executing it in a CPU, GPU, or FPGA (Field Programmable Gate Array) that functions as a control circuit (processing circuit, processing circuitry).
  • the processor processing circuit
  • a configuration is also conceivable in which the processing up to the acquisition of the central coordinate information of the picking object is executed by a computer, and the operation control of the picking robot 10 using the central coordinate information is realized using a PLC.
  • various data used by the control unit 40 and various data obtained as a result of processing by the control unit 40 are appropriately stored in a storage unit (not shown).
  • control unit 40 includes a 2D captured image acquisition function 41, a 3D point cloud information acquisition function 42, a calibration function 43, a top surface candidate area extraction function 44, a region of interest setting function 45, an AI determination image acquisition function 46, a central coordinate information acquisition function 47, and a picking control function 48.
  • the two-dimensional photographed image acquisition function 41 has a function of acquiring at least one or more two-dimensional photographed image data obtained by controlling the two-dimensional camera 20 and photographing the entirety of a plurality of loaded picking objects.
  • the two-dimensional photographed image acquisition function 41 can acquire a plurality of two-dimensional photographed image data with different exposure times by changing the exposure time at the time of photographing when executing photographing a plurality of times.
  • the 3D point cloud information acquisition function 42 has a function of controlling the 3D camera 30 to acquire 3D point cloud information regarding the entirety of the multiple picked objects loaded.
  • the 3D point cloud information is information obtained by calculating the distance to an object existing in the shooting range for each measurement point, and by analyzing the point cloud information, it is possible to specify the surface and shape of the object.
  • the calibration function 43 has a function of standardizing coordinate information between the two-dimensional captured image data and the three-dimensional point group information, with the target picking object as a reference. Coordinate information is made common between the two-dimensional image data and the three-dimensional point group information based on the object to be picked up in common. As a result, it becomes possible to re-render the three-dimensional point group information at the same angle of view as the two-dimensional captured image data.
  • the coordinate information sharing processing in the calibration function 43 it is possible to acquire the XY coordinates of each point on the top surface of the pickup object captured in the two-dimensional image data, and the Z coordinate (vertical distance information) that is the distance from the point photographed by the two-dimensional camera 20 to the top surface of the pickup object.
  • the top surface candidate area extraction function 44 has a function of extracting top surface candidate areas of a plurality of picking objects from the three-dimensional point group information. Distance information to each point of the pick-up object becomes clear by the process of sharing the coordinate information in the calibration function 43 .
  • the search range is gradually expanded in the Z-coordinate direction from the shooting point, it is possible to detect a location where a plurality of point groups planarly exist near a certain Z-coordinate.
  • the search may be performed with a range in the distance in the Z direction.
  • the distance range in the Z direction within which the point group is assumed to be on the same plane can be appropriately set according to the work environment.
  • the region-of-interest setting function 45 has a function of setting a region corresponding to the top surface candidate region in the two-dimensional captured image data as a region of interest.
  • the top surface candidate area is extracted from the three-dimensional point group information in the top surface candidate area extraction function 44, but since the coordinate information is shared between the two-dimensional photographed image data and the three-dimensional point group information, it is possible to set the location on the two-dimensional photographed image data corresponding to this top surface candidate area as the region of interest.
  • the AI judgment image acquisition function 46 has a function of obtaining AI judgment image data by selecting or synthesizing two-dimensional photographed image data whose brightness information in the region of interest satisfies a predetermined condition based on at least one or more two-dimensional photographed image data.
  • this AI determination image acquisition function 46 not the entire two-dimensional image data, but the brightness information of pixels included in the region of interest is focused, and two-dimensional image data whose brightness information satisfies a predetermined condition is selected or synthesized to obtain AI determination image data.
  • the predetermined condition regarding luminance information is, for example, that the average luminance value of all pixels in the region of interest is equal to or higher than a predetermined lower threshold and/or equal to or lower than a predetermined upper threshold (if both the upper limit and the lower limit are set, the average luminance value must be within a predetermined range) in order to exclude images in which the region of interest is too dark or too bright. Further, for example, in order to exclude an image in which a dark portion exists in the region of interest, it is conceivable to make it a predetermined condition that there are not more than a predetermined number of pixels with a luminance value of a predetermined value or less (for example, a luminance value of 10 or less in the case of 8 bits).
  • a predetermined condition that there are not more than a predetermined number of pixels with a luminance value of a predetermined value or more (for example, a luminance value of 245 or more in the case of 8 bits) in order to exclude an image in which whiteout exists in the region of interest.
  • the AI determination image acquisition function 46 may acquire AI determination image data by determining whether or not a plurality of two-dimensional captured image data obtained by performing multiple shots by changing the exposure conditions of the two-dimensional camera 20 satisfy a predetermined condition. That is, it is conceivable to acquire a plurality of two-dimensional captured image data by executing a plurality of shootings by changing the exposure conditions of the two-dimensional camera 20 in advance, and to select the most appropriate two-dimensional captured image data as AI determination image data by determining whether or not the plurality of two-dimensional captured image data satisfy a predetermined condition.
  • the AI determination image acquisition function 46 may perform HDR processing based on a plurality of two-dimensional captured image data obtained by performing multiple shots by changing the exposure conditions of the two-dimensional camera 20, thereby generating AI determination image data in which the brightness information within the region of interest satisfies a predetermined condition.
  • HDR High-dynamic-range
  • processing refers to processing that selects a portion with optimal brightness (no blown-out highlights or blocked-up shadows) from a plurality of two-dimensional image data captured at various exposure times and synthesizes them into one image. This is also called HDR compositing.
  • the HDR processing is a known technology, the details will be omitted, but by performing this HDR processing, it is possible to acquire an image suitable for AI determination image data without blown-out highlights or blocked-up shadows. It is determined whether the brightness information in the region of interest satisfies a predetermined condition for the image data obtained by the HDR processing, and if the image data satisfies the predetermined condition, the image data obtained by the HDR processing is set as the image data for AI determination.
  • the center coordinate information acquisition function 47 has a function of acquiring the center coordinate information of each picking target in the AI determination image data by inputting the AI determination image data to a trained model that has been trained in advance to specify the picking target from the input image data and output the center coordinate information of each picking target.
  • the trained model refers to a model that has learned to output central coordinate information when image data showing a picking object is input by performing machine learning using a plurality of training data sets that are sets of image data showing a picking object and correct data for center coordinate information of the picking object in the image data.
  • the trained model may be any model, but for example, a trained model configured with a neural network is conceivable.
  • Various images can be used as the teacher data set used for learning.
  • learning may be performed using image data including blown-out highlights and blocked-up shadows.
  • a trained model that has learned about outputting coordinate information of the four corner positions of the top surface of a box-shaped picking object may be adopted, or a trained model that has learned about outputting both the coordinate information of the four corner positions of the top surface of the picking object and the center coordinate information may be adopted. That is, it is preferable to learn the learned model so that the information necessary for controlling the picking robot 10 to be controlled and performing the picking work can be obtained.
  • the picking control function 48 has a function of controlling the picking operation and transfer operation of the picking target object by the picking robot based on the height information acquired from the central coordinate information and the 3D point cloud information.
  • Center coordinate information and height information are acquired as information necessary for the picking operation and transfer operation of the picking object.
  • Z coordinate information Z coordinate information
  • the control after the pick-up object is gripped by the hand section can be appropriately executed based on known techniques.
  • FIG. 3 is a flowchart diagram showing an example of the flow of picking processing for pick-up objects corresponding to at least one embodiment of the present invention.
  • the picking process is started by acquiring one or more two-dimensional captured image data of an object to be picked in the control unit 40 of the picking device 100 (step S101).
  • the control unit 40 acquires the three-dimensional point group information of the picked object (step S102).
  • the control unit 40 performs calibration for sharing coordinate information between the two-dimensional captured image data and the three-dimensional point group information (step S103).
  • the control unit 40 extracts a top surface candidate area from the three-dimensional point group information (step S104).
  • control unit 40 sets a position corresponding to the top surface candidate area in the two-dimensional captured image data as a region of interest (step S105).
  • the control unit 40 acquires AI determination image data by selecting or generating image data whose luminance information in the region of interest satisfies a predetermined condition based on one or more pieces of two-dimensional captured image data (step S106).
  • the control unit 40 acquires center coordinate information of the picking target by inputting the AI determination image data to the learned model (AI) (step S107).
  • the control unit 40 controls the picking operation and the transfer operation of the picking object by the picking robot based on the obtained center coordinate information and height information (step S108), and ends the picking process.
  • FIG. 4 is an image diagram showing an example of two-dimensional captured image data acquired by a picking device corresponding to at least one embodiment of the present invention.
  • the image diagram shown in FIG. 4 shows two-dimensional photographed image data obtained by photographing a state in which three box-shaped pick-up objects are placed on the lower stage and two box-shaped pick-up objects are placed thereon by the two-dimensional camera 20.
  • FIG. 5 is an image diagram showing an example of three-dimensional point cloud information acquired by a picking device corresponding to at least one embodiment of the present invention.
  • the image diagram shown in FIG. 5 represents three-dimensional point group information obtained by photographing the same pick-up object as in FIG. 4 with the three-dimensional camera 30.
  • One image represents the three-dimensional point group information photographed from an oblique direction
  • one image represents the three-dimensional point group information drawn at the angle of view of the two-dimensional camera
  • the remaining one image represents the extracted top surface candidate area.
  • FIG. 6 is an image diagram showing an example of how a region of interest is set in two-dimensional captured image data in a picking device corresponding to at least one embodiment of the present invention.
  • the image diagram shown in FIG. 6 represents a state in which a region of interest is set in the two-dimensional photographed image data, and is a masking image in which portions other than the region of interest are masked.
  • FIG. 7 is an image diagram showing an example of AI determination image data generated by a picking device corresponding to at least one embodiment of the present invention. Since what can be adopted as AI judgment image data is two-dimensional photographed image data whose brightness information in the region of interest satisfies a predetermined condition, it is judged whether or not one or more two-dimensional photographed image data satisfy the predetermined condition based on the range of the region of interest set as shown in FIG. 6, and two-dimensional photographed image data satisfying the predetermined condition is adopted as AI judgment image data.
  • FIG. 8 is an image diagram showing an example of how central coordinate information output by AI is superimposed on two-dimensional captured image data in a picking device corresponding to at least one embodiment of the present invention.
  • the image diagram shown in FIG. 8 represents a state in which the central coordinate information output by the AI is superimposed on the two-dimensional photographed image data.
  • the picking operation can be accurately controlled.
  • the image data used as the image data for AI determination must be an image with high determination accuracy that is free from blown-out highlights and blocked-up shadows.
  • FIG. 9 is an image diagram showing an example of images taken a plurality of times with different exposure times by a picking device corresponding to at least one embodiment of the present invention. As shown in FIG. 9, when multiple shots are taken with different exposure times, the state of the image data obtained varies depending on the exposure times. In the example shown in FIG. 9, three patterns are displayed, and it can be said that the image data of the intermediate exposure time is the most suitable.
  • FIG. 10 is an explanatory diagram for explaining how a picking device corresponding to at least one embodiment of the present invention determines a predetermined condition by focusing only on a region of interest in two-dimensional captured image data.
  • a region of interest is set for the two-dimensional photographed image data shown in FIG. 9, the region of interest is set as shown in the image diagram shown in FIG.
  • FIG. 11 is an explanatory diagram for explaining an example of generating AI determination image data by HDR processing in a picking device corresponding to at least one embodiment of the present invention.
  • the unprocessed two-dimensional photographed image data shown in FIG. 11 has shadowed and dark areas and overexposed areas, although the blacks are not crushed.
  • HDR processing HDR synthesis
  • the image data obtained by this HDR processing may be adopted as the image data for AI determination.
  • a picking robot having a hand for picking an object to be picked, a two-dimensional camera for two-dimensionally photographing the object to be picked, a three-dimensional camera for acquiring three-dimensional point group information representing distance information to the object to be picked, and a control unit for controlling the picking operation of the picking robot.
  • a 3D point cloud information acquisition function that controls a 3D camera to acquire 3D point cloud information about the entirety of multiple picked objects loaded; a calibration function that standardizes coordinate information between the 2D image data and the 3D point cloud information based on the target picking object; a top surface candidate area extraction function that extracts the top surface candidate areas of multiple picking objects from the 3D point cloud information; a region of interest setting function for setting a region corresponding to the region of interest as a region of interest; an image acquisition function for AI determination for obtaining image data for AI determination by selecting or synthesizing two-dimensional captured image data whose brightness information in the region of interest satisfies a predetermined condition based on at least one or more two-dimensional captured image data; A center coordinate information acquisition function for acquiring the center coordinate information of the object to be picked, and a picking control function for controlling the picking operation and the transfer operation of the picking object based on the height information acquired from the center coordinate information and the three-dimensional point cloud information.
  • the image data for AI determination input to the trained model that has previously learned about specifying the picking object from the input image data and outputting the center coordinate information of each picking object is applied to the top surface candidate area extracted from the three-dimensional point cloud information.
  • the brightness information in the corresponding region of interest is obtained by selecting or synthesizing the two-dimensional photographed image data that satisfies a predetermined condition, so that the center coordinate information (position information) of the picking object can be obtained with high accuracy by using the AI determination image data that does not include blown-out highlights or dark areas.
  • the AI determination image acquisition function sets the predetermined condition that the average luminance value of the pixels in the region of interest is equal to or higher than a predetermined lower limit threshold and/or equal to or lower than a predetermined upper threshold to be satisfied by the AI determination image data. Therefore, it is possible to exclude 2D image data whose average luminance value is too low or too high and adopt the 2D image data as AI determination image data.
  • the AI determination image acquisition function acquires AI determination image data by determining whether or not a plurality of 2D captured image data obtained by performing multiple shots by changing the exposure conditions of the 2D camera satisfies a predetermined condition. Therefore, it is possible to adopt the 2D captured image data with the optimum exposure time in the shooting environment as the AI determination image data.
  • the AI determination image acquisition function executes HDR processing based on a plurality of two-dimensional captured image data acquired by performing multiple shots by changing the exposure conditions of the two-dimensional camera, thereby generating AI determination image data in which the brightness information in the region of interest satisfies a predetermined condition. Therefore, it is possible to generate AI determination image data with high determination accuracy without blown-out highlights or blocked-up shadows through HDR processing.
  • the two-dimensional camera 20 is used to acquire the two-dimensional captured image data
  • the three-dimensional camera 30 is used to acquire the three-dimensional point group information.
  • the present invention is not limited to this.
  • a stereo camera may be employed to realize both acquisition of two-dimensional captured image data and acquisition of three-dimensional point group information.
  • the stereo camera after acquiring two two-dimensional image data by capturing images at two different shooting angles, depth information (distance information) can be obtained by stereo matching using the two two-dimensional image data, and three-dimensional point group information can be generated.
  • distance information distance information
  • three-dimensional point group information can be generated.
  • the stereo camera can perform a calibration function between the two-dimensional captured image data and the three-dimensional point group information.
  • picking device 10 picking robot 20 two-dimensional camera 30 three-dimensional camera 40 control unit 41 two-dimensional photographed image acquisition function 42 three-dimensional point group information acquisition function 43 calibration function 44 top surface candidate region extraction function 45 region of interest setting function 46 image acquisition function for AI determination 47 central coordinate information acquisition function 48 picking control function

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

ピッキング対象物の位置を正確に特定可能なピッキング装置を提供するために、複数のピッキング対象物の全体を撮影した少なくとも１以上の２次元撮影画像データを取得し、複数のピッキング対象物の全体に関する３次元点群情報を取得し、２次元撮影画像データと３次元点群情報との間でキャリブレーションを実行し、３次元点群情報から複数のピッキング対象物の天面候補領域を抽出し、２次元撮影画像データにおける天面候補領域に相当する領域を関心領域に設定し、関心領域内の輝度情報が所定条件を満たす２次元撮影画像データを選択又は合成してＡＩ判定用画像データを取得し、予め学習を行った学習済モデルに対してＡＩ判定用画像データを入力することで、当該ＡＩ判定用画像データにおける各ピッキング対象物の中心座標情報を取得し、中心座標情報及び高さ情報に基づいて、ピッキングロボットによるピッキングを制御するようにした。

Description

ピッキング装置及び画像生成プログラム
　本発明は、ピッキング対象物の位置を正確に特定可能なピッキング装置及び画像生成プログラムに関する。
　従来から、工場からの出荷段階や物流拠点などにおいて、荷物の仕分け、積み替え、荷卸しなどの作業をロボットによって自動化することが行われてきた。
　把持対象となる箱状ピッキング対象物を自動的に確認・計測するための技術として、例えば、特許文献１が既に提案されている。この特許文献１には、２次元カメラで撮影した２次元画像と、３次元カメラ等で取得する３次元点群情報との２つの情報を併用することで、把持対象となる箱状ピッキング対象物を正確に把握する構成が開示されている。
特開２０１９－１３６８２８号公報
　特許文献１のように、２次元カメラで撮影した２次元画像と、３次元カメラ等で取得する３次元点群情報との２つの情報を併用することでピッキング対象物の位置の検出精度を向上させることが可能であるが、２つを組み合わせてもピッキング対象物の位置検出を誤ってしまう可能性は残る。例えば、ピッキング対象物が隙間なく精緻に積まれている場合、３次元点群情報のみでは天面におけるピッキング対象物の境界を特定できないおそれがある。また、２次元カメラで撮影した２次元画像について、例えば、ＡＩによって画像認識処理することでピッキング対象物の位置の検出を行う構成の場合、２次元画像に光の反射による白飛び個所や、他の物の陰になってしまうことで生じる暗部などが含まれていると、ピッキング対象物の位置を誤検出してしまうおそれがある。
　本発明は、上記問題点に鑑みなされたものであり、ピッキング対象物の位置を正確に特定可能なピッキング装置及び画像生成プログラムを提供することを目的とする。
　本発明に係るピッキング装置は、ピッキング対象物をピッキングするハンド部を備えたピッキングロボットと、前記ピッキング対象物を２次元撮影するための２次元カメラと、前記ピッキング対象物までの距離情報を表す３次元点群情報を取得するための３次元カメラと、前記ピッキングロボットのピッキング動作を制御する制御ユニットとを備え、前記制御ユニットは、前記２次元カメラを制御して荷積みされた複数の前記ピッキング対象物の全体を撮影した少なくとも１以上の２次元撮影画像データを取得する２次元撮影画像取得機能と、前記３次元カメラを制御して荷積みされた複数の前記ピッキング対象物の全体に関する３次元点群情報を取得する３次元点群情報取得機能と、前記２次元撮影画像データと前記３次元点群情報との間で対象となる前記ピッキング対象物を基準として座標情報を共通化するキャリブレーション機能と、前記３次元点群情報から複数の前記ピッキング対象物の天面候補領域を抽出する天面候補領域抽出機能と、前記２次元撮影画像データにおける前記天面候補領域に相当する領域を関心領域に設定する関心領域設定機能と、少なくとも１以上の前記２次元撮影画像データに基づいて、前記関心領域内の輝度情報が所定条件を満たす前記２次元撮影画像データを選択又は合成して、ＡＩ判定用画像データを得るＡＩ判定用画像取得機能と、入力された画像データから前記ピッキング対象物を特定して各ピッキング対象物の中心座標情報を出力することについて予め学習を行った学習済モデルに対して前記ＡＩ判定用画像データを入力することで、当該ＡＩ判定用画像データにおける各ピッキング対象物の中心座標情報を取得する中心座標情報取得機能と、前記中心座標情報及び前記３次元点群情報から取得される高さ情報に基づいて、前記ピッキングロボットによるピッキング対象物のピッキング動作及び移載動作を制御するピッキング制御機能とを備えることを特徴とする。
　また、本発明に係るピッキング装置は、前記ＡＩ判定用画像取得機能は、前記関心領域内の画素の平均輝度値が所定の下限閾値以上及び／又は所定の上限閾値以下であることを前記ＡＩ判定用画像データが満たすべき所定条件とすることを特徴とする。
　また、本発明に係るピッキング装置は、前記ＡＩ判定用画像取得機能は、前記２次元カメラにおける露光条件を変化させて複数回の撮影を実行して取得した複数の２次元撮影画像データについて前記所定条件を満たすか否かを判定することで前記ＡＩ判定用画像データを取得することを特徴とする。
　また、本発明に係るピッキング装置は、前記ＡＩ判定用画像取得機能は、前記２次元カメラにおける露光条件を変化させて複数回の撮影を実行して取得した複数の２次元撮影画像データに基づいてＨＤＲ処理を実行することで、前記関心領域内の輝度情報が所定条件を満たす前記ＡＩ判定用画像データを生成することを特徴とする。
　また、本発明に係るピッキング装置は、前記２次元カメラは、前記ピッキングロボットの前記ハンド部と一体となって移動し得るように前記ハンド部の近傍に設置することを特徴とする。
　また、本発明に係るピッキング装置は、前記３次元カメラは、前記ピッキングロボットの前記ハンド部と一体となって移動し得るように前記ハンド部の近傍に設置することを特徴とする。
　また、本発明に係るピッキング装置は、前記２次元カメラ及び前記３次元カメラの替わりにステレオカメラを採用して、前記ステレオカメラによって、前記２次元撮影画像データの取得と、前記３次元点群情報の取得とを実現することを特徴とする。
　本発明に係る画像生成プログラムは、ピッキング対象物を撮影した２次元撮影画像データを判定して前記ピッキング対象物の特定及び当該ピッキング対象物の中心座標情報の算出を行う処理を、機械学習によって予め学習が行われた学習済モデル（ＡＩ）に基づいて行う構成において用いられるＡＩ判定用画像データの生成処理をコンピュータに実現させるための画像生成プログラムであって、前記コンピュータに、２次元カメラを制御して荷積みされた複数の前記ピッキング対象物の全体を撮影した少なくとも１以上の２次元撮影画像データを取得する２次元撮影画像取得機能と、３次元カメラを制御して荷積みされた複数の前記ピッキング対象物の全体に関する３次元点群情報を取得する３次元点群情報取得機能と、前記２次元撮影画像データと前記３次元点群情報との間で対象となる前記ピッキング対象物を基準として座標情報を共通化するキャリブレーション機能と、前記３次元点群情報から複数の前記ピッキング対象物の天面候補領域を抽出する天面候補領域抽出機能と、前記２次元撮影画像データにおける前記天面候補領域に相当する領域を関心領域に設定する関心領域設定機能と、少なくとも１以上の前記２次元撮影画像データに基づいて、前記関心領域内の輝度情報が所定条件を満たす前記２次元撮影画像データを選択又は合成して、ＡＩ判定用画像データを得るＡＩ判定用画像取得機能とを実現させることを特徴とする。
　本発明によれば、入力された画像データからピッキング対象物を特定して各ピッキング対象物の中心座標情報を出力することについて予め学習を行った学習済モデルに対して入力するＡＩ判定用画像データを、３次元点群情報から抽出した天面候補領域に相当する関心領域内の輝度情報が所定条件を満たす２次元撮影画像データを選択又は合成して得るようにしたので、白飛びや暗部を含まないＡＩ判定用画像データを用いることで精度の高いピッキング対象物の中心座標情報（位置情報）の取得が可能となる。
本発明の実施の形態の少なくとも１つに対応するピッキング装置の全体構成を説明するための説明図である。 本発明の実施の形態の少なくとも１つに対応するピッキング装置の構成の一例を示すブロック図である。 本発明の実施の形態の少なくとも１つに対応するピックアップ対象物のピッキング処理の流れの一例を示すフローチャート図である。 本発明の実施の形態の少なくとも１つに対応するピッキング装置において取得される２次元撮影画像データの一例を表した画像図である。 本発明の実施の形態の少なくとも１つに対応するピッキング装置において取得される３次元点群情報の一例を表した画像図である。 本発明の実施の形態の少なくとも１つに対応するピッキング装置において２次元撮影画像データに関心領域を設定した様子の一例を表した画像図である。 本発明の実施の形態の少なくとも１つに対応するピッキング装置において生成したＡＩ判定用画像データの一例を表した画像図である。 本発明の実施の形態の少なくとも１つに対応するピッキング装置においてＡＩが出力した中心座標情報を２次元撮影画像データに重畳表示した様子の一例を表した画像図である。 本発明の実施の形態の少なくとも１つに対応するピッキング装置において露光時間を変化させての複数回撮影した撮影画像の例を表した画像図である。 本発明の実施の形態の少なくとも１つに対応するピッキング装置において２次元撮影画像データの関心領域のみに着目して所定条件を判定する様子を説明するための説明図である。 本発明の実施の形態の少なくとも１つに対応するピッキング装置においてＨＤＲ処理によってＡＩ判定用画像データを生成する例を説明するための説明図である。
［第１の実施の形態］
　以下、図面を参照しながら、本発明の第１の実施の形態に係るピッキング装置の例について説明する。
　図１は、本発明の実施の形態の少なくとも１つに対応するピッキング装置の全体構成を説明するための説明図である。図１に示すように、ピッキング装置１００は、ピッキングロボット１０と、２次元カメラ２０と、３次元カメラ３０と、制御ユニット４０とを少なくとも備える。本例のピッキング装置１００は、２次元カメラ２０によって撮影した２次元撮影画像データと、３次元カメラ３０によって取得した３次元点群情報とに基づいて、制御ユニット４０においてピックアップ対象物の天面の正確な位置を特定して、その特定した情報に基づいてピッキングロボット１０を制御して、ピッキング対象物の積み替えなどの作業を自動で実行させるためのものである。
　図２は、本発明の実施の形態の少なくとも１つに対応するピッキング装置の構成の一例を示すブロック図である。図２に示すように、ピッキング装置１００は、ピッキングロボット１０と、２次元カメラ２０と、３次元カメラ３０と、制御ユニット４０とを少なくとも備える。
　ピッキングロボット１０は、ピッキング対象物をピッキングするハンド部を備えたロボットである。本例では、ピッキング対象物の中心箇所を吸着して持ち上げる吸着ハンドを備えたピッキングロボット１０として説明を行うが、これに限定されるものではなく、例えば、ピッキング対象物の側面を挟んで把持するハンドを備えるものであってもよい。このピッキングロボット１０は、後述する制御ユニット４０によって動作を制御される。
　２次元カメラ２０は、ピッキング対象物を２次元撮影するための構成である。ピッキング対象物を撮影可能であれば設置位置や撮影角度は様々に設定可能であるが、本例のようにピッキング対象物の天面を吸着して掴む構成である場合には、ピッキング対象物の天面が写るように上方から撮影するように設置することが好ましい。具体的には、ピッキングロボット１０の先端のハンド部の近傍に設置することが考えられる。ハンド部の近傍とは、ハンド部と一体となって移動し得る位置であり、ハンド部と連動して移動させたとしてもピッキング作業に影響を及ぼさない位置のことをいう。また、ハンド部と一体に設置する場合に限らず、ピッキングロボット１０とは別にピッキング対象物の近くにピッキングロボット１０の動作範囲と干渉しないように櫓を組んで、櫓に２次元カメラ２０を設置するようにしてもよい。この２次元カメラ２０は、後述する制御ユニット４０によって撮影の実行が制御される。
　３次元カメラ３０は、ピッキング対象物までの距離情報を表す３次元点群情報を取得するための構成である。３次元点群情報を取得可能であればどのような手段であってもよいが、例えば、ＴＯＦカメラ（Time-of-Flight Camera）などが考えられる。また、その他にも、ステレオカメラを用いて距離情報を抽出する構成であってもよいし、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）を用いて３次元点群情報を取得する構成であってもよい。この３次元カメラ３０は、後述する制御ユニット４０によって撮影の実行が制御される。この３次元カメラ３０については、ピッキング対象物を撮影可能であれば設置位置や撮影角度は様々に設定可能であるが、本例のようにピッキング対象物の天面を吸着して掴む構成である場合には、ピッキング対象物の天面が写るように上方からの撮影するように設置することが好ましい。具体的には、ピッキングロボット１０の先端のハンド部の近傍に設置することが考えられる。ハンド部の近傍とは、ハンド部と一体となって移動し得る位置であり、ハンド部と連動して移動させたとしてもピッキング作業に影響を及ぼさない位置のことをいう。また、ハンド部と一体に設置する場合に限らず、ピッキングロボット１０とは別にピッキング対象物の近くにピッキングロボット１０の動作範囲と干渉しないように櫓を組んで、櫓に３次元カメラ３０を設置するようにしてもよい。なお、図１の例では、２次元カメラ２０と３次元カメラ３０とを隣接させて設置することで、ほぼ同様の撮影角度となるように構成している。
　制御ユニット４０は、２次元カメラ２０による撮影、３次元カメラ３０による撮影、及び、ピッキングロボットのピッキング動作を制御するための構成である。制御ユニット４０は、後述する制御を実行可能であればどのような手段にて構成されてもよいが、例えば、コンピュータ、マイコン、ＰＬＣ（Programmable Logic Controller）、またはこれらの組み合わせにて実現される。このうち、コンピュータは、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）と、メモリと、ハードディスクドライブ、ＳＳＤ等のストレージとを備えており、また、マウス、キーボード等の入力装置と、ディスプレイ、プリンタ等の出力装置と、通信ネットワークと接続するための通信装置とを備えており、これらがバスを介して接続されている構成であってもよい。情報処理装置１０の各部における処理は、これらの各部における処理を実行するためのプログラムをメモリから読み込んで制御回路（Processing circuit、Processing circuitry）として機能するＣＰＵやＧＰＵあるいはＦＰＧＡ（Field Programmable Gate Array）において実行することで実現する。言い換えると、当該プログラムの実行により、プロセッサ（処理回路）が、各装置の各処理を実行できるように構成される。また、ピッキング対象物の中心座標情報の取得までの処理はコンピュータにおいて実行し、中心座標情報を用いたピッキングロボット１０の動作制御についてはＰＬＣを用いて実現するといった構成も考えられる。また、制御ユニット４０に用いる各種データ、及び、制御ユニット４０による処理の結果として得られた各種データは、図示しない記憶部に適宜記憶されることはいうまでもない。
　図２に示すように、制御ユニット４０は、２次元撮影画像取得機能４１、３次元点群情報取得機能４２、キャリブレーション機能４３、天面候補領域抽出機能４４、関心領域設定機能４５、ＡＩ判定用画像取得機能４６、中心座標情報取得機能４７、ピッキング制御機能４８とを備えている。
　２次元撮影画像取得機能４１は、２次元カメラ２０を制御して荷積みされた複数のピッキング対象物の全体を撮影した少なくとも１以上の２次元撮影画像データを取得する機能を有する。また、２次元撮影画像取得機能４１は、複数回の撮影を実行する際に、撮影時の露光時間を変化させて露光時間が異なる複数の２次元撮影画像データを取得し得る。
　３次元点群情報取得機能４２は、３次元カメラ３０を制御して荷積みされた複数のピッキング対象物の全体に関する３次元点群情報を取得する機能を有する。ここで、３次元点群情報とは、撮影範囲に存在する物体までの距離を計測点毎に算出した情報であり、点群の情報を解析することで物体の面や形状を特定することが可能となる。
　キャリブレーション機能４３は、２次元撮影画像データと３次元点群情報との間で対象となるピッキング対象物を基準として座標情報を共通化する機能を有する。２次元撮影画像データと３次元点群情報との間で共通に写るピックアップ対象物を基準として座標情報の共通化、いわゆるキャリブレーションを実行することで、２次元撮影画像データと３次元点群情報との間で相互に座標情報の変換が可能となる。これにより、２次元撮影画像データと同一画角にて３次元点群情報を描画し直すといった処理も可能となる。このキャリブレーション機能４３における座標情報の共通化処理により、２次元撮影画像データに写るピックアップ対象物の天面の各点についてのＸＹ座標と、２次元カメラ２０による撮影点からピックアップ対象物の天面までの距離であるＺ座標（鉛直方向の距離情報）とを取得することができる。
　天面候補領域抽出機能４４は、３次元点群情報から複数のピッキング対象物の天面候補領域を抽出する機能を有する。キャリブレーション機能４３における座標情報の共通化処理により、ピックアップ対象物の各点までの距離情報が明らかとなる。ここで、撮影点からＺ座標方向に徐々に探索範囲を広げていくと、あるＺ座標付近に複数の点群が平面的に存在する箇所を検知可能である。本例のように、ピッキング対象物の上方から撮影を行い、上方からピッキングロボット１０によってピッキングを実行する場合、３次元カメラ３０の撮影位置からＺ方向の距離が最も近い平面個所を天面候補領域として抽出することが好ましい。なお、点群が平面的に存在する箇所を検出する際に、Ｚ方向の距離に幅を持たせて探索するようにしてもよい。どの程度のＺ方向の距離範囲に点群が存在する場合に同一平面と推定するかについては作業環境に応じて適宜設定可能である。
　関心領域設定機能４５は、２次元撮影画像データにおける天面候補領域に相当する領域を関心領域に設定する機能を有する。天面候補領域抽出機能４４において３次元点群情報から天面候補領域を抽出したが、２次元撮影画像データと３次元点群情報とは座標情報を共通化しているため、この天面候補領域に相当する２次元撮影画像データ上の個所を関心領域に設定することが可能となる。関心領域の設定は、その内側に存在する画素情報のみを抽出可能なように関心領域の範囲を設定する必要がある。
　ＡＩ判定用画像取得機能４６は、少なくとも１以上の２次元撮影画像データに基づいて、関心領域内の輝度情報が所定条件を満たす２次元撮影画像データを選択又は合成して、ＡＩ判定用画像データを得る機能を有する。このＡＩ判定用画像取得機能４６では、２次元撮影画像データ全体ではなく、関心領域に含まれる画素についての輝度情報に着目して、その輝度情報が所定条件を満たす２次元撮影画像データを選択又は合成して、ＡＩ判定用画像データを得るようにする。ここで、輝度情報に関する所定条件とは、例えば、関心領域部分が暗過ぎたり明る過ぎたりする画像を除くために関心領域内の全画素に関する平均輝度値が所定の下限閾値以上及び／又は所定の上限閾値以下であること（上限と下限を両方設定する場合には、平均輝度値が所定の範囲内であること）を所定条件とすることが考えられる。また、例えば、関心領域部分に暗部が存在する画像を除くために輝度値が所定値以下（例えば、８ビットの場合の輝度値が１０以下）の画素が所定個数以上存在しないことを所定条件とすることが考えられる。また、例えば、関心領域部分に白飛びが存在する画像を除くために輝度値が所定値以上（例えば、８ビットの場合の輝度値が２４５以上）の画素が所定個数以上存在しないことを所定条件とすることが考えられる。
　また、ＡＩ判定用画像取得機能４６では、２次元カメラ２０における露光条件を変化させて複数回の撮影を実行して取得した複数の２次元撮影画像データについて所定条件を満たすか否かを判定することでＡＩ判定用画像データを取得するようにすることが考えられる。すなわち、予め２次元カメラ２０における露光条件を変化させて複数回の撮影を実行して複数の２次元撮影画像データを取得しておき、複数の２次元撮影画像データについて所定条件を満たすか否かを判定することで、最も適した２次元撮影画像データを選択してＡＩ判定用画像データとすることが考えられる。
　また、ＡＩ判定用画像取得機能４６では、２次元カメラ２０における露光条件を変化させて複数回の撮影を実行して取得した複数の２次元撮影画像データに基づいてＨＤＲ処理を実行することで、関心領域内の輝度情報が所定条件を満たすＡＩ判定用画像データを生成するようにすることが考えられる。ここで、ＨＤＲ（High-dynamic-range）処理とは、様々な露光時間にて撮影した複数の２次元撮影画像データから、最適な明るさ（白飛びや黒潰れしていない）の部分を選択し、１つの画像へ合成する処理のことをいう。これは、ＨＤＲ合成ともいう。ＨＤＲ処理は既知の技術であるため詳細は省略するが、このＨＤＲ処理を行うことで、白飛びや黒潰れのないＡＩ判定用画像データに適した画像を取得することが可能となる。ＨＤＲ処理によって得られた画像データについて関心領域内の輝度情報が所定条件を満たすかを判定して、満たす場合には、ＨＤＲ処理によって得られた画像データをＡＩ判定用画像データに設定する。
　中心座標情報取得機能４７は、入力された画像データからピッキング対象物を特定して各ピッキング対象物の中心座標情報を出力することについて予め学習を行った学習済モデルに対してＡＩ判定用画像データを入力することで、当該ＡＩ判定用画像データにおける各ピッキング対象物の中心座標情報を取得する機能を有する。ここで、学習済モデルとは、ピッキング対象物が写っている画像データとその画像データにおけるピッキング対象物の中心座標情報の正解データとをセットにした教師データセットを複数用いて機械学習を行うことで、ピッキング対象物が写っている画像データが入力された場合に中心座標情報を出力することについて学習されたモデルのことをいう。学習済モデルはどのようなモデルであってもよいが、例えば、ニューラルネットワークで構成された学習済モデルが考えられる。学習に用いる教師データセットについては、様々な画像が採用可能であり、例えば、学習段階においては白飛びや黒潰れを含む画像データを用いて学習を行うようにしてもよい。また、中心座標情報を出力する場合に限らず、箱状のピッキング対象物の天面の四隅の位置の座標情報を出力することについて学習を行った学習済モデルを採用するようにしてもよいし、ピッキング対象物の天面の四隅の位置の座標情報と中心座標情報を両方出力することについて学習を行った学習済モデルを採用するようにしてもよい。すなわち、制御対象のピッキングロボット１０を制御してピッキング作業を実行するために必要な情報を取得できるように学習済モデルを学習しておくことが好ましい。
　ピッキング制御機能４８は、中心座標情報及び３次元点群情報から取得される高さ情報に基づいて、ピッキングロボットによるピッキング対象物のピッキング動作及び移載動作を制御する機能を有する。ピッキング対象物のピッキング動作及び移載動作に必要な情報として中心座標情報や高さ情報（Ｚ座標情報）を取得する。ここで、同じ高さに天面を有するピックアップ対象物が複数存在する場合に、何れのピッキング対象物を選択してピッキング動作及び移載動作を実行するかについては、適宜設定可能である。一例としては、ハンド部に最も近いピックアップ対象物を選択するようにルール設定しておくことが考えられる。ハンド部によってピックアップ対象物を掴んだ後の制御については、既知の技術に基づいて適宜実行可能である。
　図３は、本発明の実施の形態の少なくとも１つに対応するピックアップ対象物のピッキング処理の流れの一例を示すフローチャート図である。図３に示すように、ピッキング処理は、ピッキング装置１００の制御ユニット４０において、ピッキング対象物を撮影した１以上の２次元撮影画像データを取得することによって開始される（ステップＳ１０１）。次に、制御ユニット４０は、ピッキング対象物を撮影した３次元点群情報を取得する（ステップＳ１０２）。次に、制御ユニット４０は、２次元撮影画像データと３次元点群情報との間で座標情報を共通化するキャリブレーションを実行する（ステップＳ１０３）。次に、制御ユニット４０は、３次元点群情報から天面候補領域を抽出する（ステップＳ１０４）。次に、制御ユニット４０は、２次元撮影画像データにおける天面候補領域に相当する位置を関心領域として設定する（ステップＳ１０５）。次に、制御ユニット４０は、１以上の２次元撮影画像データに基づいて、関心領域内の輝度情報が所定条件を満たす画像データを選択又は生成することでＡＩ判定用画像データを取得する（ステップＳ１０６）。次に、制御ユニット４０は、ＡＩ判定用画像データを学習済モデル（ＡＩ）に入力することで、ピッキング対象物の中心座標情報を取得する（ステップＳ１０７）。そして、制御ユニット４０は、取得した中心座標情報及び高さ情報に基づいてピッキングロボットによるピッキング対象物のピッキング動作及び移載動作の制御を実行して（ステップＳ１０８）、ピッキング処理を終了する。
　次に、本例によるピッキング装置１００による動作について、具体的な画像を例に用いて説明を行う。
　図４は、本発明の実施の形態の少なくとも１つに対応するピッキング装置において取得される２次元撮影画像データの一例を表した画像図である。この図４に示す画像図では、箱状のピックアップ対象物が下段に３つ載置され、その上に２つの箱状のピックアップ対象物が載置された状態を２次元カメラ２０にて撮影した２次元撮影画像データを表している。
　図５は、本発明の実施の形態の少なくとも１つに対応するピッキング装置において取得される３次元点群情報の一例を表した画像図である。この図５に示す画像図は、図４と同じピックアップ対象物を３次元カメラ３０にて撮影することで得られた３次元点群情報を表しており、１つの画像は斜め方向から撮影した３次元点群情報を表しており、１つの画像は２次元カメラの画角で描画した３次元点群情報を表しており、残りの１つの画像は、天面候補領域を抽出したものを表している。
　図６は、本発明の実施の形態の少なくとも１つに対応するピッキング装置において２次元撮影画像データに関心領域を設定した様子の一例を表した画像図である。この図６に示す画像図は、２次元撮影画像データに関心領域を設定した状態を表しており、関心領域以外の個所をマスキング処理したマスキング画像となっている。
　図７は、本発明の実施の形態の少なくとも１つに対応するピッキング装置において生成したＡＩ判定用画像データの一例を表した画像図である。ＡＩ判定用画像データとして採用し得るものは、関心領域内の輝度情報が所定条件を満たす２次元撮影画像データであるので、図６のようにして設定した関心領域の範囲を基準として、１以上の２次元撮影画像データについて所定条件を満たすか否かの判定を行って、所定条件を満たす２次元撮影画像データをＡＩ判定用画像データとして採用する。
　図８は、本発明の実施の形態の少なくとも１つに対応するピッキング装置においてＡＩが出力した中心座標情報を２次元撮影画像データに重畳表示した様子の一例を表した画像図である。この図８に示す画像図は、ＡＩが出力した中心座標情報を２次元撮影画像データに重畳表示した状態を表している。この図８に示すように、ピックアップ対象物の中心座標情報（必要に応じて四隅の座標情報を含むようにしてもよい）を高精度に取得することができれば、ピッキング動作を正確に制御することが可能となる。中心座標情報（必要に応じて四隅の座標情報を含むようにしてもよい）を高精度に取得するためには、ＡＩ判定用画像データとして採用する画像データが、白飛びや黒潰れのない判定精度の高い画像である必要がある。
　図９は、本発明の実施の形態の少なくとも１つに対応するピッキング装置において露光時間を変化させての複数回撮影した撮影画像の例を表した画像図である。この図９に示すように、露光時間を変化させて複数回撮影を実行すると、露光時間によって得られる画像データの状態が異なることが分かる。この図９に示す例では３パターンを表示しており、中間の露光時間の画像データが最適であるといえるが、露光時間の変化パターンをもっと増やした場合に何れの露光時間が最適であるかについては、撮影環境によって異なるといえる。
　図１０は、本発明の実施の形態の少なくとも１つに対応するピッキング装置において２次元撮影画像データの関心領域のみに着目して所定条件を判定する様子を説明するための説明図である。図９に示す２次元撮影画像データについて関心領域を設定すると、この図１０に示す画像図のように関心領域が設定される。図９のように露光時間を変化させた複数の２次元撮影画像データについて、図１０に示すように設定された関心領域内の輝度情報が所定条件を満たすか否かを判定して、所定条件を満たす２次元撮影画像データをＡＩ判定用画像データとして採用するようにしてもよい。
　図１１は、本発明の実施の形態の少なくとも１つに対応するピッキング装置においてＨＤＲ処理によってＡＩ判定用画像データを生成する例を説明するための説明図である。図１１に示す未処理の２次元撮影画像データは、黒潰れまではいかないものの陰になっていて暗い箇所や、白飛び発生箇所が存在する。これに対して、露光時間を変化させた複数の２次元撮影画像データを用いてＨＤＲ処理（ＨＤＲ合成）を行うことで、暗部箇所及び白飛び箇所が解消された画像データを生成することができる。このＨＤＲ処理によって得られた画像データについて関心領域内の輝度情報が所定条件を満たすか否かを判定して、所定条件を満たす場合にはＨＤＲ処理で得られた画像データをＡＩ判定用画像データとして採用するようにしてもよい。
　以上のように、本発明に係るピッキング装置１００によれば、ピッキング対象物をピッキングするハンド部を備えたピッキングロボットと、ピッキング対象物を２次元撮影するための２次元カメラと、ピッキング対象物までの距離情報を表す３次元点群情報を取得するための３次元カメラと、ピッキングロボットのピッキング動作を制御する制御ユニットとを備え、制御ユニットは、２次元カメラを制御して荷積みされた複数のピッキング対象物の全体を撮影した少なくとも１以上の２次元撮影画像データを取得する２次元撮影画像取得機能と、３次元カメラを制御して荷積みされた複数のピッキング対象物の全体に関する３次元点群情報を取得する３次元点群情報取得機能と、２次元撮影画像データと３次元点群情報との間で対象となるピッキング対象物を基準として座標情報を共通化するキャリブレーション機能と、３次元点群情報から複数のピッキング対象物の天面候補領域を抽出する天面候補領域抽出機能と、２次元撮影画像データにおける天面候補領域に相当する領域を関心領域に設定する関心領域設定機能と、少なくとも１以上の２次元撮影画像データに基づいて、関心領域内の輝度情報が所定条件を満たす２次元撮影画像データを選択又は合成して、ＡＩ判定用画像データを得るＡＩ判定用画像取得機能と、入力された画像データからピッキング対象物を特定して各ピッキング対象物の中心座標情報を出力することについて予め学習を行った学習済モデルに対してＡＩ判定用画像データを入力することで、当該ＡＩ判定用画像データにおける各ピッキング対象物の中心座標情報を取得する中心座標情報取得機能と、記中心座標情報及び３次元点群情報から取得される高さ情報に基づいて、ピッキングロボットによるピッキング対象物のピッキング動作及び移載動作を制御するピッキング制御機能とを備えるようにしたので、入力された画像データからピッキング対象物を特定して各ピッキング対象物の中心座標情報を出力することについて予め学習を行った学習済モデルに対して入力するＡＩ判定用画像データを、３次元点群情報から抽出した天面候補領域に相当する関心領域内の輝度情報が所定条件を満たす２次元撮影画像データを選択又は合成して得るようにしたので、白飛びや暗部を含まないＡＩ判定用画像データを用いることで精度の高いピッキング対象物の中心座標情報（位置情報）の取得が可能となる。
　また、ＡＩ判定用画像取得機能は、関心領域内の画素の平均輝度値が所定の下限閾値以上及び／又は所定の上限閾値以下であることをＡＩ判定用画像データが満たすべき所定条件とするようにしたので、平均輝度値が低すぎたり高すぎたりする２次元撮影画像データを除外して２次元撮影画像データをＡＩ判定用画像データとして採用することが可能となる。
　また、ＡＩ判定用画像取得機能は、２次元カメラにおける露光条件を変化させて複数回の撮影を実行して取得した複数の２次元撮影画像データについて所定条件を満たすか否かを判定することでＡＩ判定用画像データを取得するようにしたので、撮影環境における最適な露光時間による２次元撮影画像データをＡＩ判定用画像データとして採用することが可能となる。
　また、ＡＩ判定用画像取得機能は、２次元カメラにおける露光条件を変化させて複数回の撮影を実行して取得した複数の２次元撮影画像データに基づいてＨＤＲ処理を実行することで、関心領域内の輝度情報が所定条件を満たすＡＩ判定用画像データを生成するようにしたので、ＨＤＲ処理によって白飛びや黒潰れのない判定精度の高いＡＩ判定用画像データを生成することが可能となる。
［第２の実施の形態］
　第１の実施の形態においては、２次元カメラ２０を用いて２次元撮影画像データを取得し、３次元カメラ３０を用いて３次元点群情報を取得するものとして説明を行ったが、これに限定されるものではない。例えば、ステレオカメラを採用して、ステレオカメラによって２次元撮影画像データの取得と３次元点群情報の取得の両方を実現するようにしてもよい。
　ステレオカメラによれば、２つの異なる撮影角度でそれぞれ撮影を実行して２つの２次元撮影画像データを取得した後に、その２つの２次元撮影画像データを用いてステレオマッチングによって深度情報（距離情報）を取得して３次元点群情報を生成することができる。このときに用いた２つの２次元撮影画像データの一方を、第１の実施の形態において２次元カメラ２０によって取得していた２次元撮影画像データの替わりとして用いることで、ステレオカメラによって２次元撮影画像データの取得と３次元点群情報の取得の両方を実現することが可能となる。また、ステレオカメラは、２次元撮影画像データと３次元点群情報との間のキャリブレーション機能を担うことも可能である。
　１００　　　　　　ピッキング装置
　１０　　　　　　　ピッキングロボット
　２０　　　　　　　２次元カメラ
　３０　　　　　　　３次元カメラ
　４０　　　　　　　制御ユニット
　４１　　　　　　　２次元撮影画像取得機能
　４２　　　　　　　３次元点群情報取得機能
　４３　　　　　　　キャリブレーション機能
　４４　　　　　　　天面候補領域抽出機能
　４５　　　　　　　関心領域設定機能
　４６　　　　　　　ＡＩ判定用画像取得機能
　４７　　　　　　　中心座標情報取得機能
　４８　　　　　　　ピッキング制御機能

 

Claims (8)

  1. 　ピッキング対象物をピッキングするハンド部を備えたピッキングロボットと、
    　前記ピッキング対象物を２次元撮影するための２次元カメラと、
    　前記ピッキング対象物までの距離情報を表す３次元点群情報を取得するための３次元カメラと、
    　前記ピッキングロボットのピッキング動作を制御する制御ユニットとを備え、
    　前記制御ユニットは、
    　前記２次元カメラを制御して荷積みされた複数の前記ピッキング対象物の全体を撮影した少なくとも１以上の２次元撮影画像データを取得する２次元撮影画像取得機能と、
    　前記３次元カメラを制御して荷積みされた複数の前記ピッキング対象物の全体に関する３次元点群情報を取得する３次元点群情報取得機能と、
    　前記２次元撮影画像データと前記３次元点群情報との間で対象となる前記ピッキング対象物を基準として座標情報を共通化するキャリブレーション機能と、
    　前記３次元点群情報から複数の前記ピッキング対象物の天面候補領域を抽出する天面候補領域抽出機能と、
    　前記２次元撮影画像データにおける前記天面候補領域に相当する領域を関心領域に設定する関心領域設定機能と、
    　少なくとも１以上の前記２次元撮影画像データに基づいて、前記関心領域内の輝度情報が所定条件を満たす前記２次元撮影画像データを選択又は合成して、ＡＩ判定用画像データを得るＡＩ判定用画像取得機能と、
    　入力された画像データから前記ピッキング対象物を特定して各ピッキング対象物の中心座標情報を出力することについて予め学習を行った学習済モデルに対して前記ＡＩ判定用画像データを入力することで、当該ＡＩ判定用画像データにおける各ピッキング対象物の中心座標情報を取得する中心座標情報取得機能と、
    　前記中心座標情報及び前記３次元点群情報から取得される高さ情報に基づいて、前記ピッキングロボットによるピッキング対象物のピッキング動作及び移載動作を制御するピッキング制御機能と
    を備えることを特徴とするピッキング装置。
  2. 　前記ＡＩ判定用画像取得機能は、前記関心領域内の画素の平均輝度値が所定の下限閾値以上及び／又は所定の上限閾値以下であることを前記ＡＩ判定用画像データが満たすべき所定条件とする
    　請求項１記載のピッキング装置。
  3. 　前記ＡＩ判定用画像取得機能は、前記２次元カメラにおける露光条件を変化させて複数回の撮影を実行して取得した複数の２次元撮影画像データについて前記所定条件を満たすか否かを判定することで前記ＡＩ判定用画像データを取得する
    　請求項１又は２記載のピッキング装置。
  4. 　前記ＡＩ判定用画像取得機能は、前記２次元カメラにおける露光条件を変化させて複数回の撮影を実行して取得した複数の２次元撮影画像データに基づいてＨＤＲ処理を実行することで、前記関心領域内の輝度情報が所定条件を満たす前記ＡＩ判定用画像データを生成する
    　請求項１又は２記載のピッキング装置。
  5. 　前記２次元カメラは、前記ピッキングロボットの前記ハンド部と一体となって移動し得るように前記ハンド部の近傍に設置する
    　請求項１から請求項４の何れか一項に記載のピッキング装置。
  6. 　前記３次元カメラは、前記ピッキングロボットの前記ハンド部と一体となって移動し得るように前記ハンド部の近傍に設置する
    　請求項１から請求項４の何れか一項に記載のピッキング装置。
  7. 　前記２次元カメラ及び前記３次元カメラの替わりにステレオカメラを採用して、前記ステレオカメラによって、前記２次元撮影画像データの取得と、前記３次元点群情報の取得とを実現する
    　請求項１から請求項６の何れか一項に記載のピッキング装置。
  8. 　ピッキング対象物を撮影した２次元撮影画像データを判定して前記ピッキング対象物の特定及び当該ピッキング対象物の中心座標情報の算出を行う処理を、機械学習によって予め学習が行われた学習済モデル（ＡＩ）に基づいて行う構成において用いられるＡＩ判定用画像データの生成処理をコンピュータに実現させるための画像生成プログラムであって、
    　前記コンピュータに、
    　２次元カメラを制御して荷積みされた複数の前記ピッキング対象物の全体を撮影した少なくとも１以上の２次元撮影画像データを取得する２次元撮影画像取得機能と、
    　３次元カメラを制御して荷積みされた複数の前記ピッキング対象物の全体に関する３次元点群情報を取得する３次元点群情報取得機能と、
    　前記２次元撮影画像データと前記３次元点群情報との間で対象となる前記ピッキング対象物を基準として座標情報を共通化するキャリブレーション機能と、
    　前記３次元点群情報から複数の前記ピッキング対象物の天面候補領域を抽出する天面候補領域抽出機能と、
    　前記２次元撮影画像データにおける前記天面候補領域に相当する領域を関心領域に設定する関心領域設定機能と、
    　少なくとも１以上の前記２次元撮影画像データに基づいて、前記関心領域内の輝度情報が所定条件を満たす前記２次元撮影画像データを選択又は合成して、ＡＩ判定用画像データを得るＡＩ判定用画像取得機能と
    　を実現させる画像生成プログラム。

     
PCT/JP2023/001255 2022-01-19 2023-01-18 ピッキング装置及び画像生成プログラム WO2023140266A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022006616 2022-01-19
JP2022-006616 2022-01-19

Publications (1)

Publication Number Publication Date
WO2023140266A1 true WO2023140266A1 (ja) 2023-07-27

Family

ID=87348253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/001255 WO2023140266A1 (ja) 2022-01-19 2023-01-18 ピッキング装置及び画像生成プログラム

Country Status (1)

Country Link
WO (1) WO2023140266A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015114292A (ja) * 2013-12-16 2015-06-22 川崎重工業株式会社 ワークの位置情報特定装置および方法
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
JP2019136828A (ja) * 2018-02-13 2019-08-22 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 箱状物ピッキング装置及びその方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
JP2015114292A (ja) * 2013-12-16 2015-06-22 川崎重工業株式会社 ワークの位置情報特定装置および方法
JP2019136828A (ja) * 2018-02-13 2019-08-22 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 箱状物ピッキング装置及びその方法

Similar Documents

Publication Publication Date Title
JP6506731B2 (ja) ビジョンシステムで３ｄポイントクラウドマッチングに使用するクラッタをスコアリングするためのシステム及び方法
US11227405B2 (en) Determining positions and orientations of objects
CN109816730B (zh) 工件抓取方法、装置、计算机设备和存储介质
CN105453546B (zh) 图像处理装置、图像处理系统和图像处理方法
CN110648367A (zh) 一种基于多层深度与彩色视觉信息的几何体目标定位方法
US20160282953A1 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
US20070176927A1 (en) Image Processing method and image processor
JP6503153B2 (ja) ビジョンシステムにおいて３ｄアライメントアルゴリズムを自動選択するためのシステム及び方法
JP2008246631A (ja) 対象物取出装置
CN111627072A (zh) 一种对多传感器进行标定的方法、装置和存储介质
EP3910593A1 (en) Image processing device, work robot, substrate inspection device, and specimen inspection device
US10957067B2 (en) Control apparatus, object detection system, object detection method and program
JP2022028860A (ja) ビジョンシステムにより画像特徴におけるエッジと法線を同時に考慮するためのシステム及び方法
CN116228854B (zh) 一种基于深度学习的包裹自动分拣方法
JP2021163502A (ja) 複数の２次元カメラによる３次元の姿勢推定
WO2023140266A1 (ja) ピッキング装置及び画像生成プログラム
US20220230459A1 (en) Object recognition device and object recognition method
JP2015085434A (ja) ロボット、画像処理方法及びロボットシステム
JP2018146347A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
CN113313803B (zh) 垛型分析方法、装置、计算设备及计算机存储介质
CN115187556A (zh) 一种基于机器视觉的流水线上零件定位与点云获取方法
CN112102397B (zh) 一种多层零件的定位方法、设备、系统及可读存储介质
CA3202375A1 (en) Pick and place systems and methods
CN113362388A (zh) 一种用于目标定位和姿态估计的深度学习模型

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23743260

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023575262

Country of ref document: JP