WO2022264726A1 - 搬送システム、物品の搬送を制御するためにコンピュータで実行される方法、および、当該方法をコンピュータに実行させるプログラム - Google Patents

搬送システム、物品の搬送を制御するためにコンピュータで実行される方法、および、当該方法をコンピュータに実行させるプログラム Download PDF

Info

Publication number
WO2022264726A1
WO2022264726A1 PCT/JP2022/020246 JP2022020246W WO2022264726A1 WO 2022264726 A1 WO2022264726 A1 WO 2022264726A1 JP 2022020246 W JP2022020246 W JP 2022020246W WO 2022264726 A1 WO2022264726 A1 WO 2022264726A1
Authority
WO
WIPO (PCT)
Prior art keywords
article
area
articles
image
information
Prior art date
Application number
PCT/JP2022/020246
Other languages
English (en)
French (fr)
Inventor
進介 勝又
誠司 高木
徹弥 小池
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2023529687A priority Critical patent/JP7499967B2/ja
Publication of WO2022264726A1 publication Critical patent/WO2022264726A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G59/00—De-stacking of articles
    • B65G59/02—De-stacking from the top of the stack
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/02—Devices for feeding articles or materials to conveyors
    • B65G47/04—Devices for feeding articles or materials to conveyors for feeding articles
    • B65G47/12—Devices for feeding articles or materials to conveyors for feeding articles from disorderly-arranged article piles or from loose assemblages of articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/50—Reuse, recycling or recovery technologies
    • Y02W30/82—Recycling of waste of electrical or electronic equipment [WEEE]

Definitions

  • the present disclosure relates to transportation of articles, and more specifically to a technique for aligning and arranging articles stacked in a first area in a second area.
  • washing machines, air conditioners, and other discarded household appliances that are brought into the recycling plant are stacked according to the type of home appliance and brought into containers.
  • the direction in which the removed waste is placed (sometimes simply referred to as the "placement direction) is unified. There is a need. Therefore, a worker takes out each waste home appliance and transports the waste home appliance to the dismantling site.
  • Patent Document 1 describes a "recycled washing machine conveying system capable of conveying a recycled washing machine arranged at a receiving place such as a container to a dismantling place by a robot.” (see [Summary]).
  • This recycled washing machine transport system is composed of an imaging device that captures an image of the recycled washing machine 5, a recognition unit that generates position information and orientation information of the recycled washing machine 5, and a robot having a hand 31 capable of holding the recycled washing machine 5. and a controller for controlling the robot so as to transport the recycling washing machine 5 from the receiving place to the dismantling place.
  • the identification unit classifies the washing machines into vertical fully automatic washing machines and front-loading washing machines.” There is (paragraph 0042).
  • Patent Document 1 According to the recycling washing machine conveying system disclosed in Patent Document 1, there is a problem that the operator cannot be eliminated because the recognition of the work involves the human work of teaching the operator. In addition, when using a learning machine, in addition to the preparation of tens of thousands of images for learning, there is also the need for workers to annotate the images. Furthermore, when applying to waste home appliances other than washing machines, re-learning is required, which causes a problem of lack of versatility.
  • the position information and orientation information (three-dimensional shape) of the recycled washing machine 5 are measured by, for example, a phase shift method" (paragraph 0017). Since waste home appliances are indeterminate workpieces with different sizes and weights, there is also the problem that model matching cannot be applied to such a method using three-dimensional shapes. In addition, in a transport device that recognizes and picks up a workpiece, the desired cycle time can be achieved if workpiece recognition, which is preprocessing for generating position information and orientation information (three-dimensional shape), is not performed at high speed. Can not.
  • the present disclosure has been made in view of the background as described above, and according to a certain aspect, a highly versatile transport technology that does not require prior training and does not involve human work is disclosed.
  • a transport system includes an input unit that receives input of three-dimensional information of a plurality of articles obtained by three-dimensionally measuring a plurality of articles stacked in a first area, and A transport section for transporting articles to the second area and a control device for controlling the transport section are provided.
  • the control device acquires position and orientation information indicating the position and orientation of the article to be conveyed from the three-dimensional information, identifies the top surface or the bottom surface of the article to be conveyed based on the three-dimensional information, and extracts the position and orientation information.
  • the conveying section is controlled so that the bottom surface is arranged in the second region in alignment with the top surface or bottom surface of another article.
  • a highly versatile transport system is provided without prior training and without human intervention.
  • FIG. 1 is a diagram illustrating an overview of one configuration of a transport system 10;
  • FIG. FIG. 3 is a top view showing a state in which a plurality of articles 106 are stacked in a container 107;
  • 2 is a block diagram showing the configuration of functions implemented by a control device 102 according to an embodiment;
  • FIG. 4 is a block diagram showing the hardware configuration of computer 400 functioning as control device 102.
  • FIG. 4 is a flowchart showing part of main processing executed by CPU 1 of computer 400.
  • FIG. 4 is a flowchart showing details of article recognition processing (S550) executed by CPU 1; It is the figure which represented typically the image acquired when the process by CPU1 is performed.
  • FIG. 4 is a diagram showing a state in which two articles 810a and 810b of the same type are lined up;
  • FIG. 4 is a diagram schematically showing data acquired by a CPU 1 when threshold processing in the height direction is performed;
  • FIG. 3 depicts a discarded item 106 placed side up (laterally).
  • FIG. 10 represents a profile obtained by scanning the surface of article 106 in the X direction;
  • FIG. 10 is a diagram showing the state of articles in the container of the transport system according to Embodiment 2;
  • FIG. 13 is a diagram showing an example of a configuration of transport system 1300 according to Embodiment 3;
  • FIG. 1 is a diagram illustrating an overview of one configuration of a transport system 10. As shown in FIG. 1,
  • the transport system 10 includes an imaging device 101 as a three-dimensional measuring machine, a control device 102, a robot 103, a robot controller 104, and a conveyor 109.
  • the robot 103 has a hand 105 at its tip.
  • the imaging device 101, the control device 102, and the robot controller 104 are connected so as to be able to communicate with each other by wired communication means such as a communication cable or WiFi (registered trademark: Wireless Fidelity) or other wireless communication means.
  • wired communication means such as a communication cable or WiFi (registered trademark: Wireless Fidelity) or other wireless communication means.
  • the imaging device 101 is arranged above the container 107 .
  • container 107 contains one or more items 106 of the same type.
  • one article may be referred to as an article 106 in a certain aspect, and a plurality of articles may be referred to as an article 106 collectively in another aspect.
  • each item is distinguished and represented by, for example, items 106-1, 106-2, and the like.
  • the item 106 is, for example, a discarded consumer electronic product (“waste home appliance”) or, in other aspects, a consumer electronic product that has been collected for the purpose of recycling or reuse. In still other aspects, it may include consumer electronics that have been recalled.
  • Household appliances such as refrigerators, washing machines, and air conditioners, are products that are relatively large or heavy for workers to carry, and are preferably products that are mechanically transported by the robot 103 .
  • the top of container 107 is open. Therefore, the imaging device 101 can photograph the inside of the container 107 .
  • the imaging device 101 photographs the surface of the article 106 placed on the uppermost stage.
  • the article 106 has a substantially rectangular parallelepiped shape, such as a refrigerator or a washing machine, the article 106 may be placed in a sideways orientation unlike during normal use. In this case, the surface imaged by the imaging device 101 is the side surface of the article 106 .
  • FIG. 1 shows an XYZ orthogonal triaxial coordinate system, where the Z direction indicates a direction perpendicular to the bottom surface of the container 107, and the X and Y directions indicate horizontal directions parallel to the bottom surface. .
  • the Z direction corresponds to the direction in which the articles 106 are stacked.
  • the X and Y directions may correspond to the direction in which each item 106 is aligned.
  • the imaging device 101 is attached to a fixing base 108 and acquires three-dimensional information within a three-dimensional area with respect to the viewing direction.
  • a stereo camera method using two cameras in one aspect for example, a method using a laser displacement meter and a monocular camera in another aspect, and a phase shift method in another aspect.
  • the present invention is not limited to these, and other methods that can acquire three-dimensional information can also be used.
  • the measurement range of the imaging device 101 must include the entire three-dimensional area occupied by the container 107, but if the measurement range is too large, the measurement resolution will decrease. Therefore, in one aspect, it is preferable to select the measurement range from the measurement resolution that matches the accuracy required when the robot 103 picks up the article 106 .
  • the imaging device 101 is arranged on the fixing platform 108 above the center of the container 107 , but in another aspect, the imaging device 101 may be attached to the tip of the robot 103 .
  • the three-dimensional information acquired by the imaging device 101 is represented by a method such as three-dimensional point cloud data or depth images.
  • 3D point cloud data represents 3D information as a set of 3D points such as measured 3D coordinate values (x, y, z).
  • height information z is assigned to each coordinate value (x, y) of a pixel on a photographed image.
  • a depth image is an image obtained by adding three-dimensional information to a two-dimensional image, and is an image from which the height from the bottom of the container 107 can be obtained from the color and luminance value of each pixel in the image, or It is an image from which the distance from the imaging device 101 can be acquired.
  • the control device 102 derives the position and orientation information of the article 106 based on the three-dimensional information acquired by the imaging device 101 .
  • the position and orientation information includes the coordinate values (x, y, z) of the center of gravity of the article 106 and the coordinate values ( ⁇ , ⁇ , ⁇ ) of the inclination of the article 106 with respect to the defined XYZ coordinate system. is a combination of
  • the robot 103 moves its hand 105 to the coordinate values and picks up the article. 106 can be grasped.
  • the control device 102 determines the bottom surface of the article 106 based on the three-dimensional point cloud data of the side surface of the article 106 and determines the order in which the articles 106 are taken out of the container 107 and the direction in which they are arranged on the conveyor 109 . Furthermore, the control device 102 controls the robot controller 104 based on the determined order and direction.
  • the robot 103 is, for example, a multi-joint arm manipulator, and is configured to be able to control its position and orientation with 6 degrees of freedom within a predetermined working area.
  • the robot 103 can grip the article 106 using its hand 105 and transport the article 106 to a desired position.
  • the robot 103 is not limited to an articulated arm manipulator, and may be another robot.
  • the robot controller 104 controls the motion of the robot 103 by transmitting drive signals to each drive shaft motor (not shown) based on the motion command input from the control device 102 .
  • the hand 105 includes, for example, a suction pad (not shown) using vacuum (negative pressure) or a suction nozzle (not shown).
  • the hand 105 can transfer to the position of the conveyor 109 by contacting the surface of the articles 106 whose positions and orientations are detected and gripping the articles 106 one by one.
  • FIG. 2 is a top view showing a state in which a plurality of articles are stacked in the container 107.
  • item 106-1 is placed above item 106-2.
  • item 106-5 is placed above the item 106-4, and the item 106-4 is placed above the item 106-3.
  • FIG. 2 is an image of the container 107 viewed from above, and this image directly corresponds to the image information captured by the imaging device 101 .
  • the XYZ coordinate system shown in FIG. 2 is matched to the motion coordinate system of the robot 103 (the XYZ coordinates shown in FIG. 1).
  • FIG. 3 is a block diagram representing the configuration of functions implemented by control device 102 according to an embodiment.
  • FIG. 4 is a block diagram showing the hardware configuration of computer 400 that implements control device 102 according to one embodiment.
  • the control device 102 includes an input unit 310, a storage unit 320, a control unit 330, and a display unit 340.
  • the control unit 330 includes an analysis unit 331 , an identification unit 332 , an operation planning unit 333 , a removal control unit 334 and an end determination unit 335 .
  • the input unit 310 accepts a signal input from the outside of the control device 102 .
  • the input signal includes an image signal captured by the imaging device 101, an operation signal by an administrator of the transportation system 10, a signal transmitted from a system other than the transportation system 10, and the like.
  • Input section 310 may be either an analog terminal or a digital terminal.
  • the storage unit 320 holds information input from the outside of the control device 102 and data generated by the control device 102 .
  • Storage unit 320 stores, for example, three-dimensional information 321 and in-container height information 322 in a certain aspect.
  • the storage unit 320 is implemented by a hard disk, SSD (Solid State Device) or other non-volatile memory, or RAM (Random Access Memory) or other volatile memory.
  • the control unit 330 is controlled by a CPU (Central Processing Unit), GPU (Graphics Processing Unit), MCU (Micro Controller Unit) or other general-purpose processor, or by FPGA (Field Programmable Gate Array) or ASIC (Application Specific Integrated Circuit) or other It can be implemented by a dedicated processor.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • MCU Micro Controller Unit
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the analysis unit 331 outputs position and orientation information of the article 106 based on the three-dimensional information acquired by the imaging device 101 .
  • the position and orientation information is, for example, a combination of the coordinate values (x, y, z) of the center of gravity position of the article 106 and the coordinate values ( ⁇ , ⁇ , ⁇ ) of the inclination of the article 106 with respect to the defined XYZ coordinate system. is.
  • the identification unit 332 identifies the top surface and the bottom surface of the article 106 based on the three-dimensional information of the side surface of the article 106, and outputs information indicating the location of the bottom surface. For example, in an image of the article 106, the information indicates whether the bottom surface is located on the right side or the left side of the image of the article 106 included in the image, or whether it is located on the upper side or the lower side of the image of the article 106. This is information that indicates whether or not it is located.
  • the motion planning section 333 determines the order in which the articles 106 are taken out of the container 107. (also referred to simply as the “pickup order”) and the arrangement direction of the picked article 106 with respect to the conveyor 109 (also referred to as the “pickup direction”).
  • the take-out control unit 334 transmits a motion command to the robot controller based on the information output from the motion planning unit 333, that is, the take-out order and arrangement direction.
  • the end determination unit 335 determines whether or not to end the removal of the articles 106 from the container 107 based on the height information 322 inside the container 107 and the output result from the removal control unit 334 . A determination result is sent to the analysis unit 331 .
  • FIG. 4 is a block diagram showing the hardware configuration of computer 400 that functions as control device 102 .
  • the computer 400 has, as main components, a CPU 1 that executes a program, a mouse 2 and a keyboard 3 that receive instructions input by the user of the computer 400, data generated by the execution of the program by the CPU 1, or the mouse 2 or the keyboard 3.
  • RAM 4 for volatilely storing data input via
  • storage device 5 for nonvolatilely storing data
  • communication interface (I/F) 7 and monitor 8 Each component is connected to each other by a data bus.
  • the processing in the computer 400 is realized by the cooperation of each piece of hardware and the software executed by the CPU1.
  • Such software may be pre-stored in the storage device 5 .
  • Software may also be distributed as a computer program stored in a CD-ROM (Compact Disc Read-Only Memory) or other recording medium.
  • the software may be provided as a downloadable application program by a so-called information provider connected to the Internet.
  • Such software is read from the recording medium by an optical disk drive (not shown) or other reading device, or downloaded via the communication interface 7 and then temporarily stored in the storage device 5 .
  • the software is read from the storage device 5 by the CPU 1 and stored in the RAM 4 in the form of an executable program.
  • CPU1 executes the program.
  • Each component constituting the computer 400 shown in FIG. 4 is general. Therefore, it can be said that one of the essential parts of the technical idea according to the present disclosure is software stored in RAM 4, storage device 5, CD-ROM or other recording media, or software that can be downloaded via a network.
  • the recording medium may include a non-transitory (non-volatile) computer-readable data recording medium. Since the operation of each piece of hardware of computer 400 is well known, detailed description will not be repeated.
  • the recording medium is not limited to CD-ROM, FD (Flexible Disk), hard disk, magnetic tape, optical disk (MO (Magnetic Optical Disc) / MD (Mini Disc) / DVD (Digital Versatile Disc)), IC (Integrated circuit card (including memory card), optical card, mask ROM, EPROM (Electronically Programmable Read-Only Memory), EEPROM (Electronically Erasable Programmable Read-Only Memory), semiconductor memory such as flash ROM, etc. It may be a medium carrying CD-ROM, FD (Flexible Disk), hard disk, magnetic tape, optical disk (MO (Magnetic Optical Disc) / MD (Mini Disc) / DVD (Digital Versatile Disc)), IC (Integrated circuit card (including memory card), optical card, mask ROM, EPROM (Electronically Programmable Read-Only Memory), EEPROM (Electronically Erasable Programmable Read-Only Memory), semiconductor memory such as flash ROM, etc. It may be
  • the programs include not only programs that can be directly executed by the CPU, but also programs in source program format, compressed programs, encrypted programs, and the like.
  • FIG. 5 is a flowchart showing part of the main processing executed by CPU 1 of computer 400 functioning as control device 102 .
  • the processing shown in FIG. 5 starts, for example, when the imaging device 101 receives an imaging start command as a trigger for starting the operation of the transport system 10 .
  • the imaging start command is sent from the control device 102 to the imaging device 101. be.
  • CPU 1 acquires three-dimensional point cloud data as three-dimensional information from the captured image. More specifically, the CPU 1 transmits an imaging start command to the imaging device 101 . In response to receiving the imaging start command, the imaging device 101 images the articles 106 stacked in the container 107 and acquires three-dimensional information as three-dimensional point cloud data.
  • the imaging device 101 is configured with a stereo camera
  • the calculation of the three-dimensional point cloud data is obtained by stereo matching based on the principle of triangulation.
  • Stereo matching methods include, for example, the SGM (Semi Global Matching) method that searches for candidate points from eight directions divided by 45 degrees with respect to the point of interest, but stereo matching is a known method. Therefore, no further detailed description is given.
  • the CPU 1 removes unnecessary three-dimensional point cloud data for controlling the removal of the article 106 from the acquired three-dimensional point cloud data. Since the 3D point cloud data acquired in step S520 may include 3D point cloud data outside the range of the container 107 (periphery of the container 107), it is necessary to remove unnecessary point cloud data.
  • 3D point cloud data acquired in step S520 may include 3D point cloud data outside the range of the container 107 (periphery of the container 107), it is necessary to remove unnecessary point cloud data.
  • three-dimensional coordinate values representing the range of the container 107 on the motion coordinate system (XYZ coordinates in FIG. 1) of the robot 103 are defined in advance. By extracting the three-dimensional point cloud data corresponding to the three-dimensional coordinates indicating the range of the container 107, the three-dimensional point cloud data corresponding to the outside of the range of the container 107 can be removed.
  • the depth image is, for example, a grayscale image in which one pixel has 256 gradations, and the closer to the imaging device 101 is, the blacker it is, and the farther away it is, the whiter it is.
  • the CPU 1 removes noise from the depth image.
  • a method for removing noise is, for example, a filtering method using a median filter, a speckle filter, or the like. Since the median filter and speckle filter are well-known filtering processes, further detailed description will not be repeated.
  • step S550 the CPU 1 executes article recognition processing, which will be described later, to recognize articles stacked on the same level and estimate the position and orientation of the articles. The details of this processing will be described later (FIG. 6).
  • the CPU 1 determines whether the area of the image of the article 106 is equal to or less than a predetermined area.
  • the predetermined area is a value that defines in advance the area that one article 106 can take on the image. Such a definition is defined based on, for example, the distance from the imaging device 101 to the storage surface of the container 107 and the dimensional data of the article 106 .
  • CPU 1 determines that the area of the image of article 106 is equal to or less than the predetermined area (YES in step S560)
  • CPU 1 outputs an image obtained by extracting the outline of article 106 and position and orientation information of article 106, After that, the process ends. Otherwise (NO in step S560), CPU 1 switches control to step S570.
  • the CPU 1 executes threshold processing in the height direction. That is, when it is determined that the image of the article 106 is larger than the predetermined area, the CPU 1 may have erroneously recognized the article 106 and another article adjacent to the article 106 as one. Therefore, in order to distinguish the article 106 from other adjacent articles, the CPU 1 performs threshold processing in the height direction on the erroneously recognized area. Details of this processing will be described later (FIGS. 8 and 9).
  • FIG. 6 is a flowchart showing the details of the article recognition process (S550) executed by CPU1.
  • the CPU 1 executes binarization processing of the depth image. More specifically, in order to perform the subsequent processing, the CPU 1 executes binarization processing on the depth image, which is the input image, so that the area of the article 106 to be detected becomes black and the other areas become white. Generate an image such that At this time, the CPU 1 sets the luminance value corresponding to the height of the step on which the article 106 is stacked as the binarization threshold value. For example, as exemplified in FIG. 1, when articles 106 are stacked in three stages in a container 107, the brightness values of possible heights of the first, second, and third stages are determined in advance. can be defined as The CPU 1 can extract only the uppermost article 106 to be taken out by setting this luminance value as a threshold for binarization. Note that a value other than the luminance value may be set as the threshold.
  • the CPU 1 executes color reversal processing of the binarized image. More specifically, the CPU 1 inverts the color of the binarized image in order to perform the processing described later, and generates an image in which the area of the article 106 to be detected is white and the other area is black. do.
  • the CPU 1 executes contraction processing.
  • the CPU 1 performs contraction processing in order to remove the white area, which is noise on the inverted binarized image.
  • the CPU 1 replaces even one black pixel around the pixel of interest with black as contraction processing. By executing this process, an effect of cutting other articles adjacent to the article 106 can also be expected. An example of an image when this process is executed will be described later.
  • the CPU 1 performs expansion processing in order to restore the shrunk area of the article 106 to its original size.
  • the CPU 1 replaces the color of the target pixel with white as dilation processing if there is even one white pixel around the target pixel.
  • the CPU 1 can obtain an image in which only the article 106 is cut while removing noise.
  • the CPU 1 executes the labeling process and extracts the outline of the article 106. More specifically, first, the CPU 1 performs labeling processing and detects each article on the image as one object. Next, the CPU 1 derives and draws a circumscribing rectangle for the object detected by the labeling process, thereby obtaining an image in which the outline of the article 106 is extracted. By displaying this image on the monitor 8 as the display unit 340, the CPU 1 can inform the worker that the article 106 is recognized.
  • the labeling process refers to a process of labeling an area including pixels having the same pixel value around a pixel of interest as one object. For example, if the area of the detected article 106 is displayed in white, CPU 1 can label by noting the white pixels. Also, the CPU 1 can calculate the position of the center of gravity of the object from the labeled object. The position of this center of gravity is the coordinate value (x, y) of the center of gravity of the recognized article 106 .
  • the depth image has height information z corresponding to the height from the bottom of the container 107. Therefore, the coordinate values obtained by converting the coordinate values (x, y, z) representing the calculated position of the center of gravity into the operation coordinate system of robot 103 are the values given to notify robot 103 of the position information of article 106. Become. If each rotation angle around the X, Y, and Z axes is defined as ( ⁇ , ⁇ , ⁇ ), the CPU 1 uses the contour information of the labeled object and the height information of the depth image. Thus, the angles ( ⁇ , ⁇ , ⁇ ) can be calculated. As with the positional information, the CPU 1 derives information indicating the orientation of the article 106 by converting the calculated angle into the motion coordinate system of the robot 103 . When the information is transmitted to the robot 103, the robot 103 can control the motion of the hand 105 based on the information.
  • step S650 control is returned to the main process.
  • the image after labeling processing and the position and orientation information of the article 106 are generated.
  • FIG. 7 is a diagram schematically showing an image acquired when the CPU 1 executes the above process.
  • a plurality of articles 106 are stacked in two or three tiers as shown in FIG. Since FIG. 7 shows the case where the container 107 is viewed from above, it is indistinguishable between two and three stages. Therefore, the CPU 1 performs image processing as described above, and recognizes the article to be taken out, that is, the article stacked on the topmost layer.
  • An image 710 is an image obtained by displaying the image shown in FIG. 2 as a depth image.
  • the image 710a and the image 710b are displayed in similar colors. Therefore, the CPU 1 can determine that the article corresponding to the image 710a and the article corresponding to the image 710b are arranged at the same height. Also, the CPU 1 can determine that the other four images 710c, 710d, 710e, and 710f are arranged at the same height. In this case, the articles corresponding to the images 710c, 710d, 710e, and 710f correspond to the articles arranged in the uppermost (third row) as shown in FIG. is displayed as a depth image having a darker color than the images 710a and 710b. Thereafter, CPU 1 performs binarization processing (step S610) on image 710 and extracts image 720 .
  • the image 720 includes images 720c, 720d, 720e, and 720f corresponding to the four articles arranged at the top of the container 107.
  • the appropriate value changes according to the height. can extract an image corresponding to the article placed at the top when binarization processing is performed.
  • the CPU 1 performs color reversal processing on the image 720 (step S620) and derives an image 730.
  • image 730 the area of the article to be detected is shown in white, and the other areas are shown in black.
  • the CPU 1 performs contraction processing on the image 730 (step S630) to derive an image 740.
  • the CPU 1 considers a white area surrounded by black pixels such as pixels 730a and 730b to be noise, replaces the white area with black, and removes the noise.
  • the CPU 1 performs expansion processing on the image 740 (step S640), and derives an image 750 in which the shrunk area has been restored to its original size. Unlike the image 730, the image 750 shows a state in which noise has been removed.
  • the CPU 1 performs labeling processing on the image 750 to extract objects (step S650), and as shown in the image 760, determines rectangular areas 760a, 760b, 760c, and 760d that circumscribe the object.
  • FIG. 8 is a diagram showing a state in which two articles 810a and 810b of the same type are lined up.
  • FIG. 9 is a diagram schematically showing data acquired by the CPU 1 when threshold processing in the height direction is performed.
  • FIG. 8 exemplifies a discarded washing machine as an article of the same type
  • the article is not limited to washing machines, and may be air conditioners, refrigerators, and other electrical appliances.
  • the articles are not limited to discarded articles, and may be recycled or reused articles.
  • multiple items 810a and 810b may be placed in container 107 in close proximity to each other.
  • the article 810a and the article 810b may be arranged without a gap. Since the depth image can express the height only in 256 different gradations, the CPU 1 may recognize the articles 810a and 810b as one article as the analyzing section 331. FIG.
  • CPU 1 extracts rectangular areas 911, 912, and 913 as a result of the labeling process. Rectangular areas 912 and 913 are each labeled as areas corresponding to one article.
  • the rectangular area 911 includes areas 911a and 911b corresponding to images of two articles (for example, a washing machine), but the CPU 1 recognizes the rectangular area 911 as an area corresponding to one article.
  • the CPU 1 performs threshold processing in the height direction only on the erroneously recognized area, and performs processing to divide one article into two articles.
  • the CPU 1 sets a value obtained by adding the offset value z offset in the height direction to the minimum value z min in the Z direction as the threshold value in the height direction. .
  • the CPU 1 must obtain the minimum value z min corresponding to the height of the gap by referring to the three-dimensional point cloud data.
  • the surfaces (side surfaces) of the articles 810a and 810b at arbitrary Y coordinate values are scanned in the X direction of FIG. 8 to acquire the height profiles 920 of the articles 810a and 810b.
  • the minimum value of the gap z min corresponds to the minimum value of the acquired height profile 920 .
  • a value between the minimum value z min of the gap and the height z plane of the side surfaces of the articles 810a and 810b is set in advance.
  • the CPU 1 performs threshold processing in the Z direction using the calculated threshold in the height direction.
  • the CPU 1 can represent the gap on the depth image in white by replacing the three-dimensional point cloud data below the threshold with the height z corresponding to white on the depth image. That is, as in images 931a and 930b included in the image 930 shown in FIG. 9C, the CPU 1 can correctly recognize the articles 810a and 810b, which have been erroneously recognized as one article, as two articles.
  • the CPU 1 identifies the bottom surface and the top surface of the articles 106 stacked in the container 107 from the image captured by the imaging device 101 .
  • the CPU 1 identifies the bottom surface of the article 106 and controls the transportation and arrangement of the article 106 by the robot 103 so that the bottom surface of the article 106 faces the same direction on the conveyor 109, thereby determining the orientation in which each article 106 is arranged (article 106 posture) can be unified. For example, each article 106 taken out of the container 107 is placed on the conveyor 109 with its top surface or bottom surface aligned.
  • dismantling work can be performed more efficiently if the articles 106 of the same type face the same direction.
  • the article 106 is a washing machine
  • the top cover and operation panel are attached to the top surface of the washing machine. This is because the operator can save the trouble of moving to the upper surface side by being positioned on the upper surface side. Also, even when equipment and tools are used to remove some parts from the article 106, by installing them only on the upper surface side, there is no need to arrange the equipment and tools on both conveyors 109. ⁇
  • FIG. 10 depicts a discarded item 106 placed side up (laterally).
  • FIG. 11 is a diagram representing the profile obtained by scanning the surface of article 106 in the X direction.
  • the identification of the bottom surface of the article is based on the three-dimensional shape of the handles on the sides of the article.
  • the CPU 1 can acquire a height profile as the height information of the article 106 .
  • the handle of the article 106 is provided in the range of 100 mm ⁇ y ⁇ 200 mm from the end of the side surface of the article 106 in the y-axis direction.
  • a straight profile along the side of article 106 such as height profile 1110 is obtained.
  • the CPU 1 obtains a height profile 1120 by scanning the portion where the handle exists in the X direction.
  • a portion 1130 corresponding to the width (height) of the handle is shown as a notch shape. This is because the handle has a certain inclination with respect to the side surface of the waste home appliance so that a person can easily lift the waste home appliance.
  • the CPU 1 can identify the bottom surface of the article 106 by calculating the inclination tan ⁇ of the straight line corresponding to the handle on the XZ plane.
  • the determination of the presence of the handle is based, for example, on the fact that the difference between the minimum value Z min and the maximum value Z max of the acquired height profile 1120 exceeds a preset threshold, or the height of the opening of the handle. This is performed based on the detection of a straight portion having a length corresponding to the length of the handle and an inclination corresponding to the handle.
  • the CPU 1 can determine that the bottom surface of the article 106 exists at the right end.
  • the angle ⁇ formed by the straight line corresponding to the handle and the positive direction of the X axis is within the range of 90 degrees to 180 degrees, the direction in which the article 106 is lifted, that is, the direction acting on the handle is X Since it coincides with the positive orientation of the axis, CPU 1 can determine that the bottom surface of article 106 is on the left edge.
  • the CPU 1 may identify the bottom surface of the article 106 based on the three-dimensional position information of the handle on the side of the article 106 .
  • the handle of the article 106 is often attached above the center of gravity from the viewpoint of stability during transportation. Therefore, after CPU 1 recognizes the position of the handle using the profiles described above, if the position of the handle is to the left of the center in height profile 1120 (along the X-axis), CPU 1 determines that item 106 can be determined to be at the right end. On the other hand, if the position of the handle is to the right of the middle in height profile 1120, CPU 1 may determine that the bottom surface of item 106 is on the left edge.
  • the CPU 1 can recognize the bottom surface of the article 106 based on the three-dimensional information of the sides thereof.
  • the CPU 1 as the identification unit 332, generates information on the identified bottom surface of the article 106 (whether the bottom surface is on the right side or the left side, etc.).
  • the take-out control unit 334 sends an operation command to the robot controller 104 so as to control the robot 103 based on the position/orientation information of the article 106 and the information indicating the pick-up direction.
  • the removal control section 334 determines that the articles 106 stacked in the same number of stages have been removed, the removal control section 334 outputs a removal completion trigger to the end determination section 335 .
  • each article 106 is carried out by the robot 103 when it is placed in the container 107 with the side surface facing upward is exemplified.
  • some of the articles 106 placed in the container 107 may be tilted due to steps caused by other articles 106 .
  • it may be determined whether or not the article 106 is tilted using an image captured by the imaging device 101 . For example, if the article 106 is tilted, areas corresponding to three sides, a top or bottom and two sides, may be recognized in the image. Therefore, the CPU 1 can determine that the article 106 is arranged at an angle when areas corresponding to three planes are detected from the photographed image.
  • threshold processing may be performed on the tilt coordinate values ( ⁇ , ⁇ , ⁇ ) acquired when recognizing an article.
  • the CPU 1 can determine that the article is arranged at an inclination that prevents it from being taken out.
  • Embodiment 2 the position information of the side surface of the container 107, specifically, the three-dimensional coordinate values of the portion corresponding to the fence of the container is registered in advance in the robot controller 104, and the takeout operation is performed before the hand 105 contacts the container 107. It has a function to cancel This function can prevent the hand 105 from coming into contact with the side surface of the container 107 and being damaged.
  • the hardware configuration of the transport system according to the second embodiment is the same as the hardware configuration of the transport system 10 according to the first embodiment. Therefore, description of the hardware configuration will not be repeated.
  • FIG. 12 is a diagram showing the state of articles in the container of the transport system according to the second embodiment. More specifically, FIG. 12A shows a case where the size of the suction surface of the article 106 is smaller than that of the hand 105 and the article 106 is approaching the container 107 . In this case, since the hand 105 comes into contact with the container 107, the transport system stops the transport operation. FIG. 12B shows a case where the size of the suction surface of the article 106 is smaller than that of the hand 105, but the article 106 is separated from the container 107 by a certain distance. In this case, the transport system can continue the transport operation.
  • the transport system uses the imaging device 101 to obtain the side information of the container 107, specifically, the three-dimensional coordinate values of the portion of the container that hits the fence immediately after the container 107 is installed. It measures and transmits the measured three-dimensional coordinate values to the control unit 102 . Based on the relationship between the three-dimensional coordinate value of the side surface of the container 107 and the three-dimensional coordinate value of the pickup position of the article 106, the transport system may determine whether to continue or stop the transport.
  • FIG. 13 is a diagram showing an example of the configuration of transport system 1300 according to the third embodiment.
  • Conveying system 1300 differs from conveying system 10 in that hand 105 includes air blower 1310 in contrast to the configuration of conveying system 10 according to the first embodiment.
  • Other configurations are the same as the hardware configuration of the transport system 10 . Therefore, description of the same hardware configuration will not be repeated.
  • the conveying system 1300 removes foreign matter such as water droplets and dust adhering to the surface to be picked up with an air blower 1310 to clean the surface to be picked up. As a result, it is possible to suppress a decrease in adsorption force and clogging of the adsorption head.
  • Transport system 10 inputs three-dimensional information of a plurality of articles obtained by three-dimensionally measuring a plurality of articles 106 stacked in a first area (for example, container 107).
  • an input unit e.g., input terminal
  • a transport unit e.g., robot 103
  • a control device for example, control device 102, CPU1
  • the control device acquires position and orientation information indicating the position and orientation of the article to be conveyed from the three-dimensional information, identifies the top surface 106a or the bottom surface 106b of the article 106 to be conveyed based on the three-dimensional information, Based on the position/orientation information and the identification result of the top surface 106a or the bottom surface 106b, the order and arrangement direction of the articles 106 are determined, the articles to be transported are picked up in accordance with the determined order of removal, and the articles to be conveyed are taken out in accordance with the arrangement direction.
  • the conveying unit is controlled so that the top surface or bottom surface of the article that has been picked up is aligned with the top surface or bottom surface of another article and is arranged in the second region.
  • obtaining the position and orientation information includes removing unnecessary data from the three-dimensional information, recognizing the article based on the three-dimensional information from which the unnecessary data has been removed, Comparing the area of the region of the recognized article with a predetermined area, and determining that the recognized article is one article based on the fact that the area of the region of the article is equal to or less than the predetermined area. and determining.
  • control device further determines whether or not the two items have been erroneously recognized as one item, and based on the determination that the two items have been erroneously recognized as one item, By emphasizing the gap in the middle of the scanning path of a plurality of articles, one incorrectly recognized article is recognized as two articles.
  • whether or not two articles are erroneously recognized as one article is determined in advance based on the area of the image recognized based on the three-dimensional information and the area of the side surface of one article. determining whether the area of the recognized image is greater than the area of the side surface by comparing the area of the recognized image with the scanned area; scanning the surfaces of the plurality of articles to obtain a profile outlining the surfaces; determining that two adjacent articles are erroneously recognized as one article based on the fact that a height smaller than a height set in advance as the height of the articles exists in the middle of the profile. include.
  • the transport system (eg, transport 1300) further includes cleaning means (eg, air blower 1310) for cleaning the suction surface of the article.
  • cleaning means eg, air blower 1310
  • control device registers the outer circumference information of the first area (for example, information representing the contour of the inner side surface of the container 107), and the conveying section (for example, the robot 103) interferes with the outer circumference information. If it is determined that the conveying unit and the outer circumference information interfere with each other, the conveying operation is stopped.
  • a method executed by a computer 400 for controlling transportation of an article includes the step of CPU1 receiving input of three-dimensional information of a plurality of articles obtained by three-dimensionally measuring a plurality of articles stacked in a first region (for example, container 107); a step of acquiring position and orientation information indicating the position and orientation of an article to be transported from three-dimensional information; a step of the CPU 1 identifying the top surface or the bottom surface of the article to be transported based on the three-dimensional information; a step of determining the take-out order and arrangement direction of the articles based on the position/orientation information and the identification result of the top surface or the bottom surface; and controlling the conveying unit (robot 103) so that the top surface or bottom surface of the article picked up according to the arrangement direction is aligned with the top surface or bottom surface of another article and arranged in a second area different from the first area.
  • a first region for example, container 107
  • the disclosed transport system 10 recognizes articles on a rule basis by image processing. Therefore, by changing parameters, the type of articles 106 to be recognized (for example, discarded washing machines, refrigerators, air conditioner, etc.) can be easily switched. In addition, since the transport system 10 does not use model matching or machine learning, no prior training is required, and highly versatile article recognition is possible.
  • 10 transport system 101 imaging device, 102 control device, 103 robot, 104 robot controller, 106, 106-1, 106-2, 106-3, 106-4, 106-5, 810a, 810b article, 106a upper surface, 106b bottom surface, 106c side surface, 107 container, 108 fixing stand, 109 conveyor, 310 input unit, 320 storage unit, 321 three-dimensional information, 322 height information, 330 control unit, 331 analysis unit, 332 identification unit, 333 operation Planning unit, 334 take-out control unit, 335 end determination unit, 340 display unit, 400 computer, 710, 710a, 710b, 710c, 710d, 710e, 710f, 720, 720c, 720d, 720e, 720f, 730, 740, 750, 760, 930, 930b, 931a image, 730a, 730b pixel, 760a, 760b, 760c, 760d, 911, 912, 913 rectangular area, 911a

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

事前トレーニングが不要で人作業が介在しない汎用性の高い搬送システムが開示される。搬送システムを制御するコンピュータが実行する処理は、三次元情報として三次元点群データを撮影画像から取得すること（Ｓ５１０）と、三次元点群データから不要な三次元点群データを除去すること（Ｓ５２０）と、デプス画像を出力すること（Ｓ５３０）と、デプス画像からノイズを除去すること（Ｓ５４０）と、同じ段に積まれている物品を認識して、当該物品の位置および姿勢を推定すること（Ｓ５５０）と、物品の画像の面積が予め定められた面積以下であるか否かを判断して、物品の画像の面積が予め定められた面積以下である場合に（Ｓ５６０にてＹＥＳ）、物品の輪郭を抽出した画像と、物品の位置姿勢情報とを出力し、そうでない場合には（Ｓ５６０にてＮＯ）、高さ方向の閾値処理を実行すること（Ｓ５７０）とを含む。

Description

搬送システム、物品の搬送を制御するためにコンピュータで実行される方法、および、当該方法をコンピュータに実行させるプログラム
　本開示は物品の搬送に関し、より特定的には、第１領域に積層された物品を第２領域に整列して配置する技術に関する。
　リサイクルプラントに搬入される洗濯機やエアコンその他の廃棄された家庭用電化製品（以下「廃家電」という。）は、家電の種類ごとに積層された状態でコンテナに搬入される。コンテナに搬入された各廃家電は、それぞれの大きさや重さが異なる不定形ワークであることに加えて、取り出した廃棄物を配置する方向（単に「取り置き方向」ということもある）を統一する必要がある。そのため、作業者が各廃家電を取り出し、解体場所まで当該廃家電を搬送する。
　しかし、多くの廃家電は重いため、作業者への負担が大きくなり、このような搬送業務に従事する作業者を継続して確保することが困難になりつつある。そこで、コンテナに積層されたワークを認識し、ロボットに取り出しをさせる搬送装置が求められている。
　このような搬送装置に関し、たとえば、特許第６７８５３９３号（特許文献１）は、「コンテナ等の受入場所に配置されたリサイクル洗濯機をロボットにより解体場所へ搬送することができるリサイクル洗濯機搬送システム」を開示している（［要約］参照）。このリサイクル洗濯機搬送システムは、「リサイクル洗濯機５を撮像する撮像装置と、リサイクル洗濯機５の位置情報及び姿勢情報を生成する認識部と、リサイクル洗濯機５を保持可能なハンド３１を有するロボットと、リサイクル洗濯機５を受入場所から解体場所に搬送するように、ロボットを制御する制御部とを具備し、ハンド３１は、真空源３３に連通する複数の真空引き孔３４ａを有する本体部３４と、本体部３４に取り付けられ、複数の真空引き孔３４ａに対応する複数の吸着孔３５ａを有し、本体部３４よりも軟質なパッド部３５とを備える」（以上「要約」参照）。このリサイクル洗濯機搬送システムは、「オペレータからの教示及びカメラが取得した画像情報に基づいて、識別部が洗濯機を縦型全自動洗濯機とドラム式洗濯機に分類している」というものである（段落００４２）。
特許第６７８５３９３号
　特許文献１に開示されたリサイクル洗濯機搬送システムによれば、ワークの認識にオペレータの教示という人作業が介在する都合上、作業者を排除できないという問題が生じる。また、学習機を使う場合であれば、数万枚単位の学習用画像の準備に加えて、それに付随する作業者のアノテーションといった手間が生じる。さらに、洗濯機以外の廃家電へ適応する場合は、再学習が必要なため、汎用性に欠けるという問題も生じる。
　さらに、特許文献１によれば、「リサイクル洗濯機５の位置情報及び姿勢情報（３次元形状）は、例えば位相シフト法により計測される」（段落００１７）。廃家電は大きさや重さが異なる不定形ワークであるため、このような３次元形状を用いる方法では、モデルマッチングを適用できないという問題点もある。加えて、ワークを認識して取り出しを行う搬送装置にあっては、位置情報及び姿勢情報（３次元形状）の生成の前処理となるワーク認識を高速で行わなければ、所望のサイクルタイムを実現できない。
　したがって、作業者による関与を極力減らせる技術が必要とされている。また、特定の廃家電に限られない汎用性のある技術が必要とされている。さらに、サイクルタイムを短くできる技術が必要とされている。
　本開示は上述のような背景に鑑みてなされたものであって、ある局面に従うと、事前トレーニングなしで、人作業が介在しない汎用性の高い搬送技術が開示される。
　ある実施の形態に従うと、搬送システムが提供される。この搬送システムは、第１領域に積層された複数の物品を３次元計測することにより得られた複数の物品の三次元情報の入力を受け付ける入力部と、第１領域から、第１領域と異なる第２領域に物品を搬送するための搬送部と、搬送部を制御するための制御装置とを備える。制御装置は、三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得し、三次元情報に基づいて、搬送対象となる物品の上面または底面を識別し、位置姿勢情報と、上面または底面の識別結果とに基づいて、当該物品の取り出し順序および配置方向を決定し、決定された取り出し順序に従って搬送対象となる物品を取り出して、配置方向に従って取り出された物品の上面または底面を、他の物品の上面または底面に揃えて第２領域に配置するように搬送部を制御する。
　ある実施の形態に従うと、事前トレーニングなしで、人作業が介在しない汎用性の高い搬送システムが提供される。
　この開示の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの開示に関する次の詳細な説明から明らかとなるであろう。
搬送システム１０の一構成の概要を例示する図である。 複数の物品１０６がコンテナ１０７に積層された状態を上方から表わした図である。 ある実施の形態に従う制御用装置１０２によって実現される機能の構成を表わすブロック図である。 制御用装置１０２として機能するコンピュータ４００のハードウェア構成を表わすブロック図である。 コンピュータ４００のＣＰＵ１が実行するメイン処理の一部を表わすフローチャートである。 ＣＰＵ１によって実行される物品認識処理（Ｓ５５０）の詳細を表わすフローチャートである。 ＣＰＵ１による処理が実行されている場合に取得される画像を模式的に表わした図である。 同種の二つの物品８１０ａ，８１０ｂが並んだ状態を表わす図である。 高さ方向の閾値処理が行なわれる場合にＣＰＵ１に取得されるデータを模式的に表わした図である。 廃棄された物品１０６が側面を上にして（横方向に）配置された状態を表わす図である。 物品１０６の表面をＸ方向に走査することにより得られたプロファイルを表わす図である。 実施の形態２に従う搬送システムのコンテナにおける物品の状態を表わす図である。 実施の形態３に従う搬送システム１３００の構成の一例を表わす図である。
　以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
　実施の形態１．
　［搬送システム１０の概要］
　図１を参照して、ある実施の形態に従う搬送システム１０について説明する。図１は、搬送システム１０の一構成の概要を例示する図である。
　搬送システム１０は、三次元計測機としての撮像装置１０１と、制御用装置１０２と、ロボット１０３と、ロボットコントローラ１０４と、コンベア１０９とを備える。ロボット１０３は、その先端にハンド１０５を有する。
　撮像装置１０１と、制御用装置１０２と、ロボットコントローラ１０４とは、通信ケーブル等の有線通信手段またはＷｉＦｉ（登録商標：Wireless　Fidelity）その他の無線通信手段によって、互いに通信できるように接続されている。
　撮像装置１０１は、コンテナ１０７の上方に配置されている。ある局面において、コンテナ１０７は、同種類の１または複数の物品１０６を収容する。なお、以下では、ある局面において、一つの物品を物品１０６と示す場合があり、他の局面において、複数の物品を総称する場合に物品１０６と示す場合もある。また、複数の物品のそれぞれについて説明する場合は、各物品を区別して、例えば、物品１０６－１，１０６－２等とも表わす。
　ある実施の形態において、物品１０６は、例えば、廃棄された家庭用電化製品（「廃家電」）であり、あるいは、他の局面において、リサイクルまたはリユースの目的で回収された家庭用電化製品であり、さらに他の局面において、リコールにより回収された家庭用電化製品を含み得る。家庭用電化製品は、冷蔵庫、洗濯機、エアコン等のように作業者が運ぶには比較的大きくあるいは重い製品であり、ロボット１０３による機械搬送が望ましい製品である。
　コンテナ１０７の上部は解放されている。したがって、撮像装置１０１は、コンテナ１０７の内部を撮影できる。複数の物品１０６がコンテナ１０７に積層されている場合は、撮像装置１０１は、最上段に置かれた物品１０６の表面を撮影することになる。物品１０６が冷蔵庫や洗濯機のように略直方体の形状を有する場合、物品１０６は、通常の使用時とは異なり横に向けられた状態で配置されることがある。この場合、撮像装置１０１によって撮影される表面は、物品１０６の側面となる。
　ある局面において、１または複数の物品１０６は、コンテナ１０７に搬入されて順次積層される。図１には、ＸＹＺの直交３軸座標系が示されており、Ｚ方向は、コンテナ１０７の底面に対して鉛直方向を示し、Ｘ方向及びＹ方向は、当該底面に平行な水平方向を示す。Ｚ方向は、物品１０６が積層される方向に対応する。Ｘ方向およびＹ方向は、各物品１０６が並べられる方向に対応し得る。
　撮像装置１０１は、固定用架台１０８に取り付けられており、視野方向に対する三次元領域内の三次元情報を取得する。撮像装置１０１の構成として、例えば、ある局面において２台のカメラを使用するステレオカメラ方式、他の局面において、レーザ変位計と単眼カメラとを用いる方式、さらに他の局面において、位相シフト法を用いたプロジェクターと単眼カメラとを用いる方式等が挙げられるが、これらに限られず、三次元情報を取得可能なその他の方式も使用され得る。
　撮像装置１０１の測定範囲は、コンテナ１０７が占有する三次元領域全てを含む必要があるが、測定範囲が大きすぎると、測定分解能は低下する。したがって、ある局面において、測定範囲は、ロボット１０３で物品１０６を取り出す際に必要な精度に合わせた測定分解能から選定するが好ましい。なお、図１では、撮像装置１０１はコンテナ１０７の中央部上方の固定用架台１０８に配置されているが、他の局面において、撮像装置１０１は、ロボット１０３の先端部に取り付けられてもよい。
　撮像装置１０１によって取得された三次元情報は、三次元点群データ、またはデプス画像といった方式で表現される。ある実施の形態において、三次元点群データとは、測定された三次元座標値（ｘ，ｙ，ｚ）のような三次元の点の集合として三次元情報を表現したものである。一例として、三次元の点の集合では、撮影された画像上の画素の座標値（ｘ，ｙ）ごとに高さ情報ｚが付与されている。
　一方、デプス画像とは、二次元画像に三次元情報を付与した画像であり、画像内の各画素の色や輝度値により、コンテナ１０７の底面からの高さを取得できる画像であり、または、撮像装置１０１からの距離を取得できる画像である。
　制御用装置１０２は、撮像装置１０１によって取得された三次元情報に基づいて、物品１０６の位置姿勢情報を導出する。本実施の形態において、位置姿勢情報とは、物品１０６の重心位置の座標値（ｘ，ｙ，ｚ）と、定義されたＸＹＺ座標系に対する物品１０６の傾きの座標値（φ，θ，ψ）との組み合わせである。取り出しの対象となる物品１０６の座標値（ｘ，ｙ，ｚ）および（φ，θ，ψ）がロボット１０３に通知されると、ロボット１０３は、そのハンド１０５を当該座標値に移動させて物品１０６を把持できる。
　制御用装置１０２は、物品１０６の側面の三次元点群データに基づいて物品１０６の底面を判定し、物品１０６をコンテナ１０７から取り出す順序とコンベア１０９に配置する方向とを決定する。さらに、制御用装置１０２は、その決定した順序と方向とに基づいて、ロボットコントローラ１０４を制御する。
　ロボット１０３は、例えば多関節のアームマニピュレータであり、所定のワーキングエリア内で６自由度の位置及び姿勢を制御できるように構成されている。ロボット１０３は、そのハンド１０５を用いて物品１０６を把持して所望の位置まで物品１０６を移送できる。なお、ロボット１０３は、多関節のアームマニピュレータに限定されず、ほかのロボットであってもよい。
　ロボットコントローラ１０４は、制御用装置１０２から入力された動作指令に基づいて、各駆動軸モータ（図示しない）に駆動信号を送信し、ロボット１０３の動作を制御する。
　ハンド１０５は、例えば、真空（負圧）を利用した吸着パッド（図示しない）、あるいは、吸引ノズル（図示しない）を備える。ハンド１０５は、位置および姿勢が検出された物品１０６の表面に接触して、物品１０６を１つずつ把持することで、コンベア１０９の位置まで移送できる。
　［コンテナ１０７における物品の積層状態］
　図２を参照して、ある実施の形態に従う物品の配置について説明する。図２は、複数の物品がコンテナ１０７に積層された状態を上方から表わした図である。例えば、物品１０６－１は物品１０６－２の上に配置されている。また、物品１０６－５は物品１０６－４の上に配置されており、物品１０６－４は物品１０６－３の上に配置されている。
　物品１０６－１は、その側面１０６ｃが上を向いた状態となるようにコンテナ１０７に搬入されて積層される。この場合、物品１０６－１が撮像装置１０１によって撮影されると、上面１０６ａおよび底面１０６ｂは、画像からは判別しにくい状態となる。図２は、コンテナ１０７を上方から見た画像であり、この画像は、撮像装置１０１によって撮像された画像情報にそのまま相当する。図２に示されるＸＹＺ座標系は、ロボット１０３の動作座標系（図１に示されるＸＹＺ座標）にマッチングされる。
　［制御用装置１０２の機能構成］
　図３および図４を参照して、制御用装置１０２の構成について説明する。図３は、ある実施の形態に従う制御用装置１０２によって実現される機能の構成を表わすブロック図である。図４は、ある実施の形態に従って制御用装置１０２を実現するコンピュータ４００のハードウェア構成を表わすブロック図である。
　図３に示されるように、制御用装置１０２は、入力部３１０と、記憶部３２０と、制御部３３０と、表示部３４０とを備える。制御部３３０は、解析部３３１と、識別部３３２と、動作計画部３３３と、取出制御部３３４と、終了判定部３３５とを含む。
　入力部３１０は、制御用装置１０２の外部からの信号の入力を受け付ける。入力される信号は、撮像装置１０１によって撮影された画像信号、搬送システム１０の管理者による操作信号、搬送システム１０以外のシステムから送信された信号等を含む。入力部３１０は、アナログ端子およびデジタル端子のいずれでもよい。
　記憶部３２０は、制御用装置１０２の外部から入力された情報、および、制御用装置１０２によって生成されたデータを保持する。記憶部３２０は、たとえば、ある局面において、三次元情報３２１と、コンテナ内高さ情報３２２とを格納する。記憶部３２０は、ハードディスク、ＳＳＤ（Solid　State　Device）その他の不揮発性メモリやＲＡＭ（Random　Access　Memory）その他の揮発性メモリによって実現される。
　制御部３３０は、ＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）、ＭＣＵ（Micro　Controller　Unit）その他の汎用プロセッサによって、または、ＦＰＧＡ（Field　Programmable　Gate　Array）またはＡＳＩＣ（Application　Specific　Integrated　Circuit）その他の専用プロセッサによって実現され得る。
　制御部３３０において、解析部３３１は、撮像装置１０１によって取得された三次元情報に基づいて、物品１０６の位置姿勢情報を出力する。当該位置姿勢情報は、一例として、物品１０６の重心位置の座標値（ｘ，ｙ，ｚ）と、定義されたＸＹＺ座標系に対する物品１０６の傾きの座標値（φ、θ、ψ）との組み合わせである。
　識別部３３２は、物品１０６の側面の三次元情報に基づいて、物品１０６の上面と底面とを識別し、底面の場所を示す情報を出力する。当該情報は、例えば、物品１０６を撮影した画像において、底面が当該画像に含まれる物品１０６の画像の右側又は左側のいずれに位置するか、若しくは、物品１０６の画像の上側又は下側のいずれに位置するかを表わす情報である。
　動作計画部３３３は、解析部３３１から出力される物品１０６の位置姿勢情報と、識別部３３２によって識別される物品１０６の底面の場所を示す情報とに基づいて、コンテナ１０７から物品１０６を取り出す順序（単に「取り出し順」ともいう。）と、取り出された物品１０６のコンベア１０９に対する配置方向（「取り置き方向」ともいう。）を決定する。
　取出制御部３３４は、動作計画部３３３から出力される情報、すなわち、取り出し順と配置方向とに基づいて、ロボットコントローラに動作指令を送信する。
　終了判定部３３５は、コンテナ１０７内の高さ情報３２２と、取出制御部３３４からの出力結果とに基づいて、コンテナ１０７からの物品１０６の取り出しを終了するべきか否かを判定する。判定結果は、解析部３３１に送られる。
　［コンピュータ４００の構成］
　図４を参照して、コンピュータ４００の構成について説明する。図４は、制御用装置１０２として機能するコンピュータ４００のハードウェア構成を表わすブロック図である。
　コンピュータ４００は、主たる構成要素として、プログラムを実行するＣＰＵ１と、コンピュータ４００のユーザーによる指示の入力を受けるマウス２およびキーボード３と、ＣＰＵ１によるプログラムの実行により生成されたデータ、又はマウス２若しくはキーボード３を介して入力されたデータを揮発的に格納するＲＡＭ４と、データを不揮発的に格納する記憶装置５と、通信インターフェイス（Ｉ／Ｆ）７と、モニタ８とを含む。各構成要素は、相互にデータバスによって接続されている。
　コンピュータ４００における処理は、各ハードウェアおよびＣＰＵ１により実行されるソフトウェアの協働によって実現される。このようなソフトウェアは、記憶装置５に予め記憶されている場合がある。また、ソフトウェアは、ＣＤ－ＲＯＭ（Compact　Disc　Read-Only　Memory）その他の記録媒体に格納されて、コンピュータプログラムとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なアプリケーションプログラムとして提供される場合もある。このようなソフトウェアは、光ディスク駆動装置（図示しない）その他の読取装置によりその記録媒体から読み取られて、あるいは、通信インターフェイス７を介してダウンロードされた後、記憶装置５に一旦格納される。そのソフトウェアは、ＣＰＵ１によって記憶装置５から読み出され、ＲＡＭ４に実行可能なプログラムの形式で格納される。ＣＰＵ１は、そのプログラムを実行する。
　図４に示されるコンピュータ４００を構成する各構成要素は、一般的なものである。したがって、本開示に係る技術思想の本質的な部分の一つは、ＲＡＭ４、記憶装置５、ＣＤ－ＲＯＭその他の記録媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。当該記録媒体は、一時的でない（不揮発性の）、コンピュータ読取可能なデータ記録媒体を含み得る。なお、コンピュータ４００の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
　なお、記録媒体としては、ＣＤ－ＲＯＭ、ＦＤ（Flexible　Disk）、ハードディスクに限られず、磁気テープ、光ディスク（ＭＯ（Magnetic　Optical　Disc）／ＭＤ（Mini　Disc）／ＤＶＤ（Digital　Versatile　Disc））、ＩＣ（Integrated　Circuit）カード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Electronically　Programmable　Read-Only　Memory）、ＥＥＰＲＯＭ（Electronically　Erasable　Programmable　Read-Only　Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。
　ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
　［制御構造］
　図５および図６を参照して、ある実施の形態に従う搬送システム１０の制御構造について説明する。図５は、制御用装置１０２として機能するコンピュータ４００のＣＰＵ１が実行するメイン処理の一部を表わすフローチャートである。図５に示される処理は、例えば、搬送システム１０が動作を開始するトリガとして、撮像装置１０１が、撮像開始指令を受信すると開始する。撮像開始指令は、一例として、ロボット１０３がコンテナ１０７の範囲から退避した状態になった際に、ロボットコントローラ１０４から制御用装置１０２に送信されると、制御用装置１０２から撮像装置１０１に送信される。
　図５を参照して、ステップＳ５１０にて、ＣＰＵ１は、三次元情報として三次元点群データを撮影画像から取得する。より具体的には、ＣＰＵ１は、撮像開始指令を撮像装置１０１に送信する。撮像装置１０１は、撮像開始指令の受信に応答して、コンテナ１０７に積層された物品１０６を撮像して、三次元情報を三次元点群データとして取得する。一例として撮像装置１０１がステレオカメラで構成される場合、三次元点群データの算出は、三角測量の原理に基づいたステレオマッチングにより取得される。ステレオマッチングの方式として、たとえば、注目点に対して４５度ずつに分けられた８方向から候補点を探索するＳＧＭ（Semi　Global　Matching）方式などが挙げられるが、ステレオマッチングは、公知の手法であるので、さらに詳細な説明は述べない。
　ステップＳ５２０にて、ＣＰＵ１は、取得した三次元点群データから、物品１０６の取り出し制御に不要な三次元点群データを除去する。ステップＳ５２０において取得された三次元点群データは、コンテナ１０７の範囲外（コンテナ１０７の周辺）の三次元点群データまで含み得るため、不要な点群データを除去する必要がある。除去する手法としては、ロボット１０３の動作座標系（図１中のＸＹＺ座標）上でコンテナ１０７の範囲を表わす三次元座標値を予め定義しておき、ＣＰＵ１は、取得された三次元点群データから、コンテナ１０７の範囲を示す当該三次元座標に対応する三次元点群データを抽出することにより、コンテナ１０７の範囲外に相当する三次元点群データを除去できる。
　ステップＳ５３０にて、ＣＰＵ１は、デプス画像を出力する。デプス画像は、一例として、１画素が２５６通りの階調をもつグレースケール画像であり、撮像装置１０１に近いものほど黒く、遠いものほど白く表される。
　ステップＳ５４０にて、ＣＰＵ１は、デプス画像からノイズを除去する。ノイズを除去する手法は、例えば、メディアンフィルタ、スペックルフィルタなどを用いたフィルタリングによる手法である。メディアンフィルタやスペックルフィルタは、周知のフィルタ処理であるので、さらに詳細な説明は繰り返さない。
　ステップＳ５５０にて、ＣＰＵ１は、後述する物品認識処理を実行して、同じ段に積まれている物品を認識して、当該物品の位置および姿勢を推定する。この処理の詳細は、後述する（図６）。
　ステップＳ５６０にて、ＣＰＵ１は、物品１０６の画像の面積が予め定められた面積以下であるか否かを判断する。本実施の形態において、予め定められた面積とは、画像上で一つの物品１０６が取り得る面積を予め定義した値である。このような定義は、例えば、撮像装置１０１からコンテナ１０７の収容面までの距離と、物品１０６の寸法データとに基づいて定義される。ＣＰＵ１は、物品１０６の画像の面積が予め定められた面積以下であると判断すると（ステップＳ５６０にてＹＥＳ）、物品１０６の輪郭を抽出した画像と、物品１０６の位置姿勢情報とを出力し、その後、処理を終了する。そうでない場合には（ステップＳ５６０にてＮＯ）、ＣＰＵ１は、制御をステップＳ５７０に切り替える。
　ステップＳ５７０にて、ＣＰＵ１は、高さ方向の閾値処理を実行する。すなわち、物品１０６の画像が予め定められた面積より大きいと判断された場合には、ＣＰＵ１は、物品１０６と、物品１０６に隣接する他の物品とを１台として誤認識した可能性がある。そこで、ＣＰＵ１は、物品１０６と隣接する他の物品とを区別するために、誤認識した領域に対して高さ方向の閾値処理をする。この処理の詳細は、後述する（図８，図９）。
　図６は、ＣＰＵ１によって実行される物品認識処理（Ｓ５５０）の詳細を表わすフローチャートである。
　ステップＳ６１０にて、ＣＰＵ１は、デプス画像の二値化処理を実行する。より具体的には、以降の処理を行うために、ＣＰＵ１は、入力画像となるデプス画像に対して二値化処理を実行し、検出したい物品１０６の領域が黒となり、それ以外の領域が白となるような画像を生成する。このとき、ＣＰＵ１は、物品１０６が積層される段の高さに相当する輝度値を二値化の閾値として設定する。例えば、図１に例示されるように、コンテナ１０７内に物品１０６が３段に積まれる場合、１段目と２段目と３段目との各段数が取り得る高さの輝度値が事前に定義され得る。ＣＰＵ１は、この輝度値を二値化の閾値に設定することで、取り出しの対象となる最上段の物品１０６のみを抽出できる。なお、当該輝度値以外の値が当該閾値として設定されてもよい。
　ステップＳ６２０にて、ＣＰＵ１は、二値化画像の色反転処理を実行する。より具体的には、ＣＰＵ１は、後述する処理を行うために、二値化画像の色反転を行い、検出したい物品１０６の領域が白となり、それ以外の領域が黒となるような画像を生成する。
　ステップＳ６３０にて、ＣＰＵ１は、収縮処理を実行する。ＣＰＵ１は、反転した二値化画像上のノイズである白領域を除去するために、収縮処理を行う。本実施の形態において、ＣＰＵ１は、収縮処理として、注目画素の周辺に１画素でも黒い画素があれば黒に置き換える。この処理が実行されることにより、物品１０６に隣接する他の物品を切り分ける効果も期待できる。この処理が実行された場合の画像の一例は後述する。
　ステップＳ６４０にて、ＣＰＵ１は、収縮された物品１０６の領域を元の大きさに戻すために、膨張処理を行う。本実施の形態において、ＣＰＵ１は、膨張処理として、注目画素の周辺に１画素でも白い画素があれば、当該注目画素の色を白に置き換える。ＣＰＵ１は、収縮処理を行った後に膨張処理を行うことで、ノイズを除去しつつ、物品１０６のみを切り分けた状態の画像を得ることができる。
　ステップＳ６５０にて、ＣＰＵ１は、ラベリング処理を実行して物品１０６の輪郭を抽出する。より具体的には、まず、ＣＰＵ１は、ラベリング処理を行ない画像上の各物品を１つのオブジェクトとして検出する。次に、ＣＰＵ１は、ラベリング処理により検出されたオブジェクトに対して、外接矩形を導出して描画することにより、物品１０６の輪郭を抽出した画像を得ることができる。ＣＰＵ１は、この画像を表示部３４０としてのモニタ８に表示することで、物品１０６を認識していることを作業者に知らせることができる。
　本実施の形態におけるラベリング処理は、注目画素の周辺に同じ画素値を有する画素がある領域を１つのオブジェクトとしてラベル付けを行なう処理をいう。例えば、検出された物品１０６の領域が白で表示される場合、ＣＰＵ１は、白い画素に着目することでラベル付けを行なうことができる。また、ＣＰＵ１は、ラベル付けされたオブジェクトから、当該オブジェクトの重心の位置を算出できる。この重心の位置は、認識された物品１０６の重心の座標値（ｘ，ｙ）となる。
　デプス画像は、コンテナ１０７の底面からの高さに相当する高さ情報ｚを有する。したがって、算出された重心の位置を表わす座標値（ｘ，ｙ，ｚ）をロボット１０３の動作座標系に変換した座標値が、物品１０６の位置情報をロボット１０３に通知するために与えられる値となる。なお、Ｘ軸、Ｙ軸およびＺ軸の周りの各回転角度を（φ，θ，ψ）と定義すると、ＣＰＵ１は、ラベル付けされたオブジェクトの輪郭情報と、デプス画像の高さ情報とを用いることで、角度（φ，θ，ψ）を算出できる。位置情報と同様に、ＣＰＵ１は、算出した角度をロボット１０３の動作座標系に変換することにより、物品１０６の姿勢を示す情報を導出する。当該情報がロボット１０３に送信されると、ロボット１０３は、その情報に基づいてハンド１０５の動作を制御し得る。
　ステップＳ６５０の後、制御はメイン処理に戻される。図６に示される処理が完了すると、ラベリング処理後の画像と、物品１０６の位置姿勢情報とが生成される。
　図７を参照して、画像処理により抽出される画像について説明する。図７は、ＣＰＵ１による上記の処理が実行されている場合に取得される画像を模式的に表わした図である。複数の物品１０６は、図１に示されるように、２段または３段に積層されている。図７は、コンテナ１０７を上方から見た場合を示しているため、２段または３段の区別がつかない状態である。そこで、ＣＰＵ１は、上述のような画像処理を行ない、取り出しの対象となる物品、すなわち、最上段に積層されている物品を認識する。
　画像７１０は、図２に示される画像をデプス画像として表示した画像である。画像７１０において、画像７１０ａと画像７１０ｂとは、近い色で表示されている。従って、ＣＰＵ１は、画像７１０ａに対応する物品と、画像７１０ｂに対応する物品とが、同じ高さに配置されていると判断し得る。また、ＣＰＵ１は、それ以外の４つの画像７１０ｃ，７１０ｄ，７１０ｅ，７１０ｆが同じ高さに配置されていると判定し得る。この場合、画像７１０ｃ，７１０ｄ，７１０ｅ，７１０ｆに相当する物品は、図１に示されるように、最上段（三段目）に配置されている物品に相当するため、これらの物品に相当する画像は、画像７１０ａ，７１０ｂよりも濃い色を有するデプス画像として表示されている。その後、ＣＰＵ１は、画像７１０に対して二値化処理（ステップＳ６１０）を行ない、画像７２０を抽出する。
　画像７２０は、コンテナ１０７の最上段に配置された４つの物品に対応する画像７２０ｃ，７２０ｄ，７２０ｅ，７２０ｆを含む。デプス画像では、高さに応じ適度値が変わるため、物品が積層されている高さ（１段、２段、３段など）に応じた輝度値を閾値として予め設定しておくことにより、ＣＰＵ１は、二値化処理を行なうときに最上段に配置されている物品に相当する画像を抽出できる。
　その後、ＣＰＵ１は、画像７２０に対する色反転処理を行ない（ステップＳ６２０）、画像７３０を導出する。画像７３０では、検出したい物品の領域が白色で示され、その他の領域が黒色で示されている。
　次に、ＣＰＵ１は、画像７３０について収縮処理を行ない（ステップＳ６３０）、画像７４０を導出する。例えば、ＣＰＵ１は、画素７３０ａ，７３０ｂのように周辺が黒色で囲まれた白い領域がノイズであると見なして、当該白い領域を黒に置き換えて、当該ノイズを除去する。
　さらに、ＣＰＵ１は、画像７４０に対して膨張処理を行ない（ステップＳ６４０）、収縮された領域が元の大きさの領域に戻された画像７５０を導出する。画像７５０は、画像７３０と違ってノイズが除去された状態を示している。
　その後、ＣＰＵ１は、画像７５０に対してラベリング処理を行なってオブジェクトを抽出し（ステップＳ６５０）、画像７６０に示されるように、当該オブジェクトに外接する矩形領域７６０ａ，７６０ｂ，７６０ｃ，７６０ｄを決定する。
　［高さ方向の閾値処理］
　図８および図９を参照して、高さ方向の閾値処理の詳細について説明する。図８は、同種の二つの物品８１０ａ，８１０ｂが並んだ状態を表わす図である。図９は、高さ方向の閾値処理が行なわれる場合にＣＰＵ１に取得されるデータを模式的に表わした図である。
　図８には、同種の物品として、廃棄された洗濯機が例示されているが、当該物品は洗濯機に限られず、エアコン、冷蔵庫その他の電化製品であってもよい。また、物品は廃棄されたものに限られず、リサイクルあるいはリユースされるものであってもよい。
　ある局面において、複数の物品８１０ａ，８１０ｂは、互いに密接した状態でコンテナ１０７に配置される場合がある。この場合、物品８１０ａと物品８１０ｂとは、隙間がない状態で配置されることもあり得る。デプス画像は、２５６通りの階調でしか高さを表現できないため、ＣＰＵ１は、解析部３３１として、物品８１０ａ，８１０ｂを一つの物品として認識する場合もあり得る。
　例えば、図９（Ａ）を参照して、ＣＰＵ１は、ラベリング処理の結果、矩形領域９１１，９１２，９１３を抽出している。矩形領域９１２，９１３は、それぞれ、一つの物品に対応する領域としてラベル付けされている。これに対して、矩形領域９１１は、二つの物品（例、洗濯機）の画像に対応する領域９１１ａ，９１１ｂを含むが、ＣＰＵ１は、矩形領域９１１を一つの物品に対応する領域として認識する。
　そこで、ＣＰＵ１は、誤認識した領域に対してのみ、高さ方向の閾値処理を行い、一つの物品を二つの物品に切り分ける処理を行なう。
　より具体的には、図９（Ｂ）に示されるように、ＣＰＵ１は、Ｚ方向の最小値ｚｍｉｎに高さ方向のオフセット値ｚｏｆｆｓｅｔを加算した値を、高さ方向の閾値として設定する。このためには、ＣＰＵ１は、三次元点群データを参照して、隙間部の高さに相当する最小値ｚｍｉｎを得る必要がある。
　まず、図８のＸ方向に対して、任意のＹ座標値における物品８１０ａ，８１０ｂの表面（側面）を走査して、物品８１０ａ，８１０ｂの高さプロファイル９２０を取得する。隙間部の最小値ｚｍｉｎは、取得された高さプロファイル９２０の最小値に相当する。
　次に、高さ方向のオフセット値ｚｏｆｆｓｅｔについては、隙間部の最小値ｚｍｉｎと、物品８１０ａ，８１０ｂの側面の高さｚｐｌａｎｅとの間の値が予め設定されている。ＣＰＵ１は、このようにして算出された高さ方向の閾値を用いて、Ｚ方向に閾値処理を行う。このとき、ＣＰＵ１は、当該閾値以下の三次元点群データをデプス画像上の白に相当する高さｚに置き換えることで、デプス画像上の隙間部を白で表すことができる。すなわち、図９（Ｃ）に示される画像９３０に含まれる画像９３１ａ，９３０ｂのように、ＣＰＵ１は、一つの物品として誤認識した物品８１０ａ，８１０ｂを二つの物品として正しく認識することができる。
　ここで図２を再び参照して、ＣＰＵ１は、識別部３３２として、撮像装置１０１によって撮影された画像から、コンテナ１０７に積層された物品１０６の底面と上面とを識別する。ＣＰＵ１は、物品１０６の底面を識別して、当該底面がコンベア１０９において同一方向を向くようにロボット１０３による物品１０６の搬送および配置を制御することで、各物品１０６が配置される向き（物品１０６の姿勢）を統一できる。例えば、コンテナ１０７から取り出された各物品１０６は、その上面または底面が揃えられてコンベア１０９に配置される。
　これにより、作業者がコンベア１０９に載せられた物品１０６を解体する工程では、同種の物品１０６は同じ方向を向いていた方が解体作業を効率よく行うことができる。これは、例えば、物品１０６が洗濯機である場合、トップカバーや運転操作パネルは、当該洗濯機の上面に取り付けられているため、各洗濯機が同じ方向に並べられていれば、解体作業を行う作業者は、その上面側に位置することで、上面側に移動する手間が省けるからである。また、物品１０６から一部の部品を取り外すために設備や工具が使用される場合も、上面側のみに設置しておくことで、設備や工具をコンベア１０９の両方に配置する必要がなくなる。
　［底面の識別］
　そこで、図１０および図１１を参照して、物品の底面の識別について説明する。図１０は、廃棄された物品１０６が側面を上にして（横方向に）配置された状態を表わす図である。図１１は、物品１０６の表面をＸ方向に走査することにより得られたプロファイルを表わす図である。ある局面において、物品の底面の識別は、当該物品の側面にある取っ手の三次元形状に基づいて行なわれる。
　一例として、図１０に示されるように、廃棄された物品１０６に対して、撮像装置１０１は、Ｘ方向に走査すると、ＣＰＵ１は、物品１０６の高さ情報として、高さプロファイルを取得できる。
　例えば、物品１０６の取っ手が、ｙ軸方向に、物品１０６の側面の端から１００ｍｍ≦ｙ≦２００ｍｍの範囲で設けられているとする。この場合、図１１（Ａ）に示されるように、ＣＰＵ１は、解析部３３１から出力された物品の領域に対して、ｙ＝０から順に高さプロファイルを取得していく。取っ手が存在しない範囲（すなわち、０≦ｙ＜１００ｍｍ、および、２００＜ｙ≦Ｙｍａｘ（物品１０６の最大の幅））では、高さプロファイル１１１０のように物品１０６の側面に沿った直線上のプロファイルが得られる。
　一方、図１１（Ｂ）に示されるように、ＣＰＵ１は、取っ手が存在する部分について、Ｘ方向に走査すると、高さプロファイル１１２０を得る。高さプロファイル１１２０では、取っ手の幅（高さ）に相当する部分１１３０は、切り欠き形状のように示される。これは、人が廃家電を持ち上げやすくなるように、取っ手には廃家電側面に対して一定の傾きを有しているからである。
　つまり、物品１０６が取っ手を有する場合は、ＣＰＵ１は、ＸＺ平面上の取っ手に相当する直線の傾きｔａｎθを算出することで、物品１０６の底面を識別できる。取っ手の存在の判定は、たとえば、取得した高さプロファイル１１２０の最小値Ｚｍｉｎと最大値Ｚｍａｘと差が予め設定された閾値を超えたことに基づいて、あるいは、取っ手（の開口部の高さ）に相当する長さを有する直線部と、取っ手に相当する傾きとが検出されたことに基づいて行なわれる。
　高さプロファイル１１２０のように、取っ手に相当する直線部とＸ軸の正の向きとがなす角度θが、０度から９０度である場合は、廃家電を持ち上げる向きがＸ軸の負の向きと一致するので、ＣＰＵ１は、物品１０６の底面は右端に存在すると判定し得る。一方、取っ手に相当する直線とＸ軸の正の向きとがなす角度θが、９０度から１８０度の範囲に含まれる場合には、物品１０６を持ち上げる向き、すなわち、取っ手に作用する向きがＸ軸の正の向きと一致するので、ＣＰＵ１は、物品１０６の底面が左端にあると判定し得る。
　また、他の局面において、ＣＰＵ１は、物品１０６の側面にある取っ手の三次元位置情報に基づいて、物品１０６の底面を識別してもよい。一般的に、物品１０６の取っ手は、搬送時の安定性の観点から、重心位置よりも上部に取り付けられることが多い。そのため、ＣＰＵ１は、上述のプロファイルを用いて取っ手の位置を認識した後に、取っ手の位置が、（Ｘ軸に沿った）高さプロファイル１１２０において真ん中よりも左側にある場合は、ＣＰＵ１は、物品１０６の底面が右端にあると判定し得る。一方、取っ手の位置が高さプロファイル１１２０において真ん中よりも右側にある場合は、ＣＰＵ１は、物品１０６の底面が左端にあると判定し得る。
　このように、ＣＰＵ１は、物品１０６の取っ手の三次元形状や位置を認識することで、物品１０６の側面の三次元情報に基づいて、その底面を認識できる。ＣＰＵ１は、識別部３３２として、物品１０６の識別された底面の情報（底面が右側あるいは左側のいずれにあるか等）を生成する。
　ＣＰＵ１は、動作計画部３３３として、解析部３３１として算出した物品１０６の位置姿勢情報に基づいて物品１０６の取り出し順序を決定する。さらに、ＣＰＵ１は、識別部３３２として算出した物品１０６の底面の情報に基づいて、物品１０６の取り置き方向（上面あるいは底面をどちらに揃えるかといった配置方向）を決定する。取り出し順序を決める際は、好ましくは、ＣＰＵ１は、同じ段数に積層された物品１０６の中でも最も高い位置にあるものやロボット１０３から距離が近いものを優先して決める。取り置き方向を決める際は、ＣＰＵ１は、コンベア１０９に対して、物品１０６の底面が同一方向を向くように決定し得る。ＣＰＵ１は、動作計画部３３３として、決定した取り出し順序に基づいて、物品１０６の位置姿勢情報と、取り置き方向を示す情報とを、取出制御部３３４に出力する。
　取出制御部３３４は、物品１０６の位置姿勢情報と取り置き方向を示す情報とに基づいて、ロボット１０３を制御するように、ロボットコントローラ１０４に動作指令を送る。取出制御部３３４は、同じ段数に積まれている物品１０６の取り出しが完了したと判断すると、取り出し完了トリガを終了判定部３３５に出力する。
　ＣＰＵ１は、終了判定部３３５として、コンテナ１０７に物品１０６が残っているか否かを判定し、物品１０６が残っていないと判断すると、搬送の処理を終了する。例えば、物品１０６がコンテナに３段に積まれている場合、最上段である３段目から取り出しが行われるため、取出制御部３３４による１度目の取り出し処理が終了した段階では、コンテナ１０７には２段分の物品１０６が残っていることになる。そこで、ＣＰＵ１は、終了判定部３３５として、コンテナ１０７内の高さ情報を参照し、物品１０６を取り出す段数がまだ残っている場合は、解析部３３１として上述の処理を再度実行し、物品１０６の取り出しを継続する。
　なお、上述の実施の形態では、各物品１０６は、側面が上を向く状態でコンテナ１０７に配置されている場合にロボット１０３による搬出が行なわれる場合が例示された。他の局面において、コンテナ１０７に置かれた物品１０６の一部が、他の物品１０６により生じた段差によって傾いている場合があり得る。このような場合に備えて、撮像装置１０１によって撮影された画像を用いて物品１０６が傾いているか否かが判定されてもよい。例えば、物品１０６が傾いている場合は、上面又は底面と二つの側面という３つの面に相当する領域が画像で認識され得る。そこで、ＣＰＵ１は、撮影された画像から３つの面に相当する領域を検出した場合には物品１０６が傾いて配置されていると判定し得る。あるいは、他の局面において、物品の認識をした際に取得される傾きの座標値（φ、θ、ψ）に対して閾値処理が行なわれてもよい。この場合、ＣＰＵ１は、当該座標値が閾値を超えた場合に、物品を取り出しできない傾きで配置されているとして判定し得る。
　実施の形態２．
　実施の形態１において、コンテナ１０７の側面部の位置情報、具体的にはコンテナの柵にあたる部分の三次元座標値を予めロボットコントローラ１０４に登録し、ハンド１０５がコンテナ１０７に接触する前に取り出し動作を中止する機能を備える。この機能により、ハンド１０５がコンテナ１０７の側面部と接触し、破損することを防ぐことができる。なお、実施の形態２に従う搬送システムのハードウェア構成は、実施の形態１に従う搬送システム１０のハードウェア構成と同じである。従って、ハードウェア構成の説明は繰り返さない。
　図１２は、実施の形態２に従う搬送システムのコンテナにおける物品の状態を表わす図である。より詳しくは、図１２（Ａ）は、物品１０６の吸着面の大きさが、ハンド１０５よりも小さく、かつ物品１０６がコンテナ１０７に接近している場合を示している。この場合、ハンド１０５がコンテナ１０７と接触するため、搬送システムは、搬送動作を中止する。図１２（Ｂ）は、物品１０６の吸着面の大きさが、ハンド１０５よりも小さいが、物品１０６がコンテナ１０７から一定距離離れている場合を示している。この場合、搬送システムは搬送動作を継続することができる。コンテナ１０７の設置位置がばらつく場合には、搬送システムは、コンテナ１０７を設置した直後に、撮像装置１０１を用いてコンテナ１０７の側面情報、具体的にはコンテナの柵に当たる部分の三次元座標値を測定し、測定した三次元座標値を制御部１０２に送信する。コンテナ１０７の側面部の三次元座標値と、物品１０６の吸着位置の三次元座標値との関係から、搬送システムは、搬送の継続または中止の判断を行なってもよい。
　実施の形態３．
　図１３を参照して、実施の形態３について説明する。図１３は、実施の形態３に従う搬送システム１３００の構成の一例を表わす図である。搬送システム１３００は、実施の形態１に従う搬送システム１０の構成に対して、ハンド１０５がエアブロー１３１０を備える点で搬送システム１０と異なる。その他の構成は、搬送システム１０のハードウェア構成と同じである。したがって、同じハードウェア構成の説明は繰り返さない。
　搬送システム１３００は、コンテナ１０７内の物品１０６を吸着する直前で、吸着する面に付着した水滴、ほこりなどの異物をエアブロー１３１０で除去し、吸着面を清掃する。これにより、吸着力の低下や吸着ヘッドの詰まりが、抑制され得る。
　以上開示された技術的特徴は、以下のように要約され得る。
　［構成１］ある実施の形態に従う搬送システム１０は、第１領域（たとえば、コンテナ１０７）に積層された複数の物品１０６を３次元計測することにより得られた複数の物品の三次元情報の入力を受け付ける入力部（たとえば、入力端子）と、第１領域から、第１領域と異なる第２領域（たとえば、コンベア１０９）に物品を搬送するための搬送部（たとえば、ロボット１０３）と、搬送部を制御するための制御装置（たとえば、制御用装置１０２、ＣＰＵ１）とを備える。制御装置は、三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得し、三次元情報に基づいて、搬送対象となる物品１０６の上面１０６ａまたは底面１０６ｂを識別し、位置姿勢情報と、上面１０６ａまたは底面１０６ｂの識別結果とに基づいて、物品１０６の取り出し順序および配置方向を決定し、決定された取り出し順序に従って搬送対象となる物品を取り出して、配置方向に従って取り出された物品の上面または底面を、他の物品の上面または底面に揃えて第２領域に配置するように搬送部を制御する。
　このようにすることで、二次元画像の情報のみから上面と底面を識別するよりも、より高精度な識別が可能となるため、物品の上面または底面を安定させた状態で搬送部に物品を供給することができる。
　［構成２］ある局面において、位置姿勢情報を取得することは、三次元情報から不要なデータを除去することと、不要なデータが除去された三次元情報に基づいて物品を認識することと、認識された物品の領域の面積と予め定められた面積とを比較して、物品の領域の面積が予め定められた面積以下であることに基づいて、認識された物品が一つの物品であると判定することとを含む。
　このようにすることで、テンプレート画像の準備や３次元モデルの登録なしで物品を認識できるため、大きさや形状が微妙に異なるような物品に対しても、ロバストに物品を認識することができることに加えて、準備の手間を抑えることができる。さらに、テンプレートマッチングのような、１～２秒の処理時間を要するような処理負荷の高い処理を行う必要がなくなるため、高速化が求められるワーク搬送において優位である。
　［構成３］ある局面において、位置姿勢情報を取得することは、物品の領域の面積が予め定められた面積より大きい場合に、三次元情報のうちの高さ方向が予め設定された閾値の範囲内であるか否かに基づいて、複数の物品から一つの物品を認識することをさらに含む。
　このようにすることで、取出しを行いたい高さにある物品のみを認識することができるため、床面のような背景の情報を除去できることに加えて、複数の物品が積み重なるような状況下においても、対象の物品だけを認識することができる。
　［構成４］ある局面において、制御装置は、さらに、二つの物品を一つの物品として誤認識したか否かを判断し、二つの物品を一つの物品として誤認識したとの判断に基づいて、複数の物品の走査経路の途中における隙間を強調することにより、誤認識した一つの物品を二つの物品として認識する。
　このようにすることで、二次元画像の情報のみから物品を認識するよりも、より高精度に隣接する物品の分割を行うことができるため、認識エラー率を引き下げることが可能である。
　［構成５］ある局面において、二つの物品を一つの物品として誤認識したか否かの判断は、三次元情報に基づいて認識された画像の面積と、一つの物品の側面の面積として予め設定された面積とを比較して、認識された画像の面積が側面の面積よりも大きいか否かを判断することと、複数の物品の表面を走査して表面を輪郭として表わすプロファイルを取得し、物品の高さとして予め設定された高さよりも小さい高さがプロファイルの途中に存在することに基づいて、隣接した二つの物品を一つの物品として誤認識したと判断することと、のいずれかを含む。
　［構成６］ある局面において、各物品は、その側面に取っ手を有している。上面または底面を識別することは、三次元情報に基づいて取っ手の位置を判断することと、取っ手の位置に基づいて、当該物品の上面または底面の位置を識別することとを含む。
　［構成７］ある局面において、搬送システム（たとえば、搬送１３００）は、物品の吸着面を清掃するための清掃手段（たとえば、エアブロー１３１０）をさらに備える。
　［構成８］ある局面において、制御装置は、第１領域の外周情報（たとえば、コンテナ１０７の内側側面の輪郭を表わす情報）を登録し、搬送部（たとえば、ロボット１０３）と外周情報とが干渉するか否かを判定し、搬送部と外周情報とが干渉すると判断したことに基づいて、搬送動作を停止させる。
　［構成９］他の実施の形態に従うと、物品の搬送を制御するためにコンピュータ４００で実行される方法が提供される。この方法は、ＣＰＵ１が、第１領域（たとえば、コンテナ１０７）に積層された複数の物品を３次元計測することにより得られた複数の物品の三次元情報の入力を受け付けるステップと、ＣＰＵ１が、三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得するステップと、ＣＰＵ１が、三次元情報に基づいて、搬送対象となる物品の上面または底面を識別するステップと、ＣＰＵ１が、位置姿勢情報と、上面または底面の識別結果とに基づいて、当該物品の取り出し順序および配置方向を決定するステップと、ＣＰＵ１が、決定された取り出し順序に従って搬送対象となる物品を取り出して、配置方向に従って取り出された物品の上面または底面を、他の物品の上面または底面に揃えて第１領域とは異なる第２領域に配置するように搬送部（ロボット１０３）を制御するステップとを含む。
　［構成１０］さらに他の実施の形態に従うと、上記の方法をコンピュータ４００に実行させるプログラムが提供される。
　＜まとめ＞
　以上の次第で、開示された搬送システム１０は、画像処理によるルールベースで物品の認識を行うため、パラメータを変更することで、認識したい物品１０６の種類（たとえば、廃棄された洗濯機、冷蔵庫、エアコン等）を容易に切り替えることができる。また、搬送システム１０は、モデルマッチングや機械学習機を用いないため、事前のトレーニングが必要ないので、汎用性の高い物品認識が可能となる。
　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
１０　搬送システム、１０１　撮像装置、１０２　制御用装置、１０３　ロボット、１０４　ロボットコントローラ、１０６，１０６－１，１０６－２，１０６－３，１０６－４，１０６－５，８１０ａ，８１０ｂ　物品、１０６ａ　上面、１０６ｂ　底面、１０６ｃ　側面、１０７　コンテナ、１０８　固定用架台、１０９　コンベア、３１０　入力部、３２０　記憶部、３２１　三次元情報、３２２，高さ情報、３３０　制御部、３３１　解析部、３３２　識別部、３３３　動作計画部、３３４　取出制御部、３３５　終了判定部、３４０　表示部、４００　コンピュータ、７１０，７１０ａ，７１０ｂ，７１０ｃ，７１０ｄ，７１０ｅ，７１０ｆ，７２０，７２０ｃ，７２０ｄ，７２０ｅ，７２０ｆ，７３０，７４０，７５０，７６０，９３０，９３０ｂ，９３１ａ　画像、７３０ａ，７３０ｂ　画素、７６０ａ，７６０ｂ，７６０ｃ，７６０ｄ，９１１，９１２，９１３　矩形領域、９１１ａ，９１１ｂ　領域、９２０，１１１０，１１２０　プロファイル。

Claims (15)

  1. 　第１領域に積層された複数の物品を３次元計測することにより得られた前記複数の物品の三次元情報の入力を受け付ける入力部と、
    　前記第１領域から、前記第１領域と異なる第２領域に物品を搬送するための搬送部と、
    　前記搬送部を制御するための制御装置とを備え、
    　前記制御装置は、
    　　前記三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得し、
    　　前記三次元情報に基づいて、前記搬送対象となる物品の上面または底面を識別し、
    　　前記位置姿勢情報と、前記上面または底面の識別結果とに基づいて、当該物品の取り出し順序および配置方向を決定し、
    　　決定された取り出し順序に従って前記搬送対象となる物品を取り出して、前記配置方向に従って前記取り出された物品の上面または底面を、他の物品の上面または底面に揃えて前記第２領域に配置するように前記搬送部を制御する、搬送システム。
  2. 　前記位置姿勢情報を取得することは、
    　　前記三次元情報から不要なデータを除去することと、
    　　前記不要なデータが除去された三次元情報に基づいて物品を認識することと、
    　　前記認識された物品の領域の面積と予め定められた面積とを比較して、前記物品の領域の面積が前記予め定められた面積以下であることに基づいて、前記認識された物品が一つの物品であると判定することとを含む、請求項１に記載の搬送システム。
  3. 　前記位置姿勢情報を取得することは、
    　前記物品の領域の面積が前記予め定められた面積より大きい場合に、前記三次元情報のうちの高さ方向が予め設定された閾値の範囲内であるか否かに基づいて、複数の物品から一つの物品を認識することをさらに含む、請求項２に記載の搬送システム。
  4. 　前記制御装置は、さらに、
    　二つの物品を一つの物品として誤認識したか否かを判断し、
    　二つの物品を一つの物品として誤認識したとの判断に基づいて、前記複数の物品の走査経路の途中における隙間を強調することにより、誤認識した一つの物品を二つの物品として認識する、請求項１～３のいずれかに記載の搬送システム。
  5. 　二つの物品を一つの物品として誤認識したか否かの判断は、
    　前記三次元情報に基づいて認識された画像の面積と、一つの物品の側面の面積として予め設定された面積とを比較して、前記認識された画像の面積が前記側面の面積よりも大きいか否かを判断することと、
    　前記複数の物品の表面を走査して前記表面を輪郭として表わすプロファイルを取得し、物品の高さとして予め設定された高さよりも小さい高さが前記プロファイルの途中に存在することに基づいて、隣接した二つの物品を一つの物品として誤認識したと判断することと、のいずれかを含む、請求項４に記載の搬送システム。
  6. 　各物品は、その側面に取っ手を有しており、
    　前記上面または底面を識別することは、
    　　前記三次元情報に基づいて前記取っ手の位置を判断することと、
    　　前記取っ手の位置に基づいて、当該物品の上面または底面の位置を識別することとを含む、請求項１～５のいずれかに記載の搬送システム。
  7. 　前記物品の吸着面を清掃するための清掃手段をさらに備える、請求項１～６のいずれかに記載の搬送システム。
  8. 　前記制御装置は、
    　前記第１領域の外周情報を登録し、
    　前記搬送部と前記外周情報とが干渉するか否かを判定し、
    　前記搬送部と前記外周情報とが干渉すると判断したことに基づいて、搬送動作を停止させる、請求項１～７のいずれかに記載の搬送システム。
  9. 　物品の搬送を制御するためにコンピュータで実行される方法であって、
    　第１領域に積層された複数の物品を３次元計測することにより得られた前記複数の物品の三次元情報の入力を受け付けるステップと、
    　前記三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得するステップと、
    　前記三次元情報に基づいて、前記搬送対象となる物品の上面または底面を識別するステップと、
    　前記位置姿勢情報と、前記上面または底面の識別結果とに基づいて、当該物品の取り出し順序および配置方向を決定するステップと、
    　決定された取り出し順序に従って前記搬送対象となる物品を取り出して、前記配置方向に従って前記取り出された物品の上面または底面を、他の物品の上面または底面に揃えて前記第１領域とは異なる第２領域に配置するように搬送部を制御するステップとを含む、方法。
  10. 　前記位置姿勢情報を取得することは、
    　　前記三次元情報から不要なデータを除去することと、
    　　前記不要なデータが除去された三次元情報に基づいて物品を認識することと、
    　　前記認識された物品の領域の面積と予め定められた面積とを比較して、前記物品の領域の面積が前記予め定められた面積以下であることに基づいて、前記認識された物品が一つの物品であると判定することとを含む、請求項９に記載の方法。
  11. 　前記位置姿勢情報を取得することは、
    　前記物品の領域の面積が前記予め定められた面積より大きい場合に、前記三次元情報のうちの高さ方向が予め設定された閾値の範囲内であるか否かに基づいて、複数の物品から一つの物品を認識することをさらに含む、請求項１０に記載の方法。
  12. 　二つの物品を一つの物品として誤認識したか否かを判断するステップと、
    　二つの物品を一つの物品として誤認識したとの判断に基づいて、前記複数の物品の走査経路の途中における隙間を強調することにより、誤認識した一つの物品を二つの物品として認識するステップとをさらに含む、請求項９～１１のいずれかに記載の方法。
  13. 　二つの物品を一つの物品として誤認識したか否かの判断は、
    　　前記三次元情報に基づいて認識された画像の面積と、一つの物品の側面の面積として予め設定された面積とを比較して、前記認識された画像の面積が前記側面の面積よりも大きいか否かを判断することと、
    　　前記複数の物品の表面を走査して前記表面を輪郭として表わすプロファイルを取得し、物品の高さとして予め設定された高さよりも小さい高さが前記プロファイルの途中に存在することに基づいて、隣接した二つの物品を一つの物品として誤認識したと判断することと、のいずれかを含む、請求項１２に記載の方法。
  14. 　各物品は、その側面に取っ手を有しており、
    　前記上面または底面を識別することは、
    　　前記三次元情報に基づいて前記取っ手の位置を判断することと、
    　　前記取っ手の位置に基づいて、当該物品の上面または底面の位置を識別することとを含む、請求項９～１３のいずれかに記載の方法。
  15. 　請求項９～１４のいずれかに記載の方法をコンピュータに実行させるプログラム。
PCT/JP2022/020246 2021-06-15 2022-05-13 搬送システム、物品の搬送を制御するためにコンピュータで実行される方法、および、当該方法をコンピュータに実行させるプログラム WO2022264726A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023529687A JP7499967B2 (ja) 2021-06-15 2022-05-13 搬送システム、物品の搬送を制御するためにコンピュータで実行される方法、および、当該方法をコンピュータに実行させるプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021099309 2021-06-15
JP2021-099309 2021-06-15

Publications (1)

Publication Number Publication Date
WO2022264726A1 true WO2022264726A1 (ja) 2022-12-22

Family

ID=84526177

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/020246 WO2022264726A1 (ja) 2021-06-15 2022-05-13 搬送システム、物品の搬送を制御するためにコンピュータで実行される方法、および、当該方法をコンピュータに実行させるプログラム

Country Status (2)

Country Link
JP (1) JP7499967B2 (ja)
WO (1) WO2022264726A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009523623A (ja) * 2006-01-23 2009-06-25 ジェローム グロボア， ワーク自動把持の方法と装置
JP2020040149A (ja) * 2018-09-07 2020-03-19 株式会社日立物流 ロボットシステム及びその制御方法
US10807808B1 (en) * 2019-04-22 2020-10-20 Amazon Technologies, Inc. Systems and methods for automated item separation and presentation
JP2021013996A (ja) * 2019-07-12 2021-02-12 キヤノン株式会社 ロボットシステムの制御方法、物品の製造方法、生産システム、制御プログラム、記録媒体、およびロボットシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009523623A (ja) * 2006-01-23 2009-06-25 ジェローム グロボア， ワーク自動把持の方法と装置
JP2020040149A (ja) * 2018-09-07 2020-03-19 株式会社日立物流 ロボットシステム及びその制御方法
US10807808B1 (en) * 2019-04-22 2020-10-20 Amazon Technologies, Inc. Systems and methods for automated item separation and presentation
JP2021013996A (ja) * 2019-07-12 2021-02-12 キヤノン株式会社 ロボットシステムの制御方法、物品の製造方法、生産システム、制御プログラム、記録媒体、およびロボットシステム

Also Published As

Publication number Publication date
JP7499967B2 (ja) 2024-06-14
JPWO2022264726A1 (ja) 2022-12-22

Similar Documents

Publication Publication Date Title
JP6813229B1 (ja) 自動物体検出機構を備えたロボットシステム、および、その動作方法
US20230415360A1 (en) Automated package registration systems, devices, and methods
US10124489B2 (en) Locating, separating, and picking boxes with a sensor-guided robot
US9744669B2 (en) Truck unloader visualization
JP7377627B2 (ja) 物体検出装置、物体把持システム、物体検出方法及び物体検出プログラム
JP2010541065A (ja) ３次元飲料容器位置決定装置
JPWO2020144784A1 (ja) 画像処理装置、作業ロボット、基板検査装置および検体検査装置
US20230297068A1 (en) Information processing device and information processing method
US20190358819A1 (en) Image processing apparatus, robot and robot system
CN114341930A (zh) 图像处理装置、拍摄装置、机器人以及机器人系统
EP4245480A1 (en) Measuring system, measuring device, measuring method, and measuring program
JP2016078180A (ja) 異常原因推定装置、ピッキング装置及びピッキング装置における異常原因推定方法
JP5476943B2 (ja) 姿勢認識方法およびこの方法を用いた３次元視覚センサ
WO2022264726A1 (ja) 搬送システム、物品の搬送を制御するためにコンピュータで実行される方法、および、当該方法をコンピュータに実行させるプログラム
JP2020049558A (ja) 物品取り出しシステム
JP2018146347A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP6041710B2 (ja) 画像認識方法
JP6908908B2 (ja) ロボットアームの経路生成装置および経路生成プログラム
CN116188559A (zh) 图像数据处理方法、装置、电子设备和存储介质
CN116175542A (zh) 抓取控制方法、装置、电子设备和存储介质
JPH0953915A (ja) 重なり状態認識方法
JP2021071420A (ja) 情報処理装置、情報処理方法、プログラム、システム、物品の製造方法、計測装置及び計測方法
JP7191352B2 (ja) 物体検出を実施するための方法および計算システム
JP7398763B2 (ja) 重なり処理機構を備えたロボットシステム及びその操作方法
US20230150141A1 (en) Training data generation device, training data generation method using the same and robot arm system using the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22824720

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023529687

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22824720

Country of ref document: EP

Kind code of ref document: A1