WO2022264381A1 - ワーク取出し個数算出装置、ハンドシステム、及び表示装置 - Google Patents

ワーク取出し個数算出装置、ハンドシステム、及び表示装置 Download PDF

Info

Publication number
WO2022264381A1
WO2022264381A1 PCT/JP2021/023100 JP2021023100W WO2022264381A1 WO 2022264381 A1 WO2022264381 A1 WO 2022264381A1 JP 2021023100 W JP2021023100 W JP 2021023100W WO 2022264381 A1 WO2022264381 A1 WO 2022264381A1
Authority
WO
WIPO (PCT)
Prior art keywords
workpieces
work
area
taken out
range
Prior art date
Application number
PCT/JP2021/023100
Other languages
English (en)
French (fr)
Inventor
潤 和田
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to JP2023528898A priority Critical patent/JPWO2022264381A1/ja
Priority to DE112021007401.6T priority patent/DE112021007401T5/de
Priority to CN202180099090.2A priority patent/CN117425549A/zh
Priority to PCT/JP2021/023100 priority patent/WO2022264381A1/ja
Priority to TW111118348A priority patent/TW202301197A/zh
Publication of WO2022264381A1 publication Critical patent/WO2022264381A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local

Definitions

  • the present invention relates to hand technology, and more particularly to a device for calculating the number of workpieces to be taken out, a hand system, and a display device.
  • a visual sensor is used to detect the position (and orientation, if necessary) of the workpiece.
  • a three-dimensional visual sensor using various principles such as a triangulation method, a TOF (time of flight) method, and a focus method is used.
  • the hand may mistakenly take out a plurality of works at once.
  • the difference (that is, volume difference) of three-dimensional information such as distance images before and after picking up workpieces and three-dimensional point cloud data is divided by the volume per workpiece.
  • a method of calculating the number of workpieces to be taken out by the number of workpieces see Patent Literature 1 described later.
  • Patent Literature 1 a method of calculating the number of workpieces to be taken out by the number of workpieces.
  • Patent Document 1 discloses a method and apparatus for detecting collapse of cargo that occurs when an article is transferred by a picking robot. By estimating the volume difference between the group of items before and after the transfer operation from the image and dividing the estimated volume difference of the group of items by the volume per item calculated from the item shape data, the item actually transferred. is compared with the desired number to be transferred, and based on the degree of coincidence, it is determined whether or not collapse of cargo has occurred after all steps of the transfer work.
  • Patent Document 2 describes lifting and moving a box using a 3D sensor that detects information about the environment in a robot manipulator equipped with a suction gripper.
  • Patent Document 3 discloses a method of holding a predetermined number of workpieces randomly stacked in a pallet at the tip of a robot arm and taking them out of the pallet. is almost uniformly determined depending on the size of the pallet, it is described that the number of remaining pallets to be taken out is calculated in advance by back calculation.
  • An object of the present invention is to provide a technique for accurately estimating the number of workpieces to be taken out in view of the conventional problems.
  • One aspect of the present disclosure includes a three-dimensional information acquisition unit that acquires three-dimensional information of a target space in which a plurality of works are loaded, a work shape information acquisition unit that acquires shape information of the work, and a target space before and after taking out the work.
  • a work piece number calculation device comprising: a work piece number calculation unit that calculates the range of the number of work pieces to be taken out, taking into consideration cavities in a work loading area based on three-dimensional information and shape information of the work pieces.
  • Another aspect of the present disclosure includes a hand for picking up and dispensing a work, a transport device for transporting the work using the hand, a control device for controlling the operation of at least one of the hand and the transport device, and a stack of a plurality of works.
  • a visual sensor for outputting three-dimensional information of the target space
  • the control device includes a three-dimensional information acquisition unit for acquiring three-dimensional information on the target space from the visual sensor; and a workpiece shape for acquiring workpiece shape information.
  • an information acquisition unit; and a workpiece number calculation unit that calculates the range of the number of workpieces to be picked, taking into account cavities in the workpiece loading area based on the three-dimensional information of the target space before and after workpiece pickup and the shape information of the workpieces.
  • Another aspect of the present disclosure is a display device for visually displaying a process of calculating the number of workpieces taken out of a plurality of stacked workpieces, wherein at least three-dimensional information of a target space before and after workpieces are taken out is displayed.
  • the present invention provides a display device including a display section for displaying a superimposed image in which changed areas are superimposed in a work loading area after picking up the work.
  • the number of workpieces to be picked up can be accurately estimated because the range of the number of workpieces to be picked up is calculated in consideration of the cavities in the workpiece loading area.
  • FIG. 1 is a configuration diagram of a hand system according to a first embodiment
  • FIG. 1 is a block diagram of a hand system of a first embodiment
  • FIG. FIG. 4 is a side view of the work loading area showing an example of the work loading area before picking up the work
  • FIG. 5 is a side view of the work loading area showing an example of the work loading area after picking up the work
  • It is a flowchart which shows operation
  • It is a flowchart which shows operation
  • FIG. 2nd embodiment FIG. 4 is a side view showing an example of a work loading area before picking up a work
  • FIG. 4 is a side view showing an example of a work loading area before picking up a work
  • FIG. 4 is a side view showing an example of a work loading area before picking up a work
  • FIG. 4 is a side view showing an example of a work loading area before picking up a work
  • FIG. 5 is a side view showing an example of a work loading area after picking up a work
  • FIG. 11 is a side view showing another example of the work loading area before picking up the work
  • FIG. 11 is a side view showing another example of the work loading area after picking up the work
  • FIG. 10 is a side view showing another example of the work loading area before picking up the work
  • FIG. 11 is a side view showing another example of the work loading area after picking up the work
  • FIG. 11 is a side view showing still another example of the work loading area before picking up the work
  • FIG. 11 is a side view showing still another example of the work loading area after picking up the work
  • It is a block diagram of the hand system of 3rd embodiment.
  • FIG. 5 is a range image diagram showing an example of three-dimensional information after picking up a workpiece;
  • FIG. 1 is a configuration diagram of a hand system 1 of the first embodiment.
  • a hand system 1 includes a hand 2 , a transport device 3 , a control device 4 and a visual sensor 5 .
  • Hand system 1 may further include presence sensor 6 and display device 7 .
  • a plurality of cylindrical workpieces W are loaded (in bulk or piled up) in the container.
  • the work W may be loaded on a jig.
  • the hand system 1 detects the position (and posture if necessary) of the work W based on the three-dimensional information from the visual sensor 5 .
  • the hand system 1 moves the conveying device 3 to the work pick-up position based on the position (and posture if necessary) of the work W, and controls the hand 2 to pick up the work W by operating it.
  • the hand 2 may mistakenly pick up a different number of works W than the desired number (one in this embodiment).
  • the range of the number of workpieces to be taken out is calculated.
  • the hand system 1 moves the conveying device 3 to the work dispensing position based on the calculated range of the number of workpieces to be taken out, and controls the hand 2 to operate and the workpiece W to be dispensed.
  • the hand 2 is attached to the transport device 3.
  • the hand 2 takes out and delivers the work W.
  • the hand 2 includes a multi-fingered grip type, a magnetic attraction type, a vacuum attraction type, a Bernoulli type, and the like.
  • the hand 2 may be appropriately selected according to the material, shape, size, etc. of the work W. For example, if the work W has a high coefficient of friction, a multi-fingered gripping hand may be used, if the work is a magnetic material, a magnetic attraction hand may be used, and if the work is large or thin, a vacuum attraction hand may be used.
  • a Bernoulli hand is sufficient for lightweight or sheet-like materials.
  • the hand 2 of this embodiment is a multi-fingered gripping hand, and takes out and pays out the workpiece W by operating a plurality of fingers capable of relative movement.
  • the hand 2 has a motor and a motor driving device for operating a plurality of fingers, and the motor driving device is connected to the control device 4 via wire or wireless.
  • the transport device 3 transports the work W using the hand 2 .
  • the transport device 3 includes a robot, a conveyor, an automated guided vehicle (AGV), and the like.
  • the conveying device 3 of this embodiment is a vertical articulated robot, but in other embodiments, it may be a horizontal articulated robot, an orthogonal robot, a parallel link robot, a humanoid robot, or the like.
  • the conveying device 3 of this embodiment includes a plurality of links that are connected so as to be able to move relative to each other, and conveys the workpiece W by operating the plurality of links.
  • the conveying device 3 comprises a motor and a motor drive device for operating the link, the motor drive device being connected to the control device 4 via wire or wireless.
  • the control device 4 controls the operation of at least one of the hand 2, transport device 3, and visual sensor 5.
  • the control device 4 of this embodiment controls all the operations of the hand 2, the conveying device 3, and the visual sensor 5, but in other embodiments, it controls only the operations of the hand 2 and the conveying device 3, and can be wired or wireless.
  • An external device (not shown) communicatively connected to controller 4 via may control the operation of visual sensor 5 .
  • the control device 4 is a computer device including a processor, memory, and the like.
  • the processor of this embodiment includes a semiconductor integrated circuit such as a CPU (central processing unit) and MPU (micro processing unit) that executes a computer program, but in other embodiments, it does not execute a computer program, FPGA (field programmable gate array), ASIC (application specific integrated circuit), and other semiconductor integrated circuits.
  • the memory of this embodiment is a semiconductor integrated circuit such as RAM (random access memory) or ROM (read only memory) that stores various data.
  • the visual sensor 5 measures and outputs three-dimensional information of a target space including a work loading area in which a plurality of works W are loaded (in bulk or piled up).
  • the visual sensor 5 includes a three-dimensional visual sensor using various principles such as the triangulation method, TOF method, and focus method.
  • the visual sensor 5 may be a three-dimensional visual sensor combining a distance sensor and a two-dimensional camera.
  • the visual sensor 5 of this embodiment is a TOF sensor that outputs a range image.
  • a visual sensor 5 is attached to the hand 2 or the transport device 3 . Although the visual sensor 5 in this embodiment is attached to the hand 2 , the visual sensor 5 may be installed at a fixed point other than the hand 2 or the conveying device 3 in other embodiments.
  • the presence sensor 6 is not an essential component.
  • the registered sensor 6 outputs registered information indicating whether or not one or more works W have been picked up by the hand 2 .
  • the presence sensor 6 includes a force sensor, an electromagnetic induction sensor, a pressure sensor, a photoelectric sensor, a camera, a three-dimensional sensor, and the like. Further, the visual sensor 5 may also be used as the presence sensor 6 as will be described later in the embodiment.
  • the presence sensor 6 of this embodiment is a force sensor that detects force.
  • the presence sensor 6 outputs force information as presence information.
  • the presence sensor 6 is attached to the hand 2 or the transport device 3, the presence sensor 6 may be installed at a fixed point different from the hand 2 or the transport device 3 in another embodiment.
  • the display device 7 is not an essential component.
  • the display device 7 visually displays the process of calculating the number of workpieces to be taken out.
  • the display device 7 includes a display unit (not shown) configured by a liquid crystal display, an organic EL display, a touch panel display using these displays, or the like.
  • the display device 7 of the present embodiment is a teaching device communicably connected to the control device 4, but is not limited to this.
  • the display device 7 may be a display device or the like associated with an external device communicatively connected to the control device 4 via a wire or wirelessly.
  • FIG. 2 is a block diagram of the hand system 1 of the first embodiment.
  • the control device 4 of the present embodiment includes a workpiece extraction number calculating device 40, in another embodiment, an external device (not shown) communicably connected to the control device 4 via a wire or wirelessly A takeout number calculation device 40 may be provided.
  • the workpiece number calculation device 40 is a computer device equipped with a processor, memory, and the like.
  • the processor of this embodiment includes a semiconductor integrated circuit such as a CPU (central processing unit) and MPU (micro processing unit) that executes a computer program, but in other embodiments, it does not execute a computer program, FPGA (field programmable gate array), ASIC (application specific integrated circuit), and other semiconductor integrated circuits.
  • the memory of this embodiment includes semiconductor storage devices such as RAM (random access memory) and ROM (read only memory) that store various data. or other magnetic storage device.
  • the workpiece number calculation device 40 includes a three-dimensional information acquisition section 41 , a workpiece shape information acquisition section 42 , and a workpiece number calculation section 44 .
  • the work extraction number calculation device 40 may further include an enrollment information acquisition unit 43 .
  • the workpiece extraction number calculation device 40 may further include an operation control section 45 .
  • "-part” consists of part or all of a computer program, or part or all of a semiconductor integrated circuit that does not execute a computer program. Based on the three-dimensional information of the target space before and after unloading the workpieces and the workpiece shape information, the unloaded workpiece number calculation device 40 calculates the range of the number of workpieces W to be unloaded, taking into consideration the cavities in the loading area of the workpieces W.
  • the three-dimensional information acquisition unit 41 acquires, from the visual sensor 5, three-dimensional information of the target space in which a plurality of works W are loaded (in bulk or piled up).
  • the three-dimensional information includes distance images including distance values from the reference position for each pixel, three-dimensional point cloud data including coordinate values of a three-dimensional coordinate system, and the like.
  • the three-dimensional information of this embodiment is the range image output from the TOF sensor.
  • the three-dimensional information acquisition unit 41 preferably has a function of mutually converting data between the range image and another data format such as three-dimensional point cloud data.
  • the three-dimensional information acquisition unit 41 sends the three-dimensional information of the target space to the work extraction number calculation unit 44 .
  • the workpiece shape information acquisition unit 42 acquires workpiece shape information from an external memory or an internal memory.
  • the workpiece shape information includes a 3D shape model, a range image, 3D point cloud data, and the like.
  • the workpiece shape information of this embodiment is a three-dimensional shape model such as three-dimensional CAD (computer-aided design) data.
  • the workpiece shape information acquisition unit 42 preferably has a function of mutually converting data between the three-dimensional shape model and other data formats such as range images and three-dimensional point cloud data.
  • the work shape information acquisition unit 42 sends the work shape information to the work extraction number calculation unit 44 .
  • At least one of the three-dimensional information acquisition unit 41 and the workpiece shape information acquisition unit 42 uses parameters such as the size, scale, coordinate system, etc. of one of the three-dimensional information of the target space and the workpiece shape information for subsequent processing. It is desirable to have a function to match parameters such as the size, scale, and coordinate system of the .
  • the enrollment information acquisition unit 43 acquires enrollment information indicating whether or not one or more workpieces W have been picked up by the hand 2 from the enrollment sensor 6 .
  • the enrollment information in this embodiment is the force information of the force sensor, and the enrollment information acquiring unit 43 is enrollment information indicating that one or more workpieces W have been taken out when the force information exceeds the gravity per workpiece W. is sent to the workpiece extraction number calculation unit 44 .
  • the number of workpieces to be taken out which is estimated by dividing the force information by the gravity per workpiece W, may be sent to the taken-out workpieces number calculation unit 44 as the registered information.
  • the workpiece number calculation unit 44 executes calculation processing for the range of the number of workpieces to be extracted when the enrollment information indicates that one or more workpieces W have been extracted. If it indicates that no workpieces have been taken out, calculation processing for the range of the number of workpieces to be taken out is not executed, and the number of workpieces to be taken out is set to 0 and sent to the operation control unit 45 . As a result, unnecessary calculation processing by the work extraction number calculation unit 44 can be prevented.
  • the number of workpieces to be taken out calculation unit 44 calculates the range of the number of workpieces to be taken out to be one value (the minimum value and the maximum value are the same) and the desired number of work to be taken out. (There may be more than one), the calculated number of workpieces to be taken out should be recalculated based on the number of workpieces to be taken out in the enrollment information.
  • the workpiece number calculation unit 44 calculates the range of the number of workpieces to be picked up based on the three-dimensional information of the target space before and after workpiece extraction and the workpiece shape information, taking into account the voids in the workpiece loading area.
  • FIGS. 3A and 3B the processing for calculating the number of workpieces to be taken out according to the first embodiment will be described.
  • 3A and 3B are side views showing an example of the work loading area before and after picking up the work.
  • FIG. 3A shows a workpiece loading area before unloading, in which rectangular workpieces W having short sides and long sides are laid down and vertically stacked.
  • FIG. 3A shows a workpiece loading area before unloading, in which rectangular workpieces W having short sides and long sides are laid down and vertically stacked.
  • 3B shows the work loading area after unloading of the works W, in which not a single work W has been unloaded and two of the works W have collapsed.
  • the visual sensor 5 picks up an image of the work loading area from above and outputs three-dimensional information 51 (indicated by dashed lines) before the work is taken out and three-dimensional information 52 (indicated by the broken line) after the work is taken out.
  • the removed work number calculation unit 44 calculates the range of the number of removed works that can be accommodated in the removed area A (1 to 2 in the example of FIG. 3A) as the range of the number of removed works (1 to 2).
  • the disappearance area A is acquired as a difference area (positive area or negative area) obtained by subtracting the three-dimensional information 51 and 52 of the target space before and after the work is taken out. Further, the maximum number of lost workpieces that can be accommodated in the disappearing area A (two in the example of FIG. 3A) is obtained by repeatedly subtracting the workpiece W obtained from the workpiece shape information from the disappearing area A, or It is obtained by dividing the volume of the vanishing area A by the volume per workpiece W obtained from .
  • the minimum number of lost works that can be accommodated in the disappearance area A (1 in the example of FIG. 3A) is 1 when the maximum number of lost works is 1 or more, and 0 when the maximum number of lost works is 0. is calculated as 0.
  • the work W may collapse after the work is taken out.
  • a cargo collapse area B (thick By calculating the range of the number of workpieces to be taken out, the number of workpieces to be taken out can be estimated more accurately.
  • the work takeout number calculation unit 44 takes into account the range of the number of work load collapses that can be accommodated in the load collapse area B newly appearing in the work loading area after the work is taken out (1 to 2 in the example of FIG. 3A), It is preferable to calculate the range of the number of workpieces to be taken out.
  • the load collapse area B is obtained as a difference area (negative area or positive area) obtained by subtracting the three-dimensional information 51 and 52 of the target space before and after picking up the workpiece.
  • the maximum number of collapsed workpieces that can be accommodated in the collapsed cargo area B (two in the example of FIG. 3B) is obtained by repeatedly subtracting the workpiece W obtained from the workpiece shape information from the collapsed cargo area B, or It is obtained by dividing the volume of the cargo collapse area B by the volume per workpiece W obtained from the workpiece shape information.
  • the minimum number of collapsed workpieces that can be accommodated in the collapsed workpiece area B (1 in the example of FIG. 3B) is set to 1 when the maximum number of collapsed workpieces is 1 or more, and the maximum number of collapsed workpieces is If the number is 0, it is calculated as 0.
  • the work takeout number calculation unit 44 subtracts the minimum number of work collapses (one in the example of FIG. 3B) from the maximum number of work disappearances (two in the example of FIG. 3A) to obtain the maximum work takeout number.
  • a value (1) is obtained, and the maximum number of collapsed workpieces (2 in the example of FIG. 3B) is subtracted from the minimum number of workpieces that have disappeared (1 in the example of FIG. 3A) to obtain the minimum number of workpieces to be taken out.
  • Equation 1 J+H is the maximum number of lost workpieces, J is the minimum number of lost workpieces, K+I is the maximum number of collapsed workpieces, and K is the minimum number of collapsed workpieces.
  • max(J-(K+I), 0) is the minimum number of workpieces to be taken out, and max((J+H)-K, 0) is the maximum number of workpieces to be taken out.
  • the max(argument 1, argument 2) function is a function that returns the larger value of argument 1 and argument 2. FIG. In other words, the max function returns 0 if the maximum or minimum number of workpieces to be taken out is negative.
  • the number-of-taken-out work calculation unit 44 sets the minimum number K of collapsed workpieces to 0, sets the maximum number K+I of collapsed workpieces to 0, and determines the range J of the number of disappeared workpieces that can be accommodated in the extinction area A. to J+H (1 to 2 in the example of FIG. 3A), the range of the number of workpieces to be taken out (1 to 2) can be calculated.
  • the minimum number of lost workpieces J is set to the maximum number of lost workpieces J+H (two in the example of FIG. 3A), and the minimum number of collapsed workpieces.
  • K is the maximum number of collapsed workpieces K+I (two in the example of FIG. 3B), and the range of the number of workpieces to be taken out (0 to 0) can be calculated.
  • the workpiece number calculation unit 44 determines whether or not to execute calculation processing for the range of the number of workpieces to be picked up based on the enrollment information acquired from the enrollment information acquisition unit 43, the number of workpieces to be picked up is always equal to or greater than one. Therefore, it is preferable to calculate the maximum or minimum number of workpieces to be taken out and change the max function so that 1 is returned when the number is 0 or less.
  • the formula for calculating the range R of the number of workpieces to be taken out is as follows.
  • the workpiece number calculation unit 44 adds at least one of the three-dimensional information of the target space before and after workpiece extraction to the changed area Q (
  • the display unit of the display device 7 displays the superimposed image sent from the work extraction number calculation unit 44.
  • the superimposed image may be a side view of the work loading area as shown in FIGS. 3A and 3B.
  • the display section preferably displays the changed area Q, the disappearing area A, and optionally the collapsed area B by distinguishing them by different colors, different types of encircling lines, display switching, or the like.
  • the unloaded workpiece number calculation unit 44 has a range J to J+H for the number of workpieces that have disappeared, a range K to K+I for the number of collapsed workpieces, a range R for the number of workpieces to be picked, and a range R for the number of workpieces to be picked.
  • the maximum value and the minimum value of R match, at least one of the number of workpieces to be taken out is sent to the display device 7, and the display unit of the display device 7 receives the output from the workpiece number calculation unit 44.
  • the workpiece number calculation unit 44 displays a superimposed image in which the shape model of the workpiece W is superimposed on the locations (locations indicated by J, H, K, and I) that serve as the basis for calculating the range of these numbers. It may be sent to the device 7 , and the display section of the display device 7 may display the superimposed image sent from the work extraction number calculation section 44 . As a result, the process of calculating the number of workpieces to be taken out can be visualized, and it is possible to check whether or not there is an error in calculating the number of workpieces to be taken out.
  • the work takeout number calculation unit 44 sends the calculated range R of the work takeout number to the operation control unit 45 .
  • the motion control unit 45 controls the motion of at least one of the hand 2 and the transport device 3 according to an motion program for at least one of the hand 2 and the transport device 3 .
  • the motion control unit 45 controls (corrects) the motion of at least one of the hand 2 and the transport device 3 based on the range R of the number of workpieces to be taken out.
  • the operation control unit 45 controls the operation of repeating picking and unloading of the workpieces W until the range R of the number of workpieces to be picked up becomes one value (the minimum value and the maximum value are the same) and the number of workpieces W to be picked up reaches the desired number. 2 and the transport device 3.
  • the operation control unit 45 causes the hand 2 to move the workpieces W out to the original location or to the temporary placement table and to take out the workpieces W again.
  • the hand 2 carries out the operation of conveying the workpiece W to the dispensing position and dispensing it. to the conveying device 3.
  • step S1 it is determined whether or not the three-dimensional information after the previous workpiece is taken out is in the memory. If the three-dimensional information after the previous work is taken out is not in the memory (NO in step S1), the three-dimensional information 51 of the target space before the work is taken out is acquired from the visual sensor 5 in step S2. If the three-dimensional information after the previous pick-up of the work is in the memory (YES in step S1), the three-dimensional information after the previous pick-up of the work is set as the three-dimensional information 51 before the pick-up of the work in step S3.
  • step S4 it is determined whether or not the position (and orientation, if necessary) of the work W before it is taken out is in the memory. If the position (and attitude, if necessary) of the work W before picking up is not in the memory (NO in step S4), the position of the work W (and, if necessary, posture). If the position (and attitude, if necessary) of the work W in the three-dimensional information 51 before picking up the work is in the memory (YES in step S4), the process proceeds to step S6.
  • step S6 the conveying device 3 is moved to the work pick-up position based on the position (and posture if necessary) of the work W, and the hand 2 is operated to take out the work W.
  • step S7 based on the presence information of the presence sensor 6, it is determined whether or not one or more workpieces W have been taken out. However, it should be noted that the step S7 of determining whether or not to execute the calculation process for the range of the number of workpieces to be taken out based on the enrollment information is not an essential step. If no work W has been taken out (NO in step S7), the process returns to step S1 and the work W is taken out again. If one or more workpieces W have been taken out (YES in step S7), the process proceeds to step S8. At step S8, the three-dimensional information 52 after picking up the workpiece is obtained from the visual sensor 5. FIG.
  • step S9 by subtracting the three-dimensional information 51 and 52 before and after picking out the work, the changed area Q (including disappearing area A and possibly collapsed area B) in the work loading area after picking out the work is specified. do.
  • the change area Q is a non-zero area after difference. Unnecessary calculation processing can be prevented by limiting the subsequent processing of step S9 to the change area Q.
  • the changing region Q may be replaced with a circumscribing rectangle, a circumscribing circle, or the like, which circumscribes the changing region Q, or may be replaced with a circumscribing rectangle, a circumscribing circle, or the like according to the shape of the workpiece W.
  • the change area Q may be limited by using an area having a predetermined radius from the work pick-up position.
  • the negative area is the collapse area B.
  • the positive area is the cargo collapse area B.
  • the changed area Q, the disappearing area A, and possibly the collapsed area B identified in step S9 may be distinguished and displayed by, for example, different colors, different encircling lines, or display switching.
  • step S9 the position (and orientation, if necessary) of the work W after picking up the work in the change area Q may be detected and stored in the memory for the next picking up of the work. .
  • step S10 based on the workpiece shape information, the range J to J+H of the number of collapsed workpieces that can be accommodated in the disappearance area A and the range K to K+I of the number of collapsed workpieces that can be accommodated in the collapse area B are calculated. do.
  • the maximum number J+H of the number of disappearance of workpieces is obtained by repeatedly subtracting the workpiece W obtained from the workpiece shape information from the disappearance area A, or by dividing the volume of the disappearance area A by the volume per workpiece W obtained from the workpiece shape information. is required.
  • the minimum number of lost workpieces J is 1 when the maximum number of lost workpieces J+H is 1 or more, and is determined as 0 when the maximum number of disappeared workpieces J+H is 0.
  • the maximum number K+I of the number of collapsed workpieces is obtained by repeatedly subtracting the workpiece W obtained from the workpiece shape information from the collapsed area B, or the volume of each workpiece W obtained from the workpiece shape information. Calculated by dividing the volume.
  • the minimum number K of collapsed workpieces is determined as 1 when the maximum number K+I of collapsed workpieces is 1 or more, and as 0 when the maximum number of collapsed workpieces is 0.
  • a superimposed image of the shape model of the workpiece W is displayed on the display device 7 at the locations (locations indicated by J, H, K, and I) that serve as the bases for calculating the range of the numbers. may be displayed.
  • step S11 based on the range of the number of workpieces that have disappeared and, in some cases, the range of the number of collapsed workpieces, the range of the number of workpieces to be picked up R(max(J ⁇ (K+I), 1) to max((J+H) ⁇ K, 1 )).
  • the maximum number of unloaded workpieces K is subtracted from the maximum number of destroyed workpieces J+H to obtain the maximum number of unloaded workpieces.
  • the range R of the number of workpieces to be picked up is calculated by obtaining the minimum value of the number of workpieces to be picked up.
  • the minimum number K of the number of collapsed workpieces is set to 0, the maximum number of collapsed workpieces K+I is set to 0, and the number of collapsed workpieces is set to 0.
  • the range of the number of workpieces to be taken out is calculated based only on the range. If it is not determined whether or not one or more workpieces W have been taken out based on the enrollment information (if the processing of step S7 is not performed), max(J ⁇ (K+I), 0) to Based on max((J+H) ⁇ K, 0)), the range R of the number of workpieces to be taken out of 0 or more is calculated. In step S11, the calculated range R of the number of workpieces to be taken out may be displayed on the display device 7. FIG.
  • step S12 the operation of at least one of the hand 2 and the transport device 3 is controlled based on the range R of the number of workpieces to be taken out.
  • the hand 2 and the conveying device 3 are instructed to repeatedly take out and deliver the workpieces W until the range R of the number of workpieces to be taken out becomes one value (the minimum value and the maximum value are the same) and the number of workpieces W to be taken out reaches the desired number. command.
  • the range R of the number of workpieces to be taken out does not reach a single value or the desired number of workpieces to be taken out, the workpieces W are put out to the original place or the temporary placement table, and the process returns to step S1 to take out the workpieces W again (step S6). ).
  • the range R of the number of workpieces to be taken out becomes one value and the desired number of workpieces to be taken out is reached, the workpieces W are transported to the dispensing position and the workpieces W are delivered.
  • the hand system 1 of the first embodiment in order to calculate the range of the number of workpieces to be picked up in consideration of the cavities in the workpiece loading area (disappearance area A and, in some cases, the collapsed area B), the number R of workpieces to be picked up is can be estimated accurately.
  • the hand system 1 of the second embodiment will be explained.
  • the hand system 1 of the second embodiment differs from the hand system 1 of the first embodiment in that the number of workpieces to be taken out is calculated more precisely. Note that the description of the same configuration and the same operation as those of the hand system 1 of the first embodiment will be omitted below.
  • FIG. 6 is a flow chart showing the operation of the hand system 1 of the second embodiment
  • FIGS. 7A and 7B are side views showing an example of the work loading area before and after picking up the work.
  • the flowchart of FIG. 6 includes steps S20 to S24 for more precisely calculating the processing of step S10 of FIG. Figures 7A and 7B show the same work loading area as Figures 3A and 3B.
  • step S20 one workpiece W is removed from the visible area of the three-dimensional information 51, 52 before and after removal from the visual sensor 5 in the change area Q (including the vanishing area A and, in some cases, the collapsed area B).
  • Invisible three-dimensional information 53 and 54 are generated, respectively.
  • step S21 by subtracting the three-dimensional information 52 after extraction from the invisible three-dimensional information 53 before extraction in the changed area Q, an invisible area (positive area) in the disappearance area A is specified.
  • the disappearance invisible number H of workpieces that can be accommodated in the invisible area in A is calculated.
  • the disappearance invisible number of workpieces H is obtained by repeatedly subtracting the workpiece W obtained from the workpiece shape information from the invisible area in the disappearance area A, or by calculating the volume of each workpiece W obtained from the workpiece shape information. It is obtained by dividing the volume of the invisible area inside.
  • step S22 by subtracting the three-dimensional information 51 before extraction from the invisible three-dimensional information 54 after extraction in the changed area Q, an invisible area (positive area) in the cargo collapse area B is identified.
  • the invisible number I of collapsed workpieces that can be accommodated in the invisible area in the collapsed area B is calculated.
  • the invisible number of workpiece collapses I is obtained by repeatedly subtracting the workpiece W obtained from the workpiece shape information from the invisible area in the collapsed area B, or by the volume per workpiece W obtained from the workpiece shape information. It is obtained by dividing the volume of the invisible area in the area B.
  • step S22 is not required if a loading method is adopted in which there is no possibility that the works W will collapse.
  • step S23 by subtracting the invisible three-dimensional information 53 before extraction from the three-dimensional information 51 before extraction in the changed area Q, the visible area (positive area) in the disappearance area A is identified.
  • the disappearance visible number of workpieces J is obtained by repeatedly subtracting the workpiece W obtained from the workpiece shape information from the visible area in the disappearance area A, or by calculating the volume of each workpiece W obtained from the workpiece shape information. It is obtained by dividing the volume of the visible area inside.
  • step S24 in the change area Q, the visible area (positive area) is specified, and the visible number K of collapsed workpieces that can be accommodated in the visible area in the collapsed goods area B is calculated.
  • the step S24 of calculating the visible number K of collapsed works becomes unnecessary.
  • the visible number of collapsed workpieces K is obtained by repeatedly subtracting the number of workpieces W obtained from the workpiece shape information from the visible area in the collapsed area B, or by the volume per workpiece W obtained from the workpiece shape information. It is obtained by dividing the volume of the visible area in the area B.
  • step S11 based on the range of the number of workpieces that have disappeared (J to J+H) and, in some cases, the range of the number of workpieces that have collapsed (K to K+I), the range of the number of workpieces to be picked up from R (max (J-(K+I), 1) to Calculate max((J+H)-K, 1)).
  • the maximum number of unloaded workpieces K is subtracted from the maximum number of destroyed workpieces J+H to obtain the maximum number of unloaded workpieces.
  • the range R of the number of workpieces to be picked up is calculated by obtaining the minimum value of the number of workpieces to be picked up.
  • the minimum number K of the number of collapsed workpieces is set to 0, the maximum number of collapsed workpieces K+I is set to 0, and the number of collapsed workpieces is set to 0.
  • the range of the number of workpieces to be taken out is calculated based only on the range. If it is not determined whether or not one or more workpieces W have been taken out based on the enrollment information (if step S7 is not performed), max(J ⁇ (K+I), 0) to max( Based on (J+H)-K, 0)), the range R of the number of picked-out workpieces of 0 or more is calculated.
  • the disappearable invisible number H of workpieces that can be accommodated in the invisible area in the disappearing area A and, depending on the case, the invisible workpiece collapse that can be accommodated in the invisible area in the collapse area B By calculating the number of workpieces I, and the number of workpieces to be picked up, the range R of the number of workpieces to be picked up can be calculated more accurately in consideration of the voids in the workpiece loading area (disappearance area A and, in some cases, the collapsed area B). R can be estimated more accurately.
  • FIGS. 8A and 8B are side views showing another example of the work loading area before and after picking up the work.
  • FIG. 8A three rectangular works W having short sides and long sides are stacked vertically, one work W in the middle is set vertically, and the remaining two works W are laid down, and two works W are stacked.
  • 1 shows a workpiece loading area before workpiece removal, including a cavity of .
  • FIG. 8B shows the work loading area after one work W has been taken out and not even one work W has collapsed.
  • the visual sensor 5 picks up an image of the work loading area from above and outputs three-dimensional information 51 (indicated by dashed lines) before the work is taken out and three-dimensional information 52 (indicated by the broken line) after the work is taken out.
  • the range J to J+H of the number of disappeared workpieces that can be accommodated in the extinction area A is 1 to 3. Since there is no cargo collapse area B, the range K to K+I of the number of collapsed workpieces is zero. Therefore, the range R(max(J-(K+I), 1) to max((J+H)-K, 1)) of the number of workpieces to be taken out is one to three. Because the range R of the number of workpieces to be taken out does not become one value (the minimum value and the maximum value are the same) or does not become the desired number (one in this embodiment, but may be multiple). , the work W is delivered to the original place or the temporary placement table, and the work W is taken out again.
  • the disappearance invisible number H of workpieces that can be accommodated in the invisible area in the disappearance area A is two. Since the cargo collapse area B does not exist, the invisible number I of collapsed workpieces that can be accommodated in the invisible area in the cargo collapse area B is zero. The disappearance visible number J of workpieces that can be accommodated in the visible area in the disappearance area A becomes one. Since the cargo collapse area B does not exist, the number K of visible collapsed workpieces that can be accommodated in the visible area in the cargo collapse area B is zero.
  • the range R(max(J-(K+I), 1) to max((J+H)-K, 1)) of the number of workpieces to be taken out is one to three. Since the range R of the number of workpieces to be taken out does not become one value (the minimum value and the maximum value are the same) or the desired number of workpieces to be taken out (one in this embodiment), The work W is delivered, and the work W is taken out again.
  • FIGS. 9A and 9B are side views showing another example of the work loading area before and after picking up the work.
  • FIG. 9A three rectangular works W having short and long sides are randomly stacked in the horizontal direction, two works W are laid down, and the leftmost remaining one work W is the middle work. It shows the work loading area before picking up the work leaning against W.
  • FIG. 9B shows the work loading area after unloading the one work W in the middle and the leftmost work W collapsed.
  • the visual sensor 5 picks up an image of the work loading area from above and outputs three-dimensional information 51 (indicated by dashed lines) before the work is taken out and three-dimensional information 52 (indicated by the broken line) after the work is taken out.
  • the range J to J+H of the number of disappeared workpieces that can be accommodated in the extinction area A is two to two.
  • the range K to K+I of the number of collapsed workpieces that can be accommodated in the collapsed cargo area B is 1 to 1 piece. Therefore, the range R(max(J-(K+I), 1) to max((J+H)-K, 1)) of the number of workpieces to be taken out is 1 to 1.
  • the workpiece W is transported to the dispensing position. Therefore, since the range R of the number of workpieces to be taken out has one value (the minimum value and the maximum value are the same) and the desired number of workpieces to be taken out (one in this embodiment), the workpiece W is transported to the dispensing position. will do.
  • the processing for calculating the number of workpieces to be taken out in the second embodiment since there is no invisible area in the disappearing area A, the disappearing workpieces that can be accommodated in the invisible area in the disappearing area A
  • the invisible number H becomes 0. Since there is no invisible area in the cargo collapse area B, the invisible number I of collapsed workpieces that can be accommodated in the invisible area in the cargo collapse area B is zero.
  • the disappearance visible number J of workpieces that can be accommodated in the visible area in the disappearance area A is two.
  • the visible number K of collapsed workpieces that can be accommodated in the visible region in the collapsed cargo area B is one.
  • the range R(max(J-(K+I), 1) to max((J+H)-K, 1)) of the number of workpieces to be taken out is 1 to 1. Since the range R of the number of workpieces to be taken out has one value (the minimum value and the maximum value are the same) and the desired number of workpieces to be taken out (one in this embodiment), the workpiece W is transported to the dispensing position. will do.
  • FIGS. 10A and 10B are side views showing another example of the work loading area before and after picking up the work.
  • FIG. 10A two rectangular works W having a short side and a long side are laid down, and one work W on the left side is caught by one work W on the right side, and one work W is lifted. It shows the previous work loading area.
  • FIG. 10B shows the work loading area after picking out one work W on the right side and the work W on the left side having fallen like ground subsidence.
  • the visual sensor 5 picks up an image of the work loading area from above and outputs three-dimensional information 51 (indicated by dashed lines) before the work is taken out and three-dimensional information 52 (indicated by the broken line) after the work is taken out.
  • the range J to J+H of the number of disappeared workpieces that can be accommodated in the extinction area A is two to two.
  • the cargo collapse area B negative area or positive area
  • the range K to K+I of the number of collapsed workpieces that can be accommodated in the collapsed cargo area B is erroneously set to 0 to 0 (originally 1 to 1).
  • the range R (max(J-(K+I), 1) to max((J+H)-K, 1)) of the number of workpieces to be taken out is erroneously set to 2 to 2, and one value (minimum and maximum values are the same).
  • the number of workpieces to be taken out (two) is not the desired number of workpieces to be taken out (one in this embodiment)
  • the workpieces W are delivered to the original place or the temporary placement table, and the workpieces W are taken out again. , the malfunction of the hand system 1 can be prevented.
  • the desired number of workpieces to be taken out is two, there is a possibility that only one workpiece W will be transported to the dispensing position by mistake.
  • the enrollment information includes the number of workpieces to be taken out (1 piece)
  • the calculated number of workpieces to be taken out (2 pieces) is verified based on the number of workpieces to be taken out of the enrollment information (1 piece), thereby preventing errors in the hand system 1. You can prevent it from working.
  • the disappearing invisible number of workpieces that can be accommodated in the invisible area in the disappearing area A is H becomes 0 pieces. Since there is no invisible area in the cargo collapse area B, the invisible number I of collapsed workpieces that can be accommodated in the invisible area in the cargo collapse area B is zero.
  • the disappearance visible number J of workpieces that can be accommodated in the visible area in the disappearance area A is two.
  • the visible area (positive area) in the cargo collapse area B is specified. Therefore, even if the cargo collapse area B actually exists, the visible number K of collapsed workpieces that can be accommodated in the visible area in the collapse area B is erroneously zero. Therefore, the range R (max(J-(K+I), 1) to max((J+H)-K, 1)) of the number of workpieces to be taken out is erroneously set to 2 to 2, and one value (minimum and maximum values are the same).
  • the number of workpieces to be taken out (two) is not the desired number of workpieces to be taken out (one in this embodiment), the workpieces W are delivered to the original place or the temporary placement table, and the workpieces W are taken out again. , the malfunction of the hand system 1 can be prevented.
  • the desired number of workpieces to be taken out is two, there is a possibility that only one workpiece W will be transported to the dispensing position by mistake.
  • the enrollment information includes the number of workpieces to be taken out (1 piece)
  • the calculated number of workpieces to be taken out (2 pieces) is verified based on the number of workpieces to be taken out of the enrollment information (1 piece), thereby preventing errors in the hand system 1. You can prevent it from working.
  • the hand system 1 of the third embodiment will be explained.
  • the hand system 1 of the third embodiment differs from the hand system 1 of the first embodiment in that the visual sensor 5 is used as the presence sensor and thus the presence sensor 6 is not provided.
  • the visual sensor 5 measures and outputs three-dimensional information of a target space including a workpiece loading area where a plurality of workpieces W are loaded (stacked or piled up) and the hand 2 for picking up the workpiece W.
  • the visual sensor 5 is installed at a fixed point different from the hand 2 and the conveying device 3, so that the visual sensor 5 outputs three-dimensional information of the target space including the hand 2 from which the workpiece W is taken out.
  • the visual sensor 5 when the visual sensor 5 outputs three-dimensional information of the target space including the hand 2, the visual sensor 5 may be attached to the hand 2 or the transport device 3 as in the first embodiment. Note that the description of the same configuration and the same operation as those of the hand system 1 of the first embodiment will be omitted below.
  • the enrollment information acquisition unit 43 acquires the three-dimensional information 52 after picking up the work from the visual sensor 5 . Based on the three-dimensional information 52 after picking up the workpieces, the enrolled information acquiring unit 43 generates the enrolled information indicating whether or not one or more workpieces W have been picked up by the hand 2, and uses the created enrolled information to calculate the number of picked workpieces. Send to section 44 .
  • FIG. 12 is a range image diagram showing an example of the three-dimensional information 52 after picking up the workpiece.
  • the enrollment information acquisition unit 43 of the present embodiment presets an enrollment confirmation area 52a including the hand 2 in the three-dimensional information 52 after picking up the workpiece.
  • the enrollment information acquisition unit 43 detects the workpieces W from the enrollment confirmation area 52 a using image processing such as matching processing, and generates enrollment information indicating whether or not one or more workpieces W have been taken out by the hand 2 .
  • the taken-out work number calculation unit 44 executes calculation processing for the range of the number of taken-out works.
  • the taken-out work number calculation unit 44 does not execute the calculation process for the range of the number of taken-out works, and sets the number of taken-out works as 0 to the operation control unit 45. Send out. This can prevent unnecessary calculation processing by the work extraction number calculation unit 44 .
  • the enrollment information acquisition unit 43 may calculate the number of workpieces to be taken out from the enrollment confirmation area 52a using image processing.
  • the workpiece number calculation unit 44 calculates that the calculated range of the number of workpieces to be picked up is one value (the minimum value and the maximum value are the same) and the desired number of workpieces to be picked up (this embodiment 1 in the form), the calculated number of workpieces to be taken out should be recalculated based on the number of workpieces to be taken out of the enrollment information.
  • the visual sensor 5 is used as a presence sensor, there is no need to prepare a presence sensor separate from the visual sensor 5, and a low-cost hand system 1 can be provided. In addition, unnecessary calculation processing by the work extraction number calculation unit 44 can be prevented.
  • the computer program described above may be recorded on a computer-readable non-transitory recording medium such as a CD-ROM and provided, or may be distributed via a wired or wireless connection to a WAN (wide area network) or LAN (local area network). It may be distributed and provided from a server device on a network).
  • a computer-readable non-transitory recording medium such as a CD-ROM and provided, or may be distributed via a wired or wireless connection to a WAN (wide area network) or LAN (local area network). It may be distributed and provided from a server device on a network).

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

ワーク取出し個数算出装置は、ワークが複数積載された対象空間の三次元情報を取得する三次元情報取得部と、ワークの形状情報を取得するワーク形状情報取得部と、ワーク取出し前後の対象空間の三次元情報とワークの形状情報とに基づいてワークの積載領域の中の空洞を考慮してワーク取出し個数の範囲を算出するワーク取出し個数算出部と、を備える。

Description

ワーク取出し個数算出装置、ハンドシステム、及び表示装置
　本発明はハンド技術に関し、特にワーク取出し個数算出装置、ハンドシステム、及び表示装置に関する。
　ピックアンドプレイス用ハンドとして、多指把持式、磁気吸着式、真空吸着式、ベルヌーイ式といった種々の方式のハンドが知られている。バラ積み又は積み重ねられた複数のワークの中から１個又は所望個数のワークを取出すアプリケーションでは、視覚センサを用いてワークの位置（及び必要に応じて姿勢）を検出する。視覚センサとしては、三角測量法、ＴＯＦ（time of flight）法、焦点法等の種々の原理を用いた三次元視覚センサが利用されている。しかし、小型、薄板状、シート状、又は密着し易いワークの場合、ハンドが誤って複数のワークを一度に取出してしまうことがある。ワーク取出し個数の算出方法としては、ワークの取出し後に、力センサ、電磁誘導式センサ、圧力センサ、光電センサ等の追加のセンサを用いて算出する方法があるが、視覚センサとは別個のセンサで追加の計測を行うとサイクルタイムが伸びてしまう。また、視覚センサとは別個に追加のセンサが必要になるため、システムが複雑化しコスト高になる。
　一方、視覚センサを利用してワーク取出し個数を算出する場合、ワーク取出し前後の距離画像、三次元点群データ等の三次元情報の差分（つまり体積差）をワーク１個当たりの体積で除算することによりワーク取出し個数を算出する方法が知られている（後述の特許文献１参照）。しかし、複数のワークがバラ積み又は積み重ねられている場合、視覚センサから見えない領域にワークが存在するのか又は空洞が存在するのかが分からないため、ワーク取出し前後の三次元情報の差分が誤って複数のワークを一度に取出したことで生じた差分であるのか、又は空洞部分が露出したことで生じた差分であるのかが判別できない。従って、ワークの取出し前後の三次元情報の差分をワーク１個当たりの体積で除算して得られたワーク取出し個数は必ずしも正確な値になるとは限らない。本願に関連する先行技術としては、次の文献が開示されている。
　特許文献１には、ピッキングロボットで物品を移載する際に発生する物品の荷崩れを検出する方法及び装置において、三次元計測手段に基づいて生成された作業前の距離画像と作業後の距離画像から移載作業前後の物品群の体積差を推定し、推定した物品群の体積差を物品形状データから算出される物品一つ当たりの体積で除することにより、実際に移載された物品の個数と移載されるべき所望個数とを比較し、その一致度合いに基づいて、移載作業の全工程後の荷崩れの発生の有無を判定することが記載されている。
　特許文献２には、吸着グリッパを備えたロボットマニピュレータにおいて、環境に関する情報を検知する３Ｄセンサを用いてボックスを持上げ、動かすことが記載されている。
　特許文献３には、パレット内にバラ積みされた複数のワークをロボットアームの先端に所定個数ずつ保持してパレット外に取出す方法において、パレット底部にワーク不存在領域が発生するときのワーク残存個数はパレットの大きさに依存してほぼ一律に決まるため、その残存個数になるときの取出し個数を逆算にて予め算出することが記載されている。
特開２００７－１７９３０１号公報 特表２０１７－５２０４１７号公報 特開２０１０－３００８７８号公報
　本発明は、従来の問題点に鑑み、ワーク取出し個数を正確に推定する技術を提供することを目的とする。
　本開示の一態様は、ワークが複数積載された対象空間の三次元情報を取得する三次元情報取得部と、ワークの形状情報を取得するワーク形状情報取得部と、ワーク取出し前後の対象空間の三次元情報とワークの形状情報とに基づいてワークの積載領域の中の空洞を考慮してワーク取出し個数の範囲を算出するワーク取出し個数算出部と、を備える、ワーク取出し個数算出装置を提供する。
　本開示の他の態様は、ワークの取出し及び払出しを行うハンドと、ハンドを用いてワークを搬送する搬送装置と、ハンド及び搬送装置の少なくとも一方の動作を制御する制御装置と、ワークが複数積載された対象空間の三次元情報を出力する視覚センサと、を備え、制御装置は、対象空間の三次元情報を視覚センサから取得する三次元情報取得部と、ワークの形状情報を取得するワーク形状情報取得部と、ワーク取出し前後の対象空間の三次元情報とワークの形状情報とに基づいてワークの積載領域の中の空洞を考慮してワーク取出し個数の範囲を算出するワーク取出し個数算出部と、ワーク取出し個数の範囲に基づき、搬送装置及びハンドの少なくとも一方の動作を制御する動作制御部と、を備える、ハンドシステムを提供する。
　本開示の別の態様は、複数積載されたワークの中から取出されたワークの取出し個数の算出過程を視覚的に表示する表示装置であって、ワーク取出し前後の対象空間の三次元情報の少なくとも一方に、ワーク取出し後にワークの積載領域で変化した変化領域を重ねた重畳画像を表示する表示部を備える、表示装置を提供する。
　本開示の一態様によれば、ワーク積載領域の中の空洞を考慮してワーク取出し個数の範囲を算出するため、ワーク取出し個数を正確に推定できる。
第一実施形態のハンドシステムの構成図である。 第一実施形態のハンドシステムのブロック図である。 ワーク取出し前のワーク積載領域の一例を示すワーク積載領域の側面図である。 ワーク取出し後のワーク積載領域の一例を示すワーク積載領域の側面図である。 第一実施形態のハンドシステムの動作を示すフローチャートである。 第一実施形態のハンドシステムの動作を示すフローチャートである。 第二実施形態のハンドシステムの動作を示すフローチャートである。 ワーク取出し前のワーク積載領域の一例を示す側面図である。 ワーク取出し後のワーク積載領域の一例を示す側面図である。 ワーク取出し前のワーク積載領域の他の例を示す側面図である。 ワーク取出し後のワーク積載領域の他の例を示す側面図である。 ワーク取出し前のワーク積載領域の別の例を示す側面図である。 ワーク取出し後のワーク積載領域の別の例を示す側面図である。 ワーク取出し前のワーク積載領域のさらに別の例を示す側面図である。 ワーク取出し後のワーク積載領域のさらに別の例を示す側面図である。 第三実施形態のハンドシステムの構成図である。 ワーク取出し後の三次元情報の一例を示す距離画像図である。
　以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。
　以下、第一実施形態のハンドシステム１について説明する。図１は第一実施形態のハンドシステム１の構成図である。ハンドシステム１は、ハンド２と、搬送装置３と、制御装置４と、視覚センサ５と、を備えている。ハンドシステム１は、在籍センサ６と、表示装置７と、をさらに備えていてもよい。本実施形態では、円柱形の複数のワークＷが収容物内に積載（バラ積み又は積み重ね）されているが、他の実施形態では直方形、薄板状、シート状等の他の形態のワークＷでもよく、また、ワークＷは治具に積載されていてもよい。ハンドシステム１は視覚センサ５の三次元情報に基づいてワークＷの位置（及び必要に応じて姿勢）を検出する。ハンドシステム１はワークＷの位置（及び必要に応じて姿勢）に基づいて搬送装置３をワーク取出し位置へ移動させ、ハンド２を動作させてワークＷを取出す制御を行う。ワークＷを取出す際、ハンド２は誤って所望個数（本実施形態では１個）のワークＷとは異なる個数のワークＷを取出してしまうことがあるため、ハンドシステム１は視覚センサ５の三次元情報に基づいてワーク取出し個数の範囲を算出する。ハンドシステム１は、算出したワーク取出し個数の範囲に基づき、搬送装置３をワーク払出し位置へ移動させ、ハンド２を動作させてワークＷを払出す制御を行う。
　ハンド２は、搬送装置３に取付けられる。ハンド２はワークＷの取出し及び払出しを行う。ハンド２は、多指把持式、磁気吸着式、真空吸着式、ベルヌーイ式等のハンドを含む。ハンド２はワークＷの材質、形状、サイズ等に応じて適宜選択するとよい。例えばワークＷの摩擦係数が高い場合は多指把持式ハンドでよく、ワークが磁性体の場合は磁気吸着式ハンドでよく、ワークが大型又は薄板状の場合は真空吸着式ハンドでよく、ワークが軽量又はシート状の場合はベルヌーイ式ハンドでよい。本実施形態のハンド２は多指把持式ハンドであり、相対運動可能な複数の指を動作させてワークＷの取出し及び払出しを行う。ハンド２は複数の指を動作させるモータ及びモータ駆動装置を備え、モータ駆動装置は有線又は無線を介して制御装置４に接続される。
　搬送装置３は、ハンド２を用いてワークＷを搬送する。搬送装置３は、ロボット、コンベア、無人搬送車（ＡＧＶ）等を含む。本実施形態の搬送装置３は垂直多関節型ロボットであるが、他の実施形態では、水平多関節型ロボット、直交ロボット、パラレルリンク型ロボット、ヒューマノイド等でもよい。本実施形態の搬送装置３は相対運動可能に連結された複数のリンクを備え、複数のリンクを動作させてワークＷを搬送する。搬送装置３はリンクを動作させるモータ及びモータ駆動装置を備え、モータ駆動装置は有線又は無線を介して制御装置４に接続される。
　制御装置４は、ハンド２、搬送装置３、及び視覚センサ５の少なくとも一つの動作を制御する。本実施形態の制御装置４はハンド２、搬送装置３、及び視覚センサ５の全ての動作を制御するが、他の実施形態ではハンド２と搬送装置３の動作のみを制御し、有線又は無線を介して通信可能に制御装置４に接続する外部装置（図示せず）が視覚センサ５の動作を制御してもよい。制御装置４はプロセッサ、メモリ等を備えたコンピュータ装置である。本実施形態のプロセッサは、コンピュータプログラムを実行する、ＣＰＵ（central processing unit）、ＭＰＵ（micro processing unit）等の半導体集積回路を含むが、他の実施形態では、コンピュータプログラムを実行しない、ＦＰＧＡ（field programmable gate array）、ＡＳＩＣ（application specific integrated circuit）等の他の半導体集積回路でもよい。本実施形態のメモリは、種々のデータを記憶するＲＡＭ（random access memory）、ＲＯＭ（read only memory）等の半導体集積回路である。
　視覚センサ５は、複数のワークＷが積載（バラ積み又は積み重ね）されたワーク積載領域を含む対象空間の三次元情報を計測して出力する。視覚センサ５は、三角測量法、ＴＯＦ法、焦点法等の種々の原理を用いた三次元視覚センサを含む。或いは、視覚センサ５は距離センサと二次元カメラを組み合わせた三次元視覚センサでもよい。本実施形態の視覚センサ５は距離画像を出力するＴＯＦセンサである。視覚センサ５はハンド２又は搬送装置３に取付けられる。本実施形態の視覚センサ５はハンド２に取付けられているが、他の実施形態ではハンド２又は搬送装置３とは別場所の固定点に視覚センサ５を設置してもよい。
　在籍センサ６は、必須の構成要素ではないことに留意されたい。在籍センサ６は１個以上のワークＷをハンド２で取出したか否かを示す在籍情報を出力する。在籍センサ６は、力センサ、電磁誘導式センサ、圧力センサ、光電センサ、カメラ、三次元センサ等を含む。また後述の実施形態で説明するように、視覚センサ５を在籍センサ６として兼用してもよい。本実施形態の在籍センサ６は力を検出する力センサである。在籍センサ６は力覚情報を在籍情報として出力する。在籍センサ６はハンド２又は搬送装置３に取付けられているが、他の実施形態ではハンド２又は搬送装置３とは別場所の固定点に在籍センサ６を設置してもよい。
　表示装置７は、必須の構成ではないことに留意されたい。表示装置７はワーク取出し個数の算出過程を視覚的に表示する。表示装置７は、液晶ディスプレイ、有機ＥＬディスプレイ、又はこれらを用いたタッチパネルディスプレイ等で構成された表示部（図示せず）を備えている。本実施形態の表示装置７は通信可能に制御装置４に接続する教示装置であるが、これに限定されるものではない。例えば他の実施形態では、表示装置７は有線又は無線を介して通信可能に制御装置４に接続する外部装置に付随する表示装置等でもよい。
　図２は第一実施形態のハンドシステム１のブロック図である。本実施形態の制御装置４はワーク取出し個数算出装置４０を備えているが、他の実施形態では、有線又は無線を介して通信可能に制御装置４に接続する外部装置（図示せず）がワーク取出し個数算出装置４０を備えていてもよい。
　ワーク取出し個数算出装置４０は、プロセッサ、メモリ等を備えたコンピュータ装置である。本実施形態のプロセッサは、コンピュータプログラムを実行する、ＣＰＵ（central processing unit）、ＭＰＵ（micro processing unit）等の半導体集積回路を含むが、他の実施形態では、コンピュータプログラムを実行しない、ＦＰＧＡ（field programmable gate array）、ＡＳＩＣ（application specific integrated circuit）等の他の半導体集積回路でもよい。本実施形態のメモリは、種々のデータを記憶する、ＲＡＭ（random access memory）、ＲＯＭ（read only memory）等の半導体記憶装置を含むが、他の実施形態では、メモリがＨＤＤ（hard disk drive）等の磁気記憶装置でもよい。
　ワーク取出し個数算出装置４０は、三次元情報取得部４１と、ワーク形状情報取得部４２と、ワーク取出し個数算出部４４と、を備えている。ワーク取出し個数算出装置４０は在籍情報取得部４３をさらに備えていてもよい。また、ワーク取出し個数算出装置４０は動作制御部４５をさらに備えていてもよい。本書における「～部」とはコンピュータプログラムの一部又は全部、或いはコンピュータプログラムを実行しない半導体集積回路の一部又は全部で構成される。ワーク取出し個数算出装置４０は、ワーク取出し前後の対象空間の三次元情報とワーク形状情報とに基づき、ワークＷの積載領域の中の空洞を考慮してワークＷの取出し個数の範囲を算出する。
　三次元情報取得部４１は、複数のワークＷが積載（バラ積み又は積み重ね）された対象空間の三次元情報を視覚センサ５から取得する。三次元情報は、基準位置からの距離値を画素毎に含む距離画像や、三次元座標系の座標値を含む三次元点群データ等を含む。本実施形態の三次元情報はＴＯＦセンサから出力された距離画像である。三次元情報取得部４１は距離画像と三次元点群データ等の他のデータ形式との間で相互にデータ変換する機能を備えているとよい。三次元情報取得部４１は対象空間の三次元情報をワーク取出し個数算出部４４に送出する。
　ワーク形状情報取得部４２は、ワーク形状情報を外部メモリ又は内部メモリから取得する。ワーク形状情報は、三次元形状モデル、距離画像、三次元点群データ等を含む。本実施形態のワーク形状情報は、三次元ＣＡＤ（computer-aided design）データ等の三次元形状モデルである。ワーク形状情報取得部４２は、三次元形状モデルと、距離画像、三次元点群データ等の他のデータ形式との間で相互にデータ変換する機能を備えているとよい。ワーク形状情報取得部４２はワーク形状情報をワーク取出し個数算出部４４に送出する。
　また、三次元情報取得部４１とワーク形状情報取得部４２の少なくとも一方は、後続処理のため、対象空間の三次元情報とワーク形状情報の一方のサイズ、スケール、座標系等のパラメータを、他方のサイズ、スケール、座標系等のパラメータに整合させる機能を備えているとよい。
　在籍情報取得部４３は、必須の構成要素ではないことに留意されたい。在籍情報取得部４３は、１個以上のワークＷをハンド２で取出したか否かを示す在籍情報を在籍センサ６から取得する。本実施形態の在籍情報は力センサの力覚情報であり、在籍情報取得部４３は力覚情報がワークＷ１個当たりの重力を上回る場合に１個以上のワークＷを取出したことを示す在籍情報をワーク取出し個数算出部４４に送出する。他の実施形態では力覚情報をワークＷ１個当たりの重力で除算して推定したワーク取出し個数を在籍情報としてワーク取出し個数算出部４４に送出してもよい。
　ワーク取出し個数算出部４４は、必須ではないが、在籍情報が１個以上のワークＷを取出したことを示す場合に、ワーク取出し個数の範囲の計算処理を実行し、在籍情報がワークＷを１個も取出していないことを示す場合は、ワーク取出し個数の範囲の計算処理を実行せず、ワーク取出し個数を０個として動作制御部４５に送出する。これにより、ワーク取出し個数算出部４４による不要な計算処理を防止できる。また、在籍情報がワーク取出し個数を含んでいる場合、ワーク取出し個数算出部４４は、算出したワーク取出し個数の範囲が一つの値（最小値と最大値が同じ値）になり且つ所望の取出し個数（複数個の場合もある）になったときに、算出したワーク取出し個数を、在籍情報のワーク取出し個数に基づいて検算するとよい。
　ワーク取出し個数算出部４４は、ワーク取出し前後の対象空間の三次元情報とワーク形状情報とに基づき、ワーク積載領域の中の空洞を考慮してワーク取出し個数の範囲を算出する。ここで図３Ａ及び図３Ｂを参照し、第一実施形態のワーク取出し個数の計算処理について説明する。図３Ａ及び図３Ｂはワーク取出し前後のワーク積載領域の一例を示す側面図である。図３Ａは短辺及び長辺を有する直方形のワークＷを全て横に倒して縦方向に積み重ねたワーク取出し前のワーク積載領域を示している。図３ＢはワークＷを１個も取出せず、２個のワークＷが荷崩れしたワーク取出し後のワーク積載領域を示している。視覚センサ５はワーク積載領域を上方から撮像してワーク取出し前の三次元情報５１（破線で示す）とワーク取出し後の三次元情報５２（破線で示す）とを出力する。
　ワーク積載領域の中の視覚センサ５から見えない不可視領域はワークＷが存在するのか又は空洞が存在するのかが判別できない。従って、基本的な考え方として、ワーク取出し後にワーク積載領域から消滅した消滅領域Ａ（太破線で示す）の中に空洞が存在することを踏まえてワーク取出し個数の範囲を算出することにより、ワーク取出し個数を正確に推定できるようになる。つまりワーク取出し個数算出部４４は、消滅領域Ａに収容可能なワーク消滅個数の範囲（図３Ａの例では１個～２個）をワーク取出し個数の範囲（１個～２個）として算出する。
　消滅領域Ａはワーク取出し前後の対象空間の三次元情報５１、５２を差分した差分領域（正の領域又は負の領域）として取得される。また、消滅領域Ａに収容可能なワーク消滅個数の最大数（図３Ａの例では２個）は、ワーク形状情報から得られるワークＷを消滅領域Ａから繰り返し差分して求めるか、又はワーク形状情報から得られるワークＷ一個当たりの体積で消滅領域Ａの体積を除算して求められる。消滅領域Ａに収容可能なワーク消滅個数の最小数（図３Ａの例では１個）は、ワーク消滅個数の最大数が１個以上の場合は１個とし、ワーク消滅個数の最大数が０個の場合は０個として求められる。
　しかし、図３Ｂに示すようにワークＷの積載方法に起因してワーク取出し後にワークＷが荷崩れする場合がある。また、ワーク積載領域の中の視覚センサ５から見えない不可視領域はワークが存在するのか又は空洞が存在するのかが判別できないため、ワーク取出し後にワーク積載領域に新たに出現した荷崩れ領域Ｂ（太破線で示す）の中の空洞も加味してワーク取出し個数の範囲を算出することにより、ワーク取出し個数をより正確に推定できるようになる。つまりワーク取出し個数算出部４４は、ワーク取出し後にワーク積載領域に新たに出現した荷崩れ領域Ｂに収容可能なワーク荷崩れ個数の範囲（図３Ａの例では１個～２個）を加味し、ワーク取出し個数の範囲を算出するとよい。
　荷崩れ領域Ｂは、ワーク取出し前後の対象空間の三次元情報５１、５２を差分した差分領域（負の領域又は正の領域）として取得される。また、荷崩れ領域Ｂに収容可能なワーク荷崩れ個数の最大数（図３Ｂの例では２個）は、ワーク形状情報から得られるワークＷを荷崩れ領域Ｂから繰り返し差分して求めるか、又はワーク形状情報から得られるワークＷ一個当たりの体積で荷崩れ領域Ｂの体積を除算して求められる。荷崩れ領域Ｂに収容可能なワーク荷崩れ個数の最小数（図３Ｂの例では１個）は、ワーク荷崩れ個数の最大数が１個以上の場合は１個とし、ワーク荷崩れ個数の最大数が０個の場合は０個として求められる。
　次いでワーク取出し個数算出部４４は、ワーク消滅個数の最大数（図３Ａの例では２個）からワーク荷崩れ個数の最小数（図３Ｂの例では１個）を減算してワーク取出し個数の最大値（１個）を求め、ワーク消滅個数の最小数（図３Ａの例では１個）からワーク荷崩れ個数の最大数（図３Ｂの例では２個）を減算してワーク取出し個数の最小値（－１個のワークＷを取出すことはあり得ないため、負数の場合は０個）を求めることにより、ワーク取出し個数の範囲（０個～１個）を算出するとよい。従って、ワーク取出し個数の範囲Ｒの算出式は次のようになる。
Figure JPOXMLDOC01-appb-M000001
　式１において、Ｊ＋Ｈはワーク消滅個数の最大数であり、Ｊはワーク消滅個数の最小数であり、Ｋ＋Ｉはワーク荷崩れ個数の最大数であり、Ｋはワーク荷崩れ個数の最小数である。ｍａｘ（Ｊ－（Ｋ＋Ｉ），０）はワーク取出し個数の最小値であり、ｍａｘ（（Ｊ＋Ｈ）－Ｋ，０）はワーク取出し個数の最大値である。なお、ｍａｘ（引数１，引数２）関数は引数１と引数２のうちの大きい値を返す関数である。つまりｍａｘ関数は、ワーク取出し個数の最大値又は最小値を算出したときに、負数になった場合に０個を返す。
　なお、ワークＷが荷崩れする可能性がない積載方法を採用した場合は、荷崩れ領域Ｂを特定する必要はない。この場合、ワーク取出し個数算出部４４は、ワーク荷崩れ個数の最小数Ｋを０個とし、ワーク荷崩れ個数の最大数Ｋ＋Ｉを０個とし、消滅領域Ａに収容可能なワーク消滅個数の範囲Ｊ～Ｊ＋Ｈ（図３Ａの例では１個～２個）のみに基づいてワーク取出し個数の範囲（１個～２個）を算出すればよい。
　また、ワーク積載領域に空洞がない積載方法を採用した場合は、ワーク消滅個数の最小数Ｊをワーク消滅個数の最大数Ｊ＋Ｈ（図３Ａの例では２個）とし、ワーク荷崩れ個数の最小数Ｋをワーク荷崩れ個数の最大数Ｋ＋Ｉ（図３Ｂの例では２個）とし、ワーク取出し個数の範囲（０個～０個）を算出すればよい。
　また、ワーク取出し個数算出部４４は、在籍情報取得部４３から取得した在籍情報に基づいてワーク取出し個数の範囲の計算処理を実行するか否かを判定する場合、ワーク取出し個数が必ず１個以上であることが既知であるため、ワーク取出し個数の最大値又は最小値を算出して０個以下になった場合に１個を返すようにｍａｘ関数を変更するとよい。この場合、ワーク取出し個数の範囲Ｒの算出式は次のようになる。
Figure JPOXMLDOC01-appb-M000002
　図２を再び参照すると、ワーク取出し個数算出部４４は、必須ではないが、ワーク取出し前後の対象空間の三次元情報の少なくとも一方に、ワーク取出し後にワークＷの積載領域で変化した変化領域Ｑ（消滅領域Ａと場合により荷崩れ領域Ｂとを含む）を重ねた重畳画像を表示装置７に送出し、表示装置７の表示部は、ワーク取出し個数算出部４４から送出された重畳画像を表示するとよい。例えば重畳画像は図３Ａ及び図３Ｂに示すようなワークの積載領域の側面図でもよい。表示部は、変化領域Ｑ、消滅領域Ａ、及び場合により荷崩れ領域Ｂを、例えば色分け、異なる種類の囲み線、又は表示切替え等によって識別して表示するとよい。これにより、ワーク取出し個数の算出過程が視覚化され、ワーク取出し個数の計算ミスの有無を確認できる。
　またワーク取出し個数算出部４４は、必須ではないが、ワーク消滅個数の範囲Ｊ～Ｊ＋Ｈと、場合によりワーク荷崩れ個数の範囲Ｋ～Ｋ＋Ｉと、ワーク取出し個数の範囲Ｒと、ワーク取出し個数の範囲Ｒの最大値と最小値が一致した場合にはワーク取出し個数と、のうちの少なくとも一つを表示装置７に送出し、表示装置７の表示部は、ワーク取出し個数算出部４４から送出された、ワーク消滅個数の範囲Ｊ～Ｊ＋Ｈと、場合によりワーク荷崩れ個数の範囲Ｋ～Ｋ＋Ｉと、ワーク取出し個数の範囲Ｒと、ワーク取出し個数の範囲Ｒの最大値と最小値が一致した場合にはワーク取出し個数と、のうちの少なくとも一つを表示するとよい。さらにワーク取出し個数算出部４４は、必須ではないが、これら個数の範囲の算出根拠になった場所（Ｊ、Ｈ、Ｋ、Ｉで示す場所）にワークＷの形状モデルを重ねた重畳画像を表示装置７に送出し、表示装置７の表示部は、ワーク取出し個数算出部４４から送出された重畳画像を表示してもよい。これにより、ワーク取出し個数の算出過程が視覚化され、ワーク取出し個数の計算ミスの有無を確認できる。
　ワーク取出し個数算出部４４は、算出したワーク取出し個数の範囲Ｒを動作制御部４５に送出する。動作制御部４５はハンド２と搬送装置３の少なくとも一方の動作プログラムに従ってハンド２と搬送装置３の少なくとも一方の動作を制御する。動作制御部４５は、ワーク取出し個数の範囲Ｒに基づき、ハンド２と搬送装置３の少なくとも一方の動作を制御（補正）する。つまり動作制御部４５は、ワーク取出し個数の範囲Ｒが一つの値（最小値と最大値が同じ値）になり、且つ、所望の取出し個数になるまでワークＷの取出し及び払出しを繰り返す動作をハンド２と搬送装置３に対して指令する。動作制御部４５は、ワーク取出し個数の範囲Ｒが一つの値でなく又は所望の取出し個数にならない場合は、ワークＷを元の場所又は仮置き台に払出してワークＷを再度取出す動作をハンド２と搬送装置３に対して指令し、ワーク取出し個数の範囲Ｒが一つの値になり、且つ、所望の取出し個数になった場合は、ワークＷを払出し位置へ搬送して払出す動作をハンド２と搬送装置３に対して指令する。
　図４及び図５は第一実施形態のハンドシステム１の動作を示すフローチャートである。ステップＳ１では、前回のワーク取出し後の三次元情報がメモリにあるか否かを判定する。前回のワーク取出し後の三次元情報がメモリにない場合は（ステップＳ１のＮＯ）、ステップＳ２においてワーク取出し前の対象空間の三次元情報５１を視覚センサ５から取得する。前回のワーク取出し後の三次元情報がメモリにある場合は（ステップＳ１のＹＥＳ）、ステップＳ３において前回のワーク取出し後の三次元情報をワーク取出し前の三次元情報５１とする。
　ステップＳ４では、ワーク取出し前のワークＷの位置（及び必要に応じて姿勢）がメモリにあるか否かを判定する。ワーク取出し前のワークＷの位置（及び必要に応じて姿勢）がメモリにない場合は（ステップＳ４のＮＯ）、ステップＳ５においてワーク取出し前の三次元情報５１からワークＷの位置（及び必要に応じて姿勢）を検出する。ワーク取出し前の三次元情報５１におけるワークＷの位置（及び必要に応じて姿勢）がメモリにある場合は（ステップＳ４のＹＥＳ）、ステップＳ６に進む。
　ステップＳ６では、ワークＷの位置（及び必要に応じて姿勢）に基づいて搬送装置３をワーク取出し位置へ移動させ、ハンド２を動作させてワークＷを取出す。ステップＳ７では、在籍センサ６の在籍情報に基づいて１個以上のワークＷを取出したか否かを判定する。但し、在籍情報に基づいてワーク取出し個数の範囲の計算処理を実行するか否かを判定するステップＳ７は必須のステップではないことに留意されたい。ワークＷを１個も取出していない場合は（ステップＳ７のＮＯ）、ステップＳ１に戻り、ワークＷを再度取出す。１個以上のワークＷを取出した場合は（ステップＳ７のＹＥＳ）、ステップＳ８に進む。ステップＳ８では、ワーク取出し後の三次元情報５２を視覚センサ５から取得する。
　ステップＳ９では、ワーク取出し前後の三次元情報５１、５２を差分することにより、ワーク取出し後のワーク積載領域で変化した変化領域Ｑ（消滅領域Ａと場合により荷崩れ領域Ｂとを含む）を特定する。変化領域Ｑは差分後の０でない領域である。ステップＳ９の後続処理を変化領域Ｑに制限することにより不要な計算処理を防止できる。変化領域Ｑは、変化領域Ｑに外接する、外接長方形、外接円等に置換してもよいし、又はワークＷの形状に応じた外接長方形、外接円等に置換してもよい。また、変化領域Ｑは、ワーク取出し位置から所定半径の領域を用いて制限してもよい。
　ワーク取出し前後の三次元情報５１、５２を差分した後の正の領域が消滅領域Ａである場合は、負の領域が荷崩れ領域Ｂになる。一方、ワーク取出し前後の三次元情報５１、５２を差分した後の負の領域が消滅領域Ａである場合は、正の領域が荷崩れ領域Ｂになる。但し、ワークＷが荷崩れする可能性がない積載方法を採用した場合、荷崩れ領域Ｂを特定する必要はない。なお、ステップＳ９で特定された変化領域Ｑ、消滅領域Ａ、及び場合により荷崩れ領域Ｂを、例えば色分け、異なる囲み線、又は表示切替え等によって識別して表示するとよい。これにより、ワーク取出し個数の算出過程が視覚化され、ワーク取出し個数の計算ミスの有無を確認できる。また、ステップＳ９の後続処理として、変化領域Ｑの中でワーク取出し後のワークＷの位置（及び必要に応じて姿勢）を検出し、次回のワーク取出しのためにメモリに格納しておくとよい。
　ステップＳ１０では、ワーク形状情報に基づき、消滅領域Ａに収容可能なワーク消滅個数の範囲Ｊ～Ｊ＋Ｈと、場合により荷崩れ領域Ｂに収容可能なワーク荷崩れ個数の範囲Ｋ～Ｋ＋Ｉと、を算出する。ワーク消滅個数の最大数Ｊ＋Ｈは、ワーク形状情報から得られるワークＷを消滅領域Ａから繰り返し差分して求めるか、又はワーク形状情報から得られるワークＷ一個当たりの体積で消滅領域Ａの体積を除算して求められる。ワーク消滅個数の最小数Ｊは、ワーク消滅個数の最大数Ｊ＋Ｈが１個以上の場合は１個とし、ワーク消滅個数の最大数Ｊ＋Ｈが０個の場合は０個として求められる。ワーク荷崩れ個数の最大数Ｋ＋Ｉは、ワーク形状情報から得られるワークＷを荷崩れ領域Ｂから繰り返し差分して求めるか、又はワーク形状情報から得られるワークＷ一個当たりの体積で荷崩れ領域Ｂの体積を除算して求められる。ワーク荷崩れ個数の最小数Ｋは、ワーク荷崩れ個数の最大数Ｋ＋Ｉが１個以上の場合は１個とし、ワーク荷崩れ個数の最大数が０個の場合は０個として求められる。なお、ステップＳ１０では、算出したワーク消滅個数の範囲Ｊ～Ｊ＋Ｈと、場合により算出したワーク荷崩れ個数の範囲Ｋ～Ｋ＋Ｉと、を表示装置７に表示するとよい。また図３Ａ及び図３Ｂに示すように、これら個数の範囲の算出根拠になった場所（Ｊ、Ｈ、Ｋ、Ｉで示す場所）にワークＷの形状モデルを重ねた重畳画像を表示装置７に表示してもよい。これにより、ワーク取出し個数の算出過程が視覚化され、計算ミスの有無を確認できるようになる。
　ステップＳ１１では、ワーク消滅個数の範囲と、場合によりワーク荷崩れ個数の範囲とに基づき、ワーク取出し個数の範囲Ｒ（ｍａｘ（Ｊ－（Ｋ＋Ｉ），１）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，１））を算出する。つまりワーク消滅個数の最大数Ｊ＋Ｈからワーク荷崩れ個数の最小数Ｋを減算してワーク取出し個数の最大値を求め、ワーク消滅個数の最小数Ｊからワーク荷崩れ個数の最大数Ｋ＋Ｉを減算してワーク取出し個数の最小値を求めることにより、ワーク取出し個数の範囲Ｒを算出する。但し、ワークＷが荷崩れする可能性がない積載方法を採用した場合は、ワーク荷崩れ個数の最小数Ｋを０個とし、ワーク荷崩れ個数の最大数Ｋ＋Ｉを０個とし、ワーク消滅個数の範囲のみに基づいてワーク取出し個数の範囲を算出する。また、在籍情報に基づいて１個以上のワークＷを取出したか否かを判定しない場合は（ステップＳ７の処理を行わない場合は）、式１のｍａｘ（Ｊ－（Ｋ＋Ｉ），０）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，０））に基づき、０個以上のワーク取出し個数の範囲Ｒを算出する。なお、ステップＳ１１では、算出したワーク取出し個数の範囲Ｒを表示装置７に表示してもよい。
　ステップＳ１２では、ワーク取出し個数の範囲Ｒに基づき、ハンド２と搬送装置３の少なくとも一方の動作を制御する。ワーク取出し個数の範囲Ｒが一つの値（最小値と最大値が同じ値）になり、且つ、所望の取出し個数になるまでワークＷの取出しと払出しを繰り返す動作をハンド２と搬送装置３に対して指令する。つまりワーク取出し個数の範囲Ｒが一つの値にならず又は所望の取出し個数にならない場合は、ワークＷを元の場所又は仮置き台に払出し、ステップＳ１に戻ってワークＷを再度取出す（ステップＳ６）。ワーク取出し個数の範囲Ｒが一つの値になり、且つ、所望の取出し個数になった場合は、ワークＷを払出し位置へ搬送してワークＷを払出す。
　第一実施形態のハンドシステム１によれば、ワーク積載領域（消滅領域Ａと場合により荷崩れ領域Ｂ）の中の空洞を考慮してワーク取出し個数の範囲を算出するため、ワーク取出し個数Ｒを正確に推定できる。
　第二実施形態のハンドシステム１について説明する。第二実施形態のハンドシステム１はワーク取出し個数をより精密に計算する点で、第一実施形態のハンドシステム１とは異なる。以下では、第一実施形態のハンドシステム１と同一の構成及び同一の動作については説明を省略することに留意されたい。
　ここで図６、図７Ａ及び図７Ｂを参照し、第二実施形態のワーク取出し個数の計算処理について説明する。図６は第二実施形態のハンドシステム１の動作を示すフローチャートであり、図７Ａ及び図７Ｂはワーク取出し前後のワーク積載領域の一例を示す側面図である。図６のフローチャートは、図４のステップＳ１０の処理をより精密に算出するステップＳ２０～Ｓ２４を備えている。図７Ａ及び図７Ｂは、図３Ａ及び図３Ｂと同一のワーク積載領域を示す。
　ステップＳ２０では、変化領域Ｑ（消滅領域Ａと場合により荷崩れ領域Ｂを含む）において、取出し前後の三次元情報５１、５２の視覚センサ５から見える可視領域から１個のワークＷをそれぞれ取り除いた不可視三次元情報５３、５４（一点破線で示す）をそれぞれ生成する。
　ステップＳ２１では、変化領域Ｑにおいて、取出し前の不可視三次元情報５３から取出し後の三次元情報５２を差分することにより、消滅領域Ａの中の不可視領域（正の領域）を特定し、消滅領域Ａの中の不可視領域に収容可能なワーク消滅不可視個数Ｈを算出する。ワーク消滅不可視個数Ｈは、ワーク形状情報から得られるワークＷを消滅領域Ａの中の不可視領域から繰り返し差分して求めるか、又はワーク形状情報から得られるワークＷ一個当たりの体積で消滅領域Ａの中の不可視領域の体積を除算して求められる。
　ステップＳ２２では、変化領域Ｑにおいて、取出し後の不可視三次元情報５４から取出し前の三次元情報５１を差分することにより、荷崩れ領域Ｂの中の不可視領域（正の領域）を特定し、荷崩れ領域Ｂの中の不可視領域に収容可能なワーク荷崩れ不可視個数Ｉを算出する。ワーク荷崩れ不可視個数Ｉは、ワーク形状情報から得られるワークＷを荷崩れ領域Ｂの中の不可視領域から繰り返し差分して求めるか、又はワーク形状情報から得られるワークＷ一個当たりの体積で荷崩れ領域Ｂの中の不可視領域の体積を除算して求められる。但し、ワークＷが荷崩れする可能性がない積載方法を採用した場合は、ステップＳ２２は不要になる。
　ステップＳ２３では、変化領域Ｑにおいて、取出し前の三次元情報５１から取出し前の不可視三次元情報５３を差分することにより、消滅領域Ａの中の可視領域（正の領域）を特定し、消滅領域Ａの中の可視領域に収容可能なワーク消滅可視個数Ｊを算出する。ワーク消滅可視個数Ｊは、ワーク形状情報から得られるワークＷを消滅領域Ａの中の可視領域から繰り返し差分して求めるか、又はワーク形状情報から得られるワークＷ一個当たりの体積で消滅領域Ａの中の可視領域の体積を除算して求められる。
　ステップＳ２４では、変化領域Ｑにおいて、取出し後の三次元情報５２から取出し前の不可視三次元情報５３と取出し後の不可視三次元情報５４を差分して荷崩れ領域Ｂの中の可視領域（正の領域）を特定し、荷崩れ領域Ｂの中の可視領域に収容可能なワーク荷崩れ可視個数Ｋを算出する。但し、ワークＷが荷崩れする可能性がない積載方法を採用した場合は、ワーク荷崩れ可視個数Ｋを算出するステップＳ２４が不要になる。ワーク荷崩れ可視個数Ｋは、ワーク形状情報から得られるワークＷを荷崩れ領域Ｂの中の可視領域から繰り返し差分して求めるか、又はワーク形状情報から得られるワークＷ一個当たりの体積で荷崩れ領域Ｂの中の可視領域の体積を除算して求められる。
　ステップＳ１１では、ワーク消滅個数の範囲（Ｊ～Ｊ＋Ｈ）と、場合によりワーク荷崩れ個数の範囲（Ｋ～Ｋ＋Ｉ）に基づき、ワーク取出し個数の範囲Ｒ（ｍａｘ（Ｊ－（Ｋ＋Ｉ），１）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，１））を算出する。つまりワーク消滅個数の最大数Ｊ＋Ｈからワーク荷崩れ個数の最小数Ｋを減算してワーク取出し個数の最大値を求め、ワーク消滅個数の最小数Ｊからワーク荷崩れ個数の最大数Ｋ＋Ｉを減算してワーク取出し個数の最小値を求めることにより、ワーク取出し個数の範囲Ｒを算出する。但し、ワークＷが荷崩れする可能性がない積載方法を採用した場合は、ワーク荷崩れ個数の最小数Ｋを０個とし、ワーク荷崩れ個数の最大数Ｋ＋Ｉを０個とし、ワーク消滅個数の範囲のみに基づいてワーク取出し個数の範囲を算出する。また、在籍情報に基づいて１個以上のワークＷを取出したか否かを判定しない場合は（ステップＳ７を行わない場合は）、式１のｍａｘ（Ｊ－（Ｋ＋Ｉ），０）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，０））に基づき、０個以上のワーク取出し個数の範囲Ｒを算出する。
　第二実施形態のハンドシステム１によれば、消滅領域Ａの中の不可視領域に収容可能なワーク消滅不可視個数Ｈと、場合により荷崩れ領域Ｂの中の不可視領域に収容可能なワーク荷崩れ不可視個数Ｉと、を算出することにより、ワーク積載領域（消滅領域Ａと場合により荷崩れ領域Ｂ）の中の空洞を考慮してワーク取出し個数の範囲Ｒをより精密に算出するため、ワーク取出し個数Ｒをより正確に推定できる。
　以下、ワーク積載領域の他の例について説明する。図８Ａ及び図８Ｂはワーク取出し前後のワーク積載領域の他の例を示す側面図である。図８Ａは短辺及び長辺を有する直方形の３個のワークＷを縦方向に積み重ね、真ん中の１個のワークＷを縦にし、残り２個のワークＷを横に倒し、ワークＷ２個分の空洞を含んだワーク取出し前のワーク積載領域を示している。図８Ｂは１個のワークＷを取出し、ワークＷが１個も荷崩れしていないワーク取出し後のワーク積載領域を示している。視覚センサ５はワーク積載領域を上方から撮像してワーク取出し前の三次元情報５１（破線で示す）とワーク取出し後の三次元情報５２（破線で示す）とを出力する。
　第一実施形態のワーク取出し個数の計算処理によれば（ステップＳ１０を参照）、消滅領域Ａに収容可能なワーク消滅個数の範囲Ｊ～Ｊ＋Ｈが１個～３個になる。荷崩れ領域Ｂは存在しないため、ワーク荷崩れ個数の範囲Ｋ～Ｋ＋Ｉは０個になる。従って、ワーク取出し個数の範囲Ｒ（ｍａｘ（Ｊ－（Ｋ＋Ｉ），１）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，１））は１個～３個になる。ワーク取出し個数の範囲Ｒが一つの値（最小値と最大値が同じ値）にならず又は所望の個数（本実施形態では１個であるが、複数個の場合もある）になっていないため、元の場所又は仮置き台にワークＷを払出し、ワークＷを再度取出すことになる。
　第二実施形態のワーク取出し個数の計算処理によれば（ステップＳ２１～Ｓ２４を参照）、消滅領域Ａの中の不可視領域に収容可能なワーク消滅不可視個数Ｈが２個になる。荷崩れ領域Ｂは存在しないため、荷崩れ領域Ｂの中の不可視領域に収容可能なワーク荷崩れ不可視個数Ｉは０個になる。消滅領域Ａの中の可視領域に収容可能なワーク消滅可視個数Ｊが１個になる。荷崩れ領域Ｂは存在しないため、荷崩れ領域Ｂの中の可視領域に収容可能なワーク荷崩れ可視個数Ｋは０個になる。従って、ワーク取出し個数の範囲Ｒ（ｍａｘ（Ｊ－（Ｋ＋Ｉ），１）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，１））は１個～３個になる。ワーク取出し個数の範囲Ｒが一つの値（最小値と最大値が同じ値）にならず又は所望の取出し個数（本実施形態では１個）になっていないため、元の場所又は仮置き台にワークＷを払出し、ワークＷを再度取出すことになる。
　ワーク積載領域の別の例について説明する。図９Ａ及び図９Ｂはワーク取出し前後のワーク積載領域の別の例を示す側面図である。図９Ａは短辺及び長辺を有する直方形の３個のワークＷを横方向にバラ積みされ、２個のワークＷが横に倒され、最も左側の残り１個のワークＷが真ん中のワークＷに寄り掛かったワーク取出し前のワーク積載領域を示している。図９Ｂは真ん中の１個のワークＷを取出し、最も左側のワークＷが荷崩れしたワーク取出し後のワーク積載領域を示している。視覚センサ５はワーク積載領域を上方から撮像してワーク取出し前の三次元情報５１（破線で示す）とワーク取出し後の三次元情報５２（破線で示す）とを出力する。
　第一実施形態のワーク取出し個数の計算処理によれば（ステップＳ１０を参照）、消滅領域Ａに収容可能なワーク消滅個数の範囲Ｊ～Ｊ＋Ｈが２個～２個になる。荷崩れ領域Ｂに収容可能なワーク荷崩れ個数の範囲Ｋ～Ｋ＋Ｉは１個～１個になる。従って、ワーク取出し個数の範囲Ｒ（ｍａｘ（Ｊ－（Ｋ＋Ｉ），１）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，１））は１個～１個になる。ワーク取出し個数の範囲Ｒが一つの値（最小値と最大値が同じ値）になり、且つ、所望の取出し個数（本実施形態では１個）になっているため、ワークＷを払出し位置へ搬送することになる。
　第二実施形態のワーク取出し個数の計算処理によれば（ステップＳ２１～Ｓ２４を参照）、消滅領域Ａの中に不可視領域が存在しないため、消滅領域Ａの中の不可視領域に収容可能なワーク消滅不可視個数Ｈが０個になる。荷崩れ領域Ｂの中に不可視領域が存在しないため、荷崩れ領域Ｂの中の不可視領域に収容可能なワーク荷崩れ不可視個数Ｉは０個になる。消滅領域Ａの中の可視領域に収容可能なワーク消滅可視個数Ｊは２個になる。荷崩れ領域Ｂの中の可視領域に収容可能なワーク荷崩れ可視個数Ｋは１個になる。従って、ワーク取出し個数の範囲Ｒ（ｍａｘ（Ｊ－（Ｋ＋Ｉ），１）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，１））は１個～１個になる。ワーク取出し個数の範囲Ｒが一つの値（最小値と最大値が同じ値）になり、且つ、所望の取出し個数（本実施形態では１個）になっているため、ワークＷを払出し位置へ搬送することになる。
　ワーク積載領域のさらに別の例について説明する。図１０Ａ及び図１０Ｂはワーク取出し前後のワーク積載領域の別の例を示す側面図である。図１０Ａは短辺及び長辺を有する直方形の２個のワークＷが横に倒され、左側の１個のワークＷが右側の１個のワークＷに引っ掛かってワークＷ１個分浮いたワーク取出し前のワーク積載領域を示している。図１０Ｂは右側の１個のワークＷを取出し、左側のワークＷが地盤沈下のように落下したワーク取出し後のワーク積載領域を示している。視覚センサ５はワーク積載領域を上方から撮像してワーク取出し前の三次元情報５１（破線で示す）とワーク取出し後の三次元情報５２（破線で示す）とを出力する。
　第一実施形態のワーク取出し個数の計算処理では（ステップＳ１０を参照）、消滅領域Ａに収容可能なワーク消滅個数の範囲Ｊ～Ｊ＋Ｈが２個～２個になる。一方、ワーク取出し前の三次元情報５１とワーク取出し後の三次元情報５２を差分しても荷崩れ領域Ｂ（負の領域又は正の領域）を特定できないため、実際には荷崩れ領域Ｂが存在していても、荷崩れ領域Ｂに収容可能なワーク荷崩れ個数の範囲Ｋ～Ｋ＋Ｉは間違って０個～０個になってしまう（本来は１個～１個）。従って、ワーク取出し個数の範囲Ｒ（ｍａｘ（Ｊ－（Ｋ＋Ｉ），１）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，１））は間違って２個～２個になり、一つの値（最小値と最大値が同じ値）になる。しかし、ワーク取出し個数（２個）が所望の取出し個数（本実施形態では１個）になっていないため、元の場所又は仮置き台にワークＷを払出し、ワークＷを再度取出すことになるため、ハンドシステム１の誤作動を防止できる。但し、所望の取出し個数が２個の場合は、間違って１個のワークＷだけ払出し位置に搬送してしまう可能性がある。しかし、在籍情報がワーク取出し個数（１個）を含む場合は、算出したワーク取出し個数（２個）を、在籍情報のワーク取出し個数（１個）に基づき検算することにより、ハンドシステム１の誤作動を防止できる。
　第二実施形態のワーク取出し個数の計算処理では（ステップＳ２１～Ｓ２４を参照）、消滅領域Ａの中に不可視領域が存在しないため、消滅領域Ａの中の不可視領域に収容可能なワーク消滅不可視個数Ｈが０個になる。荷崩れ領域Ｂの中に不可視領域は存在しないため、荷崩れ領域Ｂの中の不可視領域に収容可能なワーク荷崩れ不可視個数Ｉは０個になる。消滅領域Ａの中の可視領域に収容可能なワーク消滅可視個数Ｊは２個になる。しかし、取出し後の三次元情報５２から取出し前の不可視三次元情報５３と取出し後の不可視三次元情報５４とを差分しても、荷崩れ領域Ｂの中の可視領域（正の領域）を特定できないため、実際には荷崩れ領域Ｂが存在していても、荷崩れ領域Ｂの中の可視領域に収容可能なワーク荷崩れ可視個数Ｋは間違って０個になる。従って、ワーク取出し個数の範囲Ｒ（ｍａｘ（Ｊ－（Ｋ＋Ｉ），１）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，１））は間違って２個～２個になり、一つの値（最小値と最大値が同じ値）になる。しかし、ワーク取出し個数（２個）が所望の取出し個数（本実施形態では１個）になっていないため、元の場所又は仮置き台にワークＷを払出し、ワークＷを再度取出すことになるため、ハンドシステム１の誤作動を防止できる。但し、所望の取出し個数が２個の場合は、間違って１個のワークＷだけ払出し位置に搬送してしまう可能性がある。しかし、在籍情報がワーク取出し個数（１個）を含む場合は、算出したワーク取出し個数（２個）を、在籍情報のワーク取出し個数（１個）に基づき検算することにより、ハンドシステム１の誤作動を防止できる。
　図１０Ａ及び図１０Ｂに示すように、ワークＷが１個分だけ地盤沈下するように真下に落下する場合、ワークＷが取出されて消滅領域Ａが生成されたのか又はワークＷが地盤沈下したのかが判別できない。従って、誤ったワーク取出し個数の範囲Ｒが算出される可能性がある。しかし、ワーク取出し個数の範囲Ｒが所望の取出し個数（本実施形態では１個）になっているか否かを判定したり、又は在籍情報に基づいてワーク取出し個数の範囲Ｒを検算したり、といった他の方法を組み合わせることにより、ハンドシステム１の誤作動を引き起こす可能性が低減すると考えられる。なお、ワークＷが２個以上分落下した場合、ワーク取出し個数算出部４４がエラーを出力するとよい。
　第三実施形態のハンドシステム１について説明する。第三実施形態のハンドシステム１は、視覚センサ５を在籍センサとして利用するため、在籍センサ６を備えていない点で、第一実施形態のハンドシステム１とは異なる。視覚センサ５は、複数のワークＷが積載（バラ積み又は積み重ね）されたワーク積載領域と、ワークＷを取出すハンド２と、を含む対象空間の三次元情報を計測して出力する。本実施形態では、視覚センサ５をハンド２や搬送装置３とは別場所の固定点に設置することにより、視覚センサ５がワークＷを取出すハンド２を含む対象空間の三次元情報を出力する。他の実施形態では、視覚センサ５がハンド２を含む対象空間の三次元情報を出力する場合は、第一実施形態のように視覚センサ５をハンド２又は搬送装置３に取付けてもよい。以下では、第一実施形態のハンドシステム１と同一の構成及び同一の動作については説明を省略することに留意されたい。
　図２を再び参照すると、動作制御部４５が搬送装置３をワーク取出し後の待機位置に移動させたとき、在籍情報取得部４３はワーク取出し後の三次元情報５２を視覚センサ５から取得する。在籍情報取得部４３は、ワーク取出し後の三次元情報５２に基づき、１個以上のワークＷをハンド２で取出したか否かを示す在籍情報を生成し、生成した在籍情報をワーク取出し個数算出部４４に送出する。
　図１２はワーク取出し後の三次元情報５２の一例を示す距離画像図である。本実施形態の在籍情報取得部４３は、ワーク取出し後の三次元情報５２の中でハンド２を含む在籍確認領域５２ａを予め設定しておく。在籍情報取得部４３は、マッチング処理等の画像処理を用いて在籍確認領域５２ａからワークＷを検出し、１個以上のワークＷをハンド２で取出したか否かを示す在籍情報を生成する。在籍情報が１個以上のワークＷを取出したことを示す場合、ワーク取出し個数算出部４４がワーク取出し個数の範囲の計算処理を実行しする。在籍情報がワークＷを１個も取出していないことを示す場合は、ワーク取出し個数算出部４４がワーク取出し個数の範囲の計算処理を実行せず、ワーク取出し個数を０個として動作制御部４５に送出する。これによりワーク取出し個数算出部４４による不要な計算処理を防止できる。
　また、在籍情報取得部４３は、画像処理を用いて在籍確認領域５２ａからワーク取出し個数を算出してもよい。ワーク取出し個数算出部４４は、在籍情報がワーク取出し個数を含む場合は、算出したワーク取出し個数の範囲が一つの値（最小値と最大値が同じ値）になり且つ所望の取出し個数（本実施形態では１個）になったときに、算出したワーク取出し個数を、在籍情報のワーク取出し個数に基づき検算するとよい。
　第三実施形態のハンドシステム１によれば、視覚センサ５を在籍センサとして利用するため、視覚センサ５とは別個の在籍センサを用意する必要がなく、低コストのハンドシステム１を提供できる。また、ワーク取出し個数算出部４４による不要な計算処理を防止できる。
　前述のコンピュータプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばＣＤ－ＲＯＭ等に記録して提供してもよいし、或いは有線又は無線を介してＷＡＮ（wide area network）又はＬＡＮ（local area network）上のサーバ装置から配信して提供してもよい。
　本明細書において種々の実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。
　１　ハンドシステム
　２　ハンド
　３　搬送装置
　４　制御装置
　５　視覚センサ
　６　在籍センサ
　７　表示装置
　４０　ワーク取出し個数算出装置
　４１　三次元情報取得部
　４２　ワーク形状情報取得部
　４３　在籍情報取得部
　４４　ワーク取出し個数算出部
　４５　動作制御部
　５１　ワーク取出し前の三次元情報
　５２　ワーク取出し後の三次元情報
　５２ａ　在籍確認領域
　５３　ワーク取出し前の不可視三次元情報
　５４　ワーク取出し後の不可視三次元情報
　Ａ　消滅領域
　Ｂ　荷崩れ領域
　Ｈ　ワーク消滅不可視個数
　Ｉ　ワーク荷崩れ不可視個数
　Ｊ　ワーク消滅可視個数
　Ｋ　ワーク荷崩れ可視個数
　Ｑ　変化領域
　Ｗ　ワーク

Claims (15)

  1. 　ワークが複数積載された対象空間の三次元情報を取得する三次元情報取得部と、
    　前記ワークの形状情報を取得するワーク形状情報取得部と、
    　ワーク取出し前後の前記対象空間の三次元情報と前記ワークの形状情報とに基づいて前記ワークの積載領域の中の空洞を考慮してワーク取出し個数の範囲を算出するワーク取出し個数算出部と、
    　を備える、ワーク取出し個数算出装置。
  2. 　前記ワーク取出し個数算出部は、ワーク取出し後に前記積載領域から消滅した消滅領域に収容可能なワーク消滅個数の範囲に基づき、前記ワーク取出し個数の範囲を算出する、請求項１に記載のワーク取出し個数算出装置。
  3. 　前記ワーク取出し個数算出部は、ワーク取出し後に前記ワークの前記積載領域に新たに出現した荷崩れ領域に収容可能なワーク荷崩れ個数の範囲を加味し、前記ワーク取出し個数の範囲を算出する、請求項２に記載のワーク取出し個数算出装置。
  4. 　前記ワーク取出し個数算出部は、前記ワーク消滅個数の最大数から前記ワーク荷崩れ個数の最小数を減算して前記ワーク取出し個数の最大値を求め、前記ワーク消滅個数の最小数から前記ワーク荷崩れ個数の最大数を減算して前記ワーク取出し個数の最小値を求めることにより、前記ワーク取出し個数の範囲を算出する、請求項３に記載のワーク取出し個数算出装置。
  5. 　ワーク取出し後に前記ワークの積載領域から消滅した消滅領域に収容可能なワーク消滅個数の範囲と、
    　場合により、ワーク取出し後に前記ワークの積載領域に新たに出現した荷崩れ領域に収容可能なワーク荷崩れ個数の範囲と、
    　前記ワーク消滅個数の範囲と、場合により前記ワーク荷崩れ個数の範囲とに基づき算出されたワーク取出し個数の範囲と、
    　前記ワーク取出し個数の範囲の最大値と最小値が一致した場合にはワーク取出し個数と、
    　のうちの少なくとも一つを表示する表示部をさらに備える、請求項１から４のいずれか一項に記載のワーク取出し個数算出装置。
  6. 　前記表示部は、前記ワーク消滅個数の範囲と、場合により前記ワーク荷崩れ個数の範囲と、前記ワーク取出し個数の範囲と、のうちの少なくとも一つの算出根拠になった場所に、前記ワークの形状モデルを重ねた重畳画像を表示する、請求項５に記載のワーク取出し個数算出装置。
  7. 　前記ワーク取出し個数算出部は、ワーク取出し前後の前記対象空間の前記三次元情報を差分することにより、ワーク取出し後に前記積載領域で変化した変化領域を特定する、請求項１から６のいずれか一項に記載のワーク取出し個数算出装置。
  8. 　前記変化領域は、ワーク取出し後に前記対象空間の前記三次元情報から消滅した消滅領域と、ワーク取出し後に前記対象空間の前記三次元情報に新たに出現した荷崩れ領域と、の少なくとも一方を含む、請求項７に記載のワーク取出し個数算出装置。
  9. 　１個以上の前記ワークを取出したか否かを示す在籍情報を取得する在籍情報取得部をさらに備え、前記ワーク取出し個数算出部は、前記在籍情報に基づいて前記ワーク取出し個数の範囲の計算処理を実行するか否かを判定する、請求項１から８のいずれか一項に記載のワーク取出し個数算出装置。
  10. 　前記ワーク取出し個数の範囲に基づき、前記ワークの取出し及び払出しを行うハンドと、前記ハンドを用いて前記ワークを搬送する搬送装置と、の少なくとも一方の動作を制御する動作制御部をさらに備える、請求項１から９のいずれか一項に記載のワーク取出し個数算出装置。
  11. 　前記動作制御部は前記ワーク取出し個数の範囲が一つの値になり且つ所望の取出し個数になるまで前記ワークの取出し及び払出しを繰り返す動作を前記ハンドに対して指令する、請求項１０に記載のワーク取出し個数算出装置。
  12. 　ワークの取出し及び払出しを行うハンドと、
    　前記ハンドを用いてワークを搬送する搬送装置と、
    　前記ハンド及び前記搬送装置の少なくとも一方の動作を制御する制御装置と、
    　前記ワークが複数積載された対象空間の三次元情報を出力する視覚センサと、
    　を備え、
    　前記制御装置は、
    　　前記対象空間の三次元情報を前記視覚センサから取得する三次元情報取得部と、
    　前記ワークの形状情報を取得するワーク形状情報取得部と、
    　ワーク取出し前後の前記対象空間の三次元情報と前記ワークの形状情報とに基づいて前記ワークの積載領域の中の空洞を考慮してワーク取出し個数の範囲を算出するワーク取出し個数算出部と、
    　　前記ワーク取出し個数の範囲に基づき、前記ハンド及び前記搬送装置の少なくとも一方の動作を制御する動作制御部と、
    　を備える、ハンドシステム。
  13. 　１個以上のワークを取出したか否かを示す在籍情報を出力する在籍センサをさらに備え、前記ワーク取出し個数算出部は前記在籍情報に基づいて前記ワーク取出し個数の範囲の計算処理を実行するか否かを判定する、請求項１２に記載のハンドシステム。
  14. 　複数積載されたワークの中から取出されたワークの取出し個数の算出過程を視覚的に表示する表示装置であって、ワーク取出し前後の対象空間の三次元情報の少なくとも一方に、ワーク取出し後にワークの積載領域で変化した変化領域を重ねた重畳画像を表示する表示部を備える、表示装置。
  15. 　前記変化領域は、前記ワーク取出し後に前記積載領域から消滅した消滅領域と、場合により前記ワーク取出し後に前記積載領域に新たに出現した荷崩れ領域と、の少なくとも一方を含み、前記表示部は、前記変化領域、前記消滅領域、及び場合により前記荷崩れ領域の少なくとも一つを識別して表示する、請求項１４に記載の表示装置。
PCT/JP2021/023100 2021-06-17 2021-06-17 ワーク取出し個数算出装置、ハンドシステム、及び表示装置 WO2022264381A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2023528898A JPWO2022264381A1 (ja) 2021-06-17 2021-06-17
DE112021007401.6T DE112021007401T5 (de) 2021-06-17 2021-06-17 Vorrichtung zur berechnung der werkstück-anzahl beim aufnehmen, handsystem und anzeigegerät
CN202180099090.2A CN117425549A (zh) 2021-06-17 2021-06-17 工件取出个数计算装置、机械手系统以及显示装置
PCT/JP2021/023100 WO2022264381A1 (ja) 2021-06-17 2021-06-17 ワーク取出し個数算出装置、ハンドシステム、及び表示装置
TW111118348A TW202301197A (zh) 2021-06-17 2022-05-17 工件取出個數計算裝置、手部系統及顯示裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/023100 WO2022264381A1 (ja) 2021-06-17 2021-06-17 ワーク取出し個数算出装置、ハンドシステム、及び表示装置

Publications (1)

Publication Number Publication Date
WO2022264381A1 true WO2022264381A1 (ja) 2022-12-22

Family

ID=84526952

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023100 WO2022264381A1 (ja) 2021-06-17 2021-06-17 ワーク取出し個数算出装置、ハンドシステム、及び表示装置

Country Status (5)

Country Link
JP (1) JPWO2022264381A1 (ja)
CN (1) CN117425549A (ja)
DE (1) DE112021007401T5 (ja)
TW (1) TW202301197A (ja)
WO (1) WO2022264381A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007179301A (ja) * 2005-12-28 2007-07-12 Ishikawajima Harima Heavy Ind Co Ltd 物品の荷崩れ検出方法および装置
JP2018144156A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2019198950A (ja) * 2018-05-18 2019-11-21 ファナック株式会社 バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9205558B1 (en) 2014-07-16 2015-12-08 Google Inc. Multiple suction cup control

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007179301A (ja) * 2005-12-28 2007-07-12 Ishikawajima Harima Heavy Ind Co Ltd 物品の荷崩れ検出方法および装置
JP2018144156A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2019198950A (ja) * 2018-05-18 2019-11-21 ファナック株式会社 バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法

Also Published As

Publication number Publication date
JPWO2022264381A1 (ja) 2022-12-22
CN117425549A (zh) 2024-01-19
TW202301197A (zh) 2023-01-01
DE112021007401T5 (de) 2024-01-18

Similar Documents

Publication Publication Date Title
KR102650492B1 (ko) 자동화된 패키지 등록 메커니즘과 이를 작동시키는 방법을 구비한 로봇 시스템
JP7349094B2 (ja) ピースロス管理メカニズムを有するロボットシステム
CN111730603B (zh) 机器人系统的控制装置以及控制方法
US11103998B2 (en) Method and computing system for performing motion planning based on image information generated by a camera
JP2019509559A (ja) センサ誘導式ロボットを用いたボックスの位置特定、分離、およびピッキング
KR20170012455A (ko) 궤적 계획을 위한 물체 메트릭들의 실시간 결정
JP2010247959A (ja) 箱状ワーク認識装置および方法
JP7175487B1 (ja) 画像ベースのサイジングメカニズムを備えたロボットシステム及びロボットシステムを操作するための方法
JP2023154055A (ja) ロボット多面グリッパアセンブリ及びその操作方法
WO2022264381A1 (ja) ワーク取出し個数算出装置、ハンドシステム、及び表示装置
JP7126667B1 (ja) 深さベースの処理メカニズムを伴うロボットシステム及びロボットシステムを操作するための方法
JP7218881B1 (ja) 物体更新機構を備えたロボットシステム及びロボットシステムを操作するための方法
JP7286524B2 (ja) ピッキングロボット、ピッキング方法及びプログラム
JP7398763B2 (ja) 重なり処理機構を備えたロボットシステム及びその操作方法
JP7264387B2 (ja) 開閉式物体用のロボットグリッパアセンブリ及び物体をピッキングするための方法
CN115609569A (zh) 具有基于图像的尺寸确定机制的机器人系统及其操作方法
CN115570556A (zh) 具有基于深度的处理机制的机器人系统及其操作方法
CN115258510A (zh) 具有物体更新机制的机器人系统和用于操作所述机器人系统的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21946058

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023528898

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 112021007401

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 202180099090.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18568281

Country of ref document: US