WO2020250761A1 - ワーク検出装置及びワーク検出方法 - Google Patents

ワーク検出装置及びワーク検出方法 Download PDF

Info

Publication number
WO2020250761A1
WO2020250761A1 PCT/JP2020/021864 JP2020021864W WO2020250761A1 WO 2020250761 A1 WO2020250761 A1 WO 2020250761A1 JP 2020021864 W JP2020021864 W JP 2020021864W WO 2020250761 A1 WO2020250761 A1 WO 2020250761A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
model
models
angle
pattern matching
Prior art date
Application number
PCT/JP2020/021864
Other languages
English (en)
French (fr)
Inventor
久保田　輝幸
鷲尾　毅
聡志 ▲高▼津
尚史 三浦
周平 寺▲崎▼
Original Assignee
株式会社アマダ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アマダ filed Critical 株式会社アマダ
Priority to EP20822129.1A priority Critical patent/EP3984710B1/en
Priority to US17/616,739 priority patent/US20220335642A1/en
Publication of WO2020250761A1 publication Critical patent/WO2020250761A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B21—MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21D—WORKING OR PROCESSING OF SHEET METAL OR METAL TUBES, RODS OR PROFILES WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21D43/00—Feeding, positioning or storing devices combined with, or arranged in, or specially adapted for use in connection with, apparatus for working or processing sheet metal, metal tubes or metal profiles; Associations therewith of cutting devices
    • B21D43/02—Advancing work in relation to the stroke of the die or tool
    • B21D43/04—Advancing work in relation to the stroke of the die or tool by means in mechanical engagement with the work
    • B21D43/10—Advancing work in relation to the stroke of the die or tool by means in mechanical engagement with the work by grippers
    • B21D43/105—Manipulators, i.e. mechanical arms carrying a gripper element having several degrees of freedom
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B21—MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21D—WORKING OR PROCESSING OF SHEET METAL OR METAL TUBES, RODS OR PROFILES WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21D5/00—Bending sheet metal along straight lines, e.g. to form simple curves
    • B21D5/004—Bending sheet metal along straight lines, e.g. to form simple curves with program control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37422—Distance and attitude detector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the present invention relates to a work detection device and a work detection method for detecting a work loaded in a mounting place.
  • the work holding robot may hold the work loaded in a mounting place such as a pallet and convey it to a processing machine such as a press brake (see Patent Document 1).
  • the work detection device detects the position of the work by photographing the work arranged at the mounting place with a camera.
  • the position of the work may be detected by photographing the work on which the work detection device is loaded with a monocular camera.
  • the work detection device tries to detect the position of the work based on the image captured by the monocular camera, the height of the work cannot be accurately measured, so that the position of the work cannot be detected with high accuracy. Then, the work holding robot may not be able to hold the work, and holding an inappropriate position may cause machining stoppage or machining failure.
  • One or more embodiments provide a work detection device and a work detection method capable of detecting the position of the work with high accuracy based on a captured image of the work loaded in the mounting place by a monocular camera.
  • the purpose is to do.
  • a keystone correction unit that performs keystone correction of captured image data obtained by capturing a workpiece loaded at a mounting location with a monocular camera, and a keystone-corrected captured image data.
  • a model showing an image of a work to be detected and a first pattern matching with a first plurality of models having a plurality of sizes and a plurality of angles is performed to obtain the highest degree of matching.
  • a pattern matching unit that selects a model with a high size and angle, and a primary detection unit that detects the position and angle of the highest-level work among the loaded works based on the model selected by the pattern matching unit.
  • the actual loading height calculation unit that calculates the actual loading height of the top-level work based on the height, and the pattern matching unit are the trapezoid-corrected photographed image data image and the actual loading height. Select from the first plurality of models based on the above, or perform a second pattern matching with a second plurality of models newly created based on the actual loading height, which is less than the first plurality of models.
  • a work detection device is provided that includes a secondary detection unit that rediscovers the position and angle of the top-level work based on a model of the highest degree of matching size and angle selected by execution.
  • the work loaded in the mounting place is photographed by a monocular camera, and the monocular camera performs trapezoidal correction on the photographed image data obtained by photographing the work to make a trapezoid.
  • the first pattern matching is executed between the image of the corrected captured image data and the image of the work to be detected, and the first plurality of models having a plurality of sizes and a plurality of angles.
  • the model with the highest degree of matching is selected, and the position and angle of the top-level work among the loaded works are detected based on the model selected by the first pattern matching.
  • the gripper of the work holding robot is positioned above the uppermost work based on the detected position and angle of the uppermost work, the hand height detected by the work holding robot is reached. Based on this, the actual loading height of the top-level workpiece is calculated, and the trapezoid-corrected photographed image data image and the first plurality of models are selected based on the actual loading height. , Perform a second pattern matching with a second plurality of models newly created based on the actual loading height, which is less than the first plurality, to obtain a model of the size and angle having the highest degree of matching.
  • a work detection method is provided that selects and rediscovers the position and angle of the top-level work based on the model selected by the second pattern matching.
  • the position of the work can be detected with high accuracy based on the captured image of the work loaded in the mounting place by the monocular camera. it can.
  • FIG. 1 is a perspective view showing a configuration example of a processing system in which a work loaded in a mounting place is held by a work holding robot and conveyed to a processing machine to process the work.
  • FIG. 2 is a block diagram showing a configuration example of a processing system including the work detection device of one or more embodiments.
  • FIG. 3 is a block diagram showing a specific configuration example of the work detection device of one or more embodiments.
  • FIG. 4 is a flowchart showing a process in which the work detection device of one or more embodiments cooperates with the robot control device to detect the work.
  • FIG. 5 is a diagram showing a model of the work to be detected.
  • FIG. 1 is a perspective view showing a configuration example of a processing system in which a work loaded in a mounting place is held by a work holding robot and conveyed to a processing machine to process the work.
  • FIG. 2 is a block diagram showing a configuration example of a processing system including the work detection device of one or more embodiments
  • FIG. 6 is a diagram showing a model of a plurality of sizes and a plurality of angles stored in a model storage unit included in the work detection device of one or more embodiments.
  • FIG. 7 is a diagram showing a state in which a pattern matching unit included in the work detection device of one or more embodiments is pattern-matched between a work loaded at a mounting location and a model.
  • FIG. 8 is a diagram showing definitions of the position and angle of the work.
  • FIG. 9 is a conceptual side view for explaining a method of calculating the actual loading height of the work.
  • FIG. 10 is a conceptual side view showing a state in which the gripper of the work holding robot is moved based on the position and angle of the rediscovered work.
  • FIG. 1 a plurality of work Ws are loaded on the pallet 20 which is an example of the placement place.
  • Frames 21a and 21b are arranged on both sides of the pallet 20.
  • the frame 21a has one vertical frame and a horizontal frame connected to the upper end of the vertical frame.
  • the frame 21b has a pair of vertical frames and a horizontal frame connected to the upper ends of the pair of vertical frames.
  • Lighting fixtures 22a and 22b are attached to opposite surfaces of the horizontal frames of the frames 21a and 21b, respectively.
  • the luminaires 22a and 22b have, for example, a plurality of light emitting diodes (LEDs).
  • the luminaires 22a and 22b irradiate the work W loaded on the pallet 20 with illumination light.
  • An L-shaped support column 23 including a vertical frame extending to a predetermined height and a horizontal frame connected to the upper end of the vertical frame is attached to the frame 21a.
  • a camera 30 is attached to the tip of the support column 23 (horizontal frame).
  • the camera 30 is a monocular camera.
  • the camera 30 photographs the pallet 20 and the work W from a position that is farther from the work holding robot 10 than directly above the center of the pallet 20. That is, the camera 30 photographs the pallet 20 and the work W from a position diagonally above. As a result, the camera 30 does not interfere with the operation of the work holding robot 10 holding and transporting the work W loaded on the pallet 20.
  • the work W is irradiated with the illumination light by the lighting fixtures 22a and 22b.
  • the edge of the work W is clarified, and the position of the work W can be easily detected when the position of the work W is detected by pattern matching described later.
  • An articulated work holding robot 10 is arranged between the pallet 20 and the press brake 40, which is an example of a processing machine.
  • the work holding robot 10 has a gripper 11 at its tip for sucking the work W.
  • the gripper 11 has a plurality of suction pads 12.
  • the gripper 11 attracts and holds one top-level work W, and conveys the work W to the press brake 40 for processing.
  • the work holding robot 10 and the press brake 40 constitute a processing system.
  • the captured image data captured by the camera 30 is supplied to the image processing device 300.
  • the image processing device 300 detects the position and angle of the uppermost work W on the palette 20 based on the captured image data, and supplies the detected position and angle information to the robot control device 100.
  • the image processing device 300 functions as a work detection device of one or more embodiments.
  • the robot control device 100 controls the work holding robot 10 so as to hold the work W on the pallet 20 based on the position information of the work W.
  • the work holding robot 10 includes a surface detection sensor 13 that detects the surface of the work W when the gripper 11 is located above the work W.
  • the image processing device 300 and the robot control device 100 can be configured by a computer device. By giving the robot control device 100 the function of the image processing device 300, the robot control device 100 and the image processing device 300 may be integrated.
  • FIG. 3 shows a specific configuration of the image processing device 300.
  • the image processing device 300 includes a keystone correction unit 301, a pattern matching unit 302, a model storage unit 303, a primary detection unit 304, an actual load height calculation unit 305, a secondary detection unit 306, and a transmission / reception unit 307.
  • the flowchart shown in FIG. 4 shows the processing executed by the image processing device 300 and the robot control device 100 that are linked to each other.
  • the keystone correction unit 301 performs keystone correction of the captured image data supplied from the camera 30 in step S301. If the input of the captured image data is continued, the keystone correction unit 301 continuously corrects the captured image data.
  • the camera 30 outputs captured image data which is a digital signal, or when the camera 30 outputs a captured image signal of an analog signal, an A / D converter (not shown) converts the captured image signal into a digital signal. Generate captured image data.
  • the keystone correction unit 301 corrects the captured image data in a keystone using the parameters obtained based on the calibration work executed in advance.
  • step S302 the pattern matching unit 302 executes pattern matching (first pattern matching) between the keystone-corrected captured image data image and the work W model stored in the model storage unit 303. Select the model with the highest degree of matching size and angle.
  • the pattern matching unit 302 selects the model with the highest degree of matching as follows. Taking a work W having a shape as shown in FIG. 1 as an example, the model Mw shown in FIG. 5 is stored in the model storage unit 303.
  • the model Mw consists of a line image showing the work W.
  • FIG. 6 in the model storage unit 303, a plurality of model Mw in which the sizes of the model Mw shown in FIG. 5 are different in a plurality of steps and the model Mw of each size is rotated by a predetermined angle are provided. It is remembered.
  • the size of the captured image of the work W taken by the camera 30 is the smallest when one work W is arranged on the pallet 20 and the work W is photographed, and the maximum number of work Ws are loaded on the pallet 20. It is the largest when the top work W is photographed. Therefore, the model storage unit 303 may store the model Mw having a plurality of stages from the model Mw corresponding to the captured image of the minimum work W to the model Mw corresponding to the captured image of the maximum work W.
  • the model storage unit 303 stores a plurality of model Mw obtained by rotating the model Mw of each size by a predetermined angle. Assuming that the predetermined angle is 1 degree, the model storage unit 303 stores each 360 model Mw obtained by rotating the model Mw of each size by 1 degree.
  • the model storage unit 303 stores not only the model Mw shown in FIGS. 5 and 6 but also the model Mw of the work W having various shapes that may be loaded on the pallet 20.
  • the image 30i captured by the camera 30 includes an image of the work W loaded on the pallet 20.
  • the model Mw closest to the size and angle of the image of the top work W is matched and selected.
  • the highest work W is detected by selecting the model Mw closest to the image of the highest work W.
  • the pattern matching unit 302 determines in step S303 whether or not the work W has been successfully detected by matching the model Mw. If the detection of the work W is not successful (NO), the transmission / reception unit 307 notifies the robot control device 100 that the work W has not been detected in step S304, and the image processing device 300 ends the process. Let me. In FIG. 4, the broken arrow line indicates that information or data is transmitted from the image processing device 300 to the robot control device 100 and from the robot control device 100 to the image processing device 300.
  • step S101 the robot control device 100 determines whether or not there has been a notification that the work W has not been detected, and if there is a notification that the work W has not been detected (YES), the processing is performed. To finish.
  • the robot control device 100 controls the work holding robot 10 to hold all the work W arranged on the pallet 20 and convey the work W to the press brake 40, the work W is not arranged on the pallet 20. Become. When all the work W is conveyed to the press brake 40 and the work W does not exist on the pallet 20, the work W is not detected. Therefore, when the work W does not exist on the pallet 20, the work W is not successfully detected in step S303.
  • the primary detection unit 304 detects the position and angle of the work W in step S305. As shown in FIG. 8, the primary detection unit 304 detects the position (x, y) of the corner portion of the model Mw selected as described above as the position of the work W on the pallet 20. The primary detection unit 304 sets the angle of the selected model Mw as the angle ⁇ of the work W on the pallet 20.
  • the position of the corner portion P0 of the palette 20 shown in FIG. 1 is the origin (0,0) of the captured image captured by the camera 30 on the palette 20.
  • step S305 the primary detection unit 304 detects the height h of the work W based on the size of the matched model Mw. In this way, the primary detection unit 304 detects the position and angle information (x, y, ⁇ , h) including the position and angle information in the planar position and height direction of the uppermost work W. ..
  • the detected height h of the work W is not always the actual height accurately detected. Since the height h includes an error, the actual position of the work W (x, y) is not always detected accurately.
  • step S306 the transmission / reception unit 307 transmits the position and angle information (x, y, h, ⁇ ) of the work W to the robot control device 100.
  • step S102 the robot control device 100 determines whether or not the position and angle information (x, y, ⁇ , h) of the work W has been received. If the position and angle information (x, y, ⁇ , h) of the work W is not received (NO), the robot control device 100 repeats the process of step S102.
  • the robot control device 100 If the robot control device 100 receives the position and angle information (x, y, ⁇ , h) of the work W in step S102 (YES), the robot control device 100 moves the gripper 11 above the work W in step S103. It is rotated by an angle ⁇ and lowered at a low speed so as to approach the height h. As shown in FIG. 9, when the gripper 11 approaches the uppermost work W, the surface detection sensor 13 detects the surface of the work W.
  • the surface detection sensor 13 may be a contact type surface detection sensor or a non-contact type surface detection sensor.
  • step S104 the robot control device 100 determines whether or not there is a surface detection reaction by the surface detection sensor 13 from the work holding robot 10. If there is no surface detection reaction (NO), the robot control device 100 repeats the processes of steps S103 and S104. If there is a surface detection reaction in step S104 (YES), the robot control device 100 transmits the hand height Hr shown in FIG. 9 received from the work holding robot 10 to the image processing device 300 in step S105.
  • the secondary detection unit 306 re-detects the position and angle of the uppermost work W in step S309. Specifically, the actual load height Hw detected by the actual load height calculation unit 305 is supplied to the pattern matching unit 302. The pattern matching unit 302 selects a part of the model Mw based on the actual load height Hw from the model Mw of all sizes stored in the model storage unit 303 for detecting the work W shown in FIG. To do. Assuming that the model Mw of all sizes is the first plurality of model Mw, the model Mw selected based on the actual loading height Hw is the second plurality of model Mw less than the first plurality.
  • the pattern matching unit 302 may create a new model Mw having a size based on the actual loading height Hw instead of selecting a part of the model Mw based on the actual loading height Hw.
  • the processing speed can be increased although it is necessary to store many model Mw of different sizes in the model storage unit 303.
  • the capacity of the model storage unit 303 can be reduced although the processing speed is slowed down.
  • Some model Mw is a model Mw of a plurality of angles having a plurality of sizes corresponding to a limited range from the height obtained by adding an error to the actual loading height Hw to the height obtained by subtracting the error from the actual loading height Hw. It is better to say.
  • the error of adding or subtracting to the actual loading height Hw should be the plate thickness of the work W.
  • the second plurality of model Mw does not have to include the model Mw of all angles.
  • the second plurality of model Mw may include the model Mw of the angle included in the range of a predetermined angle centered on the angle detected by the primary detection unit 304.
  • the pattern matching unit 302 performs pattern matching (second pattern matching) with the image of the captured image data by using the second plurality of models Mw selected or newly created as described above, and the best match is achieved. Select a model Mw with a high degree of magnitude and angle. By pattern matching in step S309, the model Mw closest to the size and angle of the image of the top work W is matched and selected, and the top work W is detected more accurately.
  • the secondary detection unit 306 detects the position (x, y) of the corner portion of the selected model Mw as the position of the work W on the pallet 20 in step S309, and the selected model.
  • the angle of Mw be the angle ⁇ of the work W on the pallet 20. Since the corner position (x, y) and angle ⁇ detected by the secondary detection unit 306 are different from the corner position (x, y) and angle ⁇ detected by the primary detection unit 304, the position (x', It will be referred to as y') and angle ⁇ '.
  • the position and angle information (x', y', ⁇ ', Hw) of the work W is obtained.
  • step S310 the transmission / reception unit 307 transmits the position and angle information (x', y', ⁇ ', Hw) generated by the secondary detection unit 306 to the robot control device 100, and returns the process to step S302. ..
  • the robot control device 100 determines in step S106 whether or not the position and angle information (x', y', ⁇ ', Hw) has been received. If the position and angle information (x', y', ⁇ ', Hw) is not received (NO), the robot control device 100 repeats the process of step S106.
  • the robot control device 100 determines the position and angle information (x', y', ⁇ ', Hw) in step S107. ), The gripper 11 is moved or rotated (or moved and rotated). Further, in step S107, the robot control device 100 controls the work holding robot 10 so as to suck and hold the work W by the suction pad 12 and convey it to the press brake 40.
  • step S103 even if the position of the gripper 11 moved above the work W in step S103 deviates from an appropriate position as shown by the alternate long and short dash line, the gripper 11 is shown by a solid line in step S107.
  • the work W is held by being corrected to the appropriate position shown.
  • step S108 the robot control device 100 controls the work holding robot 10 so as to execute the machining work of the work W in cooperation with the press brake 40.
  • the press brake 40 is controlled by an NC device (not shown).
  • the robot control device 100 conveys the machined work W to a predetermined mounting position in step S109, releases the suction by the suction pad 12, and releases the machined work W. Is placed at the mounting position, and the process returns to step S101.
  • the work holding robot 10 holds an inappropriate position of the work W and stops machining or It rarely causes processing defects.
  • the present invention is not limited to one or more embodiments described above, and various modifications can be made without departing from the gist of the present invention.
  • the image processing device 300 that functions as a work detection device may be partially or wholly composed of a central processing unit (CPU) included in a computer device.
  • the CPU may realize some or all of the functions of the image processing device 300 by executing a computer program.
  • a part or all of the image processing apparatus 300 may be composed of integrated circuits. The proper use of software and hardware is optional.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

パターンマッチング部（３０２）は、ワークを単眼カメラによって撮影した撮影画像と、複数の大きさ及び複数の角度を有する第１の複数のモデルとのパターンマッチングを実行して、最も一致度の高い大きさ及び角度のモデルを選択する。一次検出部（３０４）は、選択したモデルに基づいて、積載されているワークのうちの最上位のワークの位置及び角度を検出する。実積載高さ算出部（３０５）は、ワーク保持用ロボット（１０）が検出した手先高さに基づいて、最上位のワークの実積載高さを算出する。二次検出部（３０６）は、撮影画像と、実積載高さに基づいて選択または新たに作成した第２の複数のモデルとのパターンマッチングを実行して選択した、最も一致度の高い大きさ及び角度のモデルに基づいて、最上位のワークの位置及び角度を再検出する。

Description

ワーク検出装置及びワーク検出方法
　本発明は、載置場所に積載されているワークを検出するワーク検出装置及びワーク検出方法に関する。
　ワーク保持用ロボットが、パレットのような載置場所に積載されているワークを保持して、プレスブレーキ等の加工機へと搬送することがある（特許文献１参照）。ワーク検出装置は、載置場所に配置されているワークをカメラによって撮影して、ワークの位置を検出する。
特開２０１８－１２０３８８号公報
　ワーク検出装置が積載されているワークを単眼カメラによって撮影して、ワークの位置を検出することがある。ワーク検出装置が単眼カメラによる撮影画像に基づいてワークの位置を検出しようとすると、ワークの高さを正確に測定することができないため、ワークの位置を高精度に検出することができない。すると、ワーク保持用ロボットがワークを保持できないことがあり、不適切な位置を保持することにより加工停止または加工不良を発生させることがある。
　１またはそれ以上の実施形態は、載置場所に積載されているワークを単眼カメラによって撮影した撮影画像に基づいてワークの位置を高精度に検出することができるワーク検出装置及びワーク検出方法を提供することを目的とする。
　１またはそれ以上の実施形態の第１の態様によれば、載置場所に積載されているワークを単眼カメラによって撮影した撮影画像データを台形補正する台形補正部と、台形補正された撮影画像データの画像と、検出しようとするワークの画像を示すモデルであって、複数の大きさ及び複数の角度を有する第１の複数のモデルとの第１のパターンマッチングを実行して、最も一致度の高い大きさ及び角度のモデルを選択するパターンマッチング部と、前記パターンマッチング部が選択したモデルに基づいて、積載されているワークのうちの最上位のワークの位置及び角度を検出する一次検出部と、前記一次検出部が検出した前記最上位のワークの位置及び角度に基づいてワーク保持用ロボットのグリッパを前記最上位のワークの上方に位置させたときに、前記ワーク保持用ロボットが検出した手先高さに基づいて、前記最上位のワークの実積載高さを算出する実積載高さ算出部と、前記パターンマッチング部が、前記台形補正された撮影画像データの画像と、前記実積載高さに基づいて前記第１の複数のモデルのうちから選択するか、前記実積載高さに基づいて新たに作成した前記第１の複数より少ない第２の複数のモデルとの第２のパターンマッチングを実行することによって選択した、最も一致度の高い大きさ及び角度のモデルに基づいて、前記最上位のワークの位置及び角度を再検出する二次検出部とを備えるワーク検出装置が提供される。
　１またはそれ以上の実施形態の第２の態様によれば、載置場所に積載されているワークを単眼カメラによって撮影し、前記単眼カメラが前記ワークを撮影した撮影画像データを台形補正し、台形補正された撮影画像データの画像と、検出しようとするワークの画像を示すモデルであって、複数の大きさ及び複数の角度を有する第１の複数のモデルとの第１のパターンマッチングを実行して、最も一致度の高い大きさ及び角度のモデルを選択し、前記第１のパターンマッチングによって選択されたモデルに基づいて、積載されているワークのうちの最上位のワークの位置及び角度を検出し、検出された前記最上位のワークの位置及び角度に基づいてワーク保持用ロボットのグリッパを前記最上位のワークの上方に位置させたときに、前記ワーク保持用ロボットが検出した手先高さに基づいて、前記最上位のワークの実積載高さを算出し、前記台形補正された撮影画像データの画像と、前記実積載高さに基づいて前記第１の複数のモデルのうちから選択するか、前記実積載高さに基づいて新たに作成した前記第１の複数より少ない第２の複数のモデルとの第２のパターンマッチングを実行して、最も一致度の高い大きさ及び角度のモデルを選択し、前記第２のパターンマッチングによって選択されたモデルに基づいて、前記最上位のワークの位置及び角度を再検出するワーク検出方法が提供される。
　１またはそれ以上の実施形態のワーク検出装置及びワーク検出方法によれば、載置場所に積載されているワークを単眼カメラによって撮影した撮影画像に基づいてワークの位置を高精度に検出することができる。
図１は、載置場所に積載されているワークをワーク保持用ロボットによって保持して加工機へと搬送してワークを加工する加工システムの構成例を示す斜視図である。 図２は、１またはそれ以上の実施形態のワーク検出装置を含む加工システムの構成例を示すブロック図である。 図３は、１またはそれ以上の実施形態のワーク検出装置の具体的な構成例を示すブロック図である。 図４は、１またはそれ以上の実施形態のワーク検出装置がロボット制御装置と連携してワークを検出する処理を示すフローチャートである。 図５は、検出しようとするワークのモデルを示す図である。 図６は、１またはそれ以上の実施形態のワーク検出装置が備えるモデル記憶部が記憶している複数の大きさ及び複数の角度のモデルを示す図である。 図７は、１またはそれ以上の実施形態のワーク検出装置が備えるパターンマッチング部が載置場所に積載されているワークとモデルとをパターンマッチングさせた状態を示す図である。 図８は、ワークの位置及び角度の定義を示す図である。 図９は、ワークの実積載高さの算出方法を説明するための概念的な側面図である。 図１０は、再検出されたワークの位置及び角度に基づいてワーク保持用ロボットのグリッパを移動させた状態を示す概念的な側面図である。
　以下、１またはそれ以上の実施形態のワーク検出装置及びワーク検出方法について、添付図面を参照して説明する。図１において、載置場所の一例であるパレット２０には、複数枚のワークＷが積載されている。パレット２０の両側方には、フレーム２１ａ及び２１ｂが配置されている。フレーム２１ａは、１つの垂直フレームと垂直フレームの上端部に連結された水平フレームを有する。フレーム２１ｂは、一対の垂直フレームと一対の垂直フレームの上端部に連結された水平フレームを有する。
　フレーム２１ａ及び２１ｂの水平フレームの対向する面には、それぞれ照明器具２２ａ及び２２ｂが取り付けられている。照明器具２２ａ及び２２ｂは例えば複数個の発光ダイオード（ＬＥＤ）を有する。照明器具２２ａ及び２２ｂはパレット２０に積載されているワークＷに照明光を照射する。
　フレーム２１ａには、所定の高さまで延びる垂直フレームと垂直フレームの上端部に連結された水平フレームとよりなるＬ字状の支柱２３が取り付けられている。支柱２３（水平フレーム）の先端部にはカメラ３０が取り付けられている。カメラ３０は単眼カメラである。カメラ３０は、パレット２０の中央の直上よりもワーク保持用ロボット１０から離れる方向に外れた位置からパレット２０及びワークＷを撮影する。即ち、カメラ３０は、パレット２０及びワークＷを斜め上方の位置から撮影する。これにより、カメラ３０は、ワーク保持用ロボット１０がパレット２０に積載されているワークＷを保持して搬送する動作を妨げることがない。
　カメラ３０は、パレット２０に積載されているワークＷを撮影するとき、照明器具２２ａ及び２２ｂによってワークＷに照明光を照射するのがよい。ワークＷに照明光を照射するとワークＷのエッジが明確化され、後述するパターンマッチングによってワークＷの位置を検出する際にワークＷの位置が検出しやすくなる。
　パレット２０と加工機の一例であるプレスブレーキ４０との間には、多関節のワーク保持用ロボット１０が配置されている。ワーク保持用ロボット１０は、先端部に、ワークＷを吸着するためのグリッパ１１を有する。グリッパ１１は、複数の吸着パッド１２を有する。グリッパ１１は最上位の１枚のワークＷを吸着して保持し、ワークＷを加工するためにプレスブレーキ４０に搬送する。ワーク保持用ロボット１０及びプレスブレーキ４０は加工システムを構成する。
　図２に示すように、カメラ３０が撮影した撮影画像データは画像処理装置３００に供給される。後述するように、画像処理装置３００は撮影画像データに基づいてパレット２０上の最上位のワークＷの位置及び角度を検出して、検出した位置及び角度情報をロボット制御装置１００に供給する。画像処理装置３００は１またはそれ以上の実施形態のワーク検出装置として機能する。
　ロボット制御装置１００は、ワークＷの位置情報に基づいてパレット２０上のワークＷを保持するよう、ワーク保持用ロボット１０を制御する。ワーク保持用ロボット１０は、グリッパ１１がワークＷの上方に位置したきにワークＷの表面を検知する表面検知センサ１３を備える。
　画像処理装置３００及びロボット制御装置１００は、コンピュータ機器によって構成することができる。ロボット制御装置１００に画像処理装置３００の機能を持たせることによって、ロボット制御装置１００と画像処理装置３００とが一体化されていてもよい。
　図３は画像処理装置３００の具体的な構成を示す。画像処理装置３００は、台形補正部３０１、パターンマッチング部３０２、モデル記憶部３０３、一次検出部３０４、実積載高さ算出部３０５、二次検出部３０６、送受信部３０７を備える。
　図４に示すフローチャートは、互いに連携する画像処理装置３００及びロボット制御装置１００が実行する処理を示す。図４において、画像処理装置３００及びロボット制御装置１００が処理を開始すると、台形補正部３０１は、ステップＳ３０１にて、カメラ３０から供給された撮影画像データを台形補正する。台形補正部３０１は、撮影画像データの入力が継続されれば、撮影画像データを継続的に台形補正する。
　カメラ３０はデジタル信号である撮影画像データを出力するか、カメラ３０がアナログ信号の撮影画像信号を出力する場合には、図示していないＡ／Ｄコンバータが撮影画像信号をデジタル信号に変換して撮影画像データを生成する。台形補正部３０１は、予め実行されたキャリブレーション作業に基づいて求められたパラメータを用いて、撮影画像データを台形補正する。
　パターンマッチング部３０２は、ステップＳ３０２にて、台形補正された撮影画像データの画像とモデル記憶部３０３に記憶されているワークＷのモデルとのパターンマッチング（第１のパターンマッチング）を実行して、最も一致度の高い大きさ及び角度のモデルを選択する。
　具体的には、パターンマッチング部３０２は次にようにして最も一致度の高いモデルを選択する。図１に示すような形状を有するワークＷを例にすると、モデル記憶部３０３には図５に示すモデルＭｗが記憶されている。モデルＭｗは、ワークＷを示す線画像よりなる。図６に示すように、モデル記憶部３０３には、図５に示すモデルＭｗの大きさを複数段階で異ならせ、さらに、各大きさのモデルＭｗを所定角度ずつ回転させた複数のモデルＭｗが記憶されている。
　カメラ３０が撮影するワークＷの撮影画像の大きさは、パレット２０に１枚のワークＷが配置されていてそれを撮影したときに最も小さく、パレット２０に最大枚数のワークＷが積載されていて最上位のワークＷを撮影したときに最も大きい。そこで、モデル記憶部３０３は、最小のワークＷの撮影画像に対応するモデルＭｗから最大のワークＷの撮影画像に対応するモデルＭｗまで複数段階の大きさのモデルＭｗを記憶すればよい。モデル記憶部３０３は、各大きさのモデルＭｗを所定角度ずつ回転させた複数のモデルＭｗを記憶する。所定角度を１度とすれば、モデル記憶部３０３は、各大きさのモデルＭｗを１度ずつ回転させた各３６０個のモデルＭｗを記憶する。
　モデル記憶部３０３は、図５及び図６に示すモデルＭｗだけでなく、パレット２０に積載されることがある各種の形状のワークＷのモデルＭｗを記憶している。
　図７において、カメラ３０による撮影画像３０ｉは、パレット２０に積載されたワークＷの画像を含む。パターンマッチング部３０２によるステップＳ３０２でのパターンマッチングの結果、最上位のワークＷの画像の大きさと角度に最も近いモデルＭｗがマッチングされて選択される。最上位のワークＷの画像に最も近いモデルＭｗが選択されることにより、最上位のワークＷが検出される。
　図４において、パターンマッチング部３０２は、ステップＳ３０３にて、モデルＭｗのマッチングによってワークＷの検出に成功したか否かを判定する。ワークＷの検出に成功しなければ（NO）、送受信部３０７は、ステップＳ３０４にて、ワークＷが非検出であった旨をロボット制御装置１００に通知して、画像処理装置３００は処理を終了させる。図４において、破線の矢印線は、情報またはデータが、画像処理装置３００からロボット制御装置１００へと送信され、ロボット制御装置１００から画像処理装置３００へと送信されることを示す。
　ロボット制御装置１００は、ステップＳ１０１にて、ワークＷが非検出であった旨の通知があったか否かを判定し、ワークＷが非検出であった旨の通知があれば（YES）、処理を終了させる。
　ロボット制御装置１００がワーク保持用ロボット１０を制御してパレット２０に配置された全てのワークＷを保持してプレスブレーキ４０へと搬送すれば、パレット２０にはワークＷが配置されていない状態となる。全てのワークＷをプレスブレーキ４０へと搬送してパレット２０にワークＷが存在しない状態となると、ワークＷは非検出となる。よって、パレット２０にワークＷが存在しない状態となると、ステップＳ３０３にてワークＷの検出に成功しなかった状態となる。
　ステップＳ３０３にてワークＷの検出に成功すれば（YES）、一次検出部３０４は、ステップＳ３０５にて、ワークＷの位置及び角度を検出する。図８に示すように、一次検出部３０４は、上記のように選択されたモデルＭｗの角部の位置（ｘ，ｙ）をパレット２０上のワークＷの位置と検出する。一次検出部３０４は、選択されたモデルＭｗの角度をパレット２０上のワークＷの角度θとする。図１に示すパレット２０の角部Ｐ０の位置が、カメラ３０がパレット２０を撮影した撮影画像の原点（０，０）とされている。
　ワークＷの高さ、厳密にはワークＷの上面の高さ方向の位置と、ワークＷの撮影画像の大きさとの対応関係は予め求められている。一次検出部３０４は、ステップＳ３０５にて、マッチングしたモデルＭｗの大きさに基づいて、ワークＷの高さｈを検出する。このようにして、一次検出部３０４は、最上位のワークＷの平面的な位置及び高さ方向に位置と角度の各情報を含む位置及び角度情報（ｘ，ｙ，θ，ｈ）を検出する。
　なお、ワークＷの高さｈをモデルＭｗの大きさに基づいて検出していることから、検出された高さｈは実際の高さが正確に検出されているとは限らない。高さｈが誤差を含むので、ワークＷの位置（ｘ，ｙ）も実際の位置が正確に検出されているとは限らない。
　送受信部３０７は、ステップＳ３０６にて、ワークＷの位置及び角度情報（ｘ，ｙ，ｈ，θ）をロボット制御装置１００に送信する。ロボット制御装置１００は、ステップＳ１０２にて、ワークＷの位置及び角度情報（ｘ，ｙ，θ，ｈ）を受信したか否かを判定する。ワークＷの位置及び角度情報（ｘ，ｙ，θ，ｈ）を受信しなければ（NO）、ロボット制御装置１００はステップＳ１０２の処理を繰り返す。
　ロボット制御装置１００は、ステップＳ１０２にてワークＷの位置及び角度情報（ｘ，ｙ，θ，ｈ）を受信すれば（YES）、ステップＳ１０３にて、グリッパ１１をワークＷの上方に移動させて角度θだけ回転させ、高さｈに近付けるように低速で下降させる。図９に示すようにグリッパ１１が最上位のワークＷに近接すると、表面検知センサ１３がワークＷの表面を検知する。表面検知センサ１３は、接触式の表面検知センサであってもよく、非接触式の表面検知センサであってもよい。
　ロボット制御装置１００は、ステップＳ１０４にて、ワーク保持用ロボット１０からの表面検知センサ１３による表面検知反応があるか否かを判定する。表面検知反応がなければ（NO）、ロボット制御装置１００はステップＳ１０３及びＳ１０４の処理を繰り返す。ステップＳ１０４にて表面検知反応があれば（YES）、ロボット制御装置１００は、ステップＳ１０５にて、ワーク保持用ロボット１０から受信した図９に示す手先高さＨｒを画像処理装置３００に送信する。
　送受信部３０７は、ステップＳ３０７にて、手先高さＨｒを受信したか否かを判定する。手先高さＨｒを受信しなければ（NO）、送受信部３０７はステップＳ３０７の処理を繰り返す。送受信部３０７が手先高さＨｒを受信すれば（YES）、実積載高さ算出部３０５は、ステップＳ３０８にて、ワークＷの実積載高さＨｗを算出する。図９において、グリッパ１１の高さをＨｇ、パレット２０の上面の設置面からの高さをＨｐとすると、実積載高さ算出部３０５は、次の式（１）に基づいてワークＷの実積載高さＨｗを算出する。
　Ｈｗ＝Ｈｒ－Ｈｇ－Ｈｐ　　…（１）
　二次検出部３０６は、ステップＳ３０９にて、最上位のワークＷの位置及び角度を再検出する。具体的には、実積載高さ算出部３０５が検出した実積載高さＨｗはパターンマッチング部３０２に供給される。パターンマッチング部３０２は、モデル記憶部３０３に記憶されている図１に示すワークＷを検出するための全ての大きさのモデルＭｗのうち、実積載高さＨｗに基づく一部のモデルＭｗを選択する。全ての大きさのモデルＭｗを第１の複数のモデルＭｗとすれば、実積載高さＨｗに基づいて選択したモデルＭｗは、第１の複数より少ない第２の複数のモデルＭｗである。
　パターンマッチング部３０２は、実積載高さＨｗに基づく一部のモデルＭｗを選択する代わりに、実積載高さＨｗに基づいた大きさの新たなモデルＭｗを作成してもよい。実積載高さＨｗに基づく一部のモデルＭｗを選択する方法では、モデル記憶部３０３に大きさの異なるモデルＭｗを多く記憶させておく必要があるものの処理速度を高速化できる。実積載高さＨｗに基づいて新たなモデルＭｗを作成する方法では、処理速度が遅くなるもののモデル記憶部３０３の容量を少なくすることができる。
　一部のモデルＭｗは、実積載高さＨｗに誤差を加算した高さから実積載高さＨｗから誤差を減算した高さまでの限定範囲に対応する複数の大きさを有する複数の角度のモデルＭｗとするのがよい。実積載高さＨｗに加減算する誤差は、ワークＷの板厚とするのがよい。実積載高さＨｗに基づいて新たなモデルＭｗを作成する場合、モデル記憶部３０３に予め記憶されている限定範囲内の１または複数のモデルＭｗに基づいて、複数の大きさ及び複数の角度を有する複数のモデルＭｗを作成すればよい。なお、一次検出部３０４によってワークＷのおおよその角度が検出されているから、第２の複数のモデルＭｗは全ての角度のモデルＭｗを含まなくてもよい。第２の複数のモデルＭｗは、一次検出部３０４によって検出された角度を中心とした所定の角度の範囲に含まれる角度のモデルＭｗを含めばよい。
　パターンマッチング部３０２は、上記のように選択または新たに作成した第２の複数のモデルＭｗを用いて、撮影画像データの画像とのパターンマッチング（第２のパターンマッチング）を実行して、最も一致度の高い大きさ及び角度のモデルＭｗを選択する。ステップＳ３０９でのパターンマッチングによって、最上位のワークＷの画像の大きさと角度に最も近いモデルＭｗがマッチングされて選択され、最上位のワークＷがより正確に検出される。
　二次検出部３０６は、図８と同様に、ステップＳ３０９にて、選択されたモデルＭｗの角部の位置（ｘ，ｙ）をパレット２０上のワークＷの位置と検出し、選択されたモデルＭｗの角度をパレット２０上のワークＷの角度θとする。二次検出部３０６が検出した角部の位置（ｘ，ｙ）及び角度θは一次検出部３０４が検出した角部の位置（ｘ，ｙ）及び角度θとは異なるので、位置（ｘ’，ｙ’）及び角度θ’と称することとする。二次検出部３０６による再検出の結果、ワークＷの位置及び角度情報（ｘ’，ｙ’，θ’，Ｈｗ）が得られる。
　送受信部３０７は、ステップＳ３１０にて、二次検出部３０６が生成した位置及び角度情報（ｘ’，ｙ’，θ’，Ｈｗ）をロボット制御装置１００に送信して、処理をステップＳ３０２に戻す。
　ロボット制御装置１００は、ステップＳ１０６にて、位置及び角度情報（ｘ’，ｙ’，θ’，Ｈｗ）を受信したか否かを判定する。位置及び角度情報（ｘ’，ｙ’，θ’，Ｈｗ）を受信しなければ（NO）、ロボット制御装置１００はステップＳ１０６の処理を繰り返す。
　位置及び角度情報（ｘ’，ｙ’，θ’，Ｈｗ）を受信すれば（YES）、ロボット制御装置１００は、ステップＳ１０７にて、位置及び角度情報（ｘ’，ｙ’，θ’，Ｈｗ）に基づいて、グリッパ１１を移動もしくは回転（または移動及び回転）させる。また、ロボット制御装置１００は、ステップＳ１０７にて、ワークＷを吸着パッド１２によって吸着して保持してプレスブレーキ４０へと搬送するようワーク保持用ロボット１０を制御する。
　図１０に示すように、ステップＳ１０３にてワークＷの上方に移動させたグリッパ１１の位置が二点鎖線で示すように適切な位置からずれていたとしても、グリッパ１１はステップＳ１０７にて実線で示す適切な位置へと補正されて、ワークＷを保持する。
　ロボット制御装置１００は、ステップＳ１０８にて、プレスブレーキ４０と協働してワークＷの加工作業を実行するようワーク保持用ロボット１０を制御する。なお、プレスブレーキ４０は図示していないＮＣ装置によって制御される。ワークＷの加工作業を完了すると、ロボット制御装置１００は、ステップＳ１０９にて、加工済みのワークＷを所定の載置位置へと搬送し、吸着パッド１２による吸着を解除して加工済みのワークＷを載置位置に配置して、処理をステップＳ１０１に戻す。
　以上により、カメラ３０が単眼カメラであるにもかかわらず、ワークＷの位置を高精度に検出することができるから、ワーク保持用ロボット１０がワークＷの不適切な位置を保持して加工停止または加工不良を発生させることはほとんどない。
　図４に示す処理によって、ワーク保持用ロボット１０によって最上位のワークＷが搬送されて加工されるたびに、画像処理装置３００によって新たな最上位のワークＷの位置が検出されて、ワークＷの搬送及び加工が繰り返される。積載されたワークＷのうちの最下位のワークＷが搬送されて加工されると、ワークＷが非検出となるので、画像処理装置３００及びロボット制御装置１００は処理を終了させる。
　本発明は以上説明した１またはそれ以上の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。ワーク検出装置として機能する画像処理装置３００は、一部または全てが、コンピュータ機器が備える中央処理装置（ＣＰＵ）によって構成されていてもよい。ＣＰＵが、コンピュータプログラムを実行することによって画像処理装置３００における一部または全ての機能を実現してもよい。画像処理装置３００における一部または全てが集積回路によって構成されていてもよい。ソフトウェアとハードウェアとの使い分けは任意である。
　本願は、２０１９年６月１２日に日本国特許庁に出願された特願２０１９－１０９５５０号に基づく優先権を主張するものであり、その全ての開示内容は引用によりここに援用される。

Claims (4)

  1. 　載置場所に積載されているワークを単眼カメラによって撮影した撮影画像データを台形補正する台形補正部と、
    　台形補正された撮影画像データの画像と、検出しようとするワークの画像を示すモデルであって、複数の大きさ及び複数の角度を有する第１の複数のモデルとの第１のパターンマッチングを実行して、最も一致度の高い大きさ及び角度のモデルを選択するパターンマッチング部と、
    　前記パターンマッチング部が選択したモデルに基づいて、積載されているワークのうちの最上位のワークの位置及び角度を検出する一次検出部と、
    　前記一次検出部が検出した前記最上位のワークの位置及び角度に基づいてワーク保持用ロボットのグリッパを前記最上位のワークの上方に位置させたときに、前記ワーク保持用ロボットが検出した手先高さに基づいて、前記最上位のワークの実積載高さを算出する実積載高さ算出部と、
    　前記パターンマッチング部が、前記台形補正された撮影画像データの画像と、前記実積載高さに基づいて前記第１の複数のモデルのうちから選択するか、前記実積載高さに基づいて新たに作成した前記第１の複数より少ない第２の複数のモデルとの第２のパターンマッチングを実行することによって選択した、最も一致度の高い大きさ及び角度のモデルに基づいて、前記最上位のワークの位置及び角度を再検出する二次検出部と、
    　を備えるワーク検出装置。
  2. 　前記パターンマッチング部は、前記第１の複数のモデルのうち、前記実積載高さに前記ワークの板厚を加算した高さから前記実積載高さから前記板厚を減算した高さまでの限定範囲に対応する大きさのモデルを選択して前記第２の複数のモデルとするか、前記限定範囲内の大きさを有するように新たに作成した複数のモデルを前記第２の複数のモデルとする請求項１に記載のワーク検出装置。
  3. 　載置場所に積載されているワークを単眼カメラによって撮影し、
    　前記単眼カメラが前記ワークを撮影した撮影画像データを台形補正し、
    　台形補正された撮影画像データの画像と、検出しようとするワークの画像を示すモデルであって、複数の大きさ及び複数の角度を有する第１の複数のモデルとの第１のパターンマッチングを実行して、最も一致度の高い大きさ及び角度のモデルを選択し、
    　前記第１のパターンマッチングによって選択されたモデルに基づいて、積載されているワークのうちの最上位のワークの位置及び角度を検出し、
    　検出された前記最上位のワークの位置及び角度に基づいてワーク保持用ロボットのグリッパを前記最上位のワークの上方に位置させたときに、前記ワーク保持用ロボットが検出した手先高さに基づいて、前記最上位のワークの実積載高さを算出し、
    　前記台形補正された撮影画像データの画像と、前記実積載高さに基づいて前記第１の複数のモデルのうちから選択するか、前記実積載高さに基づいて新たに作成した前記第１の複数より少ない第２の複数のモデルとの第２のパターンマッチングを実行して、最も一致度の高い大きさ及び角度のモデルを選択し、
    　前記第２のパターンマッチングによって選択されたモデルに基づいて、前記最上位のワークの位置及び角度を再検出する
    　ワーク検出方法。
  4. 　前記第２のパターンマッチングの際に、前記第１の複数のモデルのうち、前記実積載高さに前記ワークの板厚を加算した高さから前記実積載高さから前記板厚を減算した高さまでの限定範囲に対応する大きさのモデルを選択して前記第２の複数のモデルとするか、前記限定範囲内の大きさを有するように新たに作成した複数のモデルを前記第２の複数のモデルとする請求項３に記載のワーク検出方法。
PCT/JP2020/021864 2019-06-12 2020-06-03 ワーク検出装置及びワーク検出方法 WO2020250761A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20822129.1A EP3984710B1 (en) 2019-06-12 2020-06-03 Workpiece detection device and workpiece detection method
US17/616,739 US20220335642A1 (en) 2019-06-12 2020-06-03 Workpiece detection device and workpiece detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019109550A JP6784361B1 (ja) 2019-06-12 2019-06-12 ワーク検出装置及びワーク検出方法
JP2019-109550 2019-06-12

Publications (1)

Publication Number Publication Date
WO2020250761A1 true WO2020250761A1 (ja) 2020-12-17

Family

ID=73043520

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/021864 WO2020250761A1 (ja) 2019-06-12 2020-06-03 ワーク検出装置及びワーク検出方法

Country Status (4)

Country Link
US (1) US20220335642A1 (ja)
EP (1) EP3984710B1 (ja)
JP (1) JP6784361B1 (ja)
WO (1) WO2020250761A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4357041A1 (de) 2022-10-21 2024-04-24 Bystronic Laser AG Vorrichtung und verfahren zum automatisierten biegen von werkstücken
EP4290458A4 (en) * 2021-02-05 2024-07-17 Amada Co Ltd DEVICE IDENTIFICATION SYSTEM, DEVICE IDENTIFICATION METHOD AND DEVICE IDENTIFICATION PROGRAM

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7561519B2 (ja) * 2020-05-22 2024-10-04 株式会社アマダ 曲げ加工システム及びその使用方法
JP2022120664A (ja) * 2021-02-05 2022-08-18 株式会社アマダ ワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラム
CN113321088B (zh) * 2021-06-03 2022-09-09 康达电梯有限公司 一种电梯门缝隙宽度检测装置
CN113532332B (zh) * 2021-06-08 2023-08-15 宁波帅特龙集团有限公司 一种工件安装角度的检测方法及检测装置
CN114013988B (zh) * 2021-10-28 2023-08-01 惠州佰维存储科技有限公司 一种ssd的转移方法、装置、可读存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003148914A (ja) * 2001-11-08 2003-05-21 Fanuc Ltd 位置検出装置及び位置検出を利用した取出し装置
JP2004333422A (ja) * 2003-05-12 2004-11-25 Fanuc Ltd 画像処理装置
JP2010012567A (ja) * 2008-07-04 2010-01-21 Fanuc Ltd 物品取り出し装置
WO2014061372A1 (ja) * 2012-10-18 2014-04-24 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2018120388A (ja) 2017-01-25 2018-08-02 株式会社アマダホールディングス ワーク検出装置及び方法
JP2019109550A (ja) 2019-03-29 2019-07-04 キヤノン株式会社 表示制御装置及びその制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3930490B2 (ja) * 2004-04-23 2007-06-13 ファナック株式会社 物品取出し装置
JP6271953B2 (ja) * 2013-11-05 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
JP6623812B2 (ja) * 2016-02-17 2019-12-25 セイコーエプソン株式会社 位置検出装置、及び、そのコントラスト調整方法
US10551821B2 (en) * 2016-06-30 2020-02-04 Seiko Epson Corporation Robot, robot control apparatus and robot system
JP2018081063A (ja) * 2016-11-18 2018-05-24 株式会社東芝 位置検出装置、処理装置、およびプログラム
JP6881188B2 (ja) * 2017-09-27 2021-06-02 オムロン株式会社 位置検出装置およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003148914A (ja) * 2001-11-08 2003-05-21 Fanuc Ltd 位置検出装置及び位置検出を利用した取出し装置
JP2004333422A (ja) * 2003-05-12 2004-11-25 Fanuc Ltd 画像処理装置
JP2010012567A (ja) * 2008-07-04 2010-01-21 Fanuc Ltd 物品取り出し装置
WO2014061372A1 (ja) * 2012-10-18 2014-04-24 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2018120388A (ja) 2017-01-25 2018-08-02 株式会社アマダホールディングス ワーク検出装置及び方法
JP2019109550A (ja) 2019-03-29 2019-07-04 キヤノン株式会社 表示制御装置及びその制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3984710A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4290458A4 (en) * 2021-02-05 2024-07-17 Amada Co Ltd DEVICE IDENTIFICATION SYSTEM, DEVICE IDENTIFICATION METHOD AND DEVICE IDENTIFICATION PROGRAM
EP4357041A1 (de) 2022-10-21 2024-04-24 Bystronic Laser AG Vorrichtung und verfahren zum automatisierten biegen von werkstücken
WO2024083674A1 (en) 2022-10-21 2024-04-25 Bystronic Laser Ag Apparatus and method for the automated bending of workpieces

Also Published As

Publication number Publication date
EP3984710A4 (en) 2022-08-10
EP3984710B1 (en) 2023-06-14
US20220335642A1 (en) 2022-10-20
JP6784361B1 (ja) 2020-11-11
JP2020199612A (ja) 2020-12-17
EP3984710A1 (en) 2022-04-20

Similar Documents

Publication Publication Date Title
WO2020250761A1 (ja) ワーク検出装置及びワーク検出方法
JP6710622B2 (ja) 搬送装置および搬送方法
US20170151673A1 (en) Manipulator system, and image capturing system
EP0931623A1 (en) Automatic workpiece transport apparatus for double-side polishing machine
JP5893695B1 (ja) 物品搬送システム
WO2020009148A1 (ja) ワーク搬送システムおよびワーク搬送方法
JP2013078825A (ja) ロボット装置、ロボットシステムおよび被加工物の製造方法
JP7269864B2 (ja) ワーク撮影画像処理装置及びワーク撮影画像処理方法
JP6706695B2 (ja) 座標データ生成装置及び座標データ生成方法
CN109502357B (zh) 一种码垛机器人工作站和板件码垛方法
JP6415996B2 (ja) 実装装置、荷重検出方法及びそのプログラム
JP4896757B2 (ja) 表面実装機
JPH11244965A (ja) プレス用鋼板自動供給装置
EP2177326A2 (en) Method for aligning a workpiece to a robot
JP2007237394A (ja) ワーク位置決め装置
WO2018163385A1 (ja) 部品認識装置
JP7192682B2 (ja) 検査システム
WO2022202655A1 (ja) ３次元測定システム
WO2023079989A1 (ja) ワーク供給システム、ワーク供給方法及びワーク供給プログラム
JP6182248B2 (ja) ダイボンダ
CN113727817A (zh) 控制器
JPH1120948A (ja) ワーク搬送制御装置
JP2006253384A (ja) ボンディング装置および半導体装置の製造方法
JPH08167800A (ja) 部品実装装置
KR20120016931A (ko) 기판가공장치 및 기판가공방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20822129

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020822129

Country of ref document: EP

Effective date: 20220112