WO2021079802A1 - ワーク撮影画像処理装置、ワーク撮影画像処理方法、及び加工システム - Google Patents

ワーク撮影画像処理装置、ワーク撮影画像処理方法、及び加工システム Download PDF

Info

Publication number
WO2021079802A1
WO2021079802A1 PCT/JP2020/038767 JP2020038767W WO2021079802A1 WO 2021079802 A1 WO2021079802 A1 WO 2021079802A1 JP 2020038767 W JP2020038767 W JP 2020038767W WO 2021079802 A1 WO2021079802 A1 WO 2021079802A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
captured image
work
camera
conversion parameter
Prior art date
Application number
PCT/JP2020/038767
Other languages
English (en)
French (fr)
Inventor
聡志 ▲高▼津
Original Assignee
株式会社アマダ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アマダ filed Critical 株式会社アマダ
Priority to US17/769,729 priority Critical patent/US12094094B2/en
Priority to EP20879458.6A priority patent/EP4049805B1/en
Publication of WO2021079802A1 publication Critical patent/WO2021079802A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Definitions

  • the present disclosure relates to a work photographed image processing device, a workpiece photographed image processing method, and a processing system.
  • a work holding robot may hold a work placed in a place such as a pallet and convey it to a processing machine such as a press brake (see Patent Document 1).
  • the image processing device detects the position of the work based on the captured image of the work arranged at the arrangement location by the camera.
  • the camera needs to shoot the work from directly above the work in order to properly shoot the shape of the work.
  • the work, crane, or work holding robot will take the camera when the crane places the work at the placement location or when the work holding robot conveys the work.
  • the camera must be retracted as it may interfere with. Therefore, interference can be avoided by arranging the camera at a position away from the work holding robot by moving away from directly above the center of the arrangement location.
  • the camera is placed at a position off the center of the placement location, the work is shot from an oblique direction, so the shape of the work is not shot properly.
  • the work is rectangular, the work will be photographed in a trapezoidal shape. If the photographed work does not properly represent the shape of the work, the position of the work placed at the placement location cannot be correctly recognized, and the work holding robot may not be able to hold the work. Therefore, it is necessary to correct the work shot image obtained by shooting the work with a camera placed at a position deviating from directly above the center of the placement place to an appropriate shape.
  • One or more embodiments include a work photographing image processing device and a work photographing device capable of correcting the trapezoidal distortion of the work photographed image obtained by photographing the work by a camera arranged at a position deviating from directly above the center of the arrangement place. It is an object of the present invention to provide an image processing method. Further, one or more embodiments aim to provide a processing system capable of detecting the position of a work based on a work shot image corrected for trapezoidal distortion and holding the work.
  • the first aspect of the first or higher embodiment based on the first captured image in which the lattice pattern is photographed by a camera arranged at a position deviating from directly above the center of the place where the work is arranged.
  • An image by the lens included in the first conversion parameter calculation unit that calculates the first conversion parameter for correcting the distortion of the image by the lens of the camera and the second captured image of the jig board by the camera.
  • a lens distortion correction unit that corrects the distortion of the image using the first conversion parameter, and a plurality of first jig boards in the second captured image in which the distortion of the image is corrected by the lens distortion correction unit.
  • the distortion of the image is caused by the second conversion parameter calculation unit that calculates the second conversion parameter that converts the two-dimensional coordinates in space to the positions of the pixels in the second captured image, and the lens distortion correction unit.
  • a region corresponding to a predetermined actual location on the jig board in the corrected second captured image is extracted using the second conversion parameter, and the region in the extracted second captured image is extracted.
  • a plurality of second reference points are extracted based on the image, the second reference point is distorted by the lens by using the first conversion parameter, and the actual second reference point on the jig board is used.
  • the two-dimensional coordinates in the three-dimensional space are set to the second captured image.
  • a third conversion parameter calculation unit that calculates a third conversion parameter that converts to the position of a pixel inside and a third captured image obtained by capturing the arrangement location where the work is arranged by the camera are generated.
  • the third conversion parameter is used to identify which pixel of the third captured image the two-dimensional coordinates in the three-dimensional space captured by the camera correspond to, and each identified.
  • a work-captured image processing device including a trapezoidal distortion correction unit that generates a fourth captured image in which pixels corresponding to coordinates are arranged in a two-dimensional shape and the trapezoidal distortion of the third captured image is corrected. Will be done.
  • the above-mentioned based on the first captured image obtained by capturing the lattice pattern by a camera arranged at a position deviating from directly above the center of the work placement location, the above-mentioned
  • the first conversion parameter for correcting the distortion of the image by the lens of the camera is calculated, and the distortion of the image by the lens included in the second captured image obtained by photographing the jig board by the camera is the first.
  • a plurality of first reference points on the jig board in the second captured image corrected by using conversion parameters and corrected for image distortion are extracted, and the actual first reference points on the jig board and the actual first reference points on the jig board are used.
  • the two-dimensional coordinates in the three-dimensional space captured by the camera are the pixels in the second captured image.
  • the second conversion parameter is used to calculate a second conversion parameter to be converted into a position, and to use the second conversion parameter to determine a region corresponding to a predetermined actual location on the jig board in the second captured image in which the distortion of the image is corrected.
  • a plurality of second reference points are extracted based on the image of the region in the extracted second captured image, and the lens is set to the second reference point using the first conversion parameter. Based on the actual second reference point on the jig board and the second reference point in the second captured image to which the image distorted by the lens is applied.
  • a third conversion parameter that converts two-dimensional coordinates in the three-dimensional space to the positions of pixels in the second captured image is calculated, and the arrangement location where the work is arranged is photographed by the camera.
  • the captured image of 3 is generated, using the third conversion parameter, the two-dimensional coordinates in the three-dimensional space captured by the camera correspond to which pixel of the third captured image.
  • a camera arranged at a position deviating from directly above the center of the arrangement place of the work and the arrangement place where the work is arranged by the camera are photographed.
  • the conversion parameters obtained in advance are used to specify which pixel of the captured image the two-dimensional coordinates in the captured three-dimensional space correspond to.
  • An image processing device that arranges pixels corresponding to each of the specified coordinates in a two-dimensional manner to generate a corrected photographed image in which the trapezoidal distortion of the photographed image is corrected, and the arrangement location based on the corrected photographed image.
  • a machining system including a robot control device that detects the position of the work in the above and controls a work holding robot so as to hold the work and convey the work to the machining machine.
  • the trapezoidal distortion of the work-captured image obtained by photographing the work by a camera arranged at a position deviating from directly above the center of the arrangement location Can be corrected.
  • the position of the work can be detected based on the work shot image corrected for the trapezoidal distortion, and the work can be held.
  • FIG. 1 is a perspective view showing a configuration example of a processing system in which a work arranged at a placement location is held by a work holding robot and conveyed to a processing machine to process the work.
  • FIG. 2 is a block diagram showing a configuration example of a processing system including the work captured image processing apparatus of one or more embodiments.
  • FIG. 3 is a flowchart showing the overall operation of the work-captured image processing apparatus of one or more embodiments, and the overall processing by the workpiece-captured image processing method of one or more embodiments.
  • FIG. 4 is a flowchart showing a specific process of step S1 of FIG.
  • FIG. 5 is a plan view showing an example of the chess board used in step S1 of FIG. FIG.
  • FIG. 6 is a diagram showing a chess board photographed image obtained by photographing the chess board shown in FIG. 5 with a camera.
  • FIG. 7 is a flowchart showing a specific process of step S2 of FIG.
  • FIG. 8 is a plan view showing a jig board for calibration used in step S2 of FIG.
  • FIG. 9 is a conceptual diagram showing a state in which the jig board is displaced a plurality of times in the horizontal direction and the vertical direction.
  • FIG. 10 is a flowchart showing a specific process of step S3 of FIG.
  • FIG. 11 is a flowchart showing a specific process of step S4 of FIG.
  • FIG. 12 is a diagram showing a state in which only the image around the opening of the jig board photographed image is extracted.
  • FIG. 13 is a flowchart showing a specific process of step S5 of FIG.
  • FIG. 14 is a diagram showing intersections formed by straight lines along the aperture edge image of the jig board photographed image.
  • FIG. 15 is a diagram showing a group of intersections formed by a jig board photographed image when the jig board is displaced a plurality of times in the horizontal direction and the vertical direction.
  • FIG. 16 is a flowchart showing a specific process of step S6 of FIG.
  • FIG. 17 is a flowchart showing a specific process of step S7 of FIG.
  • FIG. 18 is a conceptual diagram showing the process executed in step S7 of FIG.
  • FIG. 19 is a block diagram showing a work-captured image processing apparatus according to one or more embodiments.
  • FIGS. 1 and 2 a configuration example of a processing system in which a work arranged at a placement location is held by a work holding robot and conveyed to a processing machine to process the work will be described.
  • the work W is arranged on the pallet 20, which is an example of the arrangement place.
  • a plurality of work Ws are loaded on the pallet 20.
  • Frames 21a and 21b are arranged on both sides of the pallet 20.
  • the frame 21a has one vertical frame and a horizontal frame connected to the upper end of the vertical frame.
  • the frame 21b has a pair of vertical frames and a horizontal frame connected to the upper ends of the pair of vertical frames.
  • Lighting fixtures 22a and 22b are attached to opposite surfaces of the horizontal frames of the frames 21a and 21b, respectively.
  • the luminaires 22a and 22b have, for example, a plurality of light emitting diodes (LEDs).
  • the luminaires 22a and 22b irradiate the work W arranged on the pallet 20 with illumination light.
  • the frame 21a is attached with an L-shaped support column 23 including a vertical frame extending to a predetermined height and a horizontal frame connected to the upper end of the vertical frame.
  • a camera 30 is attached to the tip of the support column 23 (horizontal frame).
  • the camera 30 is a so-called monocular camera.
  • the camera 30 is arranged at a position away from directly above the center of the pallet 20 in a direction away from the work holding robot 10, and photographs the pallet 20 and the work W. That is, the camera 30 takes a picture of the pallet 20 and the work W from an obliquely upper position. As a result, the camera 30 does not interfere with the operation of the work holding robot 10 holding and transporting the work W arranged on the pallet 20.
  • the work W is irradiated with the illumination light by the lighting fixtures 22a and 22b.
  • the edge of the work W is clarified, and the position of the work W can be easily detected when the position of the work W is detected by pattern matching.
  • An articulated work holding robot 10 is arranged between the pallet 20 and the press brake 40, which is an example of a processing machine.
  • the work holding robot 10 has a gripper 11 at its tip for sucking the work W.
  • the gripper 11 has a plurality of suction pads 12. The gripper 11 attracts and holds one top-level work W, and conveys the work W to the press brake 40 for processing.
  • the captured image data generated by the camera 30 is supplied to the image processing device 300.
  • the image processing device 300 functions as a work-captured image processing device of one or more embodiments. As described above, the camera 30 is arranged at a position deviated from directly above the center of the pallet 20, and the work W is photographed from an oblique direction. Therefore, the captured image of the work W is distorted in shape.
  • the image processing device 300 corrects the captured image into an appropriate shape, as will be described later.
  • the image processing device 300 detects the position of the work W based on the corrected captured image, and supplies the detected position information to the robot control device 100.
  • the robot control device 100 controls the work holding robot 10 so as to hold the work W on the pallet 20 based on the position information of the work W.
  • the image processing device 300 and the robot control device 100 can be configured by a computer device. By giving the robot control device 100 the function of the image processing device 300, the robot control device 100 and the image processing device 300 may be integrated.
  • the image processing device 300 executes the process shown in the flowchart of FIG. 3 to correct the captured image.
  • the image processing device 300 corrects the distortion vector of the lens of the camera 30 in step S1.
  • the image processing device 300 photographs the jig board for calibration in step S2, and executes temporary calibration in step S3.
  • the image processing device 300 extracts an image of the position of the hole of the jig board in step S4, and obtains the intersection of straight lines along the hole of the jig board in step S5.
  • the image processing device 300 executes this calibration in step S6.
  • the processing of steps S1 to S6 generates conversion parameters for generating a two-dimensional image in which the trapezoidal distortion captured by the camera 30 is corrected.
  • the image processing device 300 When the camera 30 photographs the palette 20 in order to detect the position of the work W arranged on the pallet 20, the image processing device 300 generates a two-dimensional image corrected for trapezoidal distortion in step S7. The detected position information of the work W is supplied to the robot control device 100.
  • FIG. 4 shows a specific process of step S1.
  • the camera 30 takes a picture of the chess board 50 as shown in FIG. 5 in step S11.
  • the chess board 50 is formed by arranging white squares and black squares alternately in two orthogonal directions, and is an example of a checkerboard pattern, but any graphic pattern may be used.
  • the chess board captured image 50i first captured image
  • the chess board captured image 50i is input to the image processing device 300.
  • the image processing device 300 detects the grid points of the chess board captured image 50i in step S12.
  • the camera 30 photographs the chess board 50 a plurality of times in step S11 and supplies the plurality of chess board captured images 50i to the image processing device 300. At this time, the camera 30 may shoot the chess board 50 at a plurality of angles.
  • the chess board 50 may be photographed so that the chess board photographed image 50i is not distorted into a trapezoidal shape, or the chess board 50 may be photographed so that the chess board photographed image 50i is distorted into a trapezoidal shape.
  • the image processing device 300 detects the grid points of each chess board shot image 50i, averages the grid points of each chess board shot image 50i, and averages the grid points of each chess board shot image 50i. Detects 50i grid points.
  • step S13 the image processing apparatus 300 calculates the first conversion parameter for correcting the distortion caused by the lens. Since the formula for calculating the first conversion parameter is known, the details of the formula for calculating the first conversion parameter will be omitted.
  • FIG. 7 shows a specific process of step S2.
  • the robot control device 100 attracts the jig board 60 as shown in FIG. 8 by the work holding robot 10 in step S21.
  • the robot control device 100 displaces the jig board 60 above the pallet 20 a plurality of times in the horizontal and vertical directions, and the camera 30 photographs the jig board 60 at each position.
  • the jig board 60 is made of sheet metal. As shown in FIG. 8, the jig board 60 is formed with a plurality of groove-shaped openings 61 parallel to the longitudinal direction and a plurality of groove-shaped openings 62 parallel to the lateral direction which is the width direction. Two openings 62 are arranged at both ends of each opening 61 at a predetermined distance from the opening 61. The direction of the opening 61 and the direction of the opening 62 are orthogonal to each other. An AR marker 63 is provided between the two openings 62 on the opening 61 side. As an example, the AR marker 63 is provided by attaching the AR marker sticker to the sheet metal and fixing the sheet metal to the jig board 60 by screwing or the like. The AR marker is an example of a marker.
  • the width of the jig board 60 is 500 mm.
  • the robot control device 100 displaces the jig board 60 in the horizontal direction by 300 mm after the camera 30 photographs the jig board 60.
  • the robot control device 100 controls the work holding robot 10 so as to displace the jig board 60 in the horizontal direction eight times from the position where the jig board 60 is initially arranged, for example.
  • the robot control device 100 displaces the jig board 60 in the direction connecting the lighting fixture 22a and the lighting fixture 22b in FIG.
  • the robot control device 100 displaces, for example, the jig board 60 in the vertical direction nine times at each horizontal position.
  • the camera 30 photographs the jig board 60 at each horizontal and vertical position. That is, in one or more embodiments, the camera 30 photographs the jig board 60 at different positions in the horizontal or vertical position 90 times, and the captured image data of the jig board 60 at each position is input to the image processing device 300. To.
  • the number of times the jig board 60 is displaced in the horizontal direction is arbitrary, and in some cases, the jig board 60 may not be displaced in the horizontal direction.
  • the accuracy of the second and third conversion parameters, which will be described later, can be improved by displacing the jig board 60 in the horizontal direction and increasing the number of times of displacement.
  • the reason why the jig board 60 is displaced in the vertical direction is to detect the correspondence between the position of the jig board 60 in the height direction and the size of the captured image. If the correspondence between the position in the height direction and the size is known, it is possible to detect at what height the highest work W is when a plurality of work Ws are loaded on the pallet 20. .. If the height of the highest work W is known, it is possible to reduce the suction error when the work holding robot 10 sucks the highest work W by the gripper 11. When it is not necessary to detect the position of the work W in the height direction, the jig board 60 may not be displaced in the vertical direction.
  • the chess board 50 shown in FIG. 5 used in the process of step S1 may be provided on the back surface of the jig board 60.
  • the jig board 60 is attracted by the work holding robot 10 before step S11 in FIG. 4, the jig board 60 is turned over, and the jig board 60 is photographed by the camera 30. Good. After that, the jig board 60 may be turned face up and the process of step S22 of FIG. 7 may be executed.
  • FIG. 10 shows a specific process of step S3.
  • the image processing apparatus 300 corrects the distortion of the image by the lens included in the captured image of the jig board 60 by using the first conversion parameter in step S31. As a result, the distortion caused by the lens of the captured image of the jig board 60 is removed.
  • the image processing device 300 detects the position of the AR marker 63 of the captured image in step S32.
  • step S33 the image processing device 300 calculates the second conversion parameter based on the center point of the AR marker 63 of the actual jig board 60 and the center point of the AR marker 63 of the captured image.
  • the second conversion parameter is a conversion parameter for converting the two-dimensional coordinates in the three-dimensional space photographed by the camera 30 into the positions of the pixels of the photographed image.
  • the center point of the AR marker 63 is an example of the first reference point of the jig board 60.
  • a first reference point may be set other than the AR marker 63.
  • FIG. 11 shows a specific process of step S4.
  • the image processing apparatus 300 repeats the processes of steps S41 and S42 from the minimum height to the maximum height.
  • the image processing device 300 extracts captured images of the jig board 60 at each height.
  • the image processing apparatus 300 extracts only the images around the openings 61 and 62 in step S42.
  • FIG. 12 shows a jig board photographed image 60i (second photographed image) obtained by photographing the jig board 60.
  • the jig board captured image 60i includes the aperture edge images 61i and 62i of the openings 61 and 62, respectively, and the marker image 63i of the AR marker 63.
  • the image processing apparatus 300 extracts an image so as to include the aperture edge images 61i and 62i so as to be surrounded by the alternate long and short dash line.
  • the positions of openings 61 and 62 within the actual jig board 60 are known.
  • the positions of the aperture edge images 61i and 62i corresponding to the positions of the openings 61 and 62 can be obtained using the second conversion parameter. Therefore, the image processing device 300 can extract an image so as to include the aperture edge images 61i and 62i.
  • FIG. 13 shows a specific process of step S5.
  • the image processing apparatus 300 repeats the processes of steps S51 and S52 from the minimum height to the maximum height.
  • the image processing device 300 sets straight lines along the opening edge images 61i and 62i of the jig board captured image 60i at each height.
  • the image processing apparatus 300 has a straight line 71 along the side of the opening edge image 61i facing the marker image 63i and a straight line 71 along the side of the opening edge image 62i facing the marker image 63i.
  • a straight line 72 is set. The straight line 71 and the straight line 72 are orthogonal to each other.
  • straight lines 71 and 72 are similarly set in the jig board photographed images 60i at all positions displaced in the horizontal direction as shown in FIG.
  • the two straight lines 71 are set in the jig board captured image 60i at each position in which the jig board 60 is displaced in the horizontal direction.
  • the 14 straight lines 72 are connected in a straight line by the jig board captured image 60i at each position in the horizontal direction.
  • the image processing device 300 extracts the intersection of the straight line 71 and the straight line 72 in step S52.
  • the intersection of the straight line 71 and the straight line 72 shown in FIG. 14 is indicated by a black circle.
  • FIG. 15 shows the intersections at all horizontal positions from the minimum height to the maximum height.
  • the group of intersections shown in FIG. 15 is obtained by the process shown in FIG. The higher the vertical position of the jig board 60, the larger the jig board captured image 60i. Therefore, in reality, the group of intersections at one horizontal position shown in FIG. 15 has a slightly wider interval as the vertical position is higher.
  • intersection of the straight line 71 and the straight line 72 is an example of the second reference point of the jig board 60. More straight lines may be set in the jig board captured image 60i to increase the number of intersections as the second reference point. A second reference point may be set other than the intersection of straight lines.
  • FIG. 16 shows a specific process of step S6.
  • the image processing apparatus 300 adds a distortion vector to each intersection of the jig board captured image 60i by the first conversion parameter in step S61.
  • the group of intersections shown in FIG. 15 is converted into a state in which the distortion vector of the lens of the camera 30 is added.
  • the image processing device 300 calculates the third conversion parameter based on the position of the actual intersection of the jig board 60 and the position of the intersection of the jig board captured image 60i to which the distortion vector is added.
  • the third conversion parameter is a conversion parameter for converting the two-dimensional coordinates in the three-dimensional space photographed by the camera 30 into the positions of the pixels of the photographed image.
  • the third conversion parameter is more accurate than the second conversion parameter.
  • FIG. 17 shows a specific process of step S7.
  • the camera 30 takes a picture of the pallet 20 on which the work W is arranged.
  • the captured image data (third captured image) generated by the camera 30 is supplied to the image processing device 300.
  • step S71 the image processing apparatus 300 specifies the position of the pixel on the captured image corresponding to the two-dimensional coordinates by using the third conversion parameter, and determines the pixel at the specified position. Arrange in two dimensions in the image memory. As a result, a corrected photographed image (fourth photographed image) in which the trapezoidal distortion is corrected is generated.
  • step S72 the image processing device 300 detects the position of the work W based on the corrected captured image, and supplies the position information of the work W to the robot control device 100.
  • FIG. 18 conceptually shows the process executed in step S7.
  • (a) shows a three-dimensional space in which a pallet 20 on which a plurality of work Ws are loaded is photographed by a camera 30. Coordinates X, Y, Z are defined as shown in the figure.
  • (b) is a photographed image including trapezoidal distortion by the camera 30. It is assumed that the position where the two-dimensional coordinates X and Y in the three-dimensional space are (0,0) is the corner of the palette 20.
  • the pixels at the specified positions on the captured image of (b) are arranged two-dimensionally as shown in (c).
  • the image processing device 300 may interpolate the pixels and arrange them in a two-dimensional manner.
  • the distorted photographed image shown in FIG. 18B is converted into a two-dimensional image in which the trapezoidal distortion as shown in FIG. 18 is removed.
  • the image processing device 300 includes a central processing unit (CPU) 310 and an image memory 320.
  • the CPU 310 includes a first conversion parameter calculation unit 311, a lens distortion correction unit 312, a second conversion parameter calculation unit 313, a third conversion parameter calculation unit 314, and a trapezoidal distortion correction unit 315 as functional configurations.
  • the chess board shot image 50i (first shot image) is stored in the image memory 320.
  • the first conversion parameter calculation unit 311 calculates the first conversion parameter for correcting the distortion of the image by the lens of the camera 30 based on the chess board captured image 50i.
  • the first conversion parameter is supplied to the lens distortion correction unit 312 and the third conversion parameter calculation unit 314.
  • the jig board shot image 60i (second shot image) is stored in the image memory 320.
  • the lens distortion correction unit 312 corrects the distortion of the image by the lens included in the jig board captured image 60i by using the first conversion parameter.
  • the second conversion parameter calculation unit 313 extracts a plurality of first reference points on the jig board 60 in the jig board captured image 60i in which the distortion of the image is corrected.
  • the first reference point is, for example, the center point of the AR marker 63.
  • the second conversion parameter calculation unit 313 calculates the second conversion parameter based on the actual first reference point on the jig board 60 and the first reference point in the extracted jig board photographed image 60i.
  • the second conversion parameter is a conversion parameter for converting the two-dimensional coordinates in the three-dimensional space photographed by the camera 30 into the positions of the pixels in the jig board photographed image 60i.
  • the third conversion parameter calculation unit 314 uses the second conversion parameter to extract a region corresponding to a predetermined actual location on the jig board 60 in the jig board captured image 60i in which the distortion of the image has been corrected. Predetermined locations are openings 61 and 62 as an example.
  • the third conversion parameter calculation unit 314 extracts a plurality of second reference points based on the image of the region in the extracted jig board photographed image 60i.
  • the second reference point is, for example, the intersection of straight lines along the openings 61 and 62.
  • the third conversion parameter calculation unit 314 uses the first conversion parameter to add distortion of the image by the lens to the second reference point.
  • the third conversion parameter calculation unit 314 is based on the actual second reference point on the jig board 60 and the second reference point in the jig board captured image 60i to which the image is distorted by the lens. Calculate the conversion parameters.
  • the third conversion parameter is a conversion parameter for converting the two-dimensional coordinates to the positions of the pixels in the jig board photographed image 60i.
  • the third conversion parameter is stored in the image memory 320.
  • the trapezoidal distortion correction unit 315 uses the third conversion parameter to specify which pixel of the third captured image the two-dimensional coordinates in the three-dimensional space captured by the camera 30 correspond to.
  • the trapezoidal distortion correction unit 315 arranges the pixels corresponding to the specified coordinates in a two-dimensional manner, generates a fourth captured image in which the trapezoidal distortion of the third captured image is corrected, and generates an image memory. Store in 320.
  • the CPU 310 detects the position of the work W based on the fourth captured image, the position of the work W arranged on the pallet 20 can be correctly recognized. Since the position of the work W arranged on the pallet 20 is correctly recognized, the work holding robot 10 can accurately hold the work W under the control of the robot control device 100.
  • An image processing device 300 that corrects trapezoidal distortion by executing a computer program by the CPU 310 may be configured as shown in FIG.
  • the image processing device 300 may be composed of hardware such as an integrated circuit, software including a computer program, or a mixture of both. The proper use of software and hardware is optional.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)
  • Geometry (AREA)

Abstract

カメラ（３０）は、ワークの配置場所の中央の直上から外れた位置に配置されている。画像処理装置（３００）は、カメラ（３０）によってワークが配置されている配置場所が撮影されて撮影画像が生成されたとき、予め求められている変換パラメータを用いて、撮影されている３次元空間内の２次元的な座標が撮影画像のどの画素に対応するかを特定し、特定された各座標に対応する画素を２次元状に配列させて、撮影画像の台形状の歪を補正した補正撮影画像を生成する。ロボット制御装置（１００）は、補正撮影画像に基づいて配置場所におけるワークの位置を検出し、ワークを保持して加工機へと搬送するようワーク保持用ロボット（１０）を制御する。

Description

ワーク撮影画像処理装置、ワーク撮影画像処理方法、及び加工システム
　本開示は、ワーク撮影画像処理装置、ワーク撮影画像処理方法、及び加工システムに関する。
　ワーク保持用ロボットが、パレットのような配置場所に配置されているワークを保持して、プレスブレーキ等の加工機へと搬送することがある（特許文献１参照）。画像処理装置は、配置場所に配置されているワークをカメラによって撮影した撮影画像に基づいてワークの位置を検出する。
特開２０１８－１２０３８８号公報
　ワークの形状を適切に撮影するために、カメラはワークの直上からワークを撮影する必要がある。ところが、カメラがワークの直上に位置していると、クレーンがワークを配置場所に配置したり、ワーク保持用ロボットがワークを搬送したりする際に、ワーク、クレーン、またはワーク保持用ロボットがカメラと干渉することがあるため、カメラを退避させなければならない。そこで、カメラを配置場所の中央の直上から外れてワーク保持用ロボットから離れた位置に配置すれば干渉を回避することができる。
　ところが、カメラを配置場所の中央の直上から外れた位置に配置するとワークは斜め方向から撮影されるため、ワークの形状が適切に撮影されない。例えばワークが矩形状であれば、ワークは台形状に撮影されてしまう。撮影されたワークがワークの形状を適切に表していないと配置場所に配置されているワークの位置を正しく認識することができず、ワーク保持用ロボットがワークを保持することができないことがある。そこで、配置場所の中央の直上から外れた位置に配置したカメラによってワークを撮影したワーク撮影画像を適切な形状に補正することが必要である。
　１またはそれ以上の実施形態は、配置場所の中央の直上から外れた位置に配置したカメラによってワークを撮影したワーク撮影画像の台形状の歪みを補正することができるワーク撮影画像処理装置及びワーク撮影画像処理方法を提供することを目的とする。また、１またはそれ以上の実施形態は、台形状の歪みを補正したワーク撮影画像に基づいてワークの位置を検出して、ワークを保持することができる加工システムを提供することを目的とする。
　１またはそれ以上の実施形態の第１の態様によれば、ワークの配置場所の中央の直上から外れた位置に配置されているカメラによって格子模様を撮影した第１の撮影画像に基づいて、前記カメラのレンズによる画像の歪を補正するための第１の変換パラメータを算出する第１の変換パラメータ算出部と、前記カメラによってジグボードを撮影した第２の撮影画像に含まれている前記レンズによる画像の歪を、前記第１の変換パラメータを用いて補正するレンズ歪み補正部と、前記レンズ歪み補正部によって画像の歪が補正された前記第２の撮影画像内の前記ジグボードにおける複数の第１の基準点を抽出し、前記ジグボードにおける現実の前記第１の基準点と、抽出された前記第２の撮影画像内の前記第１の基準点とに基づいて、前記カメラによって撮影されている３次元空間内の２次元的な座標を前記第２の撮影画像内の画素の位置に変換する第２の変換パラメータを算出する第２の変換パラメータ算出部と、前記レンズ歪み補正部によって画像の歪が補正された前記第２の撮影画像内の、前記ジグボードにおける現実の所定の箇所に対応する領域を前記第２の変換パラメータを用いて抽出し、抽出された前記第２の撮影画像内の領域の画像に基づいて複数の第２の基準点を抽出し、前記第１の変換パラメータを用いて前記第２の基準点に前記レンズによる画像の歪を加え、前記ジグボードにおける現実の前記第２の基準点と、前記レンズによる画像の歪が加えられた前記第２の撮影画像内の前記第２の基準点とに基づいて、前記３次元空間内の２次元的な座標を前記第２の撮影画像内の画素の位置に変換する第３の変換パラメータを算出する第３の変換パラメータ算出部と、ワークが配置されている前記配置場所を前記カメラによって撮影した第３の撮影画像が生成されたとき、前記第３の変換パラメータを用いて、前記カメラによって撮影されている３次元空間内の２次元的な座標が前記第３の撮影画像のどの画素に対応するかを特定し、特定された各座標に対応する画素を２次元状に配列させて、前記第３の撮影画像の台形状の歪を補正した第４の撮影画像を生成する台形歪補正部とを備えるワーク撮影画像処理装置が提供される。
　１またはそれ以上の実施形態の第２の態様によれば、ワークの配置場所の中央の直上から外れた位置に配置されているカメラによって格子模様を撮影した第１の撮影画像に基づいて、前記カメラのレンズによる画像の歪を補正するための第１の変換パラメータを算出し、前記カメラによってジグボードを撮影した第２の撮影画像に含まれている前記レンズによる画像の歪を、前記第１の変換パラメータを用いて補正し、画像の歪が補正された前記第２の撮影画像内の前記ジグボードにおける複数の第１の基準点を抽出し、前記ジグボードにおける現実の前記第１の基準点と、抽出された前記第２の撮影画像内の前記第１の基準点とに基づいて、前記カメラによって撮影されている３次元空間内の２次元的な座標を前記第２の撮影画像内の画素の位置に変換する第２の変換パラメータを算出し、画像の歪が補正された前記第２の撮影画像内の、前記ジグボードにおける現実の所定の箇所に対応する領域を前記第２の変換パラメータを用いて抽出し、抽出された前記第２の撮影画像内の領域の画像に基づいて複数の第２の基準点を抽出し、前記第１の変換パラメータを用いて前記第２の基準点に前記レンズによる画像の歪を加え、前記ジグボードにおける現実の前記第２の基準点と、前記レンズによる画像の歪が加えられた前記第２の撮影画像内の前記第２の基準点とに基づいて、前記３次元空間内の２次元的な座標を前記第２の撮影画像内の画素の位置に変換する第３の変換パラメータを算出し、ワークが配置されている前記配置場所を前記カメラによって撮影した第３の撮影画像が生成されたとき、前記第３の変換パラメータを用いて、前記カメラによって撮影されている３次元空間内の２次元的な座標が前記第３の撮影画像のどの画素に対応するかを特定し、特定された各座標に対応する画素を２次元状に配列させて、前記第３の撮影画像の台形状の歪を補正した第４の撮影画像を生成するワーク撮影画像処理方法が提供される。
　１またはそれ以上の実施形態の第３の態様によれば、ワークの配置場所の中央の直上から外れた位置に配置されているカメラと、前記カメラによってワークが配置されている前記配置場所が撮影されて撮影画像が生成されたとき、予め求められている変換パラメータを用いて、撮影されている３次元空間内の２次元的な座標が前記撮影画像のどの画素に対応するかを特定し、特定された各座標に対応する画素を２次元状に配列させて、前記撮影画像の台形状の歪を補正した補正撮影画像を生成する画像処理装置と、前記補正撮影画像に基づいて前記配置場所における前記ワークの位置を検出し、前記ワークを保持して加工機へと搬送するようワーク保持用ロボットを制御するロボット制御装置とを備える加工システムが提供される。
　１またはそれ以上の実施形態のワーク撮影画像処理装置及びワーク撮影画像処理方法によれば、配置場所の中央の直上から外れた位置に配置したカメラによってワークを撮影したワーク撮影画像の台形状の歪みを補正することができる。１またはそれ以上の実施形態の加工システムによれば、台形状の歪みを補正したワーク撮影画像に基づいてワークの位置を検出して、ワークを保持することができる。
図１は、配置場所に配置されているワークをワーク保持用ロボットによって保持して加工機へと搬送してワークを加工する加工システムの構成例を示す斜視図である。 図２は、１またはそれ以上の実施形態のワーク撮影画像処理装置を含む加工システムの構成例を示すブロック図である。 図３は、１またはそれ以上の実施形態のワーク撮影画像処理装置の全体的な動作、及び１またはそれ以上の実施形態のワーク撮影画像処理方法による全体的な処理を示すフローチャートである。 図４は、図３のステップＳ１の具体的な処理を示すフローチャートである。 図５は、図３のステップＳ１で使用されるチェスボードの一例を示す平面図である。 図６は、カメラによって図５に示すチェスボードを撮影したチェスボード撮影画像を示す図である。 図７は、図３のステップＳ２の具体的な処理を示すフローチャートである。 図８は、図３のステップＳ２で使用されるキャリブレーション用のジグボードを示す平面図である。 図９は、ジグボードを水平方向及び垂直方向に複数回変位させた状態を示す概念図である。 図１０は、図３のステップＳ３の具体的な処理を示すフローチャートである。 図１１は、図３のステップＳ４の具体的な処理を示すフローチャートである。 図１２は、ジグボード撮影画像の開口周辺の画像のみを抽出した状態を示す図である。 図１３は、図３のステップＳ５の具体的な処理を示すフローチャートである。 図１４は、ジグボード撮影画像の開口エッジ画像に沿った直線で形成される交点を示す図である。 図１５は、ジグボードを水平方向及び垂直方向に複数回変位させたときのジグボード撮影画像によって形成される交点の群を示す図である。 図１６は、図３のステップＳ６の具体的な処理を示すフローチャートである。 図１７は、図３のステップＳ７の具体的な処理を示すフローチャートである。 図１８は、図３のステップＳ７で実行される処理を示す概念図である。 図１９は、１またはそれ以上の実施形態のワーク撮影画像処理装置を示すブロック図である。
　以下、１またはそれ以上の実施形態のワーク撮影画像処理装置、ワーク撮影画像処理方法、及び加工システムについて、添付図面を参照して説明する。まず、図１及び図２を用いて、配置場所に配置されているワークをワーク保持用ロボットによって保持して加工機へと搬送してワークを加工する加工システムの構成例を説明する。
　図１において、配置場所の一例であるパレット２０には、ワークＷが配置されている。ここでは、パレット２０に複数枚のワークＷが積載されている。パレット２０の両側方には、フレーム２１ａ及び２１ｂが配置されている。フレーム２１ａは、１つの垂直フレームと垂直フレームの上端部に連結された水平フレームを有する。フレーム２１ｂは、一対の垂直フレームと一対の垂直フレームの上端部に連結された水平フレームを有する。
　フレーム２１ａ及び２１ｂの水平フレームの対向する面には、それぞれ照明器具２２ａ及び２２ｂが取り付けられている。照明器具２２ａ及び２２ｂは例えば複数個の発光ダイオード（ＬＥＤ）を有する。照明器具２２ａ及び２２ｂはパレット２０に配置されているワークＷに照明光を照射する。
　フレーム２１ａには、所定の高さまで延びる垂直フレームと垂直フレームの上端部に連結された水平フレームとよりなるＬ字状の支柱２３が取り付けられている。支柱２３（水平フレーム）の先端部にはカメラ３０が取り付けられている。カメラ３０はいわゆる単眼カメラである。カメラ３０は、パレット２０の中央の直上よりもワーク保持用ロボット１０から離れる方向に外れた位置に配置されて、パレット２０及びワークＷを撮影する。即ち、カメラ３０は、パレット２０及びワークＷを斜め上方の位置から撮影する。これにより、カメラ３０は、ワーク保持用ロボット１０がパレット２０に配置されているワークＷを保持して搬送する動作を妨げることがない。
　カメラ３０は、パレット２０に配置されているワークＷを撮影するとき、照明器具２２ａ及び２２ｂによってワークＷに照明光を照射するのがよい。ワークＷに照明光を照射するとワークＷのエッジが明確化され、パターンマッチングによってワークＷの位置を検出する際にワークＷの位置が検出しやすくなる。
　パレット２０と加工機の一例であるプレスブレーキ４０との間には、多関節のワーク保持用ロボット１０が配置されている。ワーク保持用ロボット１０は、先端部に、ワークＷを吸着するためのグリッパ１１を有する。グリッパ１１は、複数の吸着パッド１２を有する。グリッパ１１は最上位の１枚のワークＷを吸着して保持し、ワークＷを加工するためにプレスブレーキ４０に搬送する。
　図２に示すように、カメラ３０が生成した撮影画像データは画像処理装置３００に供給される。画像処理装置３００は、１またはそれ以上の実施形態のワーク撮影画像処理装置として機能する。上記のようにカメラ３０はパレット２０の中央の直上から外れた位置に配置されていて、ワークＷを斜め方向から撮影しているから、ワークＷの撮影画像は形状が歪んでいる。画像処理装置３００は、後述するように、撮影画像を適切な形状に補正する。画像処理装置３００は補正された撮影画像に基づいてワークＷの位置を検出し、検出した位置情報をロボット制御装置１００に供給する。
　ロボット制御装置１００は、ワークＷの位置情報に基づいてパレット２０上のワークＷを保持するよう、ワーク保持用ロボット１０を制御する。
　画像処理装置３００及びロボット制御装置１００は、コンピュータ機器によって構成することができる。ロボット制御装置１００に画像処理装置３００の機能を持たせることによって、ロボット制御装置１００と画像処理装置３００とが一体化されていてもよい。
　画像処理装置３００は、図３のフローチャートに示す処理を実行して撮影画像を補正する。画像処理装置３００は、ステップＳ１にて、カメラ３０のレンズの歪みベクトルを補正する。画像処理装置３００は、ステップＳ２にて、キャリブレーション用のジグボードを撮影し、ステップＳ３にて、仮キャリブレーションを実行する。画像処理装置３００は、ステップＳ４にて、ジグボードの穴の位置の画像を抽出し、ステップＳ５にて、ジグボードの穴に沿った直線の交点を求める。画像処理装置３００は、ステップＳ６にて、本キャリブレーションを実行する。後述するように、ステップＳ１～Ｓ６の処理によって、カメラ３０によって撮影した台形状の歪みを補正した２次元画像を生成するための変換パラメータが生成される。
　パレット２０に配置されたワークＷの位置を検出するために、カメラ３０がパレット２０を撮影すると、画像処理装置３００は、ステップＳ７にて、台形状の歪みを補正した２次元画像を生成し、検出したワークＷの位置情報をロボット制御装置１００に供給する。
　以下、ステップＳ１～Ｓ７の処理を具体的に説明する。図４は、ステップＳ１の具体的な処理を示す。図４において、カメラ３０は、ステップＳ１１にて、図５に示すようなチェスボード５０を撮影する。チェスボード５０は、白の正方形と黒の正方形を直交する２つの方向に交互に並べたものであり、格子模様の一例であるが任意の図形パターンでもよい。カメラ３０がチェスボード５０を撮影すると、図６に示すようなチェスボード撮影画像５０ｉ（第１の撮影画像）が得られる。チェスボード撮影画像５０ｉは画像処理装置３００に入力される。画像処理装置３００は、ステップＳ１２にて、チェスボード撮影画像５０ｉの格子点を検出する。
　カメラ３０はステップＳ１１にてチェスボード５０を複数回撮影して、複数のチェスボード撮影画像５０ｉを画像処理装置３００に供給するのがよい。このとき、カメラ３０はチェスボード５０を複数の角度で撮影してもよい。チェスボード撮影画像５０ｉが台形状に歪まないようにチェスボード５０を撮影してもよいし、チェスボード撮影画像５０ｉが台形状に歪むようにチェスボード５０を撮影してもよい。カメラ３０がチェスボード５０を複数回撮影する場合、画像処理装置３００は、各チェスボード撮影画像５０ｉの格子点を検出し、各チェスボード撮影画像５０ｉの格子点を平均して、チェスボード撮影画像５０ｉの格子点を検出する。
　図５と図６とを比較すれば明らかなように、チェスボード撮影画像５０ｉはチェスボード５０と比較して、カメラ３０のレンズの歪曲収差等に起因して歪んでいる。画像処理装置３００は、ステップＳ１３にて、レンズによる歪みを補正する第１の変換パラメータを算出する。第１の変換パラメータを算出する式は知られているので、第１の変換パラメータを算出する式の詳細は省略する。
　図７は、ステップＳ２の具体的な処理を示す。図７において、ロボット制御装置１００は、ステップＳ２１にて、図８に示すようなジグボード６０をワーク保持用ロボット１０で吸着する。ロボット制御装置１００は、ステップＳ２２にて、ジグボード６０をパレット２０の上方で水平方向及び垂直方向に複数回変位させ、カメラ３０は各位置のジグボード６０を撮影する。
　ジグボード６０は板金によって構成されている。図８に示すように、ジグボード６０には、長手方向と平行の複数の溝状の開口６１と、幅方向である短手方向と平行の複数の溝状の開口６２が形成されている。各開口６１の両端部に、開口６１と所定の距離だけ離れて２つの開口６２が配置されている。開口６１の方向と開口６２の方向とは直交している。２つの開口６２の間で開口６１側には、ＡＲマーカ６３が設けられている。一例として、板金にＡＲマーカのシールが貼付され、板金がジグボード６０にねじ止め等によって固定されることによって、ＡＲマーカ６３が設けられている。ＡＲマーカはマーカの一例である。
　図９に示すように、ジグボード６０の幅は５００ｍｍである。一例として、ロボット制御装置１００は、カメラ３０がジグボード６０を撮影したら、ジグボード６０を水平方向に３００ｍｍだけ変位させる。ロボット制御装置１００は、例えばジグボード６０を最初に配置させた位置から水平方向に８回変位させるようワーク保持用ロボット１０を制御する。ロボット制御装置１００は、ジグボード６０を図１における照明器具２２ａと照明器具２２ｂとを結ぶ方向に変位させる。
　ロボット制御装置１００は、各水平位置で、例えばジグボード６０を垂直方向に９回変位させる。カメラ３０は、各水平及び垂直位置で、ジグボード６０を撮影する。即ち、１またはそれ以上の実施形態においては、カメラ３０は、ジグボード６０を水平位置または垂直位置が異なる位置で９０回撮影し、各位置のジグボード６０の撮影画像データが画像処理装置３００に入力される。
　ジグボード６０を水平方向に変位させる回数は任意であり、場合によってはジグボード６０を水平方向に変位させなくてもよい。ジグボード６０を水平方向に変位させる方が、また変位させる回数を多くする方が後述する第２及び第３の変換パラメータの精度を向上させることができる。
　ジグボード６０を垂直方向に変位させるのは、ジグボード６０の高さ方向の位置と撮影画像の大きさとの対応関係を検出するためである。高さ方向の位置と大きさとの対応関係が分かれば、パレット２０上に複数枚のワークＷが積載されているときに、最上位のワークＷがどの高さにあるのかを検出することができる。最上位のワークＷがどの高さにあるのかが分かれば、ワーク保持用ロボット１０がグリッパ１１によって最上位のワークＷを吸着するときの吸着ミスを少なくことができる。ワークＷの高さ方向の位置を検出する必要がない場合には、ジグボード６０を垂直方向に変位させなくてもよい。
　ところで、ステップＳ１の処理で用いる図５に示すチェスボード５０をジグボード６０の裏面に設けてもよい。チェスボード５０をジグボード６０の裏面に設けている場合には、図４のステップＳ１１の前にジグボード６０をワーク保持用ロボット１０で吸着してジグボード６０を裏返し、カメラ３０でジグボード６０を撮影すればよい。その後、ジグボード６０を表向きにして、図７のステップＳ２２の処理を実行させればよい。
　図１０は、ステップＳ３の具体的な処理を示す。図１０において、画像処理装置３００は、ステップＳ３１にて、ジグボード６０の撮影画像に含まれているレンズによる画像の歪みを第１の変換パラメータを用いて補正する。これによって、ジグボード６０の撮影画像のレンズに起因する歪みが除去される。画像処理装置３００は、ステップＳ３２にて、撮影画像のＡＲマーカ６３の位置を検出する。
　ロボット制御装置１００がワーク保持用ロボット１０を制御してジグボード６０を変位させた位置は既知である。画像処理装置３００は、ステップＳ３３にて、現実のジグボード６０のＡＲマーカ６３の中心点と撮影画像のＡＲマーカ６３の中心点とに基づいて第２の変換パラメータを算出する。第２の変換パラメータは、カメラ３０によって撮影されている３次元空間内の２次元的な座標を撮影画像の画素の位置に変換するための変換パラメータである。
　ＡＲマーカ６３の中心点はジグボード６０の第１の基準点の一例である。ＡＲマーカ６３以外で第１の基準点を設定してもよい。
　図１１は、ステップＳ４の具体的な処理を示す。図１１において、画像処理装置３００は、最小高さから最大高さまで、ステップＳ４１及びＳ４２の処理を繰り返す。画像処理装置３００は、ステップＳ４１にて、各高さのジグボード６０の撮影画像を抽出する。画像処理装置３００は、ステップＳ４２にて、開口６１及び６２の周辺の画像のみを抽出する。
　図１２は、ジグボード６０を撮影したジグボード撮影画像６０ｉ（第２の撮影画像）を示している。ジグボード撮影画像６０ｉは、開口６１及び６２それぞれの開口エッジ画像６１ｉ及び６２ｉと、ＡＲマーカ６３のマーカ画像６３ｉを含む。画像処理装置３００は、一点鎖線で囲んでいるように、開口エッジ画像６１ｉ及び６２ｉを含むように画像を抽出する。現実のジグボード６０内の開口６１及び６２の位置は既知である。開口６１及び６２の位置に対応する開口エッジ画像６１ｉ及び６２ｉの位置は第２の変換パラメータを用いて得ることができる。よって、画像処理装置３００は、開口エッジ画像６１ｉ及び６２ｉを含むように画像を抽出することができる。
　図１３は、ステップＳ５の具体的な処理を示す。図１３において、画像処理装置３００は、最小高さから最大高さまで、ステップＳ５１及びＳ５２の処理を繰り返す。画像処理装置３００は、ステップＳ５１にて、各高さのジグボード撮影画像６０ｉの開口エッジ画像６１ｉ及び６２ｉに沿った直線を設定する。図１４に示すように、一例として、画像処理装置３００は、開口エッジ画像６１ｉのマーカ画像６３ｉと対向する辺に沿った直線７１と、開口エッジ画像６２ｉのマーカ画像６３ｉと対向する辺に沿った直線７２とを設定する。直線７１と直線７２とは直交する。
　図１４では１つのジグボード撮影画像６０ｉのみを示しているが、図９のように水平方向に変位させた全ての位置のジグボード撮影画像６０ｉにおいて同様に直線７１及び７２が設定される。２本の直線７１は、ジグボード６０を水平方向に変位させた各位置のジグボード撮影画像６０ｉにおいて設定される。１４本の直線７２は、水平方向の各位置のジグボード撮影画像６０ｉで一直線に連結する。
　図１３に戻り、画像処理装置３００は、ステップＳ５２にて、直線７１と直線７２との交点を抽出する。図１４に示す直線７１と直線７２との交点を黒丸で示している。図１５は、最小高さから最大高さまでの全ての水平位置における交点を示している。図１３に示す処理によって図１５に示す交点の群が得られる。ジグボード６０の垂直位置が高いほど、ジグボード撮影画像６０ｉは大きくなる。よって、実際には、図１５に示す１つの水平位置の交点の群は、垂直位置が高いほど間隔がわずかに広がった状態となる。
　直線７１と直線７２との交点はジグボード６０の第２の基準点の一例である。ジグボード撮影画像６０ｉにさらに多くの直線を設定して、第２の基準点としての交点を増やしてもよい。直線の交点以外で第２の基準点を設定してもよい。
　図１６は、ステップＳ６の具体的な処理を示す。図１６において、画像処理装置３００は、ステップＳ６１にて、ジグボード撮影画像６０ｉの各交点に第１の変換パラメータによって歪みベクトルを加える。これによって、図１５に示す交点の群は、カメラ３０のレンズの歪みベクトルが加えられた状態に変換される。画像処理装置３００は、ステップＳ６２にて、ジグボード６０の現実の交点の位置と歪みベクトルを加えたジグボード撮影画像６０ｉの交点の位置とに基づいて第３の変換パラメータを算出する。第３の変換パラメータは、カメラ３０によって撮影されている３次元空間内の２次元的な座標を撮影画像の画素の位置に変換するための変換パラメータである。第３の変換パラメータは第２の変換パラメータよりも精度が向上している。
　図１７は、ステップＳ７の具体的な処理を示す。パレット２０に配置されたワークＷの位置を検出するために、カメラ３０が、ワークＷが配置されているパレット２０を撮影する。カメラ３０が生成した撮影画像データ（第３の撮影画像）は画像処理装置３００に供給される。
　図１７において、画像処理装置３００は、ステップＳ７１にて、第３の変換パラメータを用いて、２次元的な座標に対応する撮影画像上の画素の位置を特定し、特定された位置の画素を画像メモリ内に２次元状に配列させる。これによって、台形状の歪みが補正された補正撮影画像（第４の撮影画像）が生成される。画像処理装置３００は、ステップＳ７２にて、補正撮影画像に基づいてワークＷの位置を検出し、ワークＷの位置情報をロボット制御装置１００に供給する。
　図１８は、ステップＳ７で実行される処理を概念的に示している。図１８において、（ａ）は複数枚のワークＷが積載されているパレット２０をカメラ３０で撮影した３次元空間を示している。図示のように座標Ｘ，Ｙ，Ｚが定義されている。図１８において、（ｂ）はカメラ３０による台形状の歪みを含む撮影画像である。３次元空間内の２次元的な座標Ｘ，Ｙが（０，０）の位置がパレット２０の角であるとする。第３の変換パラメータによって、（ａ）の座標Ｘ，Ｙ＝（０，０）に対応する（ｂ）の撮影画像上の画素の位置が特定される。（ｂ）の撮影画像上の特定された位置の画素が（ｃ）に示すように２次元状に配列される。
　画像処理装置３００は、座標Ｙ＝０で座標Ｘを順に増加させてＸの最大値まで各座標に対応する撮影画像上の画素の位置を特定して、特定された位置の画素を２次元状に配列する。画像処理装置３００は、座標Ｙ＝１以降も同様の動作を繰り返す。このとき、画像処理装置３００は、画素を補間して２次元状に配列することがある。すると、図１８の（ｂ）に示す歪んだ撮影画像は、（ｃ）に示すような台形状の歪みが除去された２次元画像に変換される。
　画像処理装置３００を図１９に示すように構成することによって、図３に示す処理が実行できる。画像処理装置３００は、中央処理装置（ＣＰＵ）３１０と、画像メモリ３２０とを備える。ＣＰＵ３１０は、機能的な構成として、第１の変換パラメータ算出部３１１、レンズ歪み補正部３１２、第２の変換パラメータ算出部３１３、第３の変換パラメータ算出部３１４、台形歪補正部３１５を備える。
　カメラ３０がチェスボード５０のような格子模様を撮影すると、画像メモリ３２０には、チェスボード撮影画像５０ｉ（第１の撮影画像）が記憶される。第１の変換パラメータ算出部３１１は、チェスボード撮影画像５０ｉに基づいて、カメラ３０のレンズによる画像の歪を補正するための第１の変換パラメータを算出する。第１の変換パラメータは、レンズ歪み補正部３１２及び第３の変換パラメータ算出部３１４に供給される。
　カメラ３０がジグボード６０を撮影すると、画像メモリ３２０には、ジグボード撮影画像６０ｉ（第２の撮影画像）が記憶される。レンズ歪み補正部３１２は、ジグボード撮影画像６０ｉに含まれているレンズによる画像の歪を、第１の変換パラメータを用いて補正する。
　第２の変換パラメータ算出部３１３は、画像の歪が補正されたジグボード撮影画像６０ｉ内のジグボード６０における複数の第１の基準点を抽出する。第１の基準点は一例としてＡＲマーカ６３の中心点である。第２の変換パラメータ算出部３１３は、ジグボード６０における現実の第１の基準点と、抽出されたジグボード撮影画像６０ｉ内の第１の基準点とに基づいて、第２の変換パラメータを算出する。第２の変換パラメータは、カメラ３０によって撮影されている３次元空間内の２次元的な座標をジグボード撮影画像６０ｉ内の画素の位置に変換するための変換パラメータである。
　第３の変換パラメータ算出部３１４は、画像の歪が補正されたジグボード撮影画像６０ｉ内の、ジグボード６０における現実の所定の箇所に対応する領域を第２の変換パラメータを用いて抽出する。所定の箇所は一例として開口６１及び６２である。第３の変換パラメータ算出部３１４は、抽出されたジグボード撮影画像６０ｉ内の領域の画像に基づいて複数の第２の基準点を抽出する。第２の基準点は一例として開口６１及び６２に沿った直線の交点である。
　第３の変換パラメータ算出部３１４は、第１の変換パラメータを用いて第２の基準点にレンズによる画像の歪を加える。第３の変換パラメータ算出部３１４は、ジグボード６０における現実の第２の基準点と、レンズによる画像の歪が加えられたジグボード撮影画像６０ｉ内の第２の基準点とに基づいて、第３の変換パラメータを算出する。第３の変換パラメータは、２次元的な座標をジグボード撮影画像６０ｉ内の画素の位置に変換するための変換パラメータである。第３の変換パラメータは画像メモリ３２０に記憶される。
　ワークＷが配置されているパレット２０がカメラ３０によって撮影されると、画像メモリ３２０には第３の撮影画像が記憶される。台形歪補正部３１５は、第３の変換パラメータを用いて、カメラ３０によって撮影されている３次元空間内の２次元的な座標が第３の撮影画像のどの画素に対応するかを特定する。台形歪補正部３１５は、特定された各座標に対応する画素を２次元状に配列させて、第３の撮影画像の台形状の歪を補正した第４の撮影画像を生成して、画像メモリ３２０に記憶させる。
　ＣＰＵ３１０は、第４の撮影画像に基づいてワークＷの位置を検出するので、パレット２０に配置されているワークＷの位置を正しく認識することができる。パレット２０に配置されているワークＷの位置が正しく認識されるので、ワーク保持用ロボット１０は、ロボット制御装置１００による制御によって、ワークＷを正確に保持することができる。
　本発明は以上説明した１またはそれ以上の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。ＣＰＵ３１０がコンピュータプログラムを実行することによって、図１８に示すように台形状の歪を補正する画像処理装置３００が構成されていてもよい。画像処理装置３００は集積回路等のハードウェアで構成されていてもよくコンピュータプログラムを含むソフトウェアで構成されていてもよく、両者が混在していてもよい。ソフトウェアとハードウェアとの使い分けは任意である。
　本願は、２０１９年１０月２１日に日本国特許庁に出願された特願２０１９－１９１６７５号に基づく優先権を主張するものであり、その全ての開示内容は引用によりここに援用される。

Claims (7)

  1. 　ワークの配置場所の中央の直上から外れた位置に配置されているカメラによって格子模様を撮影した第１の撮影画像に基づいて、前記カメラのレンズによる画像の歪を補正するための第１の変換パラメータを算出する第１の変換パラメータ算出部と、
    　前記カメラによってジグボードを撮影した第２の撮影画像に含まれている前記レンズによる画像の歪を、前記第１の変換パラメータを用いて補正するレンズ歪み補正部と、
    　前記レンズ歪み補正部によって画像の歪が補正された前記第２の撮影画像内の前記ジグボードにおける複数の第１の基準点を抽出し、前記ジグボードにおける現実の前記第１の基準点と、抽出された前記第２の撮影画像内の前記第１の基準点とに基づいて、前記カメラによって撮影されている３次元空間内の２次元的な座標を前記第２の撮影画像内の画素の位置に変換する第２の変換パラメータを算出する第２の変換パラメータ算出部と、
    　前記レンズ歪み補正部によって画像の歪が補正された前記第２の撮影画像内の、前記ジグボードにおける現実の所定の箇所に対応する領域を前記第２の変換パラメータを用いて抽出し、抽出された前記第２の撮影画像内の領域の画像に基づいて複数の第２の基準点を抽出し、前記第１の変換パラメータを用いて前記第２の基準点に前記レンズによる画像の歪を加え、前記ジグボードにおける現実の前記第２の基準点と、前記レンズによる画像の歪が加えられた前記第２の撮影画像内の前記第２の基準点とに基づいて、前記３次元空間内の２次元的な座標を前記第２の撮影画像内の画素の位置に変換する第３の変換パラメータを算出する第３の変換パラメータ算出部と、
    　ワークが配置されている前記配置場所を前記カメラによって撮影した第３の撮影画像が生成されたとき、前記第３の変換パラメータを用いて、前記カメラによって撮影されている３次元空間内の２次元的な座標が前記第３の撮影画像のどの画素に対応するかを特定し、特定された各座標に対応する画素を２次元状に配列させて、前記第３の撮影画像の台形状の歪を補正した第４の撮影画像を生成する台形歪補正部と、
    　を備えるワーク撮影画像処理装置。
  2. 　前記ジグボードには複数のマーカが設けられており、
    　前記第２の変換パラメータ算出部は、前記マーカの中心点を前記第１の基準点として抽出する
    　請求項１に記載のワーク撮影画像処理装置。
  3. 　前記ジグボードには複数の開口が形成されており、
    　前記第２の撮影画像は、前記開口に対応した開口エッジ画像を含み、
    　前記第３の変換パラメータ算出部は、
    　画像の歪が補正された前記第２の撮影画像内の前記開口エッジ画像を含む領域を抽出し、
    　前記開口エッジ画像に沿った直線の交点を前記第２の基準点として抽出する
    　請求項１または２に記載のワーク撮影画像処理装置。
  4. 　ワークの配置場所の中央の直上から外れた位置に配置されているカメラによって格子模様を撮影した第１の撮影画像に基づいて、前記カメラのレンズによる画像の歪を補正するための第１の変換パラメータを算出し、
    　前記カメラによってジグボードを撮影した第２の撮影画像に含まれている前記レンズによる画像の歪を、前記第１の変換パラメータを用いて補正し、
    　画像の歪が補正された前記第２の撮影画像内の前記ジグボードにおける複数の第１の基準点を抽出し、
    　前記ジグボードにおける現実の前記第１の基準点と、抽出された前記第２の撮影画像内の前記第１の基準点とに基づいて、前記カメラによって撮影されている３次元空間内の２次元的な座標を前記第２の撮影画像内の画素の位置に変換する第２の変換パラメータを算出し、
    　画像の歪が補正された前記第２の撮影画像内の、前記ジグボードにおける現実の所定の箇所に対応する領域を前記第２の変換パラメータを用いて抽出し、
    　抽出された前記第２の撮影画像内の領域の画像に基づいて複数の第２の基準点を抽出し、
    　前記第１の変換パラメータを用いて前記第２の基準点に前記レンズによる画像の歪を加え、
    　前記ジグボードにおける現実の前記第２の基準点と、前記レンズによる画像の歪が加えられた前記第２の撮影画像内の前記第２の基準点とに基づいて、前記３次元空間内の２次元的な座標を前記第２の撮影画像内の画素の位置に変換する第３の変換パラメータを算出し、
    　ワークが配置されている前記配置場所を前記カメラによって撮影した第３の撮影画像が生成されたとき、前記第３の変換パラメータを用いて、前記カメラによって撮影されている３次元空間内の２次元的な座標が前記第３の撮影画像のどの画素に対応するかを特定し、特定された各座標に対応する画素を２次元状に配列させて、前記第３の撮影画像の台形状の歪を補正した第４の撮影画像を生成する
    　ワーク撮影画像処理方法。
  5. 　前記ジグボードには複数のマーカが設けられており、
    　前記マーカの中心点を前記第１の基準点として抽出する
    　請求項４に記載のワーク撮影画像処理方法。
  6. 　前記ジグボードには複数の開口が形成されており、
    　前記第２の撮影画像は、前記開口に対応した開口エッジ画像を含み、
    　画像の歪が補正された前記第２の撮影画像内の前記開口エッジ画像を含む領域を抽出し、
    　前記開口エッジ画像に沿った直線の交点を前記第２の基準点として抽出する
    　請求項４または５に記載のワーク撮影画像処理方法。
  7. 　ワークの配置場所の中央の直上から外れた位置に配置されているカメラと、
    　前記カメラによってワークが配置されている前記配置場所が撮影されて撮影画像が生成されたとき、予め求められている変換パラメータを用いて、撮影されている３次元空間内の２次元的な座標が前記撮影画像のどの画素に対応するかを特定し、特定された各座標に対応する画素を２次元状に配列させて、前記撮影画像の台形状の歪を補正した補正撮影画像を生成する画像処理装置と、
    　前記補正撮影画像に基づいて前記配置場所における前記ワークの位置を検出し、前記ワークを保持して加工機へと搬送するようワーク保持用ロボットを制御するロボット制御装置と、
    　を備える加工システム。
PCT/JP2020/038767 2019-10-21 2020-10-14 ワーク撮影画像処理装置、ワーク撮影画像処理方法、及び加工システム WO2021079802A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/769,729 US12094094B2 (en) 2019-10-21 2020-10-14 Workpiece photographed image processing device, workpiece photographed image processing method, and processing system
EP20879458.6A EP4049805B1 (en) 2019-10-21 2020-10-14 Workpiece photograph image processing device, workpiece photograph image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019191675A JP7269864B2 (ja) 2019-10-21 2019-10-21 ワーク撮影画像処理装置及びワーク撮影画像処理方法
JP2019-191675 2019-10-21

Publications (1)

Publication Number Publication Date
WO2021079802A1 true WO2021079802A1 (ja) 2021-04-29

Family

ID=75620570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038767 WO2021079802A1 (ja) 2019-10-21 2020-10-14 ワーク撮影画像処理装置、ワーク撮影画像処理方法、及び加工システム

Country Status (4)

Country Link
US (1) US12094094B2 (ja)
EP (1) EP4049805B1 (ja)
JP (1) JP7269864B2 (ja)
WO (1) WO2021079802A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114893669A (zh) * 2022-05-26 2022-08-12 江苏省建筑工程集团有限公司 一种应用于塔机附着装置安装的监测装置及监测方法
EP4357041A1 (de) 2022-10-21 2024-04-24 Bystronic Laser AG Vorrichtung und verfahren zum automatisierten biegen von werkstücken

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7561519B2 (ja) * 2020-05-22 2024-10-04 株式会社アマダ 曲げ加工システム及びその使用方法
JP7218018B1 (ja) 2021-12-24 2023-02-06 ユーピーアール株式会社 パレット検出装置およびパレット検出方法
JP7185958B1 (ja) 2021-12-24 2022-12-08 ユーピーアール株式会社 パレット検出装置およびパレット検出方法
CN116071361B (zh) * 2023-03-20 2023-07-04 深圳思谋信息科技有限公司 针对工件的视觉定位方法、装置、计算机设备和存储介质
EP4450920A1 (en) * 2023-04-21 2024-10-23 SK On Co., Ltd. Calibration device and equipment diagnosis method using the same

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010172986A (ja) * 2009-01-28 2010-08-12 Fuji Electric Holdings Co Ltd ロボットビジョンシステムおよび自動キャリブレーション方法
JP2015035685A (ja) * 2013-08-08 2015-02-19 パナソニックＩｐマネジメント株式会社 画像処理装置およびマーカ
JP2015157342A (ja) * 2014-02-25 2015-09-03 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置および制御方法
WO2018043524A1 (ja) * 2016-09-02 2018-03-08 倉敷紡績株式会社 ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2018120388A (ja) 2017-01-25 2018-08-02 株式会社アマダホールディングス ワーク検出装置及び方法
WO2019049331A1 (ja) * 2017-09-08 2019-03-14 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
JP2019191675A (ja) 2018-04-19 2019-10-31 セイコーエプソン株式会社 透過型頭部装着型表示装置、支援システム、表示制御方法、およびコンピュータープログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7352913B2 (en) * 2001-06-12 2008-04-01 Silicon Optix Inc. System and method for correcting multiple axis displacement distortion
KR100812997B1 (ko) * 2007-03-07 2008-03-13 삼성전기주식회사 키스톤 보정 방법 및 디스플레이 장치
WO2010119603A1 (ja) * 2009-04-16 2010-10-21 日本電気株式会社 手書き入力装置
EP2962084B1 (en) * 2013-02-28 2024-09-11 Société des Produits Nestlé S.A. Method and computer-readable medium for particle size distribution determination

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010172986A (ja) * 2009-01-28 2010-08-12 Fuji Electric Holdings Co Ltd ロボットビジョンシステムおよび自動キャリブレーション方法
JP2015035685A (ja) * 2013-08-08 2015-02-19 パナソニックＩｐマネジメント株式会社 画像処理装置およびマーカ
JP2015157342A (ja) * 2014-02-25 2015-09-03 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置および制御方法
WO2018043524A1 (ja) * 2016-09-02 2018-03-08 倉敷紡績株式会社 ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2018120388A (ja) 2017-01-25 2018-08-02 株式会社アマダホールディングス ワーク検出装置及び方法
WO2019049331A1 (ja) * 2017-09-08 2019-03-14 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
JP2019191675A (ja) 2018-04-19 2019-10-31 セイコーエプソン株式会社 透過型頭部装着型表示装置、支援システム、表示制御方法、およびコンピュータープログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4049805A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114893669A (zh) * 2022-05-26 2022-08-12 江苏省建筑工程集团有限公司 一种应用于塔机附着装置安装的监测装置及监测方法
CN114893669B (zh) * 2022-05-26 2024-03-26 江苏省建筑工程集团有限公司 一种应用于塔机附着装置安装的监测装置及监测方法
EP4357041A1 (de) 2022-10-21 2024-04-24 Bystronic Laser AG Vorrichtung und verfahren zum automatisierten biegen von werkstücken
WO2024083674A1 (en) 2022-10-21 2024-04-25 Bystronic Laser Ag Apparatus and method for the automated bending of workpieces

Also Published As

Publication number Publication date
EP4049805A4 (en) 2023-03-15
EP4049805B1 (en) 2023-12-20
JP7269864B2 (ja) 2023-05-09
EP4049805A1 (en) 2022-08-31
JP2021065950A (ja) 2021-04-30
US12094094B2 (en) 2024-09-17
US20220414843A1 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
WO2021079802A1 (ja) ワーク撮影画像処理装置、ワーク撮影画像処理方法、及び加工システム
CN111452040B (zh) 在引导装配环境中将机器视觉坐标空间关联的系统和方法
US20070116352A1 (en) Pick and place machine with component placement inspection
US20170151673A1 (en) Manipulator system, and image capturing system
JP2008270696A (ja) 部品搭載位置補正方法及び部品実装装置
JP6524250B2 (ja) 部品実装装置
AU2019336263A1 (en) Vision system for a robotic machine
JP6190229B2 (ja) 部品実装装置
JP6849815B2 (ja) 部品実装装置、撮影方法、実装順序の決定方法
JP6411663B2 (ja) 部品実装装置
JP6831472B2 (ja) 部品実装装置
JP4651581B2 (ja) 部品実装方法
JP6582405B2 (ja) 組立装置、ロボットハンド位置修正方法、およびロボットハンド位置修正プログラム
JP5600705B2 (ja) 部品実装装置
JP2021141270A (ja) ダイボンディング装置および半導体装置の製造方法
US20060233457A1 (en) Drawing apparatus with drawing data correction function
WO2016075790A1 (ja) 装着機及び装着機を用いた電子部品の吸着姿勢検査方法
WO2022176800A1 (ja) ロボットシステム及び制御装置
JP2022173585A (ja) 三次元計測装置、及び、ワーク作業装置
CN115136579B (zh) 图像校正方法、拍摄装置及检查装置
JPH0545117A (ja) 光学式３次元位置計測方法
KR102149280B1 (ko) 기준 좌표 동기화 장치
JP2009010307A (ja) ボンディング装置
JP7015709B2 (ja) 基板作業装置
WO2024057415A1 (ja) 検査装置及び検査方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20879458

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020879458

Country of ref document: EP

Effective date: 20220523