WO2017208389A1 - 画像処理装置、ワーク移載装置及び画像処理方法 - Google Patents

画像処理装置、ワーク移載装置及び画像処理方法 Download PDF

Info

Publication number
WO2017208389A1
WO2017208389A1 PCT/JP2016/066180 JP2016066180W WO2017208389A1 WO 2017208389 A1 WO2017208389 A1 WO 2017208389A1 JP 2016066180 W JP2016066180 W JP 2016066180W WO 2017208389 A1 WO2017208389 A1 WO 2017208389A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
workpiece
image processing
work
color
Prior art date
Application number
PCT/JP2016/066180
Other languages
English (en)
French (fr)
Inventor
信夫 大石
Original Assignee
富士機械製造株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士機械製造株式会社 filed Critical 富士機械製造株式会社
Priority to CN201680085998.7A priority Critical patent/CN109153099B/zh
Priority to JP2018520277A priority patent/JP6737882B2/ja
Priority to PCT/JP2016/066180 priority patent/WO2017208389A1/ja
Priority to EP16904014.4A priority patent/EP3466604B1/en
Publication of WO2017208389A1 publication Critical patent/WO2017208389A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/02—Gripping heads and other end effectors servo-actuated
    • B25J15/0206—Gripping heads and other end effectors servo-actuated comprising articulated grippers
    • B25J15/0226—Gripping heads and other end effectors servo-actuated comprising articulated grippers actuated by cams
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present invention relates to an image processing apparatus, a workpiece transfer apparatus, and an image processing method.
  • a workpiece transfer device for example, a camera is attached in the vicinity of a robot hand that moves a workpiece by gripping the workpiece with a pair of openable and closable gripping claws, and a tray is obtained by processing an image captured by the camera.
  • a tray is obtained by processing an image captured by the camera.
  • the present invention has been made in view of such a problem, and provides an image processing apparatus, a workpiece transfer apparatus, and an image processing method capable of more reliably grasping the position of a work while having versatility.
  • the main purpose is to be described in detail below.
  • the present invention adopts the following means in order to achieve the main object described above.
  • the image processing apparatus of the present invention An image processing apparatus used for a workpiece transfer device that moves a sample by collecting the workpiece from a collection placement unit on which one or more workpieces are placed, An illumination unit for irradiating the collection mounting unit with light; An imaging unit capable of capturing a color image of the collection mounting unit; A work area is detected using a color difference signal among luminance-color difference signals obtained from a signal output from the imaging unit, whether or not the work in the work area can be collected, and a determination result is output.
  • a determination unit It is equipped with.
  • This image processing apparatus detects a work area using a color difference signal among luminance-color difference signals obtained from a signal output from an image pickup unit that picks up a color image, and can the work of the detected work area be collected? It is determined whether or not, and the determination result is output.
  • a luminance signal for example, in a work having a metallic luster, halation occurs or an area that becomes a shadow is generated, and an accurate work area cannot be grasped. There is.
  • the color difference level between the background (collecting placement unit) and the work becomes clearer, and the contour extraction becomes more stable.
  • FIG. 1 is a schematic explanatory diagram of a workpiece transfer system 10.
  • FIG. FIG. 2 is a schematic explanatory diagram of a workpiece transfer device 20.
  • 1 is a schematic explanatory diagram of an image processing apparatus 50.
  • 6 is a flowchart illustrating an example of an image processing routine.
  • FIG. 1 is a schematic explanatory diagram of a workpiece transfer system 10 which is an example of the present invention.
  • FIG. 2 is a schematic explanatory diagram of the workpiece transfer device 20 provided in the workpiece transfer system 10.
  • FIG. 3 is an explanatory diagram of a complementary color relationship between the collection placement unit 13 and the light emitted by the illumination unit 26.
  • FIG. 4 is a schematic explanatory diagram of the image processing apparatus 50 provided in the workpiece transfer apparatus 20.
  • the workpiece transfer system 10 includes a workpiece transfer device 20 and a workpiece supply device 40. In the workpiece transfer system 10, the left-right direction (X-axis), the front-rear direction (Y-axis), and the up-down direction (Z-axis) will be described below as shown in FIG.
  • the workpiece transfer system 10 is configured as a device that moves and places the workpiece W to be worked accommodated in the workpiece accommodating member 11 to the work placement portion 16 used for the subsequent work (see FIG. 1). .
  • the workpiece transfer system 10 aligns the workpiece W placed on the collection mounting portion 13 of the workpiece housing member 11 in an undefined posture in a predetermined posture so that the worker can easily work in a later process. It is good also as what is mounted in the mounting part 16 for work in the state.
  • the “undefined posture” refers to a state in which the position and direction of the workpiece W are not unified.
  • the workpiece W is not particularly limited, and examples thereof include mechanical parts, electrical parts, electronic parts, chemical parts, and the like.
  • the workpiece W may be at least partially formed of a magnetic material.
  • the workpiece W may be an achromatic color including one or more of black, white, gray, and silver, for example.
  • the workpiece transfer system 10 includes a transport unit 15 that is a unit that carries in and transports the work placement unit 16 and fixes and unloads the workpiece W at the transfer position.
  • the workpiece accommodating member 11 is a member that stores the workpiece W.
  • a plurality of workpiece accommodating members 11 are arranged, and a predetermined type of workpiece W is accommodated in each workpiece accommodating member 11.
  • the workpiece storage member 11 includes a storage unit 12 in which the workpiece W is stored, a collection mounting unit 13 on which the workpiece W supplied from the storage unit 12 is mounted, and a casing that forms an outer wall of the workpiece storage member 11. 14.
  • the collection placement unit 13 is a flat member that is imaged in a state where the workpiece W is placed during the transfer process of the workpiece W, and the color of the light irradiated at the time of the imaging is set.
  • the work placement unit 16 is a member on which the workpieces W are arranged and placed.
  • the work placement unit 16 has a magnetic force and is configured as a pallet that fixes the work W, which is a magnetic body, with the magnetic force.
  • the work placement unit 16 has the work W disposed and fixed at a position determined according to the type of the work W. The worker uses the work placement unit 16 on which the work W is disposed and fixed, and performs assembly of the work W while specifying the work W based on the position where the work W is fixed.
  • the workpiece transfer device 20 collects the workpiece W from the workpiece accommodating member 11 on which one or more workpieces W are placed, and moves and places the collected workpieces W on the work placement unit 16 in a predetermined arrangement.
  • the unit 21 is provided. As shown in FIGS. 1 and 2, the transfer unit 21 includes a collection unit 22, an imaging unit 25, an illumination unit 26, an arm unit 28, and a transfer control unit 29.
  • the workpiece transfer device 20 may execute, for example, a step of arranging bolts as the workpiece W on the workpiece W, a step of attaching a washer as the workpiece W to the arranged bolts, and the like.
  • the collection unit 22 is a member that collects the workpiece W, and is rotatably attached to the tip of the arm unit 28 (see FIG. 2).
  • the sampling unit 22 includes a clamping unit 24 that sandwiches and supports the workpiece W attracted by the magnetic force of the shaft member.
  • the workpiece W is clamped by the two clamping units 24, but the workpiece W may be clamped by three or more clamping units.
  • the arm portion 28 includes a first arm 28a in which the sampling portion 22 is disposed, and a second arm 28b in which the first arm 28a is supported on one end side and a pedestal is disposed on the other end side.
  • the arm unit 28 is driven by a plurality of driving units.
  • the transfer control unit 29 controls the entire apparatus and includes a CPU 30 and the like.
  • the imaging unit 25 is a unit that captures an image, and is fixed to the distal end side of the sampling unit 22 together with the illumination unit 26.
  • the imaging unit 25 can capture a color image, and includes an imaging element 27, a lens 31, and a polarization filter 32.
  • the imaging element 27 is an element that generates charges by receiving light and outputs the generated charges, and receives light incident through the polarizing filter 32 and the lens 31.
  • the image sensor 27 may be a CMOS image sensor, for example.
  • the polarization filter 32 is adjusted so that its polarization plane is perpendicular to the polarization plane on the illumination unit 26 side, and prevents halation and the like.
  • the imaging unit 25 generates image data based on the electric charges output from the imaging element 27, and outputs the generated image data to the transfer control unit 29.
  • the illumination unit 26 includes a ring illumination 34 and a polarizing plate 35.
  • the ring illumination 34 is epi-illumination arranged in a circular shape on the outer peripheral side of the image sensor 27, and irradiates light on an imaging target below.
  • the ring illumination 34 irradiates light with a white LED whose main component is blue (wavelength around 450 nm).
  • the illumination unit 26 irradiates the collection placement unit with light having a complementary color relationship with the coloring of the collection placement unit 13. As shown in FIG. 3, it is assumed that the collection mounting unit 13 is colored in orange having a complementary color relationship with a light source mainly of blue.
  • mounting mounting part 13 is matte from a viewpoint of suppressing reflection of light.
  • the illumination unit 26 is disposed in the collection unit 22 so as to irradiate light to the entire collection mounting unit 13 that is an imaging target.
  • the collection placement unit 13 is colored with a chromatic color (orange) and irradiates the collection placement unit 13 with light (blue light) having a complementary color relationship.
  • the color of the collection mounting unit 13 and the illumination color of the illumination unit 26 can be appropriately combined appropriately in terms of complementary colors in consideration of the color of the workpiece W.
  • the workpiece transfer device 20 includes an image processing device 50.
  • the image processing apparatus 50 detects a work W area (work area) on the collection platform 13 and determines a work W that can be collected.
  • the image processing apparatus 50 includes an imaging unit 25, an illumination unit 26, and a determination unit 51.
  • the determination unit 51 detects a work area using a color difference signal among luminance-color difference signals obtained from a signal output from the imaging unit 25, determines whether the work W in the work area can be collected, Processing to output the determination result is performed.
  • the determination unit 51 includes a signal conversion unit 52, a color difference extraction unit 53, a luminance extraction unit 54, a luminance determination unit 55, a switching unit 56, a reference image holding unit 57, a work recognition unit 58, and a collection possibility determination unit 59.
  • the signal converter 52 converts the RGB signal of each pixel output from the image sensor 27 into a YCbCr signal that is a luminance-color difference signal by a predetermined arithmetic expression. For example, YUV or YPbPr can be used as the luminance-color difference signal.
  • the color difference extraction unit 53 receives a color difference signal (CbCr signal) from among the signals converted by the signal conversion unit 52, and determines whether or not the pixel has a signal level corresponding to the workpiece W, thereby determining the workpiece. A pixel corresponding to the region is detected.
  • the color difference extraction unit 53 inputs an offset binary format color difference signal having a value of 0 to 255 obtained by offsetting positive and negative color difference levels that are values of ⁇ 128 to +127.
  • achromatic pixels are in the vicinity of an 8-bit input full scale intermediate value (value 128) including black and white, and chromatic pixels have values having a sufficient level difference with respect to value 128.
  • the color difference extraction unit 53 detects a region at a predetermined achromatic color level (for example, (128 ⁇ ) to (128 + ⁇ ), where ⁇ is an offset value) as a pixel of the work region.
  • a predetermined achromatic color level for example, (128 ⁇ ) to (128 + ⁇ ), where ⁇ is an offset value
  • the sampling rate of the color difference signal may be lowered with respect to the luminance signal (4: 2: 2, 4: 1: 1, etc.), but it is handled at the same rate as the luminance signal in order to ensure the positional accuracy. It is preferable that
  • the luminance extraction unit 54 inputs the luminance signal (Y signal) converted by the signal conversion unit 52 in parallel with the color difference extraction unit 53.
  • the luminance determination unit 55 is a color in which the pixel is included in an achromatic color (for example, black, white (silver) ) Or gray) according to the luminance level.
  • the color of the workpiece W can be specified by the determination result of the luminance determination unit 55.
  • the switching unit 56 switches whether to output either the luminance signal or the color difference signal to the work recognition unit 58 at the subsequent stage.
  • the reference image holding unit 57 is a storage unit that stores a reference image serving as a template for the workpiece W.
  • the reference image holding unit 57 stores one or more reference images such as a view of the workpiece W to be collected viewed from one or more angles.
  • the workpiece recognition unit 58 detects the workpiece region to be collected by matching the reference image of the workpiece W to be collected and the set region of the pixels at the workpiece region level detected by the color difference extraction unit 53.
  • the collection possibility determination unit 59 determines a work area that can be collected based on the proximity state and the overlapping state of two or more work areas. For example, when a plurality of workpieces W are close to each other or overlapped, the clamping unit 24 may fail to collect the workpieces W.
  • the collection possibility determination unit 59 outputs the determination result of the work area that can be collected to the transfer control unit 29.
  • the determination unit 51 may perform each process by software, but it is preferable to perform the process by hardware (circuit configuration) from the viewpoint of shortening the processing time.
  • the workpiece supply device 40 collects one or more workpieces W stored in the storage unit 12 of the workpiece storage member 11 so as to be collected by the workpiece transfer device 20 and supplies the workpiece mounting unit 13 in an indefinite posture.
  • Supply section 41 (see FIG. 1).
  • the supply unit 41 includes a collection unit 42 that collects a large number of workpieces W at a time using a magnetic force, and an arm unit 48 similar to the arm unit 28.
  • the workpiece supply apparatus 40 includes a supply control unit 44 that controls the entire apparatus.
  • FIG. 5A and 5B are explanatory diagrams of the workpiece transfer process executed by the workpiece transfer device 20.
  • FIG. 5A is a diagram in which an image of the sampling placement unit 13 is captured
  • FIG. 5C is a diagram in which the workpiece W is fixed by the clamping unit 24.
  • FIG. 5D is a diagram in which the workpiece W is attracted
  • FIG. 5E is a diagram in which the clamping unit 24 is moved
  • FIG. 5F is a diagram in which the workpiece W is fixed by the clamping unit 24, and FIG.
  • the workpiece transfer system 10 transports the work placement unit 16 by the transport unit 15 and fixes the work placement unit 16 at the transfer position.
  • the collection unit 42 of the workpiece supply apparatus 40 collects a large number of workpieces W accommodated in the storage unit 12 and drops them onto the collection mounting unit 13. The dropped workpiece W is dispersed and placed on the collection placement unit 13 in an indefinite posture.
  • the CPU 30 of the workpiece transfer device 20 moves the imaging unit 25 onto the sampling placement unit 13 where the workpiece W to be sampled is present, and illuminates the sampling mounting unit 13 with the illumination unit 26, thereby capturing the imaging unit. 25 is picked up (FIG. 5A).
  • the image processing apparatus 50 detects the position of the workpiece W on the collection mounting unit 13 and outputs the position and orientation of the workpiece W that can be collected to the transfer control unit 29.
  • the CPU 30 moves the collection unit 22 onto the work W that can be collected (FIG. 5B), and causes the collection unit 22 to collect the work W (FIGS. 5C to 5F).
  • CPU30 arrange
  • various workpieces W are arranged on the work placement unit 16.
  • FIG. 6 is a flowchart illustrating an example of an image processing routine executed by the determination unit 51 of the image processing apparatus 50.
  • This routine is executed by the determination unit 51 when a signal picked up from the image pickup unit 25 is input.
  • the signal conversion unit 52 converts the RGB signals into luminance-chrominance signals (YCbCr signals) to convert the color difference extraction unit 53 and the luminance extraction unit. (Step S100).
  • the color difference extraction unit 53 inputs a color difference signal (step S110) and determines whether or not the input signal level is a predetermined color difference level (achromatic color range) (step S120).
  • the color difference extraction unit 53 determines that the corresponding pixel is at the work area level when the input signal level is a predetermined color difference level (step S130), and when the input signal level is not at the predetermined color difference level, the corresponding pixel is the background. It is determined that it is at the region level (step S170).
  • the luminance extraction unit 54 inputs a luminance signal (step S140), and the luminance determination unit 55 determines whether or not the corresponding pixel has a predetermined luminance level (step S150).
  • This predetermined luminance level is set in accordance with, for example, the color of the workpiece W to be collected (for example, any one of white, silver, black, gray, etc.).
  • the corresponding pixel has a predetermined luminance level, it is determined that the corresponding pixel is the target work color (step S160), and when the corresponding pixel is not at the predetermined luminance level, the corresponding pixel is determined to be the non-target work color. (Step S180).
  • the determination unit 51 performs such processing for all pixels.
  • the work recognition unit 58 executes a work area detection process (step S190).
  • the workpiece recognizing unit 58 matches the reference image of the workpiece W to be collected stored in the reference image holding unit 57 with the collection region of pixels at the workpiece region level detected by the color difference extracting unit 53. Detect areas.
  • the collection possibility determination unit 59 performs a process for determining a work area that can be collected from the detected work areas (step S200), and outputs a determination result to the transfer control unit 29 (step S210). This routine is terminated.
  • the collection possibility determination unit 59 determines a work area that can be collected based on the proximity state and the overlapping state of two or more work areas, and further based on the placement position. The collection possibility determination unit 59 also determines that the work area cannot be collected even when the color of the work area is a non-target work color different from the work area to be collected.
  • FIG. 7 is an explanatory diagram of the collection placement unit 13 and the captured image 60. As illustrated in FIG. 7, the determination unit 51 includes a work area that is not close to another work area that does not overlap with another work area that matches the reference image of the work W in the captured image 60, and the collection placement unit 13. What is not on the edge is recognized as the workable area 61.
  • the determination unit 51 overlaps with another work area, is close to the work area, has a color different from that of the work W to be picked, and is on the edge of the picking placement part 13.
  • the object is recognized as the uncollectable work area 62.
  • the image processing apparatus 50 detects the position of the workpiece W that can be more reliably collected by the collection unit 22.
  • the imaging unit 25 corresponds to an imaging unit
  • the illumination unit 26 corresponds to an illumination unit
  • the determination unit 51 corresponds to a determination unit
  • the collection placement unit 13 corresponds to a collection placement unit.
  • an example of the image processing method of the present invention is also clarified by describing the operation of the image processing apparatus 50.
  • the image processing apparatus 50 is an apparatus used for a workpiece transfer apparatus that collects and moves a workpiece W by the sampling unit 22 from the sampling mounting unit 13 on which one or more workpieces W are mounted. It is.
  • the image processing apparatus 50 includes an illuminating unit 26 that irradiates light to the collection mounting unit 13, an imaging unit 25 that can capture a color image of the collection mounting unit 13, and a signal output from the imaging unit 25.
  • a determination unit 51 that detects a work area using a color difference signal among luminance-color difference signals obtained from the above, determines whether or not the work in the work area can be collected, and outputs a determination result.
  • the image processing apparatus 50 detects a work area mainly using a color difference signal among luminance-color difference signals obtained from a signal output from an image pickup unit that picks up a color image, and can collect a work in the detected work area. Is determined, and the determination result is output.
  • FIG. 8 is an explanatory diagram of an example of a captured image of the workpiece W having a metallic luster, and a luminance signal and a color difference signal at AA of the captured image. Since the luminance signal has a large output as a whole, there is an advantage that it is easy to set the threshold value. However, in the workpiece W having a metallic luster as shown in FIG. Since the illumination is difficult to hit, the contrast on the side surface may become weak. Alternatively, in the luminance signal, the luminance level becomes unstable in the uneven portion (such as a bolt thread portion) on the workpiece surface, and the image processing apparatus 50 may erroneously detect the contour shape (edge portion) of the workpiece. The workpiece may not be detected accurately.
  • the work area is detected using the color difference signal
  • the work area becomes a fixed value (approximately 128), and the side surface of the metal work W Therefore, it is possible to reliably extract the outline of the image and to change the background color.
  • the color difference level between the background (the collection placement unit 13) and the work W can be further increased by appropriately selecting the background color. It becomes stable and the contour extraction becomes more stable.
  • robustness against background noise and fluctuations in illumination illuminance can be increased, and the position of the workpiece W can be more reliably grasped using inexpensive and general-purpose equipment.
  • work W can be more reliably extract
  • the collection placement unit 13 has a predetermined color
  • the illumination unit 26 supplies light having a complementary color relationship to the coloration of the collection placement unit 13 to the collection placement unit 13. Irradiate.
  • the position of the workpiece W can be grasped more reliably.
  • the workpiece W is achromatic
  • the collection mounting unit 13 is orange
  • the illumination unit 26 emits blue light.
  • the work W is an achromatic color including one or more of black, white, gray, and silver
  • the determination unit 51 uses the luminance signal to determine the color of the work area that is included in the achromatic color. It is determined which one.
  • the color difference signal since the color difference level becomes a fixed value (for example, value 128) in the achromatic color region, it is easy to grasp the position of the workpiece W more reliably in this apparatus. Further, in this apparatus, since it is possible to determine which achromatic color the area is based on the luminance signal, it is possible to more reliably grasp the work area to be collected.
  • the determination unit 51 detects the work area by matching the reference image of the work W to be collected and the pixel area corresponding to the work area, and the proximity state or overlapping state of two or more work areas, the color of the work area, A work area that can be collected is determined based on the place where the work W is placed.
  • a work area can be detected using a reference image.
  • collected can be determined using the state of a work area
  • the illumination unit 26 and the imaging unit 25 are disposed in the transfer unit 21. In this apparatus, since an image can be taken at a position closer to the workpiece W, the position coordinates of the workpiece W can be detected more accurately.
  • the collection mounting unit 13 and the irradiation light of the illumination unit 26 have been described as having a complementary color relationship.
  • the embodiment is not particularly limited thereto, and may not have a complementary color relationship.
  • the position of the work W can be grasped more reliably while having versatility.
  • the work W is an achromatic color including one or more of black, white, gray, and silver
  • the determination unit 51 is any of the colors in which the work area is included in the achromatic color using the luminance signal.
  • the process of specifying the achromatic color by the luminance signal may be omitted. This processing can be omitted if the workpiece W to be accommodated in the workpiece accommodating member 11 does not enter anything other than a predetermined one.
  • the determination unit 51 detects an area at a predetermined achromatic color level as a work area.
  • the determination unit 51 is not limited to this, and is at a predetermined color level (for example, a value of 90 or less).
  • An area other than the area may be detected as the work area.
  • the color difference level in step S120 is set to the background color level, and in step S130, the corresponding pixel is determined as the background area, and its complementary area (area other than the background area) is inverted.
  • the work area may be determined using a signal or the like.
  • the illumination unit 26 and the imaging unit 25 are disposed on the transfer unit 21, but are not particularly limited thereto, and are disposed above the collection mounting unit 13. It is good also as what is arrange
  • the image processing apparatus 50 moves the workpiece W while the transfer unit 21 is moving. Since the work area can be detected by picking up an image of the work W on 13, the processing time can be further reduced, which is preferable.
  • the sampling unit 22 collects the workpiece W by being attracted by the magnetic force and gripped by the clamping unit 24.
  • the present invention is not particularly limited thereto, and the workpiece W may be sampled only by the magnetic force.
  • the workpiece W may be sampled by being gripped only by the clamping unit 24, or the workpiece W may be sampled by being suctioned by the suction nozzle.
  • the workpiece W to be collected is placed on the collection placement portion 13 disposed on the workpiece housing member 11, but is not particularly limited thereto.
  • the workpiece W to be collected may be placed on a moving belt conveyor.
  • the belt conveyor corresponds to the collection mounting section, and the color of the belt conveyor is changed to a coloring or the like.
  • the position of the work W can be grasped more reliably while having versatility.
  • the collection placement unit is a belt conveyor
  • a plurality of types of workpieces W may be placed on the belt conveyor, and the workpiece W to be collected may be specified in the recognition of the work area by the image processing apparatus 50.
  • a plurality of types of workpieces W are also placed on the collection mounting unit 13 disposed on the workpiece accommodating member 11, and the workpiece W to be collected is specified in recognition of the workpiece region by the image processing device 50. It is good.
  • the workpiece W is achromatic, but it may be non-achromatic.
  • the color of the collection placement unit 13 and the color of the illumination unit 26 may be set to colors suitable for the workpiece W.
  • the workpiece W may be colored and the collection placement unit 13 may be colored achromatic.
  • the image processing apparatus 50 executes the image processing routine.
  • the present invention is not particularly limited to this, and the transfer control unit 29 may execute the image processing routine.
  • the workpiece transfer system 10 includes one workpiece transfer device 20 and one workpiece supply device 40.
  • the embodiment is not particularly limited thereto, and includes one or more devices. It is good.
  • the present invention is applied to a workpiece transfer device that collects and moves a workpiece by a sampling unit.
  • recognition of parts and board marks in a machine tool It may be applied to recognition of a cutting tool or a workpiece.
  • the workpiece transfer system 10 including the workpiece transfer device 20 and the workpiece supply device 40 has been described. However, only the workpiece transfer device 20 or only the image processing device 50 may be used.
  • the image processing method may be provided. In this image processing method, various aspects of the above-described image processing apparatus 50 may be adopted, and steps for realizing each function of the above-described image processing apparatus 50 may be added.
  • the present invention can be used in the technical field of an apparatus that performs processing such as workpiece collection and arrangement.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Automatic Assembly (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

ワーク移載装置２０は、画像処理装置を備える。画像処理装置は、採取用載置部１３に光を照射する照明部２６と、採取用載置部１３のカラー画像を撮像可能である撮像部２５と、撮像部２５から出力された信号から得られる輝度－色差信号のうち色差信号を用いてワーク領域を検出し、ワーク領域のワークが採取可能であるか否かを判定し、判定結果を出力する判定部とを備える。ワーク移載装置２０は、画像処理装置の判定結果を用いて採取用載置部１３上のワークＷを採取部２２によって採取する。

Description

画像処理装置、ワーク移載装置及び画像処理方法
　本発明は、画像処理装置、ワーク移載装置及び画像処理方法に関する。
　従来、ワーク移載装置としては、例えば、開閉可能な一対の把持爪部によりワークを把持して該ワークを移動させるロボットハンドの近傍にカメラを取り付け、カメラにより撮像した画像を処理することによってトレイ上に整列されたワークの位置を計測し、その位置で一対の把持爪部の把持動作を行うものが提案されている（例えば、特許文献１参照）。この装置では、多少の位置誤差があっても正確にワークを把持することができるとしている。
特開２０１３－４３２３１号公報
　ところで、この特許文献１に記載された装置では、例えば、ワークが金属など光を反射するものや、白色、黒色など、ワークの色が変わるような場合、あるいは、ワークの立体形状が変わり、影になる部分や反射する部分がある場合などには、撮像した画像からワークの位置を判定することが困難である場合があった。このような装置では、ワークの変更に伴いワークの載置台の色を変更するのは手間がかかる問題があった。また、このような装置では、影ができないようにワーク全体に光を照射する照明をワーク近傍に設けるものとすると、ワークを採取しにくくなる問題があった。
　本発明は、このような課題に鑑みなされたものであり、汎用性を有しつつワークの位置をより確実に把握することができる画像処理装置、ワーク移載装置及び画像処理方法を提供することを主目的とする。
　本発明は、上述の主目的を達成するために以下の手段を採った。
　本発明の画像処理装置は、
　１以上のワークが載置された採取用載置部から該ワークを採取部により採取して移動させるワーク移載装置に用いられる画像処理装置であって、
　前記採取用載置部に光を照射する照明部と、
　前記採取用載置部のカラー画像を撮像可能である撮像部と、
　前記撮像部から出力された信号から得られる輝度－色差信号のうち色差信号を用いてワーク領域を検出し、前記ワーク領域のワークが採取可能であるか否かを判定し、判定結果を出力する判定部と、
　を備えたものである。
　この画像処理装置は、カラー画像を撮像する撮像部から出力された信号から得られる輝度－色差信号のうち色差信号を用いてワーク領域を検出し、検出したワーク領域のワークが採取可能であるか否かを判定し、判定結果を出力する。画像処理装置において、例えば、輝度信号によりワーク領域を検出するものとすると、例えば、金属光沢を有するワークでは、ハレーションが起きたり、影になる領域が生じたりして正確なワーク領域を把握できない場合がある。これに対して、この画像処理装置では、色差信号を用いてワーク領域を検出するため、背景（採取用載置部）とワークとの色差レベルがより明確となり、輪郭抽出がより安定する。この装置では、例えば背景や照明の変更などを抑制することができ、汎用性を有しつつワークの位置をより確実に把握することができる。そして、判定結果を取得したワーク移載装置では、より確実なワークの位置に基づいて、より確実にワークを採取することができる。
ワーク移載システム１０の概略説明図。 ワーク移載装置２０の概略説明図。 補色関係の説明図。 画像処理装置５０の概略説明図。 ワーク移載装置２０が実行するワーク移載処理の説明図。 画像処理ルーチンの一例を示すフローチャート。 採取用載置部１３と撮像画像６０の説明図。 撮像画像と輝度信号、色差信号の説明図。
　本発明の実施形態を図面を参照しながら以下に説明する。図１は、本発明の一例であるワーク移載システム１０の概略説明図である。図２は、ワーク移載システム１０が備えるワーク移載装置２０の概略説明図である。図３は、採取用載置部１３と照明部２６が照射する光との補色関係の説明図である。図４は、ワーク移載装置２０が備える画像処理装置５０の概略説明図である。ワーク移載システム１０は、ワーク移載装置２０と、ワーク供給装置４０とを備えている。なお、ワーク移載システム１０における、左右方向（Ｘ軸）、前後方向（Ｙ軸）及び上下方向（Ｚ軸）は、図１に示した通りとして以下説明する。
　ワーク移載システム１０は、ワーク収容部材１１に収容された作業対象のワークＷをその後の作業に用いられる作業用載置部１６へ移動、載置させる装置として構成されている（図１参照）。ワーク移載システム１０は、例えば、不定姿勢でワーク収容部材１１の採取用載置部１３に載置されたワークＷを、後工程で作業者が作業しやすいように、所定の姿勢で整列させた状態で作業用載置部１６へ載置させるものとしてもよい。ここで、「不定姿勢」とは、ワークＷの位置、方向などが統一されていない状態をいうものとする。ワークＷは、特に限定されないが、例えば、機械部品、電気部品、電子部品、化学部品などが挙げられ、例えば、ボルト、ナット、ワッシャ、ねじ、釘及びリベットなどのうち１以上の締結部材としてもよい。このワークＷは、少なくとも一部が磁性体により形成されているものとしてもよい。また、ワークＷは、例えば、黒色、白色、灰色及び銀色のうち１以上を含む無彩色であるものとしてもよい。ワーク移載システム１０は、作業用載置部１６の搬入、搬送、ワークＷの移載位置での固定、搬出を行うユニットである搬送部１５を備えている。
　ワーク収容部材１１は、ワークＷを貯蔵する部材である。ワーク移載システム１０では、複数のワーク収容部材１１が配設されており、それぞれのワーク収容部材１１に所定種別のワークＷが収容されている。このワーク収容部材１１は、ワークＷが貯蔵される貯蔵部１２と、貯蔵部１２から供給されたワークＷを載置する採取用載置部１３と、ワーク収容部材１１の外壁を構成する筐体１４とを備えている。採取用載置部１３は、より詳しくは後述するが、ワークＷの移載処理時にワークＷを載置した状態で撮像される平板状の部材であり、その撮像時に照射される光の色に対して補色関係にある色で着色されている。作業用載置部１６は、ワークＷを配列載置する部材である。この作業用載置部１６は、磁力を帯びており、磁性体であるワークＷを磁力で固定するパレットとして構成されている。この作業用載置部１６は、ワークＷの種別に応じて定められた位置にそのワークＷが配設固定される。作業者は、ワークＷが配設固定された作業用載置部１６を用い、配設固定された位置に基づいてワークＷを特定しながらワークＷの組付けなどを行う。
　ワーク移載装置２０は、１以上のワークＷが載置されたワーク収容部材１１からワークＷを採取し、採取したワークＷを所定の配列で作業用載置部１６へ移動載置する移載部２１を備えている。移載部２１は、図１、２に示すように、採取部２２と、撮像部２５と、照明部２６と、アーム部２８と、移載制御部２９とを有している。ワーク移載装置２０は、例えば、ワークＷとしてのボルトをワークＷに配列させる工程や、ワークＷとしてのワッシャを、配列されたボルトに組付ける工程などを実行するものとしてもよい。採取部２２は、ワークＷを採取する部材であり、アーム部２８の先端に回動可能に装着されている（図２参照）。採取部２２は、軸部材の磁力で引き付けたワークＷを挟み込んで支持する挟持部２４を備えている。この採取部２２では、２つの挟持部２４によりワークＷを挟持するが、３以上の挟持部によりワークＷを挟持するものとしてもよい。アーム部２８は、採取部２２が配設された第１アーム２８ａと、一端側に第１アーム２８ａを支持し他端側に台座が配設された第２アーム２８ｂとを有している。アーム部２８は、複数の駆動部によって駆動される。移載制御部２９は、装置全体を制御するものであり、ＣＰＵ３０などを備えている。
　撮像部２５は、画像を撮像するユニットであり、照明部２６と共に採取部２２の先端側に固定されている。撮像部２５は、カラー画像を撮像可能であり、撮像素子２７と、レンズ３１と、偏光フィルタ３２とを備えている。撮像素子２７は、受光により電荷を発生させ発生した電荷を出力する素子であり、偏光フィルタ３２及びレンズ３１を介して入射した光を受光する。撮像素子２７は、例えば、ＣＭＯＳイメージセンサとしてもよい。偏光フィルタ３２は、その偏光面が照明部２６側の偏光面と垂直になるよう調整されており、ハレーションなどを防止する。撮像部２５は、撮像素子２７から出力され電荷に基づいて画像データを生成し、生成した画像データを移載制御部２９へ出力する。照明部２６は、リング照明３４と、偏光板３５とを備えている。リング照明３４は、撮像素子２７の外周側に円状に配設された落射照明であり、下方にある撮像対象に対して光を照射する。リング照明３４は、光源の主成分を青色（波長４５０ｎｍ前後）とする白色ＬＥＤにより光を照射する。この照明部２６は、採取用載置部１３の彩色に対して補色関係にある光を採取用載置部に照射する。図３に示すように、採取用載置部１３は、青色を主とする光源に対して補色の関係にある橙色で着色されているものとする。また、採取用載置部１３は、光の反射を抑える観点から、無光沢であることが好ましい。照明部２６は、撮像対象である採取用載置部１３の全体に光を照射するよう採取部２２に配設されている。ここでは、採取用載置部１３は彩色（橙色）で着色され、補色の関係にある光（青色光）を採取用載置部１３へ照射するものとして説明する。この組み合わせでは、ワークＷが黒色、白色、灰色及び銀色のうちいずれの無彩色であっても同様の精度でその領域を把握することができる。なお、採取用載置部１３の色や照明部２６の照明色は、ワークＷの色も考慮し、補色関係で適宜良好な組み合わせを用いることができる。
　このワーク移載装置２０は、画像処理装置５０を備えている。画像処理装置５０は、採取用載置部１３上にあるワークＷの領域（ワーク領域）を検出し、採取可能なワークＷを判定するものである。この画像処理装置５０は、図４に示すように、撮像部２５、照明部２６及び判定部５１を備える。判定部５１は、撮像部２５から出力された信号から得られる輝度－色差信号のうち色差信号を用いてワーク領域を検出し、ワーク領域のワークＷが採取可能であるか否かを判定し、判定結果を出力する処理を行う。この判定部５１は、信号変換部５２、色差抽出部５３、輝度抽出部５４、輝度判定部５５、切替部５６、基準画像保持部５７、ワーク認識部５８及び採取可能判定部５９を備えている。信号変換部５２は、撮像素子２７から出力された各画素のＲＧＢ信号を、所定の演算式により輝度－色差信号であるＹＣｂＣｒ信号へ変換するものである。なお、輝度－色差信号としては、例えば、ＹＵＶやＹＰｂＰｒなどを用いることができる。色差抽出部５３は、信号変換部５２で変換された信号のうち、色差信号（ＣｂＣｒ信号）を入力し、その画素がワークＷに該当する信号レベルであるか否かを判定することにより、ワーク領域に該当する画素を検出する。色差抽出部５３は、－１２８～＋１２７の値である正負の色差レベルをオフセットした、０～２５５の値のオフセットバイナリ形式の色差信号を入力する。この色差信号において、無彩色の画素は白黒含めて８ｂｉｔ入力のフルスケールの中間値（値１２８）近傍になり、彩色の画素は値１２８に対して十分レベル差を有する値になる。この色差抽出部５３では、所定の無彩色レベル（例えば（１２８－α）～（１２８＋α）など、αはオフセット値）にある領域をワーク領域の画素として検出する。なお、色差信号は、輝度信号に対してサンプリングレートが下げられることもあるが（４：２：２や４：１：１など）、位置精度を確保する上では、輝度信号と同じレートで取り扱われることが好ましい。
　輝度抽出部５４は、信号変換部５２で変換された輝度信号（Ｙ信号）を色差抽出部５３と並行して入力する。輝度判定部５５は、輝度抽出部５４に入力した値が色差抽出部５３でワークＷに該当する色差信号レベルであるときに、その画素が無彩色に含まれる色（例えば、黒色、白色（銀色）、灰色）のうちいずれであるかを輝度レベルに応じて判定する。ワークＷの色は、輝度判定部５５の判定結果によって特定できる。切替部５６は、輝度信号と色差信号とのいずれかを後段のワーク認識部５８へ出力するかを切り替えるものである。基準画像保持部５７は、ワークＷのテンプレートとなる基準画像を記憶する記憶部である。基準画像保持部５７は、採取対象のワークＷを１以上の角度から見たものなど、１以上の基準画像を記憶する。ワーク認識部５８は、採取対象のワークＷの基準画像と、色差抽出部５３で検出されたワーク領域レベルの画素の集合領域とのマッチングにより、採取対象のワーク領域を検出するものである。採取可能判定部５９は、２以上のワーク領域の近接状態及び重なり状態に基づいて採取可能なワーク領域を判定するものである。例えば、複数のワークＷ近接している場合や、重なり合っている場合は、挟持部２４がワークＷを採取するのを失敗することがある。ここでは、他のワーク領域が所定値よりも離れている場合に採取可能と判定するものとする。採取可能判定部５９は、採取可能なワーク領域の判定結果を移載制御部２９へ出力する。なお、判定部５１は、各処理をソフトウエアにより行うものとしてもよいが、ハードウエア（回路構成）により行うことが、処理時間の短縮の面からみて好ましい。
　ワーク供給装置４０は、ワーク移載装置２０により採取可能となるよう、ワーク収容部材１１の貯蔵部１２に収容された１以上のワークＷを採取し、不定姿勢で採取用載置部１３へ供給する供給部４１を備えている（図１参照）。供給部４１は、磁力によってワークＷを一度に多数採取する採取部４２と、アーム部２８と同様のアーム部４８とを備えている。また、ワーク供給装置４０は、装置全体を制御する供給制御部４４を備えている。
　次に、こうして構成された本実施形態のワーク移載システム１０の動作、まず、採取用載置部１３から作業用載置部１６へワークＷを配列固定させる処理について説明する。図５は、ワーク移載装置２０が実行するワーク移載処理の説明図であり、図５（ａ）が採取用載置部１３上を撮像する図、図５（ｂ）がワークＷを採取する図、図５（ｃ）が挟持部２４でワークＷを固定した図である。また、図５（ｄ）がワークＷを引き付けた図、図５（ｅ）が挟持部２４を移動する図、図５（ｆ）が挟持部２４でワークＷを固定した図、図５（ｇ）が作業用載置部１６へ配列載置する図である。まず、ワーク移載システム１０は、搬送部１５により作業用載置部１６を搬送させ、作業用載置部１６を移載位置で固定させる。次に、ワーク供給装置４０の採取部４２が貯蔵部１２に収容された多数のワークＷを採取して採取用載置部１３上に落下させる。落下したワークＷは、分散し、採取用載置部１３上に不定姿勢で載置される。次に、ワーク移載装置２０のＣＰＵ３０は、採取すべきワークＷがある採取用載置部１３上に撮像部２５を移動させ、採取用載置部１３を照明部２６で照明し、撮像部２５に撮像させる（図５（ａ））。画像処理装置５０は、採取用載置部１３上のワークＷの位置を検出し、採取可能なワークＷの位置や向きを移載制御部２９へ出力する。ＣＰＵ３０は、採取可能なワークＷ上に採取部２２を移動させ（図５（ｂ））、採取部２２にワークＷを採取させる（図５（ｃ）～（ｆ））。ＣＰＵ３０は、採取したワークＷを作業用載置部１６の所定位置に配設させる（図５（ｇ））。このように、ワーク移載システム１０では、作業用載置部１６上に様々なワークＷを配列させる。
　次に、画像処理装置５０が実行するワーク領域の検出処理について説明する。図６は、画像処理装置５０の判定部５１が実行する画像処理ルーチンの一例を示すフローチャートである。このルーチンは、撮像部２５から撮像した信号が入力されると判定部５１により実行される。まず、撮像部２５が撮像した画像のＲＧＢ信号を撮像素子２７から順に出力すると、信号変換部５２は、ＲＧＢ信号から輝度－色差信号（ＹＣｂＣｒ信号）へ変換して色差抽出部５３と輝度抽出部５４へ出力する（ステップＳ１００）。色差抽出部５３は、色差信号を入力し（ステップＳ１１０）、入力した信号レベルが所定の色差レベル（無彩色範囲）であるか否かを判定する（ステップＳ１２０）。色差抽出部５３は、入力した信号レベルが所定の色差レベルであるときには該当画素がワーク領域レベルにあると判定し（ステップＳ１３０）、入力した信号レベルが所定の色差レベルにないときには該当画素が背景領域レベルにあると判定する（ステップＳ１７０）。次に、輝度抽出部５４は、輝度信号を入力し（ステップＳ１４０）、輝度判定部５５は、該当画素が所定の輝度レベルであるか否かを判定する（ステップＳ１５０）。この所定の輝度レベルは、例えば、採取対象のワークＷの色（例えば、白、銀、黒、灰色などのいずれか１つ）に合わせて設定される。該当画素が所定の輝度レベルであるときには、該当画素を対象ワーク色であると判定し（ステップＳ１６０）、該当画素が所定の輝度レベルにないときには、該当画素を対象外ワーク色であると判定する（ステップＳ１８０）。判定部５１は、このような処理をすべての画素に対して行う。
　ステップＳ１６０、Ｓ１７０、Ｓ１８０のあと、ワーク認識部５８は、ワーク領域の検出処理を実行する（ステップＳ１９０）。ワーク認識部５８は、基準画像保持部５７に記憶された採取対象のワークＷの基準画像と、色差抽出部５３で検出されたワーク領域レベルにある画素の集合領域とのマッチングにより採取対象のワーク領域を検出する。ワーク領域を検出すると、採取可能判定部５９は、検出されたワーク領域のうち、採取可能なワーク領域を判定処理し（ステップＳ２００）、判定結果を移載制御部２９へ出力し（ステップＳ２１０）、このルーチンを終了する。採取可能判定部５９は、２以上のワーク領域の近接状態や重なり状態、更には載置位置に基づいて採取可能なワーク領域を判定する。また、採取可能判定部５９は、ワーク領域の色が採取対象のワーク領域と異なる対象外ワーク色である場合にもそのワーク領域を採取可能でないものと判定する。図７は、採取用載置部１３と撮像画像６０の説明図である。図７に示すように、判定部５１は、撮像画像６０のワークＷの基準画像に適合したワーク領域のうち、他のワーク領域との重なりがなく近接しないもの、且つ採取用載置部１３の縁部分にないものを採取可能ワーク領域６１と認識する。一方、判定部５１は、ワーク領域のうち、他のワーク領域と重なっているもの、近接しているもの、採取対象のワークＷと異なる色のもの、採取用載置部１３の縁部分にあるものを採取不能ワーク領域６２と認識する。このように、画像処理装置５０は、採取部２２によって、より確実に採取できるワークＷの位置を検出する。
　ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態の撮像部２５が撮像部に相当し、照明部２６が照明部に相当し、判定部５１が判定部に相当し、採取用載置部１３が採取用載置部に相当する。なお、本実施形態では、画像処理装置５０の動作を説明することにより本発明の画像処理方法の一例も明らかにしている。
　以上説明した本実施形態の画像処理装置５０は、１以上のワークＷが載置された採取用載置部１３からワークＷを採取部２２により採取して移動させるワーク移載装置に用いられる装置である。この画像処理装置５０は、採取用載置部１３に光を照射する照明部２６と、採取用載置部１３のカラー画像を撮像可能である撮像部２５と、撮像部２５から出力された信号から得られる輝度－色差信号のうち色差信号を用いてワーク領域を検出し、ワーク領域のワークが採取可能であるか否かを判定し、判定結果を出力する判定部５１とを備える。この画像処理装置５０は、カラー画像を撮像する撮像部から出力された信号から得られる輝度－色差信号のうち主に色差信号を用いてワーク領域を検出し、検出したワーク領域のワークが採取可能であるか否かを判定し、判定結果を出力する。
　図８は、金属光沢を有するワークＷの撮像画像の一例と、撮像画像のＡ－Ａにおける輝度信号、色差信号の説明図である。輝度信号は、全体的に出力が大きいため、閾値を設定しやすい利点がある反面、図８に示すように金属光沢を有するワークＷにおいては、ハレーションが起きたり、曲面を有するワークＷでは側面に照明が当たりにくいため、側面側のコントラストが弱くなることがある。あるいは、輝度信号では、ワーク表面の凹凸部分（ボルトのねじ山部分など）で輝度レベルが不安定になり、画像処理装置５０は、ワークの輪郭形状（エッジ部分）を誤検出することがあり、ワークを正確に検出できない場合がある。これは、ワークＷを側面から照明すれば解消できるが、採取用載置部１３ごとに照明を配置するのは設備上問題があり、側面に照明を配置すると採取部２２がワークＷを採取しにくくなる問題がある。また、輝度信号を用いてワーク領域を検出する場合、ワークＷの色が白や黒であると、ワークＷの色に応じて背景色を変更しなければコントラスト差を得られない問題がある。これに対して、色差信号を用いてワーク領域を検出する場合、無彩色のワークＷをカラー背景上に載置すれば、ワーク領域は固定値（略値１２８）になり、金属ワークＷの側面の輪郭抽出も確実に行え、背景色の変更も必要がなくなる。このように、画像処理装置５０では、色差信号を用いてワーク領域を検出するため、背景色を適切に選択することによって、背景（採取用載置部１３）とワークＷとの色差レベルがより安定となり、輪郭抽出がより安定する。この装置では、例えば、背景のノイズや照明の照度の変動に対するロバスト性を高くすることができ、安価で汎用的な設備を用いてワークＷの位置をより確実に把握することができる。そして、判定結果を取得したワーク移載装置２０では、より確実に求められたワークＷの位置に基づいて、より確実にワークＷを採取することができる。
　また、画像処理装置５０は、採取用載置部１３は所定の彩色であり、照明部２６は、採取用載置部１３の彩色に対して補色関係にある光を採取用載置部１３に照射する。この装置では、補色の光によりワークＷの影などの影響をより抑制することができるため、ワークＷの位置を更に確実に把握することができる。画像処理装置５０では、ワークＷが無彩色であり、採取用載置部１３が橙色であり、照明部２６が青色光を照射することが好ましい。更に、画像処理装置５０では、ワークＷは、黒色、白色、灰色及び銀色のうち１以上を含む無彩色であり、判定部５１は、輝度信号を用いてワーク領域が無彩色に含まれる色のいずれであるかを判定する。色差信号において、無彩色領域では色差レベルが固定値（例えば、値１２８）になることから、この装置では、ワークＷの位置をより確実に把握しやすい。また、この装置では、輝度信号に基づいてその領域がどの無彩色であるかを判定することができるから、採取対象であるワーク領域をより確実に把握することができる。
　また、判定部５１は、採取対象のワークＷの基準画像とワーク領域に該当する画素領域とのマッチングによりワーク領域を検出し、２以上のワーク領域の近接状態や重なり状態、ワーク領域の色、ワークＷの載置場所などに基づいて、採取可能なワーク領域を判定する。この装置では、基準画像を用いてワーク領域を検出することができる。また、この装置では、ワーク領域の状態を用いて採取可能なワーク領域を判定することができる。更に、ワーク移載装置２０において、照明部２６及び撮像部２５は、移載部２１に配設されている。この装置では、ワークＷにより近い位置で画像を撮像できるため、ワークＷの位置座標をより正確に検出することができる。
　なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
　例えば、上述した実施形態では、採取用載置部１３と照明部２６の照射光とが補色の関係にあるものとして説明したが、特にこれに限定されず、補色の関係にないものとしてもよい。この装置においても、色差レベルを用いてワーク領域を検出するため、汎用性を有しつつワークＷの位置をより確実に把握することができる。
　上述した実施形態では、ワークＷは黒色、白色、灰色及び銀色のうち１以上を含む無彩色であり、判定部５１は、輝度信号を用いてワーク領域が無彩色に含まれる色のいずれであるかを判定するものとしたが、輝度信号による無彩色を特定する処理を省略してもよい。ワーク収容部材１１へ収容するワークＷが所定のもの以外は入らないようにすれば、この処理は省略できる。
　上述した実施形態では、判定部５１は、所定の無彩色レベルにある領域をワーク領域として検出するものとしたが、これに限定されず、所定の彩色レベル（例えば、値９０以下など）にある領域以外の領域（図８の色差信号の図参照）をワーク領域として検出するものとしてもよい。この場合、上述した画像処理ルーチンにおいて、ステップＳ１２０の色差レベルは、背景色のレベルに設定され、ステップＳ１３０では、該当画素を背景領域に判定し、その補領域（背景領域以外の領域）を反転信号などを用いてワーク領域に判定するものとすればよい。
　上述した実施形態では、照明部２６及び撮像部２５は、移載部２１に配設されているものとしたが、特にこれに限定されず、採取用載置部１３の上方に配設されているものとしてもよいし、移載部２１に配設されているものと採取用載置部１３の上方に配設されているものとしてもよい。照明部２６及び撮像部２５が採取用載置部１３の上方に配設されている装置では、ワークＷを移載部２１が移動している間に、画像処理装置５０が採取用載置部１３上のワークＷの画像を撮像し、ワーク領域を検出することができるため、処理時間の短縮をより図ることができ、好ましい。
　上述した実施形態では、採取部２２は、磁力で引き付けて挟持部２４で把持してワークＷを採取するものとしたが、特にこれに限定されず、磁力のみでワークＷを採取してもよいし、挟持部２４のみで把持してワークＷを採取してもよいし、あるいは吸着ノズルで吸着してワークＷを採取するものとしてもよい。
　上述した実施形態では、ワーク収容部材１１に配設された採取用載置部１３に採取対象のワークＷを載置するものとしたが、特にこれに限定されない。例えば、移動するベルトコンベア上に採取対象のワークＷを載置するものとしてもよい。この装置では、ベルトコンベアが採取用載置部に該当し、このベルトコンベアの色を彩色などにする。この装置においても、色差レベルを用いてワーク領域を検出するため、汎用性を有しつつワークＷの位置をより確実に把握することができる。採取用載置部がベルトコンベアである場合、複数種のワークＷをベルトコンベア上に載置し、画像処理装置５０によるワーク領域の認識において、採取対象のワークＷを特定するものとしてもよい。なお、ワーク収容部材１１に配設された採取用載置部１３においても、複数種のワークＷを載置し、画像処理装置５０によるワーク領域の認識において、採取対象のワークＷを特定するものとしてもよい。
　上述した実施形態では、ワークＷは、無彩色であるものとしたが、無彩色でないものとしてもよい。このワークＷを取り扱う装置では、採取用載置部１３の色や照明部２６の色をワークＷに適した色にすればよい。例えば、ワークＷが彩色であり、採取用載置部１３が無彩色に着色されているものとしてもよい。
　上述した実施形態では、画像処理装置５０が画像処理ルーチンを実行するものとしたが、特にこれに限定されず、移載制御部２９が実行するものとしてもよい。
　上述した実施形態では、ワーク移載システム１０は、ワーク移載装置２０とワーク供給装置４０とを１つずつ備えたものとしたが、特にこれに限定されず、それぞれの装置を１以上備えるものとしてもよい。
　上述した実施形態では、本発明は、ワークを採取部により採取して移動させるワーク移載装置に適用されるものとしたが、電子部品回路組立機における部品や基板のマークの認識、工作機械における刃具やワークの認識に適用されるものとしてもよい。
　上述した実施形態では、ワーク移載装置２０とワーク供給装置４０とを備えたワーク移載システム１０として説明したが、ワーク移載装置２０のみとしてもよいし、画像処理装置５０のみとしてもよいし、画像処理方法として提供されるものとしてもよい。なお、この画像処理方法において、上述した画像処理装置５０の種々の態様を採用してもよいし、また、上述した画像処理装置５０の各機能を実現するようなステップを追加してもよい。
　本発明は、ワークを採取、配置などの処理を行う装置の技術分野に利用可能である。
１０　ワーク移載システム、１１　ワーク収容部材、１２　貯蔵部、１３　採取用載置部、１４　筐体、１５　搬送部、１６　作業用載置部、２０　ワーク移載装置、２１　移載部、２２　採取部、２４　挟持部、２５　撮像部、２６　照明部、２７　撮像素子、２８　アーム部、２８ａ　第１アーム、２８ｂ　第２アーム、２９　移載制御部、３０　ＣＰＵ、３１　レンズ、３２　偏光フィルタ、３４　リング照明、３５　偏光板、４０　ワーク供給装置、４１　供給部、４２　採取部、４３　アーム部、４４　供給制御部、
５０　画像処理装置、５１　判定部、５２　信号変換部、５３　色差抽出部、５４　輝度抽出部、５５　輝度判定部、５６　切替部、５７　基準画像保持部、５８　ワーク認識部、５９　採取可能判定部、６０　撮像画像、６１　採取可能ワーク領域、６２　採取不能ワーク領域、Ｗ　ワーク。

Claims (8)

  1. 　１以上のワークが載置された採取用載置部から該ワークを採取部により採取して移動させるワーク移載装置に用いられる画像処理装置であって、
    　前記採取用載置部に光を照射する照明部と、
    　前記採取用載置部のカラー画像を撮像可能である撮像部と、
    　前記撮像部から出力された信号から得られる輝度－色差信号のうち色差信号を用いてワーク領域を検出し、前記ワーク領域のワークが採取可能であるか否かを判定し、判定結果を出力する判定部と、
    　を備えた画像処理装置。
  2. 　前記採取用載置部は所定の彩色であり、
    　前記照明部は、前記採取用載置部の彩色に対して補色関係にある光を前記採取用載置部に照射する、請求項１に記載の画像処理装置。
  3. 　前記ワークは、黒色、白色、灰色及び銀色のうち１以上を含む無彩色であり、
    　前記判定部は、前記輝度信号を用いて前記ワーク領域が前記無彩色に含まれる色のいずれであるかを判定する、請求項１又は２に記載の画像処理装置。
  4. 　前記判定部は、所定の無彩色レベルにある領域を前記ワーク領域として検出するか、または、所定の彩色レベルにある領域以外の領域を前記ワーク領域として検出する、請求項１～３のいずれか１項に記載の画像処理装置。
  5. 　前記判定部は、採取対象のワークの基準画像と前記ワーク領域とのマッチングにより採取対象のワーク領域を検出し、２以上の該ワーク領域の近接状態及び重なり状態に基づいて採取可能なワーク領域を判定する、請求項１～４のいずれか１項に記載の画像処理装置。
  6. 　請求項１～５のいずれか１項に記載の画像処理装置と、
    　ワークを採取する採取部が配設され該採取部を移動する移載部と、
    　前記画像処理装置の前記判定部から出力された判定結果に基づいて前記移載部を制御する制御部と、
    　を備えたワーク移載装置。
  7. 　前記照明部及び前記撮像部は、前記移載部に配設されているか、前記採取用載置部の上方に配設されているか、のうち少なくとも一方である、請求項６に記載のワーク移載装置。
  8. 　１以上のワークが載置された採取用載置部から該ワークを採取部により採取して移動させるワーク移載装置に用いられる画像処理方法であって、
    （ａ）前記採取用載置部に光を照射し、前記採取用載置部のカラー画像を撮像部で撮像するステップと、
    （ｂ）前記撮像部から出力された信号から得られる輝度－色差信号のうち色差信号を用いてワーク領域を検出し、前記ワーク領域のワークが採取可能であるか否かを判定し、判定結果を出力するステップと、
    　を含む画像処理方法。
PCT/JP2016/066180 2016-06-01 2016-06-01 画像処理装置、ワーク移載装置及び画像処理方法 WO2017208389A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680085998.7A CN109153099B (zh) 2016-06-01 2016-06-01 图像处理装置、工件移载装置及图像处理方法
JP2018520277A JP6737882B2 (ja) 2016-06-01 2016-06-01 画像処理装置、ワーク移載装置及び画像処理方法
PCT/JP2016/066180 WO2017208389A1 (ja) 2016-06-01 2016-06-01 画像処理装置、ワーク移載装置及び画像処理方法
EP16904014.4A EP3466604B1 (en) 2016-06-01 2016-06-01 Image processing device, workpiece transfer device, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/066180 WO2017208389A1 (ja) 2016-06-01 2016-06-01 画像処理装置、ワーク移載装置及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2017208389A1 true WO2017208389A1 (ja) 2017-12-07

Family

ID=60479346

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/066180 WO2017208389A1 (ja) 2016-06-01 2016-06-01 画像処理装置、ワーク移載装置及び画像処理方法

Country Status (4)

Country Link
EP (1) EP3466604B1 (ja)
JP (1) JP6737882B2 (ja)
CN (1) CN109153099B (ja)
WO (1) WO2017208389A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108908294A (zh) * 2018-07-09 2018-11-30 无锡南理工科技发展有限公司 一种自动化机械抓手装置
JP2019181600A (ja) * 2018-04-05 2019-10-24 花王株式会社 ピックアンドプレイス装置
EP3715067A3 (de) * 2019-03-07 2020-12-23 Zahoransky AG Greifvorrichtung, vereinzelungsvorrichtung sowie verfahren zum greifen von körpern und verwendung einer greifvorrichtung
CN114535114A (zh) * 2022-01-19 2022-05-27 湖南视比特机器人有限公司 输送线上工件随动分拣系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021009800A1 (ja) * 2019-07-12 2021-01-21 株式会社Ｆｕｊｉ ロボット制御システム及びロボット制御方法
CN113109365A (zh) * 2021-04-16 2021-07-13 中国科学院自动化研究所 适用于多种工件的缺陷检测系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4402053A (en) * 1980-09-25 1983-08-30 Board Of Regents For Education For The State Of Rhode Island Estimating workpiece pose using the feature points method
JPH08271223A (ja) * 1995-02-03 1996-10-18 Kobe Steel Ltd 物体の位置認識装置
JPH11312898A (ja) * 1998-02-27 1999-11-09 Matsushita Electric Ind Co Ltd 電子部品実装装置
JP2003279334A (ja) * 2002-02-01 2003-10-02 Ckd Corp 三次元計測装置、フィルタ格子縞板及び照明手段
JP2014006852A (ja) * 2012-06-27 2014-01-16 Seiko Epson Corp 認識処理方法、認識処理装置、ロボットシステム及び認識処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646403B2 (ja) * 1985-06-13 1994-06-15 株式会社クボタ 作物認識装置
JPS62274379A (ja) * 1986-05-22 1987-11-28 Kubota Ltd 果実認識用の画像処理装置
KR101734962B1 (ko) * 2010-01-12 2017-05-15 삼성전자주식회사 로봇의 위치 인식 장치 및 방법
JP5846363B2 (ja) * 2011-09-02 2016-01-20 富士ゼロックス株式会社 画像処理装置および画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4402053A (en) * 1980-09-25 1983-08-30 Board Of Regents For Education For The State Of Rhode Island Estimating workpiece pose using the feature points method
JPH08271223A (ja) * 1995-02-03 1996-10-18 Kobe Steel Ltd 物体の位置認識装置
JPH11312898A (ja) * 1998-02-27 1999-11-09 Matsushita Electric Ind Co Ltd 電子部品実装装置
JP2003279334A (ja) * 2002-02-01 2003-10-02 Ckd Corp 三次元計測装置、フィルタ格子縞板及び照明手段
JP2014006852A (ja) * 2012-06-27 2014-01-16 Seiko Epson Corp 認識処理方法、認識処理装置、ロボットシステム及び認識処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3466604A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019181600A (ja) * 2018-04-05 2019-10-24 花王株式会社 ピックアンドプレイス装置
CN108908294A (zh) * 2018-07-09 2018-11-30 无锡南理工科技发展有限公司 一种自动化机械抓手装置
CN108908294B (zh) * 2018-07-09 2022-03-29 无锡南理工科技发展有限公司 一种自动化机械抓手装置
EP3715067A3 (de) * 2019-03-07 2020-12-23 Zahoransky AG Greifvorrichtung, vereinzelungsvorrichtung sowie verfahren zum greifen von körpern und verwendung einer greifvorrichtung
CN114535114A (zh) * 2022-01-19 2022-05-27 湖南视比特机器人有限公司 输送线上工件随动分拣系统
CN114535114B (zh) * 2022-01-19 2023-11-21 湖南视比特机器人有限公司 输送线上工件随动分拣系统

Also Published As

Publication number Publication date
CN109153099A (zh) 2019-01-04
CN109153099B (zh) 2020-11-17
JPWO2017208389A1 (ja) 2019-03-28
EP3466604B1 (en) 2020-12-23
JP6737882B2 (ja) 2020-08-12
EP3466604A4 (en) 2019-04-24
EP3466604A1 (en) 2019-04-10

Similar Documents

Publication Publication Date Title
WO2017208389A1 (ja) 画像処理装置、ワーク移載装置及び画像処理方法
CN108037130B (zh) 电芯的极耳缺陷自动检测方法及自动检测装置
KR101527525B1 (ko) 삼차원 계측 장치
CN110823922A (zh) 外观检测装置
JP5660810B2 (ja) 部品実装機の吸着ノズル検査装置
JP7225337B2 (ja) 半導体製造装置および半導体装置の製造方法
CN105690393A (zh) 一种基于机器视觉的四轴并联机器人分拣系统及其分拣方法
WO2016016933A1 (ja) 部品データ取扱装置および部品データ取扱方法並びに部品実装システム
CN106313095A (zh) 码垛机械手夹持器的防滑装置及其工作方法
WO2017068638A1 (ja) 画像処理装置および部品実装機
CN102401636A (zh) 图像测量装置和图像测量方法
JP2001168600A (ja) 部品装着確認方法および同装置
CN111278612B (zh) 元件移载装置
JP2010240785A (ja) ピッキングシステム
WO2018055757A1 (ja) 照明条件特定装置及び照明条件特定方法
CN211318494U (zh) 一种自动对位压接系统
CN210834648U (zh) 一种翻转检测装置
JP4618203B2 (ja) 電子部品実装装置及び電子部品実装方法
CN109644585B (zh) 元件安装装置及位置识别方法
WO2018055663A1 (ja) 撮像装置及び実装装置
JP2000510248A (ja) 端子ボールの存在を監視するための方法
JP2008283006A (ja) ウェハ位置補正方法及びボンディング装置
JP5465617B2 (ja) 基板検査装置
KR102134444B1 (ko) 고정 지그 장치
CN111015664B (zh) 一种基于ccd相机的智能化识别方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018520277

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16904014

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2016904014

Country of ref document: EP

Effective date: 20190102