SE515418C2

SE515418C2 - Method and apparatus for imaging in a variety of retained components for automatic evaluation of component positions and use of such apparatus

Info

Publication number: SE515418C2
Application number: SE9403479A
Authority: SE
Inventors: Nils Jacobsson
Original assignee: Mydata Automation Ab
Priority date: 1994-10-12
Filing date: 1994-10-12
Publication date: 2001-07-30
Also published as: WO1996012395A1; SE9403479L; SE9403479D0; JPH10507584A; EP0786198A1

Abstract

A pickup head (2) for an automatic component assembly machine comprises several pipettes (1) placed next to each other for retaining components (3) at the sucking nozzles of the pipettes. An image of the component is captured by means of a video camera (7) and a lens system (5) to be used in an automatic evaluation (7') of the positions of the components on the pipettes (1). This image is composed by superposing successive images, which are captured of only one component (3) at a time. With a suitable movement of the pickup head (2) between the capturing of the successive images the reproductions of the individual components can be packed closely in the composed image. This results in that the lens system (5) can be adjusted for a larger magnification than if only one image had been captured of all the components (3) at the same time. Thereby a more accurate determination of the positions of the components can be achieved in the evaluation.

Description

30 35 515 418 2 de bifogade patentkraven. 5 35 515 418 2 the appended claims.

En sammansatt bild framställs genom en successiv exponering av komponenterna, varigenom avbildningarna av de enskilda komponenterna kan packas tätt på den färdiga huden. ' Sålunda innefattar ett plockhuvud för en automatisk komponentmonteringsmaskin flera invid varandra placerade verktyg eller pipetter för fasthållning av komponenter vid sina undre ytor. En bild av komponenterna upptas med hjälp av ett avbildningssystem, såsom en videokamera och en linsanordning, för att användas vid en automatisk utvärde- ring av komponenternas lägen vid verktygen. Denna bild sammansätts genom överlagring av successiva bilder, som upptas av endast en komponent åt gången. Med en lämplig för- flyttning av plockhuvudet mellan upptagandet av de successiva bilderna kan av- bildningarna av de enskilda komponenterna packas tätt i den sarnrnansatta bilden. Detta medför, att linsanordningen kan inställas för en större förstoring än om endast en bild hade upptagits av alla komponenterna samtidigt. Därigenom kan en noggrannare bestäm- ning av komponenternas lägen erhållas vid utvärderingen.A composite image is produced by a successive exposure of the components, whereby the images of the individual components can be packed tightly on the finished skin. Thus, a picking head for an automatic component mounting machine comprises several adjacent tools or pipettes for holding components at their lower surfaces. An image of the components is captured by means of an imaging system, such as a video camera and a lens device, for use in an automatic evaluation of the positions of the components at the tools. This image is composed by superimposing successive images, which are occupied by only one component at a time. With a suitable movement of the picking head between the recordings of the successive images, the images of the individual components can be packed tightly in the assembled image. This means that the lens device can be adjusted for a larger magnification than if only one image had been taken of all the components at the same time. Thereby, a more accurate determination of the positions of the components can be obtained in the evaluation.

FIGURBESKRIVNING Uppﬁnningen skall nu beskrivas närmare i anslutning till ej begränsande utförings- exempel i samband med de bifogade ritningarna, i vilka: - Fig. 1 visar delar av ett plockhuvud för en automatisk komponentrnonteringsmaskin med schematiskt visade belysningsorgan och optiska organ för upptagning av en bild av fasthållna komponenter, - Fig. 2 visar en bild av de fasthållna komponenterna upptagen med konventionell optik, - Fig. 3 visar en bild av de fasthållna komponenterna upptagen med packning av kompo- nenterna, - Fig. 4 visar en bild upptagen som i ﬁg. 3 men med ökad förstoring.DESCRIPTION OF THE DRAWINGS The invention will now be described in more detail in connection with non-limiting exemplary embodiments in connection with the accompanying drawings, in which: Fig. 1 shows parts of a picking head for an automatic component mounting machine with schematically shown lighting means and optical means for capturing an image of held components, - Fig. 2 shows a picture of the held components taken up with conventional optics, - Fig. 3 shows a picture of the held components taken up with packing of the components, - Fig. 4 shows a picture taken as in ﬁ g. 3 but with increased magnification.

BESKRIVNING AV FÖREDRAGNA UTFÖRINGSFORMER I ﬁg. l visas upptill den nedre delen av plockverktyg eller pipetter l tillhörande ett plockhuvud eller komponenthärntningshuvud, antytt vid 2, hos en automatisk monterings- maskin för elektroniska komponenter, ej visad, t ex i form av en av de typer, vilka visas och till vilka det hänvisas i vår tidigare svenska patentansökan 9402356-1, inlämnad 4 juli 1994, vilken här införlivas som referens. Plockhuvudet 2 sitter på ett x-huvud, ej visat, som är rörligt i horisontell riktning, i x-led. Pipetterna 1 är anordnade i en rad, dvs parallellt med varandra i samma vertikala plan, som dessutom med fördel är parallellt med x-riktningen, och de sitter på lika stort avstånd från varandra och fasthåller kompo- nenter 3 vid sina nedre ändar, som är försedda med sugmunstycken. Komponenterna 3 hämtas genom bl a en rörelse av plockhuvudet 2 i x-led och sedan, när huvudet 2 med pipetterna l förﬂyttas till ett ställe, där komponenterna skall utplaceras, passerar det över ett ställe, där en bild kan upptas av komponenterna 3 underifrån med hjälp av ett fast monterat bildupptagningssystem. Detta innefattar en linsanordning 5 och en videokamera 40 7 med ljuskänslig yta 9 och är placerat på lärnpligt ställe under komponenternas 3 rörelse- 10 20 25 30 35 40 515 418 bana för att kunna uppta en bild av dessa.DESCRIPTION OF PREFERRED EMBODIMENTS I ﬁ g. 1 is shown at the top of the lower part of picking tools or pipettes 1 belonging to a picking head or component hardening head, indicated at 2, of an automatic assembly machine for electronic components, not shown, for example in the form of one of the types shown and to which is referred to in our previous Swedish patent application 9402356-1, filed July 4, 1994, which is incorporated herein by reference. The picking head 2 sits on an x-head, not shown, which is movable in horizontal direction, in x-direction. The pipettes 1 are arranged in a row, i.e. parallel to each other in the same vertical plane, which in addition is advantageously parallel to the x-direction, and they sit at an equal distance from each other and hold components 3 at their lower ends, which are fitted with suction nozzles. The components 3 are retrieved by, among other things, a movement of the picking head 2 in the x-direction and then, when the head 2 with the pipettes 1 is moved to a place where the components are to be placed, it passes over a place where an image can be taken of the components 3 from below with using a permanently mounted image capture system. This comprises a lens device 5 and a video camera 40 7 with a light-sensitive surface 9 and is placed in a learning place under the path of movement of the components 3 in order to be able to take a picture of these.

Den bild, som härvid erhålls av alla komponenterna, visas schematiskt i fig. 2 med ett rektangulärt bildfält 11 och enskilda avbildningar 13 av komponenterna 3 på detta. De enskilda avbildningarna 13 har härvid samma yttre form som komponenterna, typiskt rektangulär form, och ligger längs en rad i ungefär rät linje, normalt rnitt i bildfåltet 11 parallellt med dess långsida. Genom det radvisa arrangemanget av komponenterna 3 och härigenom av deras avbildningar 13 utnyttjas normalt bara den centrala delen av bildfältet 11 för avbildningarna, åtminstone om komponenterna 3 inte är alltför långsträckta, och därmed behöver information bara hämtas från detta område vid en automatisk bildbehand- ling av signalerna från de ljuskänsliga elementen på ytan 9. Inforrnationen från övriga delar av bildfältet 11 kan inte utnyttjas.The image obtained in this case of all the components is shown schematically in Fig. 2 with a rectangular image field 11 and individual images 13 of the components 3 thereon. The individual images 13 here have the same outer shape as the components, typically rectangular shape, and lie along a row in an approximately straight line, normally cut in the image field 11 parallel to its long side. Due to the row arrangement of the components 3 and thereby of their images 13, only the central part of the image field 11 of the images is normally used, at least if the components 3 are not too elongated, and thus information only needs to be retrieved from this area in an automatic image processing of the signals from the light-sensitive elements on the surface 9. The information from other parts of the image field 11 cannot be used.

För att packa avbildningarna av de enskilda komponentema 3 tätare i bildfältet 11, så att en större förstoring kan väljas, kan i stället bilder upptas successivt av varje enskild komponent fasthållen av ett plockverktyg l och hela huvudet 2 förﬂyttas mellan varje upptagning av en bild, så att en komponent, för vilken en bild upptas direkt efter det att en bild upptagits för en annan komponent, ligger i karnerafältet närmare platsen för den tidigare komponenten. De senare av dessa bilder överlagras på tidigare upptagna bilder, varigenom en resulterande bild enligt ﬁg. 3 kan erhållas, där avbildningarna 13' av de enskilda komponenterna ligger tätare packade än i bilden enligt ñg. 2, om samrna optiska förstoring används. Det blir då möjligt att öka förstoringen hos det optiska linssystemet 5 och en bild enligt ﬁg. 4 kan erhållas, med större individuella avbildningar 13" av de enskilda komponenterna 3. Med ökad förstoring erhålls också ökad noggrannhet vid utvärdering av de upptagna bilderna.Instead, in order to pack the images of the individual components 3 more closely in the image field 11, so that a larger magnification can be selected, images can be taken successively by each individual component held by a picking tool 1 and the whole head 2 to be moved between each image capture, so that a component, for which an image is taken immediately after an image has been taken for another component, is located in the corner field closer to the location of the previous component. The latter of these images are superimposed on previously recorded images, whereby a resulting image according to ﬁ g. 3 can be obtained, where the images 13 'of the individual components are more tightly packed than in the image according to ñg. 2, if combined optical magnification is used. It then becomes possible to increase the magnification of the optical lens system 5 and an image according to ﬁ g. 4 can be obtained, with larger individual images 13 "of the individual components 3. With increased magnification, increased accuracy is also obtained when evaluating the captured images.

För att åstadkomma detta indelas det område, som avbildas på kamerans 7 ljus- känsliga yta 9, i sektorformade delområden med hjälp av tunna plåtar eller lameller 15, vilka är behandlade för att inte reﬂektera ljus, exempelvis svärtade och matterade. Del- ornrådena ligger intill varandra, är öppna i riktning mot videokameran 7 och också åt motsatt håll för att kunna släppa fram ljus från en komponent 3 fasthållen av ett verktyg 1. Öppningarna är avlånga i en tvärriktning i förhållande till raden av komponenter 3 och endast så pass breda, att en komponent 3 väl kan få plats däri för att avbildas på den ljus- känsliga ytan 9. För varje sektorforrnat delområde ﬁrms vidare belysningsanordningar, som kan selektivt aktiveras för att avge kortvariga ljusblixtar, när en komponent 3 beﬁn- ner sig rnittför eller i dess öppning. Belysningsanordningama kan innefatta antingen fast monterade lampor 17, som sitter ovanför eller bakom komponenterna, eller fast mon- terade larnpor 19, som sitter under komponenterna 3, ungefär i delsektorernas öppningar.To achieve this, the area imaged on the light-sensitive surface 9 of the camera 7 is divided into sector-shaped sub-areas by means of thin plates or slats 15, which are treated so as not to reflect light, for example blackened and matted. The sub-wires are adjacent to each other, are open in the direction of the camcorder 7 and also in the opposite direction to be able to emit light from a component 3 held by a tool 1. The openings are elongated in a transverse direction relative to the row of components 3 and only so wide that a component 3 can well be accommodated therein to be imaged on the light-sensitive surface 9. For each sector-shaped sub-area there are further lighting devices, which can be selectively activated to emit short-lived light flashes, when a component 3 settles down. before or in its opening. The lighting devices may comprise either permanently mounted lamps 17, which are located above or behind the components, or permanently mounted lamp pores 19, which are located below the components 3, approximately in the openings of the sub-sectors.

I vart fall måste ljuset utsänt frän lamporna avskärmas i sidled, så att det inte träffar mer än en komponent, som är belägen i lampornas tillhörande, av lamellema 15 avgränsade sektorformade område.In any case, the light emitted from the lamps must be shielded laterally, so that it does not hit more than one component, which is located in the associated sector-shaped area delimited by the lamellae 15.

Vid upptagande av en bild enligt ﬁg. 4 utförs sålunda följande arbetssteg. Linssyste- met 5 och kameran 7 antas vara fast inställda för en lämplig stor förstoring. Plockhuvudet 515 418 4 2 antas vara försett med åtta plockverktyg 1, som är numrerade 1, 2, 8 räknat från vänster sett i ﬁg. 1. Delsektorerna bildade genom de avdelande lamellerna 15 nurnreras på samma sätt från 1 till 8 räknat från vänster. Plockhuvudet 2 hämtar vid en rörelse till höger i sidled, x-led, komponenter 3, som sugs fast vid och sitter fasthållna på plockverk- tygens 1 undre yta, och rör sig sedan till vänster, sett såsom i ﬁg. l.When capturing an image according to ﬁ g. 4, the following work steps are thus performed. The lens system 5 and the camera 7 are assumed to be fixed for a suitably large magnification. The picking head 515 418 4 2 is assumed to be provided with eight picking tools 1, which are numbered 1, 2, 8 from the left seen in ﬁ g. 1. The sub-sectors formed by the dividing slats 15 are numbered in the same way from 1 to 8 from the left. During a movement to the right laterally, x-direction, the picking head 2 picks up components 3, which are sucked on and are held on the lower surface of the picking tools 1, and then move to the left, seen as in ﬁ g. l.

- När plockverktygen 1 med de fasthållna komponenterna 3 närmar sig lamellerna 15, aktiveras videokamerans 7 ljuskänsliga yta 9 för att motta en bild, vilket är ekvivalent med att slutaren öppnas för en konventionell kamera. Enligt ett första föredraget förfa- rande aktiveras lampoma 17 eller 19 under en mycket kort tid för sektor nr 1 för att avge en ljusblixt, när plockverktyg nr l passerar eller står mitt för öppningen till denna sektor med den fasthållna komponenten 3 i denna öppning, sedan aktiveras lamporna för sektor nr 2, när plockverktyg nr 2 passerar eller står mitt för öppningen till denna sektor, etc.- When the picking tools 1 with the held components 3 approach the slats 15, the light-sensitive surface 9 of the camcorder 7 is activated to receive an image, which is equivalent to the shutter being opened for a conventional camera. According to a first preferred method, the lamps 17 or 19 are activated for a very short time for sector No. 1 to emit a light flash, when picking tool No. 1 passes or stands in the middle of the opening to this sector with the retained component 3 in this opening, then the lights for sector no. 2 are activated, when picking tool no. 2 passes or is in the middle of the opening to this sector, etc.

'Enligt ett andra föredraget förfarande aktiveras lamporna 17 eller 19 under en mycket 20 25 30 35 40 kort tid för sektor nr 8 för att avge en ljusblixt, när plockverktyg nr 1 passerar eller står mitt för öppningen till denna sektor med den fasthållna komponenten 3 i denna öppning, sedan aktiveras lamporna för sektor nr 7, när plockverktyg nr 2 passerar eller står mitt för öppningen till denna sektor, etc. När endera av dessa förfaranden har utförts för alla plockverktyg nr 1 - 8, avtappas den erhållna bilden från den ljuskänsliga ytan 9, vilket är liktydigt att slutaren stängs vid en konventionell kamera.According to a second preferred method, the lamps 17 or 19 are activated for a very short time for sector No. 8 to emit a flash of light, when picking tool No. 1 passes or is in the middle of the opening to this sector with the retained component 3 in this opening, then the lamps for sector no. 7 are activated, when picking tool no. 2 passes or is in the middle of the opening to this sector, etc. When either of these procedures has been performed for all picking tools no. 9, which means that the shutter is closed at a conventional camera.

Vid det första förfarandet uppnås kortast möjliga exponeringstid och minsta risk för att ströljus skall träffa den ljuskänsliga ytan 9. Vid det andra förfarandet förﬂyter längre tid mellan upptagningen av de överlagrade bilderna, vilket kan erfordras för uppladdning av en gemensam elektrisk krets för drivning av lamporna 17 resp 19 för åstadkommande av ljusblixtarna. För att begränsa mängden ströljus bör också känsligheten hos videoka- merans 7 ljuskänsliga yta 9 inställas vid ett tämligen lågt värde och de enskilda ljusblix- tarna från lamporna 17 resp 19 göras mycket ljusstarka.The first method achieves the shortest possible exposure time and the least risk of stray light hitting the light-sensitive surface 9. In the second method, the time between the recording of the superimposed images is longer, which may be required to charge a common electrical circuit for driving the lamps 17. respectively 19 for producing the light flashes. In order to limit the amount of stray light, the sensitivity of the light-sensitive surface 9 of the video camera 7 should also be set at a rather low value and the individual light flashes from the lamps 17 and 19, respectively, should be made very bright.

Vid utvärdering av den överlagrade bilden måste en referens på något sätt användas för att bestämma komponenternas 3 lägen i förhållande till plockningsanordningarna 1 eller plockhuvudet 2.When evaluating the superimposed image, a reference must be used in some way to determine the positions of the components 3 in relation to the picking devices 1 or the picking head 2.

Enligt ett första utförande kan de successiva bilderna upptas, när plockhuvudet och dess delar kontinuerligt passerar över avbildningssystemet. Elementen i kamerans 7 ljus- känsliga yta 9 aktiveras då under en mycket kort tid för att uppta en bild av komponen- terna 3, vilket är ekvivalent med att slutaren hos en konventionell kamera öppnas en myc- ket kort tid, när en komponent 3 befinner sig över en avsedd sektion. I detta fall finns inget givet referensläge, till vilket det fast inställda avbildningssystemet och dess utvärde- ringskretsar för den upptagna bilden kan hänföra komponenternas 3 lägen. För detta kan en referens anordnas i själva den upptagna bilden genom att på plockhuvudet 2 styvt fastgöra referensutsprång 21, som sträcker sig parallellt med verktygens 3 längdriktning och som har en undre yta, vilken ligger i ungefär samrna plan som komponentemas 3 undersida eller till och med kan medges ligga ett stycke bakom detta plan, sett från vi- 515 418 5 deokameran 7. Med en lämplig placering av utsprångens 17 undre yta avbildas denna i den för varje komponent upptagna bilden, såsom visas vid 23' i ﬁg. 3 och vid 23" i ﬁg. 4. Om plockverktygen 1 med sin undre ytor endast utskjuter ett litet stycke från plockhu- vudets 2 undre yta, kan i stället för referensutsprång ekvivalent användas referensmärken s anbragta på själva denna undre yta på plockhuvudet.According to a first embodiment, the successive images can be taken when the picking head and its parts continuously pass over the imaging system. The elements in the light-sensitive surface 9 of the camera 7 are then activated for a very short time to take a picture of the components 3, which is equivalent to the shutter of a conventional camera being opened for a very short time, when a component 3 is over a designated section. In this case, there is no given reference position, to which the fixed imaging system and its evaluation circuits for the recorded image can relate the positions of the components 3. For this, a reference can be arranged in the captured image itself by rigidly attaching to the picking head 2 reference projections 21, which extend parallel to the longitudinal direction of the tools 3 and which have a lower surface which lies in approximately the same plane as the underside of the components 3 or even can be allowed to lie some distance behind this plane, seen from the video camera 7. With a suitable location of the lower surface of the projections 17, it is imaged in the image recorded for each component, as shown at 23 'in ﬁ g. 3 and at 23 "in ﬁ g. 4. If the picking tools 1 with their lower surfaces protrude only a small distance from the lower surface of the picking head 2, instead of reference projections equivalent reference marks s applied to this very lower surface of the picking head can be used.

Enligt ett andra utförande kan varje enskilt plockverktyg 1 vid upptagande av en bild av den av verktyget fasthållna komponenten 3 placeras i ett lämpligt valt referenslä- ge för detta plockverktyg och kvarstanna i detta läge, när bilden av komponenten upptas.According to a second embodiment, each individual picking tool 1, when capturing an image of the component 3 held by the tool, can be placed in a suitably selected reference position for this picking tool and remain in this position when the image of the component is taken.

Referenslägena är då olika för de olika plockverktygen och plockhuvudet 2 måste förskju- io tas till olika referenslägen för varje plockverktyg 1. Detta kan vara en tämligen tidsödan- de process om ett större antal plockverktyg 1 finns anordnade.The reference positions are then different for the different picking tools and the picking head 2 must be moved to different reference positions for each picking tool 1. This can be a rather time-consuming process if a larger number of picking tools 1 are provided.

Claims

20 25 30 35 40 515 418 6 PATENT REQUIREMENTS

Method of imaging in a series of retained components (3) for automatic evaluation of the positions of the components, characterized in that - images of each individual component are captured and, - that the individual captured images are superimposed to produce a composite image, of which the positions of the components are shown.

Method method according to claim 1, characterized in that - the images are captured with a fixed image capture system (5, 9) with a fixed optical setting and - that the components (3) are moved between capturing an image of each individual component, so that the components' images in the composite image are closer to each other than to a single image captured with the same image capture system but at the same time by ﬂ era of the components.

Device for imaging in a series of holding devices (1) held components (3) for automatic evaluation of the positions of the components, characterized by - an image pickup device (5, 9) - - arranged in front of or under the components, - - for capturing successive images of the components, each image of which is occupied by only one component, when the holding device holding this component is in or passes a reference position, so that the images show different components, and - - comprising means for superimposing the the captured images to form a composite image.

Device according to claim 3, characterized in that - the image pickup device (5, 9) has a fixed optical setting and is fixedly arranged in front of or below the path of the components (3) at a surface of the holding devices (1), - the means for superimpose the captured images on each other to form a composite image are arranged to make the superposition, so that the images of the components in the composite image are closer to each other than in a single image taken with the same image capture system but simultaneously of several of the components.

Device according to one of Claims 3 to 4, characterized in that the image-capturing device comprises shielded lighting devices (15, 19) for illuminating only one component at a time.

Device according to claim 5, characterized in that the lighting devices comprise briefly activatable light sources (19) and fixed slats or screen elements (15).

Device according to claim 6, characterized in that the slats or screen elements (15) comprise screen walls placed to form sector-shaped, adjacent spaces with openings facing partly the places where the components 515 418 7 for to the location of an imaging system included in the image pickup device (5, 9).

Use of the device according to any one of claims 3 to 7 in a component assembly machine characterized by c. - that the machine comprises a picking head (2), which is movable between a pick-up point for components (3) and a deployment point, and that the holding devices (1) are arranged on the picking head for gripping, holding and releasing the components, and - that the holding devices at the picking head movement from the pick-up point to the deployment point passes the reference position.