SE517626C3 - Förfarande vid mikroskopering för att söka av och positionera ett objekt, där bilder tas och sammanfogas i samma bildkoordinatsystem för att noggrant kunna ställa in mikroskopbordet - Google Patents

Description

- ~-.- - u 10 15 20 25 30 35 517 626 2 àterfinnas en andra gäng pà beställning pà ett tillför- litligt sätt. Tiden fràn beställning till att positionen àterfinnes skall vara kort. Den noggrannhet varmed posi- tionen àterfinnes fàr ej vara för dàlig. Noggrannheten skall minst vara sàdan att det delobjekt som befinner sig pà den sökta positionen àtminstone àterfinns inom den användbara delen av bildfältet hos mikroskopet. Med användbar del menas att det aktuella delobjektet, efter en fokusering, gàr att upptäcka även denna andra gäng.

För det andra skall drivmekanismen kunna förflytta mikroskopbordet sà noggrant i tvà dimensioner att hela objektet kan avsökas utan att delar av det oavsiktligt missas, men ändà med sa litet överlapp mellan efter varandra följande bilder att avsökningen kan göras snabbt.

Om ovannämnda krav pà drivmekanismen skall kunna uppfyllas i ett system utan återkoppling krävs användning av mycket noggranna, glappfria komponenter, sàsom steg- motorer och skruvar av den typ som används i numeriskt styrda verktygsmaskiner. Sàdana komponenter är emellertid förhållandevis dyra.

Alternativt kan positionssensorer 25 som avkänner mikroskopbordets position installeras och ett äterkopplat reglersystem användas för positioneringen. Detta visas schematiskt i fig 1 med streckade linjer. Nackdelen med detta är dock att man behöver installera extra komponen- ter, som kan ga i sönder, som höjer kostnaden för mikro- skopet och som tar plats.

I EP 0 731 371 beskrivs ett system för styrning av ett mikroskopbord. En kamera registrerar en bild av ett objekt pà mikroskopbordet. Mikroskopbilden visas pà en bildskärm. Användaren markerar ett intressant omràde eller en intressant punkt i mikroskopbilden pà bild- skärmen med hjälp av ett pekdon. När sä sker, läser ett datorprogram in aktuella koordinater fràn mikroskop- bordets styrelektronik. Datorprogrammet har kalibrerats med information angáende kamerans bildstorlek. Därmed kan aaunø |;øno a>anu lO 15 20 25 30 35 517 626 3 datorprogrammet räkna ut koordinater för det markerade omràdet eller den markerad punkten. Datorprogrammet styr därefter mikroskopbordet till dessa koordinater. Detta erfordrar dock en repeterbar drivmekanism för mikroskop- bordet, vilken alltsa hittills har àstadkommits med dyra skruvar och stegmotorer eller positionsreglering med extra positionssensorer.

Sammanfattning av uppfinningen Ett ändamàl med föreliggande uppfinning är att möj- liggöra en lösning pà ovan beskriva problem.

Detta ändamàl uppnàs helt eller delvis med ett för- farande enligt patentkrav l, ett mikroskop enligt patent- krav 22 och en datorprogramprodukt enligt patentkrav 24.

Enligt en första aspekt avser uppfinningen närmare bestämt ett förfarande vid mikroskopering, innefattande stegen att med hjälp av en bildsensor registrera en andra bild, som avbildar ett andra omràde pà ett objekt, att jämföra bildinformation fràn den andra registrerade bilden med bildinformation fràn minst en tidigare registrerad första bild, vilken avbildar ett första omràde pà objektet, vilket är delvis gemensamt med det andra omradet, att pussla den andra bilden med den första bilden pà basis av resultatet av jämförelsen, varvid bildpunkter i den andra bilden tillordnas koordinater i ett bildpunktskoordinatsystem, i vilket bildpunkter i den första bilden tidigare är tillordnade koordinater, och att skapa en positionssignal, vilken innefattar koordi- nater för en punkt i den andra bilden.

En fördel med detta förfarande är att en positignw, ,,_ kan bestämmas utan att specielfllpatnapositiqnssens9re_r._-he=..i höverwinštällëräšfhfstället bestäms positionen med hjälp av bilderna som upptas med bildsensorn. Positionen er- hàlls alltsà i ett bildkoordinatsystem istället för som tidigare i ett koordinatsystem relaterat till mikroskop- bordet och dess drivmekanism.

Bildinformationen som jämförs kan vara bilderna i det skick som de registrerats, bearbetade versioner av ;a.|a| :ansa :uavu 10 15 20 25 30 35 517 626 4 bilderna, exempelvis filtrerade bilder, eller annan bildinformation som extraherats ur bilderna, exempelvis rad- och kolumnsummor för bilderna.

Pusslingen av den första och den andra bilden kan innebära att en sammanpusslad bild skapas, varvid bild- punktsvärdena i varje punkt i det överlappande omràdet exempelvis kan sättas till medelvärdet av bildpunkts- värdena i resp bild för denna punkt. Pusslingen behöver dock inte innebära att en sammanpusslad bild skapas. Det räcker att den inbördes förskjutningen mellan bilderna bestäms och lagras.

Pusslingen behöver vidare inte göras en gàng för alla. Den kan justeras senare när ytterligare bilder registreras och pusslas med de redan pusslade bilderna.

Positionssignalen kan användas för att indikera olika förhållanden. Den kan exempelvis indikera den inbördes positionen för bildsensorn och objektet vid registreringen av den andra bilden. Positionssignalen kan då användas som en är-värdes-signal i ett àterkopplatf styrsystem. Härigenom kan mindre exakta och därmed -billigare komponenter användas för den inbördes för- flyttningen av bildsensorn och objektet. Positions- signalen kan dessutom eller alternativt användas för att _indikera_positionenmför ett delobjekt i den andra bilden, till vilket man vill återvända senare. Fördelen med detta är att positionen kan noteras utan speciella positions- sensorer. Beroende pà användningen av positionssignalen kan denna betecknas som en första resp en andra posi- __, ...än tionssignal.

Förfarandet kan innefatta att registreringssteget jämförelsesteget och pusslingssteget upprepas ett önskat antal gànger med inbördes förflyttning av bildsensorn och objektet mellan varje upprepning. När en ny bild regist- reras kommer bildinformationen fràn den föregående bilden att utgöra bildinformation fràn en tidigare registrerad första bild. v;nnv »øuur Inna: lO 15 20 25 30 35 517 626 5 Registreringssteget, jämförelsesteget och pusslings- steget kan upprepas tills ett förutbestämt omràde pà objektet avsökts. Det förutbestämda omràdet kan exempel- vis vara hela objektet.

Alternativt kan registreringssteget, jämförelse- steget och pusslingssteget upprepas tills en förutbestämd inbördes position för bildsensorn och objektet uppnàs, exempelvis när man vill átervända till ett tidigare identifierat delobjekt pà objektet.

Positionssignalen behöver inte skapas varje gäng som registreringssteget upprepas, men den kan ocksà skapas en gàng för varje gang som registreringssteget genomförs. Om positionssignalen bara används för att indikera posi- tionen för delobjekt sà kan det exempelvis inträffa att det inte finns nagot delobjekt att indikera positionen för i en eller flera av de registrerade bilderna. Om positionssignalen används för att indikera bildsensorns och objektets inbördes position sà kan det emellertid vara lämpligt att skapa positionssignalen för varje bild.

Positionssignalen kan vidare användas för att reg- lera den inbördes förflyttningen av objektet och bild- sensorn mellan upprepningar av registreringssteget, jäm- förelsesteget och pusslingssteget. Regleringen kan exempelvis ske som en positionsreglering eller en hastig- hetsreglering, varvid det kända tidsintervallet mellan tvà bildregistreringar utnyttjas för uppskattning av är- värdet för hastigheten.

Man kan även använda positionssignalen för att korrigera objektets och bildsensorns inbördes position.

Detta kan exempelvis göras i ett öppet system utan äter- koppling. När en inbördes förflyttning av bildsensornmoch objektet har utförts används positionssignalen för att kontrollera om önskat inbördes läge har uppnàtts. Om sä inte är fallet korrigeras läget pà basis av avvikelsen.

Förfarandet kan vidare innefatta stegen att för varje registrerad andra bild leta i bilden efter del- objekt av intresse och, när ett delobjekt av intresse ||-ao ~fllaø 10 15 20 25 30 35 517 626 6 identifieras, lagra bildpunktskoordinaterna för en punkt som är relaterad till delobjektet. I detta fallet kan bildpunktskoordinaterna för delobjektet sägas utgöra en andra positionssignal som skapas i och med att koordina- terna bestäms.

Samma grundteknik med jämförelse av bilder för att bestämma hur de överlappar varandra kan alltsà användas parallellt för att styra avsökningen av ett objekt och för att bestämma positionen för intressanta delobjekt.

Det kan räcka med ett enda pusslingssteg med pussling mellan tvà bilder för att positionsinformationen för à ena sidan bildsensorns och objektets inbördes position och à andra sidan delobjektets position skall bli till- gängliga. Skälet till detta är att bàda positionerna erhàlls pà basis av de bildpunktskoordinater som en andra bild tillordnas när den pusslas med en tidigare regi- strerad bild. Punkten som är relaterad till delobjektet kan exempelvis vara tyngdpunkten för delobjektet eller nàgon annan punkt som pà lämpligt sätt definierar del- objektets position. Koordinaterna för flera punkter kan ocksà registreras, exempelvis för att definiera utsträck- ningen av ett delobjekt.

Sàsom framgàtt ovan kan man vilja àtervända till tidigare lagrade positioner. Därför kan förfarandet inne- fatta steget att styra en inbördes förflyttningen av bildsensorn och objektet till en position som motsvarar de lagrade bildpunktskoordinaterna för en punkt som är relaterad till ett första delobjekt genom att utgàende fràn en referensposition styra förflyttningen pà basis av bildpunktskoordinaterna och genom att under förflytt- ningen upprepa registreringssteget, jämförelsesteget, pusslingssteget och skapandet av positionssignalen och genom att jämföra positionssignalen med bildpunkts- koordinaterna.

Samma teknik kan alltsà användas bade vid struktu- rerad avsökning av ett förutbestämt omràde pà ett objekt och vid àtervändandet till en tidigare registrerad posi- flnøso »vann »||:> 10 15 20 25 30 35 517 626 7 tion. Däremot behöver inte samma väg till positionen upp- repas. Avsökningen kan exempelvis ske radvis pà objektet, men om man skall àtervända till en punkt mitt pà objektet kan den inbördes förflyttningen av bildsensorn och objektet exempelvis ske längs en diagonal sa att sà fa bilder som möjligt behöver registreras. D Referenspunkten fràn vilken man utgàr kan exempelvis vara en punkt i den bild som registreras allra först vid avsökningen av objektet eller en punkt i den bild som registreras sist vid avsökningen eller nàgon annan lämp- lig punkt. Denna punkt kan alltsa utgöra ett origo för bildpunktskoordinatsystemet.

Om man vid mikroskoperingen sekventiellt skall àter- vända till flera tidigare lagrade positioner behöver man dock inte àtervända till origo. Istället kan förfarandet innefatta att styra den inbördes förflyttningen av bild- sensorn och objektet till en position som motsvarar de lagrade bildpunktskoordinaterna för en punkt som är rela- terad till ett andra delobjekt genom att använda bild- punktskoordinaterna för det första delobjektet som en referenspunkt. Bildpunktskoordinaterna för det andra del- objektet kan sàledes räknas om med bildpunktskoordinater- na för det första delobjektet som origo sà att förflytt- ningen kan fortsätta frán den uppnàdda positionen.

Information fràn objektet kan samlas in i tvà faser, varvid en första fas innefattar att avsöka ett förut- bestämt område genom att sekventiellt upprepa registre- ringssteget, jämförelsesteget och pusslingssteget med inbördes förflyttning av bildsensorn och objektet mellan varje upprepning, att undersöka varje registrerad första bild för identifiering av delobjekt av intresse och att lagra positionerna för identifierade delobjekt och varvid en andra fas innefattar att förflytta bildsensorn och objektet inbördes sà att positionerna för de identifie- rade delobjekten uppnàs och att registrera ytterligare bilder av delobjekten i dessa positioner. Fördelen med detta förfarande i tva faser är att i första fasen kan en inøn» »»||> 10 15 20 25 30 35 517 626 8 snabb avsökning av objektet göras med fysiska mikroskop- inställningar som är lämpade för att identifiera del- objekt. I andra fasen kan man göra nya fysiska mikroskop- inställningar som är lämpade för registrering av hög- kvalitativa bilder av delobjekten och àtervända till del- objekten med de nya fysiska mikroskopinställningarna.

Förfarandet kan innefatta att positionssignalen matas som en är-värdes-signal till en reglermodul för reglering av ett mikroskopbords position i förhållande till bildsensorn.

Förfarandet kan som nämnts användas för reglering av bildsensorns och objektets inbördes positioner. Det kan emellertid även användas för att ge àterkoppling till en användare som manuellt förflyttar bildsensorn och objek- tet i förhållande till varandra, exempelvis genom tra- ditionell manövrering av mikroskopsbordet med hjälp av rattar. Positionssignalen kan dä användas för att ge användaren anvisningar om hur han skall förflytta mikro- skopsbordet för att en förutbestämd position skall uppnàs eller för att hela objektet skall avsökas. Larm kan ges om nàgot delomràde pà objektet missas vid avsökning av objektet. Positionssignalen kan ocksa användas för att ge annan lämplig àterkoppling till användaren.

Pusslingen av bilderna kan göras pà mànga olika sätt. I ett utförande innefattar steget att jämföra bild- information att jämföra bildinformationen fràn den första och den andra bilden för olika inbördes förskjutningar mellan bilderna, varvid den första och den andra bilden pusslas med den inbördes förskjutning som minimerar sum- man av kvadraterna av skillnaderna mellan bildpunkts- värdena för överlappande bildpunkter.

För att förkorta tiden för jämförelsen av bildinfor- mationen kan denna med fördel utföras en första gäng för en första upplösning hos bilderna och en andra gäng för en andra upplösning hos bilderna.

Sàsom nämnts behöver inte bilderna jämföras i det skick som de registreras i. Enligt ett utförande av för- fi|l|r -»|>| l0 15 20 25 30 35 517 626 9 farandet innefattar detta sàlunda steget att àstadkomma bildinformationen fràn den andra bilden genom att pro- jicera den andra bildens bildpunktsvärden pà en kantlinje hos den andra bilden, vid vilken kantlinje den andra bilden skall pusslas med den första bilden, varvid bild- informationen fràn den första bilden är àstadkommen pà motsvarande sätt.

Projiceringen kan exempelvis ske genom att bild- punkterna summeras rad/kolumnvis vinkelrätt mot kant- linjen.

En fördel med projiceringen är att mängden bild- information reduceras kraftigt, utan att det relevanta innehållet i bildinformationen för den skull gär för- lorat. Pusslingen av bilderna kan alltsà göras med i det närmaste lika bra resultat pà basis av de projicerade bilderna som pà basis av de ursprungligen registrerade bilderna.

Om den andra bilden skall pusslas med den första bilden i tvà ortogonala riktningar, kan den andra bilden även projiceras mot en kantlinje som är vinkelrät mot den tidigare nämnda kantlinjen.

Det har vidare visat sig fördelaktigt att beräkna en uppsättning kovariansvärden för olika inbördes förskjut- ningar av den första och den andra bilden parallellt nämnda kantlinje och att bestämma en ideal inbördes för- skjutning av den första och den andra bilden sásom den inbördes förskjutning som motsvarar ett maximalt kova- riansvärde i uppsättningen.

Genom användning av kovariansvärden och projektioner kan den ideala förskjutningen bestämmas med begränsad beräkningskapacitet. Den ideala förskjutningen är den förskjutning som motsvarar det maximala kovariansvärdet.

Om pusslingen görs i tvà ortogonala riktningar be- stäms naturligtvis en uppsättning kovariansvärden även för inbördes förskjutningar längs den ortogonala kant- linjen och bestäms den ideala förskjutningen med hjälp av det maximala kovariansvärdet. :npøn nis.. »r-a. 10 15 20 25 30 35 517 626 10 Om de registrerade bilderna sekventiellt pusslas samman enbart med hänsyn tagen till dess förskjutning mot föregàende bild, kan fel komma att uppstà gentemot bilder i en riktning ortogonalt mot pusslingsriktningen. Av detta skäl är det fördelaktigt att löpande justera puss- lingen av tidigare registrerade bilder för varje gàng som en ny bild registreras. I det fall att ett flertal bilder har registrerats tidigare och ideala inbördes förskjut- ningar har bestämts för varje par av bilder som avbildar ett gemensamt omràde pà objektet, kan således förfarandet vidare innefatta stegen att bestämma en kompromiss för pusslingen av samtliga bilder sà att den sammanlagda av- vikelsen fràn de ideala inbördes förskjutningarna för alla bilderna minimeras och att pussla den första och den andra bilden med en inbördes förskjutning i enlighet med kompromissen.

För att minska beräkningsarbetet har det visat sig vara fördelaktigt att spatialfiltrera den andra bilden före jämförelsen med den första bilden, som dà natur- ligtvis också har spatialfiltrerats. Ett exempel pà hur spstiaifiitrsring kan usförss beskrivs i Pcr/sE9s/02380.

Spatialfiltreringen gör det möjligt att separera puss- lingen sà att den kan utföras för en av tvà ortogonala riktningar i taget.

Enligt en andra aspekt av uppfinningen avser denna ett mikroskop innefattande ett optiskt system för av- bildning av ett objekt och en bildsensor för registrering av bilder av det genom det optiska systemet avbildade objektet och en signalbehandlingsenhet för behandling av de registrerade bilderna. Mikroskopet utmärkes av att signalbehandlingsenheten är anordnad att jämföra bildin- formation fràn en andra registrerad bild, som avbildar ett andra omràde pà objektet, med minst en tidigare registrerad första bild, vilken avbildar ett första omràde pà objektet, vilket är delvis gemensamt med det andra omràdet, att pussla den andra bilden med den första bilden, varvid bildpunkter i den andra bilden tillordnas -;|»| 10 15 20 25 30 35 517 626 ll koordinater i ett bildpunktskoordinatsystem, i vilket bildpunkter i den första bilden tidigare är tillordnade koordinater och att skapa en positionssignal, vilken innefattar koordinater för en punkt i den andra bilden.

Fördelarna med mikroskopet framgàr ovan. Övriga särdrag för förfarandet som diskuterats ovan kan ocksa implementeras i mikroskopet.

Enligt en tredje aspekt av uppfinningen avser denna en datorprogramprodukt, som kan användas för att reali- sera förfarandet.

Kort figurbeskrivning Föreliggande uppfinning skall nu beskrivas genom ett utföringsexempel under hänvisning till bifogade rit- ningar, pà vilka Fig l, vilken redan har diskuterats, visar schema- tiskt ett exempel pà ett tidigare känt mikroskop.

Fig 2 visar schematiskt ett exempel pà ett mikroskop enligt föreliggande uppfinning; Fig 3 är ett flödesschema som beskriver en första fas av informationsinsamling fràn ett objekt enligt ett utförande av föreliggande uppfinning.

Fig 4 är ett flödesschema som beskriver en andra fas av informationsinsamling frán ett objekt enligt ett ut- förande av föreliggande uppfinning.

Fig 5 visar schematiskt hur bilder kan registreras vid den första fasen av informationsinsamlingen enligt ett utförande av föreliggande uppfinning.

Fig 6 visar schematiskt hur bilder kan registreras vid förflyttning till en önskad position enligt ett ut- förande av föreliggande uppfinning.

Fig 7 visar schematiskt hur tvà bilder kan pusslas enligt ett utförande av föreliggande uppfinning.

Beskrivning av ett utföringsexempel Mikroskopets uppbyggnad I fig 2 visas schematiskt ett exempel pà ett dator- stött mikroskop enligt en utföringsform av uppfinningen. ».. -. s .nnzß 1»;|~ 10 15 20 25 30 35 517 626 12 För delar som har motsvarighet i fig l har samma hänvis- ningsbeteckningar som i fig 1 använts.

Mikroskopet, som exempelvis kan vara ett ljusfälts- mikroskop, innefattar följande huvudkomponenter: Ett mikroskopbord 10 för uppbärande av ett objekt 12, en drivmekanism 14 för mikroskopbordet, en belysnings- anordning 16 för belysning av objektet, ett objektiv 18 för avbildning av objektet, en bildsensor 20 för regist- rering av en bild av objektet och en dator 22 för behand- ling och lagring av bilddata och för styrning av driv- mekanismen. Mikroskopet kan också vara försett med andra komponenter (visas ej) som normalt finns pà ett mikro- skop, sàsom ett okular, rattar för manuell förflyttning av mikroskopbordet, och komponenter för manuell och datorstödd skärpeinställning.

Mikroskopbordet 10 är förflyttbart i ett plan vinkelrätt mot objektivets optisk axel O sà att olika delar av objektet kan avbildas med objektivet.

Objektet 12 kan vara vilken som helst typ av objekt som skall undersökas i ett mikroskop. Det kan vara ett biologiskt objekt pà ett objektglas. I ett exempel nedan är objektet ett blodutstryk, i vilket vita blodceller skall identifieras och undersökas.

Drivmekanismen 14 kan i sitt allra enklaste ut- förande innefatta en eller flera växlade dc-motorer som driver med gummirullar direkt mot mikroskopbordets rör- liga delar. Alternativt kan den innefatta en inte helt glappfri skruvmekanism som drivs av en motor. Drivmeka- nismen kan också realiseras med andra komponenter som i olika utsträckning saknar repeterbarhet eller noggrann- het.

Bildsensorn 20 är en areasensor. Den kan vara en CCD-sensor eller en CMOS-sensor eller nàgon annan sensor som lämpar sig för att registrera mikroskopbilder.

Datorn 22 kan vara en vanlig persondator med bild- skärm och inmatningsdon i form av en mus och ett tangent- bord. 10 15 20 25 30 35 517 626 13 Utöver den programvara som finns i en dator för att hantera dess normala funktioner är datorn i fig 2 försedd med styrprogrammodul 24 för styrning av förflyttningen av mikroskopbordet via drivmekanismen och bildanalysprogram- modul 26 för analys av bilder som registreras med bild- sensorn. Det skall pàpekas att uppdelningen i styrpro- grammodul och bildanalysprogrammodul är gjord enbart för àskàdlighetens skull. samma programmodul eller fler än tva programmoduler som I praktiken kan det vara en och utför motsvarande funktioner. Detta symboliseras med den dubbelriktade pilen mellan boxarna 24 och 26 i fig 2.

Datorn kan också vara försedd med annan programvara för styrning av mikroskopet, exempelvis programvara för autofokusering, samt annan programvara för analys av innehàllet i de slutliga, för applikationen nyttiga bilderna som registreras. Sàdan programvara beskrivs emellertid inte i denna ansökan eftersom den inte är relevant för föreliggande uppfinning.

Ovan beskrivna hàrdvarukomponenter kan i sig vara av konventionell typ, dvs av samma typ som redan idag an- vänds i datorstödda mikroskop.

Funktionen hos mikroskopet I det följande skall funktionen hos mikroskopet i fig 2 beskrivas under hänvisning till flödesschemat i fig 3. Beskrivningen görs med betoning pà hur mikroskopbordet styrs vid mikroskoperingen för insamling av information fràn objektet.

I detta exempel antas att objektet är ett blod- utstryk pà ett objektglas. Insamlingen av information fràn objektet innefattar att leta upp delobjekt i form av vita blodkroppar och att registrera bilder av dessa med hög kvalitet för att möjliggöra klassificering av blod- kropparna pà basis av bilderna.

Insamlingen av information görs i denna utförings- form i tvà faser. I en första fas avsökes hela objektet, förhållandevis snabbt för lokalisering av vita blodkroppar och lagring av eller en förutbestämd del av detta, 'zman 10 15 20 25 30 35 517 626 14 dessas positioner. I en andra fas uppsöks de vita blod- kropparna pà nytt och avbildas med inställningar hos mikroskopet som resulterar i högkvalitativa bilder.

Skälet till att undersökningen görs i tva faser är följande. Det finns vid specifikationen av det avbildande systemet en inbyggd motsättning i att man vill kunna avsöka stora objektomràden snabbt och att man vill kunna ta högkvalitativa högupplösande bilder av delobjekt.

Flera inställningar hos mikroskopet, sàsom valet av objektiv, valet att ha immersionsolja eller ej, valet av kontrastprincip, valet av fokusläge, belysningens styrka och spektrum och valet av optiska filter, har oftast ett bästa värde för snabb och tillförlitlig upptäckt av del- objekten, men ett eller flera helt andra värden för àstadkommande av högkvalitativa analyserbara bilder av delobjekten. Dessa fysiska inställningar tar oftast tid att ändra pà. Därför kan det totalt sett gà snabbare att först lokalisera alla delobjekt och därefter ändra in- ställningar med hjälp av omställare och slutligen àter- finna delobjekten. Det finns även kostnader att spara eftersom det då gär att använda exempelvis enklare, làng- sammare omställare, exempelvis objektivomställare, som dessutom kan ha kortare livslängd i antalet omställningar räknat.

I den första fasen styr styrprogrammodulen först drivmekanismen 14 till att positionera mikroskopbordet 10 i ett startläge, i vilket en startbild registreras av bildsensorn 20, steg 310 i fig 3. Startbilden avbildar ett första omràde pà objektet. Bilden överförs till datorns 22 bildanalysmodul 24 och till dess styrmodul 26.

I styrmodulen tillordnas startbildens bildpunkter koordinater i ett bildpunktskoordinatsystem, steg 315. Om avsökningen av objektet börjar i det övre vänstra hörnet av objektet kan bildpunkten som motsvarar det övre vänstra hörnet exempelvis tillordnas bildpunktskoordina- terna 0,0. Eftersom bildens storlek i antal bildpunkter 10 l5 20 25 30 35 517 626 15 är känd är därmed övriga bildpunkter automatiskt till- ordnade koordinater.

I bildanalysmodulen identifieras eventuella vita blodkroppar i bilden och bildpunktskoordinaterna för dessa lagras i ett minne i datorn eller i ett minne som är tillgängligt för datorn, steg 320. Därefter är behand- lingen av startbilden avslutad och denna bild kommer i fortsättningen att fungera som en tidigare bild, och sparas därför som en tidigare bild, steg 325.

Därefter styr styrprogrammodulen 26 drivmekanismen 14 till att flytta mikroskopbordet 10 till en ny position i förhàllande till objektivet, steg 330. Den nya posi- tionen skall vara sàdan att objektivet skapar en bild av ett andra omràde pà objektet, vilket andra omràde över- lappar det första omràdet i önskad utsträckning.

Den av objektivet skapade nya bilden registreras av bildsensorn 20, steg 335, och överförs till datorn 22 pà samma sätt som startbilden. Den nya bilden pusslas med den tidigare bilden, steg 340. Pusslingen, vilken kommer att beskrivas mera i detalj nedan, innebär allmänt att det överlappande innehàllet i bilderna pusslas sà att bästa överensstämmelse mellan innehället i bilderna er- hàlles. Annorlunda uttryckt pusslas bilderna pà mot- svarande sätt som områdena överlappar varandra. I samband därmed tillordnas bildpunkterna i den andra bilden, dvs den nya bilden, koordinater i det bildpunktskoordinat- system, i vilket den första bilden, dvs den tidigare bilden, redan tillordnats koordinater, steg 345. Man kan se det som att den andra bilden läggs in i samma koordi- natsystem i den position där den passar bäst ihop med den första bilden. Eftersom bildstorleken är känd kan den andra bildens position i bildkoordinatsystemet definieras exempelvis med fyra koordinatpar för hörnpunkterna. Om pusslingen är av den typen att en registrerad bild enbart pusslas med närmast föregående bild kan nu den tidigare bilden slängas. annan 1:1.. 10 15 20 25 30 35 517 626 16 Härefter skapas en positionssignal, steg 350, som innefattar koordinaterna för en förutbestämd punkt i den andra bilden. Den förutbestämda punkten kan vara vilken som helst punkt i bilden, exempelvis bildpunkten i översta vänstra hörnet. Positionssignalen används av styrmodulen för att styra mikroskopbordets förflyttning, sàsom kommer att beskrivas mera i detalj nedan.

Liksom i fallet med startbilden, analyseras vidare bilden för identifiering av eventuella vita blodkroppar och lagring av bildpunktskoordinaterna för dessa, steg 355. Bildpunktskoordinaterna för en vit blodkropp kan enkelt räknas fram genom att exempelvis utgà frán bild- punktskoordinaterna för den förutbestämda punkten och addera antalet bildpunkter i horisontell resp. vertikal led fràn den förutbestämda punkten till den vita blod- kroppen.

Behandlingen av den andra bilden avslutas genom att den lagras som en tidigare bild, steg 360.

Slutligen kontrollerar styrprogramvaran om avsök- ningen av objektet är klar, steg 365. Om sà inte är fallet, gàr styrprogramvaran tillbaka till steg 330 och steg 330-365 upprepas tills objektet är avsökt.

Förflyttningarna av mikroskopbordet sker vanligtvis enligt ett förutbestämt mönster. Ett exempel visas i fig 5. Förflyttningarna sker i detta exempel pà sà sätt att bilderna registreras med överlapp i rader pà objektet 51.

För att överlappet skall framgà tydligare har varannan bild visars med heldragna linjer och varannan med streckade linjer. Pilar 52 illustrerar förflyttnings- riktningen. När slutet av en rad nàs flyttas mikroskop- bordet sä att bilderna kan registreras fràn nästa rad.

Förflyttningen längs denna rad görs enklast i motsatt riktning mot förflyttningen längs den första raden. I den sist registrerade bilden har ett delobjekt 53 markerats.

När den första fasen avslutats och sàlunda position- erna för de identifierade vita blodkropparna har bestämts och lagrats i en lista, ändras de fysiska inställningarna |;;:a inuru -vfnn 10 15 20 25 30 35 517 626 17 pà mikroskopet och därefter pàbörjas den andra fasen.

Syftet med denna andra fas är att registrera högkvalita- tiva bilder av de vita blodkropparna i listan. Detta kan innebära att bilderna behöver registreras med en annan förstoring än den som använts under den första fasen.

Detta innebär i sin tur att bildpunktskoordinaterna fàr en annan innebörd. För att àtgärda detta kan bildpunkts- koordinaterna räknas om med hänsyn tagen till försto- ringen. Omräkningen kan exempelvis göras sä att positio- nerna utrycks som avstànd räknat i mikrometer fràn en referenspunkt.

Styrningen av mikroskopbordet görs pà väsentligen samma sätt under den andra fasen som under den första fasen. En viktig skillnad finns dock. Förflyttningen av mikroskopbordet görs normalt inte enligt ett förutbestämt mönster. Istället försöker styrprogrammodulen 26 flytta mikroskopbordet närmaste vägen mellan tvà vita blod- kroppar sa att sà fà överlappande bilder som möjligt behöver registreras för positionsbestämningen.

För detta ändamàl kan styrprogrammodulen, innan förflyttningarna under den andra fasen pàbörjas, under- söka listan med positionerna för de vita blodkropparna och sortera om dessa sà att förflyttningarna av mikro- skopbordet optimeras.

Som ett egentligt första steg i den andra fasen definieras en referensposition för mikroskopbordet, steg 410. Referenspositionen kan lämpligen vara den position i vilken avsökningen under den första fasen avslutades och i vilken mikroskopbordet redan befinner sig. Det kan ocksa vara nagon annan förutbestämd position till vilken mikroskopbordet flyttas. I detta exempel används det nedre högra hörnet pà objektet som referensposition.

I referenspositionen registreras en startbild, steg 415 och tillordnas denna koordinater, steg 420, pà mot- svarande sätt som under den första fasen. Startbilden sparas som en tidigare registrerad bild, steg 425. Som gasa: oouaa i»,»~ l0 15 20 25 30 35 517 626 18 ett alternativ till steg 415-425 kan den sist upptagna bilden under den första fasen användas.

Mikroskopbordet skall nu förflyttas sà att den första vita blodkroppen i listan kan avbildas. Antag att den befinner sig i position xl, yl. Styrprogrammodulen 26 bestämmer dà styrsignaler till drivmekanismen 14 för för- flyttning av mikroskopbordet 10 i riktning mot denna position längs den kortaste vägen, steg 430. Denna väg behöver inte sammanfalla med den som följdes i den första fasen, inte ens om referenspositionen i den andra fasen är den samma som startpositionen i den första fasen.

Först flyttas mikroskopet ett stycke i riktning mot den önskade positionen, steg 435. Pà samma sätt som under den första fasen registreras en ny bild, steg 440, som pusslas med den tidigare bilden, steg 445. En positions- signal som bestàr av bildpunktskoordinaterna för den för- utbestämda punkten skapas, steg 450. Behandlingen av bilden är nu avslutad och den sparas som en tidigare registrerad bild, steg 455. Pà basis av positionssignalen avgörs om den uppnàdda positionen är den önskade posi- tionen, steg 460. Om sà inte är fallet gàr styrprogram- modulen tillbaka till steg 430, bestämmer nya styrsig- naler och flyttar mikroskopbordet en bit till i riktning mot den önskade positionen.

Under hela förflyttningen upptas alltsà bilder och kontrolleras positionen pà basis av bildpunktskoordina- terna i positionssignalen. Positionssignalen används bàde för att kontrollera att önskad position uppnàtts och för att tillse att överlappningen mellan eftervarandra upp- tagna bilder blir den önskade sà att snabbast möjliga förflyttning kan göras utan att nàgot omràde pà objektet missas.

När den önskade positionen har uppnàtts registreras och lagras en högkvalitativ bild av den vita blodkroppen.

Därefter kontrollerar styrprogramvaran 26 om det finns fler vita blodkroppar som skall avbildas, steg 465. Om sà är fallet används den uppnàdda positionen för den just auaon .avau 1..»| 10 15 20 25 30 35 517 626 19 avbildade vita blodkroppen som en referensposition för nästa förflyttning, steg 470. Därefter àtergàr styrpro- grammodulen till steg 430 och beräknar nya styrsignaler för förflyttningen till nästa position pà basis av skillnaden mellan koordinaterna för nästa position och koordinaterna för referenspunkten. I Förfarandet upprepas tills de önskade blodkropparna har avbildats.

I fig 6 visas schematiskt hur förflyttningen sker under den andra fasen. Här antas att förflyttningen under den andra fasen börjar i det nedre högra hörnet. För- flyttningen skall göras sà att delobjektet 53, som även àterfinns i fig 5, kan avbildas. Under förflyttningen registreras bilder 50 med delvis överlappande innehàll.

Förflyttningen sker närmaste vägen till positionen för delobjektet 53.

Positionsstyrning och -reglering Sàsom nämnts ovan kan drivmekanismen vara väldigt enkel och exempelvis bestà av en eller flera växlade dc- motorer som driver med en eller flera gummirullar direkt mot mikroskopbordets rörliga del/delar. En sàdan driv- mekanism är inte i sig själv repeterbar. Samma styr- signaler till dc-motorerna kommer alltsa resultera i olika förflyttningar av mikroskopbordet. Därmed kommer överlappningen mellan efter varandra registrerade bilder att variera, vilket kan leda till en suboptimal avsök- ningshastighet eller risk för utebliven överlappning.

Vidare kommer det att vara svart att uppnà exakt önskad position för den högkvalitativa avbildningen av del- objekten i den andra fasen.

Genom att utnyttja positionssignalen fràn bildpuss- lingen kan man emellertid skapa ett àterkopplat system, som är repeterbart.

Positionssignalen kan utnyttjas pà olika sätt. Den kan matas som en är-värdes-signal till en reglerslinga som reglerar mikroskopbordets position. Den kan ocksà bilda grunden för en hastighetsreglering. Den momentana 1111: |.,»o 1-1,. 10 15 20 25 30 35 517 626 20 hastigheten för förflyttningen mellan tvà bildregistre- ringar kan bestämmas utifràn den vanligtvis konstanta och kända tiden mellan dessa tvà bildregistreringar samt den i bildpunkter bestämda sträckan mellan tvà bildregistre- ringar.

Positionssignalen kan ocksà användas för positions- korrigering. I detta fall flyttas mikroskopbordet först.

Därefter kontrolleras den uppnàdda positionen. Om den avviker mer än ett förutbestämt värde fràn den önskade positionen görs en korrigering i riktning mot den önskade positionen.

Positionssignalen kan också användas för att kon- trollera att ingen del av objektet missas vid avsök- ningen.

Positionssignalen kan också användas för att se till att överlappningen mellan efter varandra registrerade bilder blir den önskade. När en registrerad bild pusslats med en tidigare bild kontrolleras vilken överlappning man fick och jämförs den erhàllna överlappningen med den önskade överlappningen. Drivmekanismen styrs sedan uti- fràn avvikelsen mellan den erhàllna överlappningen och den önskade överlappningen.

Pusslingstekniker Pusslingen av bilder kan utföras pà olika sätt. I en första utföringsform pusslas hela tiden den senast regis- trerade bilden, bild i, mot den näst senast registrerade bilden, bild i-l. Denna form av pussling betecknas lokal pussling. flMWMFördelen med lokal pussling är att den gàr snabbt och kräver relativt lite minne, eftersom den näst senast registrerade bilden kan kastas bort sä snart pusslingen med den senaste bilden har utförts.

Som ett alternativ till lokal pussling kan vad som betecknas som glgbal pussling utföras. Detta innebär att den senaste bilden, bild i, pusslas med väsentligen alla tidigare bilder, bild 1, 2,m i-l. :»»o| :n-»n »-.|; 10 15 20 25 30 35 517 626 21 En fördel med global pussling är att pusslingsfelen och därmed positionsfelen blir mindre. En annan fördel är att global pussling är bättre pà att klara av ”vita fläckar", dvs omràden pà objektet som ger liten eller obefintlig pusslingsinformation.

Naturligtvis kan pusslingen också göras med ett mellanting mellan ren lokal och ren global pussling, dvs med pussling av den senaste bilden mot ett flertal, men inte alla, tidigare bilder.

Själva pusslingen innebär att man bestämmer hur bilderna överlappar sà att man fär en pusslad eller sammanfogad bild som sà bra som möjligt, utan redundans, avbildar det omràde som de registrerade bilderna totalt avbildar.

Pusslingen kan vidare göras direkt med bilderna i det skick som de registreras av bildsensorn eller med olika bearbetade versioner av bilderna eller enbart med hjälp av viss information som extraherats ur bilderna. I samtliga fall utnyttjas alltsa bildinformation fràn de registrerade bilderna.

Hur bilderna skall pusslas bestäms genom att man jämför bilderna i ett flertal olika inbördes lägen, dvs i lägen med olika grad av överlappning, dvs inbördes för- skjutning. Jämförelsen kan göras pà olika sätt. Som ett mycket enkelt exempel kan varje par av överlappande bild- punkter ges en poäng som är högre ju mera lika bild- punktsvärdena (intensiteterna i bildpunkterna) är. Den överlappningsposition som har högst total poängsumma väljs.

I de följande beskrivs med hänvisning till fig 7 ett annat sätt att pussla tvà bilder 73 och 74, som har registrerats med ett visst överlapp. Styrprogrammodulen 26 väljer ut ett omràde 75 med stor förekomst av höga spatialfrekvenser och hög kontrast. Inom omradet 75 finns strukturer som àterfinns pà bada bilderna, sàsom struk- turerna 76 pà bilden 73 och strukturerna 77 pà bilden 74.

Upplösningen i bilderna 73, 74 minskas elektroniskt med ;..;- lO 15 20 25 30 35 517 626 22 en faktor 8 sà att antalet bildpunkter i bilderna minskas med en faktor 64. Bild 74 flyttas därefter i förhàllande till bild 73 sà, att kvadratsumman av intensitetsskill- naderna för överlappande bildpunkter i omradet 75 mini- meras. Kvadratsumman av skillnaderna är oftast minimal när bild 74 har flyttats sà att strukturerna 76 har samma läge som strukturerna 77. Minimeringen upprepas därefter för successivt ökande upplösning, varvid det erhàllna inbördes läget används som utgångsläge för nästa minime- ringssteg. Upplösningen ökas med en faktor 2 i varje minimeringssteg tills maximal upplösning har nåtts.

Därigenom placeras bilderna gradvis närmare sin korrekta inbördes placering. I varje minimeringssteg flyttas bilderna till olika lägen vilka representerar en kombi- nation av ortogonala förflyttningar fràn utgàngsläget.

Bild 73 är uppbyggd av ett antal bildpunkter vilka var och en är förknippade med ett värde som beskriver inten- siteten i bildpunkten. I fallet att bilden 73 är en färg- bild är den förknippad med tre olika färger, rött, grönt och blàtt, vilka var och en har ett värde som beskriver intensiteten av just den färgen i bildpunkten. Om bil- derna är färgbilder sà görs jämförelsen i omràdet 75 för en eller flera av färgerna. Färgbilderna kan också om- vandlas till gràskalebilder och jämförelsen göras mellan gràskalebilderna.

I det följande skall en utföringsform av den globala pusslingen beskrivas. I denna utföringsform utförs puss- lingen i tvà steg. I det första steget bestäms den opti- mala pusslingen för varje par av bilder som överlappar varandra. I det andra steget bestäms en global kompromiss för samtliga sàdana bildpar sä att pusslingen blir sa bra som möjligt globalt sett. Bilderna antas i denna utfö- ringsform täcka en rektangulär objektyta.

I det första steget projiceras bilderna i ett bild- par först var för sig pà var och en av tva ortogonala riktningar i bilderna. Närmare bestämt summeras bild- punktsvärdena i raderna respektive kolumnerna, varefter ».\|: 10 15 20 25 30 35 517 626 23 radsummorna och kolumnsummorna spatialfiltreras. Därefter beräknas stickprovskovarianser (i det följande benämnda enbart kovarianser) för olika inbördes förskjutningar av bilderna pà sedvanligt sätt förutom att man inte divide- rar med antalet mätpunkter. Skälet till detta är att man vill ge en ökad preferens àt förskjutningar för vilka ett större antal mätpunkter stämmer överens. För vart och ett av bildparen erhàlls sàledes tvà uppsättningar med kova- rianser som funktion av förskjutningarna - en för var och en av de ortogonala riktningarna. Maximum för varje sàdan uppsättning bestäms. Detta maximum och dess tvà angrän- sande punkter används för att bilda en andragradskurva ur vilken en skattning av den optimala pusslingen pà sub- bildpunktsnivà utförs. Denna skattning ligger sedan till grund för den optimering som utförs i steg tvà av puss- lingen. I det första steget beräknas även vikter W, en för var och en av de ortogonala riktningarna, som be- skriver hur mycket sämre varje parvis pussling skulle bli per, bort fràn den optimala pusslingen, förflyttad längd- enhet. Dessa vikter kommer därvid att bero pà graden av tydlighet och informationsrikedom i respektive överlapp.

Vikterna W ges av: W :1_ :i s(i)-0.2s*max(s)ï s(j)-o.so*max(s)ï O.75*max(S) 0.50*max(S) i där ie [s(z)z 0.25 max(s),|i-max| > 2] je [s(j)z o.somax(s),|j-max| = z], där S(i) är kovariansen vid förskjutningen i, och S(max)=max(S). Om W blir negativ anses passningen vara oanvändbar och W sätts till noll.

Sedan alla bildpars optimala pusslingar är beräknade àterstàr att finna den globalt bästa anpassningen till dessa. Detta görs i det andra steget av pusslingen.

Närmare bestämt beräknas en global kompromiss genom att ett globalt viktat minstkvadratproblem ställs upp där de ;||oø 1».;| lO 15 20 25 30 35 517 626 24 obekanta är just hur mycket man ska förflytta de relativa positionerna i de parvisa optimala pusslingarna. Det som minimeras är en förlustfunktion som är uttryckt i för- flyttningarna och där vikterna ovan bestämmer hur mycket det ”kostar” att göra förflyttningar i respektive par. Även den globala kompromissen optimeras först i endera av kolumnernas riktning och radernas riktning och därefter i den andra riktningen. Att detta är möjligt beror pà den separerande effekt som spatialfiltreringen har. Förlust- funktionen E är i bada optimeringarna: -l n-2 m-2 n-l E = EVVLH) (Cum "(X1,k _ X1,/<+1))2 + EXVVLU (Cum "(X1,k _ X:+1,k))2 » k=0 I=0 k=0 š ~ ll O där m är antalet rader med bilder i en kolumn, n antalet bilder i en rad, CLk@ är optimal pussling mellan bild [lJq och dess högra granne och CLk¿ är optimal pussling mellan bild Üqlfl och dess nedre granne. WLkß och WLk¿ är pà motsvarande sätt vikten för respektive tvàbildspuss- ling. XLk är antingen bildens förskjutning i x-led eller i y-led beroende pà vilken optimering som utförts. Ekva- tionssystemet saknar entydig lösning, vilket avhjälps med att x och y för nàgon av de ingàende bilderna mäste be- stämmas som ett bivillkor.

Denna form av pussling är väl lämpad att användas vid avsökning av objekt och positionsbestämning enligt uppfinningen. När en ny bild registreras räcker det att pussla bilden med den eller de bilder som den överlappar sà att den ideala pusslingen bestäms samt att bestämma motsvarande vikter W bestäms. För att detta skall kunna utföras räcker det att rad- och kolumnsummorna är sparade för de tidigare registrerade bilder med vilka den nya bilden skall pusslas ihop.

Därefter kan den globala kompromissen utföras med hänsyn tagen till den nya bilden. För detta steg räcker det att vikterna W och de optimala pusslingarna C för de tidigare registrerade bilderna finns kvar. v eu.. 10 15 20 25 30 35 517 626 25 Alternativa utföringsformer Olika utföringsformer av uppfinningen har beskrivits ovan. Dessa kan modifieras, varieras och kombineras pà olika sätt.

Istället för att mikroskopsbordet är förflyttbart, kan objektivet och bildsensorn vara förflyttbara och mikroskopbordet stationärt. Det väsentliga är att en inbördes förflyttning kan àstadkommas sä att objektet kan avsökas.

Istället för att belysningsanordningen är anordnad för transmission kan den vara anordnad för reflektion.

Objektivet kan ersättas med nàgon annan lämplig typ av optiskt system.

Datorn kan helt eller delvis ersättas av nàgon annan typ av behandlingsenhet, exempelvis en specialanpassad hàrdvara, sàsom en ASIC (Application Specific Integrated Circuit) eller en FPGA (Field Programmable Gate Array), Ovan har beskrivits hur avsökningen av objektet görs automatiskt under styrning av datorns styrmodul. Avsök- ningen kan dock även göras manuellt med hjälp av rattarna för manuell styrning av mikroskopbordet. Positions- signalen används dà för att kontrollera att användaren utför avsökningen pà förutbestämt sätt. Om användaren exempelvis skall àtervända till en tidigare lagrad position, exempelvis för att manuellt granska ett del- objekt, kan användaren fa instruktioner via datorns bildskärm om hur hon skall flytta mikroskopbordet. Om mikroskopbordet därefter flyttas i fel riktning kan ett larm ges, exempelvis visuellt eller audiellt. En annan typ av àterkoppling kan ges när användaren flyttar mikroskopbordet korrekt.

Ovan har antagits att mikroskopbordet inte har nàgra rotationsstörningar. Sàdana störningar kan emellertid ocksà hanteras förutsatt att man använder en utökad pussling som beskrivs i PCT/SE98/02380.

Ovan har vidare beskrivits att informationsinsam- lingen fràn objektet kan göras i tvà faser. Den kan emel- 517 626 26 lertid även göras i en enda fas. Detta utförande är spe- ciellt lämpligt när registreringen av bilder av delobjekt pà objektet inte kräver någon ändring av fysiska mikro- skopinställningar.

Claims (24)

»s-v» urin» |»|>s 10 15 20 25 30 35 517 626 27 PATENTKRAV

1. l. Förfarande vid mikroskopering, innefattande stegen att med hjälp av en bildsensor registrera en andra bild, som avbildar ett andra omrada pa att abjakt, att jämföra bildinformation fràn den andra registrerade bilden med bildinformation fràn minst en tidigare regist- rerad första bild, vilken avbildar ett första område pà objektet, vilket är delvis gemensamt med det andra om- ràdet, att pussla den andra bilden med den första bilden pà basis av resultatet av jämförelsen, varvid bildpunkter i den andra bilden tillordnas koordinater i ett bild- punktskoordinatsystem, i vilket bildpunkter i den första bilden tidigare är tillordnade koordinater, och att skapa en positionssignal, vilken innefattar koordinater för en punkt i den andra bilden.

2. Förfarande enligt patentkrav l, varvid positions- signalen används för att indikera den inbördes positionen för bildsensorn och objektet vid registreringen av den andra bilden.

3. Förfarande enligt patentkrav l, varvid positions- signalen används för att indikera positionen för ett del- objekt i den andra bilden.

4. Förfarande enligt patentkrav l, vidare innefat- tande stegen att sekventiellt upprepa registrerings- steget, jämförelsesteget och pusslingssteget ett önskat antal gånger med inbördes förflyttning av bildsensorn och objektet mellan varje upprepning.

5. Förfarande enligt patentkrav 4, varvid regist- reringssteget, jämförelsesteget och pusslingssteget upp- repas tills ett förutbestämt omráde pá objektet avsökts.

6. Förfarande enligt patentkrav 4, varvid registre- ringssteget, jämförelsesteget och pusslingssteget upp- repas tills en förutbestämd inbördes position för bild- sensorn och objektet uppnås. .~.|| 111.4 »n--v 10 l5 20 25 30 35 517 626 28

7. Förfarande enligt patentkrav 4, 5 eller 6, varvid steget att skapa positionssignalen genomförs en gäng för varje gäng som registreringssteget genomförs.

8. Förfarande enligt nàgot av patentkrav 4-7, vidare innefattande steget att med hjälp av positionssignalen reglera den inbördes förflyttningen av objektet och bild- sensorn mellan upprepningar av registreringssteget.

9. Förfarande enligt nàgot av patentkrav 4-8, vidare innefattande steget att korrigera objektets och bild- sensorns inbördes position med hjälp av positions- signalen.

10. l0. Förfarande enligt nàgot av patentkrav 4-9, vidare innefattande stegen att för varje registrerad andra bild leta i bilden efter delobjekt av intresse och, när ett delobjekt av intresse identifieras, lagra bild- punktskoordinaterna för en punkt som är relaterad till delobjektet.

11. ll. Förfarande enligt patentkrav 10, vidare inne- fattande steget att styra en inbördes förflyttningen av bildsensorn och objektet till en position som motsvarar de lagrade bildpunktskoordinaterna för en punkt som är relaterad till ett första delobjekt genom att utgàende fràn en referensposition styra förflyttningen pà basis av bildpunktskoordinaterna och genom att under förflytt- ningen upprepa registreringssteget, jämförelsesteget, pusslingssteget och skapandet av positionssignalen och genom att jämföra positionssignalen med bildpunkts- koordinaterna.

12. Förfarande enligt patentkrav ll, vidare inne- fattande att styra den inbördes förflyttningen av bild- sensorn och objektet till en position som motsvarar de lagrade bildpunktskoordinaterna för en punkt som är relaterad till ett andra delobjekt genom att använda bildpunktskoordinaterna för det första delobjektet som en referenspunkt.

13. Förfarande enligt patentkrav l, varvid informa- tion fràn objektet samlas in i tva faser, varvid en |>.»= 2:11» 10 15 20 25 30 35 517 626 29 första fas innefattar att avsöka ett förutbestämt omràde genom att sekventiellt upprepa registreringssteget, jäm- förelsesteget och pusslingssteget med inbördes förflytt- ning av bildsensorn och objektet mellan varje upprepning, att undersöka varje registrerad första bild för identi- fiering av delobjekt av intresse och att lagra positio- nerna för identifierade delobjekt och varvid en andra fas innefattar att förflytta bildsensorn och objektet inbör- des sà att positionerna för de identifierad delobjekten uppnàs och att avbilda delobjekten i dessa positioner.

14. Förfarande enligt nagot av föregående patent- krav, varvid positionssignalen matas som en är-värdes- signal till en regleringsenhet för reglering av ett mikroskopbords position i förhållande till bildsensorn.

15. Förfarande enligt nàgot av patentkrav l-13, varvid förfarandet utförs under manuell inbördes för- flyttning av bildsensorn och objektet.

16. l6. Förfarande enligt patentkrav 1, varvid steget att jämföra bildinformation innefattar att jämföra bild- informationen fràn den första och den andra bilden för olika inbördes förskjutningar mellan bilderna, varvid den första och den andra bilden pusslas med den inbördes för- skjutning som minimerar summan av kvadraterna av skill- naderna mellan bildpunktsvärdena för överlappande bild- punkter.

17. Förfarande enligt patentkrav 16, varvid jäm- förelsen av bildinformationen utförs en första gàng för en första upplösning hos bilderna och en andra gang för en andra upplösning hos bilderna.

18. Förfarande enligt patentkrav l, vidare inne- fattande steget att àstadkomma bildinformationen fràn den andra bilden genom att projicera den andra bildens bild- punktsvärden pà en kantlinje hos den andra bilden, vid vilken kantlinje den andra bilden skall pusslas med den första bilden, varvid bildinformationen fràn den första bilden är àstadkommen pà motsvarande sätt. .>,., 10 15 20 25 30 35 517 626 30

19. Förfarande enligt patentkrav 18, vidare inne- fattande steget att beräkna en uppsättning kovarians- värden för olika inbördes förskjutningar av den första och den andra bilden parallellt med nämnda kantlinje och att bestämma en ideal inbördes förskjutning av den första och den andra bilden sàsom den inbördes förskjutning som motsvarar ett maximalt kovariansvärde i uppsättningen.

20. Förfarande enligt patentkrav 19, varvid ett flertal bilder har registrerats tidigare och varvid ideala inbördes förskjutningar har bestämts för varje par av bilder som avbildar ett gemensamt omràde pà objektet, vidare innefattande steget att bestämma en kompromiss för pusslingen av samtliga bilder sà att den sammanlagda av- vikelsen fràn de ideala inbördes förskjutningarna för alla bilderna minimeras och att pussla den första och den andra bilden med en inbördes förskjutning i enlighet med kompromissen.

21. Förfarande enligt nàgot av patentkraven 16-20, vidare innefattande steget att spatialfiltrera den andra bilden.

22. Mikroskop innefattande ett optiskt system för avbildning av ett objekt och en bildsensor för registre- ring av bilder av det genom det optiska systemet avbil- dade objektet och en signalbehandlingsenhet för behand- ling av de registrerade bilderna, k ä n n e t e c k - n a t av att signalbehandlingsenheten är anordnad att jämföra bildinformation fràn en andra registrerad bild, som avbildar ett andra omràde pà objektet, med minst en tidigare registrerad första bild, vilken avbildar ett första omràde pà objektet, vilket är delvis gemensamt med det andra omradet, att pussla den andra bilden med den första bilden, varvid bildpunkter i den andra bilden tillordnas koordinater i ett bildpunktskoordinatsystem, i vilket bildpunkter i den första bilden tidigare är till- ordnade koordinater och att skapa en positionssignal, vilken innefattar koordinater för en punkt i den andra bilden. =;»n» .»--n 10 15 517 626 31

23. Mikroskop enligt patentkrav 22, vidare inne- fattande ett mikroskopbord för uppbärning av objektet, varvid positionssignalen används för styrning mikroskop- bordets förflyttning.

24. Datorprogramprodukt innefattande programkod som vid exekvering i en dator är anordnad att jämföra bild- information fràn en andra registrerad mikroskopbild, som avbildar ett andra omràde pà ett mikroskopobjekt, med minst en tidigare registrerad första mikroskopbild, vil- ken avbildar ett första omràde pà mikroskopobjektet, vilket är delvis gemensamt med det andra omradet, att pussla den andra mikroskopbilden med den första bilden, varvid bildpunkter i den andra mikroskopbilden tillordnas koordinater i ett bildpunktskoordinatsystem, i vilket bildpunkter i den första mikroskopbilden tidigare är tillordnade koordinater och att skapa en positionssignal, vilken innefattar koordinater för en punkt i den andra mikroskopbilden.