SE512350C2 - Ökat skärpedjup i fotografisk bild - Google Patents

Description

;2_s5o fokuspunkter, utan att skärpefelet blir för stort. Detta är emellertid ibland svårt att åstadkomma.

Exempel på känd teknik.

Inom televisionen har alltid den bild som upplevs av tittarna skapats genom användning av många delbilder som integreras samman. Genom att visa många "frames", halvbilder, 50 till 60 st per sekund, integreras delbildema över tiden; för att visa successiv sammanhängande rörelse, öka upplösningen och signal /brus förhållandet. En titt på endast en delbild avslöjar en dålig bildkvalitet. En vanlig stillbildskamera ger i motsats en enkelbild av utmärkt kvalitet, inklusive mycket högre upplösning och mycket lågt brusinnehåll.

I forskningsornrådet högupplösnings TV (HDTV), har det kommit en ökad medvetenhet om följdeffekter, som resultat av ökad bildupplösning. Det som kommer att diskuteras här är skärpedj up.

För en TV-bild med låg upplösning finns det ett stort spann av objektavstånd, som som kan fokuseras på ett och samma bildplan, eftersom den suddighet som optiken skapar, ändå är mycket mindre än den låga upplösningen hos fotodetektorema. Ökas emellertid pixel- upplösningen t ex med en faktor 4, så erhålles en 'minskning av skärpedjupet med en faktor2.

För TV är det en uppenbar metod att öka skärpedjupet med hjälp av den naturliga strömmen av nya videobilder, och integrera samman dessa, medan skärpan ändras.

Det finns åtskilliga liknande patent inom TV-området, som använder denna metod för att öka skärpedjupet. De flesta av dessa patent använder omvandling av den vanliga X,Y - koordinatbaserade bilden till en rumsfrekvens-baserad bildbeskrivning. De använder effektjämtörelser i rumsfrekvensdomän eller frekvensfiltrerad passbandsdomän, mellan delbilder för att definiera vilken delbild som är i fokus. De skiljer sig åt i metoddetaljer i utförandet.

En metod enligt Mimura et. al. (U S pat. 5, 282, 045) ändrar skärpan mellan delbilder, och utnyttjar integrationen av delbilder i den mänskliga hjärnan. Resultatet sägs öka det upplevda skärpedj upet i människohjäriian. Metoden inkluderar också en "kontur-korrigerare", vars funktion inte beskrivs, men som implicit framstår som en ordinär artificiell "kontur-skäipare", som sägs addera högre frekvenser till konturen, vilken efter integration i människohjäman, upplevs som en bild med högre upplösning.

Det finns många olika problem involverade i dessa TV applikationer t ex: - Det finns tidsrestriktioner. Det är bara en kort tid tillgänglig för beräkningar och mekanisk fokusering, på grund av den höga bildfrekvensen - Genom urvalsprocessen av fokuserade delbilder, minskar antalet integrationer och därmed ökar bruset och försämrar bildkvaliteten - I TV ingår vanligen rörelser, genom objekt som rör sig i bilden, eller genom att kameran flyttas, sveper, eller zoomar scenen. Kort sagt är rörliga bilder själva kärnfunktionen i TV, och nödvändigt för att motsvara tittarnas förväntningar på TV-mediat. Därför är det små möjligheter för metoder som använder exakt matchning av successiva delbilder med olika fokus, eftersom delbilderna innehåller andra ändringar mellan bilderna på grund av rörelsen. I sgzvsso patentet av Mimura et. al., är skärpedjupsfunktionen helt enkelt avslagen, när det är rörelser i bilden. Å andra sidan är TV i många avseende "förlåtande" brister i bilderna. En dålig bild följs omedelbart av en ny, i den kontinuerliga strömmen av videobilder. Den korta tid en bild "varar", innbär att många brister passerar obemärkt för tittaren. Därför kan en process att välja fokuserade delbilder och kombinera dessa, tillåtas involvera viss onoggrannhet och icke- perfekta bildmatchningar, utan att störa tittarens totala integrerade upplevelse av TV:ns video- bildkvalitet. Detta är helt motsatt förhållandena hos stillbildskarneror. En enskild stillbild studeras under mycket längre tidsperioder, och alla imperfektioner och små detaljer är också tidsintegrerade till märkbara och störande bildkvalitetsproblem. I yrkesfotografering, t ex vid fotografering av företagets nya produkt, finns det inget förlåtande att vänta, ens för små bildkvalitetbrister.

Skillnadema i applikationer kan illustreras genom det principiella exemplet hos Mimura et al, där bildscenen är uppdelad i ett objekt och en bakgrund, möjligen med ytterligare ett objekt på ett mellanavstånd. Då kan två eller tre skärpeplan användas, vardera fokuserande respektive objekt och bakgrund. Processen att välja fokuserade delbilder, reduceras då till att identifiera respektive objekt, med dess gräns. Sedan används medelvärdesmetoder vid jämförelser av objektens ytor från olika bilder, och också för att jämna ut skillnader inom respektives objekts yta. Denna applikation kan jämföras med ett två eller tre bitars pussel för barn, medan stillbilds karneraapplikationer kräver väsentligt mer finavstämda metoder.

Slutsatser om skillnader relativt TV-patent.

I. Ytligt sett tycks det vara likheter mellan den aktuella uppfinningen och och mängden av patent för TV-applikationen. Likheten begränsas emellertid till intresset för samma problemområde; "skärpedjupsbegränsningar beroende på optiken och därigenom det relaterade behovet av delbilder med olika kamerainställningar". Lösningarna på problemet är emellertid helt annorlunda. 2. Det är en uppenbar metod för TV, som är en multi-bild applikation med naturliga förändringar av av video-karnera inställningar, att använda fokus ändringar i strömmen av videobider för att öka skärpedj up.

Men detta är inte självklart för en stillkamera, som är en mycket gammal traditionell en-bilds applikation. Detta faktum avspeglas av det stora antalet TV patent i området, jämfört med fallet för stillkameror. Och det är så, trots det mycket större behovet för ökat skärpedjup för stillkarneror, på grtuid av dessas avsevärt större pixelupplösning. En uppfinningsbarriär kan istället identifieras i den traditionella synen på stillbildsfotografi.

Alla är medvetna om betydelsen av en stadig hand för att ta ett foto, så att inte bilden blir suddig. Då kan ide'n, att kombinera två eller flera foto, inte bara tagna vid olika tidpunkter, utan också med olika fokusinställningar och med olika bildskalor, för att förbättra bildkvaliteten, synas fundamentalt främmande.

Därför är det ett kreativt steg, att skapa en möjlig metod för att göra jobbet. 3. Den aktuella uppfinningen innebär en fundamentalt helt annorlunda ide, om hur de processer utformas, som är involverade i skärpedjupsfiirilctionen. I TV-konceptet är iir-irl lll w sj2_z5o skärpedjupfiiriktionen integrerad i TV-kameran, och inkluderad i den real-tidsbaserade videoprocessen, innan den genererade videon länmar kameran.

Den aktuella uppfinningen är inte nödvändigtvis inbyggd i en kamera. Den utgör istället principiellt en efterbehandlings- eller "off-line"-metod, som använder dator, och som också är lärnplig för integration med en bildbehandlande, operatörskontrollerad arbetsstation, t ex baserad på PC-teknologi. 4. l jämförelse med TV-tekniken gäller för den aktuella uppfinningen: - Vikten av finavstämd matchningsprocess av olika bilder till samma basbilds position, skala och perspektiv.

Vikten av finavstämt urval och överföring mellan delbilder i processen att skapa den nya bilden.

Finavstärnningen krävs genom den höga upplösningen och stillkamerans användningsområden.

Vikten av hantering av bildkontinuitet: Det enskilda objektet kan ha en utsträckning i avstånd som överstiger skärpedjupet. Överspridning av information från en defokuserad del till en angränsande fokuserad del, kräver korrektion, företrädesvis jämfört med artificiell kantskärpning.

Användning av rumsfrekvensdomänen är komplex vid behandling av gränsproblem och korrektioner. X,Y -baserade bilder har fördelar. 5. Den aktuella uppfinningen kräver inte transformation av bild till riimsfrekvensdomän.

Istället utnyttjas fördelar i att arbeta direkt från X,Y-baserade bilder, där bilddetalj er mer generellt kan bli identifierade och separerade. Detta i motsats till den komplexa interaktionen mellan pixelelement vid generering av rumsfrekvenser.

Det gäller också, att människor har förmåga att ta in och förstå den enomia informationsmängden i en X,Y -bild, medan en motsvarande rumsfrekvensdomän är artfrämmande och "omöjlig". I rumsfrekvensdomänen, interakterar bidrag från defokuserade areor med angränsande fokuserade areor. Därmed erhålls motsatt resultat från vad som önskats i några patent, som baseras på rumsfrekvenser eller frekvensfiltrering.

Funktioner i uppfinningen.

Den aktuella uppfinningen avser metoder att åstadkomma skärpa och skärpedjup med hjälp av flerfoto-teknik, där också nedbländning kan ingå.

Detta sätt utnyttjar möjlighet till digital bildtransformation efter det att bilden tagits, och processen kan utföras med varierande grad av automatik. En operatör kan också med hjälp av sin skärm manuellt styra resultatet i den riktning han önskar.

Följande metoder ingår: l. Sensom vrides till lämpligt fokalplan, och bilden tas.

Härefter kan perspektivet vridas till önskat läge genom enkel bildtransformation.

Ett sätt är att läsa av hur mycket sensom vridits i förhållande till det önskade perspektivet och mata in dessa uppgifterna till en beräkningsenhet, som beräknar hur mycket bilden skall 51; 350 vridas och genomför detta. T ex om bilden lutar en vinkel u relativt det önskade vertikalplanet, så kan bilden vridas runt sin främre kant vinkeln u. Därvid kommer punkter på avståndet a från vridningsaxeln att skalas till avståndet a*cosu från axeln. Alla punkter på denna linje flyttas då närmare linsen, stycket a* sinu, vilket innebär samma skalning som om man flyttar bilder motsvarande stycke närmare linsen, dvs avståndet b fram till linsen relativt (a*sinu + b). Detta kan enkelt åskådliggöras genom att dra strålningslinjer genom linsens optiska mittpunkt till respektive bildpunkt. Då nu bilden vrides runt nämnda axel, projiceras punktema enligt enkla geometriska samband till det nya bíldplanet.

Val av vridningsaxel kan överföras som vridning runt annan axel plus en transversell rörelse.

Förflyttning av bildelement i avstånd från linsens optiska mittpunkt, medför en proportionell skalning av bildelementet. Inställning av skärpa medför således också en skalning av bildstorlek.

Kunskap om bildens relativa avstånd från linsens mittpunkt, optiska center, kan användas för skalningsförfarandet.

Om det finns oskärpa i någon del, så skalas även det oskarpa området. En oskarp kant blir vid förstoringen bredare, om inte särskild åtgärd vidtages. Sådan åtgärd ingår i patentet och behandlas ytterligare i avsnittet om förstoring.

Projicering av bild kan således utföras i efterhand för att vrida in rätt perspektiv för bilden.

Operatören kan finjustera eller utföra hela processen själv, genom att lägga in de axlar han vill och mata in hur mycket han vill vrida. Han kan också bestämma en vridningshastighet och studera hur bilden vrides tills den kommer i det läge han vill ha den, varvid han kan stoppa vridningen eller byta vridningsriktning tills han hittat rätt.

För att inte tappa onödigt i upplösning, så kan beräkningen utföras på en grundbild, som lagts ut påextra många pixels.

Inställningen av önskat skärpeplan vid fotografering, kan underlättas och automatiseras, genom att fotografen ställer in skärpan succesivt på de punkter, varigenom han vill lägga skärpeplanet. Med koordinaterna och fokusinställningama kända kan skärpeplanet beräknas och ev. vridningar av linsen/sensom beräknas. Enkla beräkningsprogram, inkluderande kamerans optik kan lagras i frckräknare, som kan presentera resultatet i fonn av hur många skaldelar en inställningsratt skall vridas. Med hjälp av en PC eller motsvarande kan operatören arbeta med bilden på datorskärm. Program i datom kan styra en automatisk fokusmätning och omräkning till skärpeplan och slutligen styra vridning och förflyttning av linsen (sensom) till rätt inställning. Processen kan alltså utföras som en produktionsprocess, vilket är vad man många gånger vill åstadkomma. 2. Framställning av skärpedjup med hjälp av flera foton.

Vid t ex produktfotografering är motivet oftast statiskt, dvs flera foton kan tas reproducerbart.

En produkt, som har relativt stor utsträckning i avstånd, kan fotograferas från samma position med skärpan inställd på olika delar vid de olika fototillfällena. På de olika fotona blir då olika delar skarpa respektive suddiga. De blir också olika stora. 2.1 Enkel bildelementsaddition.

En skarp bild av produkten kan skapas genom att de olika bildelementen med god skärpa sätts samman från de olika bildema. Detta underlättas om bilderna först skalas till samma storlek, iäfšäiíïfiiâ iii: 'Eiiiíii Wi: i" _51% 350 enligt punkt l ovan. För många motiv kan en operatör göra bildelementsurvalet på en datorskärm och bestämma från vilket foto respektive bildelement skall hämtas till den slutliga bilden.

Processen kan också automatiseras enligt uppfinningens metoder. Skärpan inom ett bildområde jämförs mellan foton och respektive bildelement med god skärpa väljs. Gränserna mellan närliggande bildelement läggs på lärnpligt ställe, där oskärpan är ungefär lika stor från respektive foto. Ev mindre fel i gränssnittet kan tas om hand av en medelvärdesbildning av fotona över bildelementen närmast gränsen.

Enkla produktformer t ex ett flingpaket kan fotograferas ur ett perspektiv, som t ex ger ett höm det kortaste avståndet till kameran och övriga delar hamnar successivt allt längre bort. En serie foton med successivt ändrad skärpa kan därefter ge ovan nämnda bildelement, för samrnanfogning.

Flingpaketet fotograferat snett framifrån, uppifrån, visar tre ytor; en långsida, en kortsida och ovansidan. Genom att luta linsen eller sensorn kan ett skärpeplan läggas utmed vardera av de tre synliga ytorna. De tre bilderna transformeras beräkningsmässigt om till grundbilden. Om sensom vrides, så innebär omtransformeringen också perspektiv-återvridning.

Efter beräkningarna kan produkten sarnrnansättas av de tre skarpa bilderna. I praktiken kan små fel ha uppkommit i position och storlek mella de tre olika fotografierna. stömingar kan ha rubbat kamerainställningen etc. Därför identifieras skarpa gränser, kanter, i de olika bilderna och gemensamma hörn och kanter passas ihop, genom positions- och skalningskorrigeringar av de olika bilderna.

Grundbilden kan t ex utgöras av en bild med rätt perspektiv t ex vertikal sensor och en linsinställning för ett skärpeplan i produktens främre del, eller annan väsentlig del av produkten. Denna bild kan definieras av sensor - linsinställningar och kan utgöra grundbilden, utan att ens behöva fotograferas, - även om detta kan förenkla passningen av de olika bilderna till grundbilden.

Om flera bilder önskas för sammanställningen av ett skarpt flingpaket, så kan t ex ett extra skärpeplan läggas utmed flingpaketets vänstra och högra kantlinje och därmed genom lockets diagonal för att ge ytterligare hjälp för passning av ovan nämnda ytor.

Om även bordsytan, som flingpaketet står på är intressant, så kan ett skärpeplan läggas utmed denna yta i ytterliggare en bild.

I-lopfogningen av slutbilden blir i detta fall relativt enkel, eftersom varje bilds skarpa områden lätt identifieras och de oskarpa områdena ersättes av andra bilders skarpa områden.

Ornräkning av perspektiv och skalning av bildstorlek till definierat grundbildsforrnat görs med hjälp av kända inställningar på sensor- lins. Analys i efterhand av hur en bild är tagen, med inställningar relativt en annan, kan utföras, men är tidsödande.

Korrigeringar vid sammanfogning av bildemas respektive skarpa bildområden, görs med hjälp av gemensamma bildelement t ex i form av skarpa kanter och hörn. Ofta finns det bild- och text-detalj er som underlättar passningen. Om tillpassningen av en bild ändå inte blir riktigt bra, genom t ex en svår perspektivändring, så kan passningen ske lokalt i de olika bildområdena. De skarpa detalj erna positioneras ut i överensstämmelse med andra bilders information, och där avstånden emellan behöver töjas eller minskas på ett icke samstämt sätt, läggs gränsen där detta sker i ett ornråde med låg detaljrikedom eller i oskarpa områden. 5172 1550 2.2. Komplicerade produkter.

Produkter kan vara mer eller mindre komplicerade i sin struktur. Det kan finnas armar, spröt, gropar etc. Dessa kan identifieras av operatör, som särskilda områden s k berg och dalar, där ett litet begränsat område innehåller stora avståndsskillnader och därmed flera foton kan behövas för att täcka avståndsdynamiken. Områden med berg och dalar kan också identifieras automatiskt enligt uppfinningen. Det är områden, som kännetecknas av att konsekutiva bilder i avståndsled får kraftig oskärpa, där närliggande bild har skarpa bildelement fastän avståndet är litet mellan respektive bilds skarpa detalj er. Operatören kan larmas om sådana områden och andra problemområden genom blinkning på skärmen, ev i positionen och med kommentar.

Ofta kan operatören hitta skärpeplan, som kan läggas utmed “bergsytor” etc. och med hjälp av tilläggsfoto få bättre sammanhängande skärpa inom sådana områden.

Om produkten har ett utsprång i form av t ex en arm eller ett spröt, så kan en eller flera bilder tagas med skärpeplan genom armen, så att denna avbildas skarpt. På motsvarande sätt som för flingpaketet transformeras dessa bilder till en grundbild för passning tillsammans med övriga bilder på produkten. Även om det går att börja processen med bildelementsidentifieringen för vilket foto som helst, så underlättar det att börja med det främre eller bakre fotot. Här exemplifieras med början på det frärnre fotot, och med dess mittpunkt.

Ett bildområde väljs ut. Området genomsöks avseende kanter dvs gränser med snabba variationer i t ex ljusstyrka eller färg. Dock kan fargupplösningen vara särnre. Urvalsmetod kan vara derivata, relativ derivata (1/p*dp/dq; q= x,y; ), arnplitudskillnad, relativ amplitudskillnad, etc. Dessa kanterjärnförs med motsvarande värden för underliggande foto, och tillhörighet ges till främre fotot, tör de kanter som inte har bättre skärpa i foto nr 2.

Utrymmet mellan kanterna kallas ytor och ytor som begränsas av kanter för foto 1 tilldelas också detta foto tills vidare.

Ett nytt angränsande bildområde väljs ut och processen upprepas, tills hela bilden har gåtts igenom för den aktuella fotoserien, bild 1 till bild n.

Det finns alternativa sökprocesser som kan föredras i vissa fall, t ex om det i det utvalda sökornrådet finns många bildelement från olika foton. Då kan det vara bättre att direkt analysera kanter för de aktuella fotona, och med jämförelse identifiera, till vilka foton de enskilda kanterna hör. Efter det att följ ande områden gåtts igenom kan slutbilden succesivt sättas samman. Ornrådesgränserna väljs och behandlas enligt givna exempel. Då en kant utgör gräns mellan tvâ ytor på olika avstånd, så tillhör kanten den närmaste ytan, och ornrådes gränsen kan placeras i kantens gränsskikt till bortre ytan. 3. Aspekter på skärpa. 3.1 Skärpa vid skalning, förstoring.

Vid förstoring skalas alla bilddelar.De delar som har markant utsträckning förstoras och deras oskärpa följer med och kan framträda tydligare. Kanter, som t ex gränsen mellan ett rött sig 550 föremål och dess gröna bakgrund, får vid oskärpa en bredd med varierande röd-grön blandning. I kantens verkliga position blir det 50% bidrag från vardera sidan. Punkter får en oskärpe-cirkel med jämnt utsmetat bidrag från punkten. Spetsar, höm och oregelbundna former rundas av och förlorar sin detaljposition. Geometriska figurer kan återskapas, genom att fullfölja kantema till hömen etc.

Då oskärpan beror på avståndsfokuseringen som i ovanstående exempel, så bestäms den av enkla optiska lagar, och kan enligt uppfinningen estimeras och i några fall korrigeras, s k uppskärpning.

Den digitala fotograferingen baseras på sensorer, som vanligen är mindre än den slutliga bilden. Därför ingår förstoring av bilden och därmed intresse av att skärpan inte onödigtvis förloras. Särskilt vid produktfotografering består föremålet ofta av mänskligt skapade geometrier, dvs identifierbara geometriska figurer. Därmed finns förutsättningar för efterkorrigering av skärpa i många fall.

Det finns också ett stort intresse av att produkten ser “bra” ut på bilden, vilket gör att skärpekraven är betydelsefulla. Närbilder på produkter ökar fokuseringsproblemen och därmed behov av hjälpmedel för att få bra foton.

Skärpedjupet blir relativt litet vid en närbild. Genom att minska linsens brännvidd blir bilden på föremålet ungefär proportionellt mindre, menådet relativa skärpedjupet kan ev. ökas. Den efterföljande förstoringen förstorar oskärpan också. En annan nackdel med att fotografera på långt håll, är att produkten syns i ett teleobjektivperspektiv, vilket ger produkten ett platt intryck, som kan upplevas mycket negativt. Då sensorn är liten och man vill att produktbilden skall fylla ut en stor del av bilden, krävs en lins med liten brännvidd för att betralctningsvinkeln av fotot skall associera rätt till produktens verkliga utseende. Små produkter bör ur denna synpunkt fotograferas på kort avstånd, och därför också med kort brärmvidd.

I uppfinningen ingår dels metoder att med kunskap om optiska lagar korrigera oskärpa, dels att med kunskap om geometrier för produkter kunna estimera figurer och förbättra skärpan. 3.2 Korrigering av skärpa med optisk metodik.

Ovan har ett antal olika metoder behandlats med vars hjälp bildskärpan kan förbättras vid produktfotografering. Nedan sammanfattas några: - a. Sammanställning av flera bilder tagna av produkten med varierande skärpeinställning.

Perspektiv-vridning och storleks-skalning kan användas för att passa ihop bilderna till en skarpare bild. - b. Tillförande av information genom foto med extra liten bländaröppning. Härvid erhålles bild med motsvarande större skärpedjup. Även om ljusstyrkan generellt skulle vara mindre så syns ändå ljusstarka och kontrastrika detaljer med bättre skärpa. Sådana här bilder kan t ex användas för att binda ihop bilder från metod a. - c. Tillförande av information tagen med mindre brännvidd. Omskalningarna förenklas om motivets position i förhållande till linsens optiska mittpunkt bibehålls. Skärpedjupet kan ev. _51% 350 förbättras även i dessa fall. I gengäld blir bilden mindre och utnyttjar inte upplösningen fullt ut. Även denna typ av bilder kan användas för att binda ihop bilder från metod b. - d. Genom att luta sensorn och/eller linsen, så lägges ett motsvarande lutande skärpeplan genom produkten. Bildperspektivet ändras om sensorn vrides, varfor detta eftervrides till rätt perspektiv. Denna typ av bild kan användas för att ge bildinforrnation med skärpa i partier, som annars saknas från t ex metod a. - e. Konsekutiva bilder kan användas för att optiskt beräkna ett bildelements bildplansavstånd och bildelementets faktiska utsträckning i detta skarpa läge. Kan t ex användas för bildelement som är suddigt i bildema på ömse sidor. - f. Genom uppmätning av oskärpan i t ex kanter och skarpa gränser, kan dessa bildelements bildposition bestämmas och skärpan konigeras. - g. Geometrier kan inter- och extrapoleras från konsekutiva bilder och därmed ges skärpa i mellanliggande oskarpa områden. Metoden kan i vissa fall underlättas av att ett bibliotek med ett antal vanliga geometrier lagras och används vid jämförelse med bildinforrnationen. Olika metoder som t ex bästa korrelering kan användas. 3.3 Några optiska samband avseende skärpedjup.

Med vanliga optiska definitioner: a, b, f är avstånd till lins från motiv, bild, fokus.

H, h är motivets, bildens dimension (t ex höjden). ro, r,, är bländaröppningens radie, oskärpe-”cirkelns” radie relativt en skarp punkt.

Ett motiv på avståndet a + da avbildas skarpt på avståndet b - db.

Enkla optiska lagar ger: l/a+1/b=1/f; (1) 1/b=(a-t)/a*f; (2) pss. 1/b(1-db/b)=1/f-1/(a+da); (3) (2) i (3) ger: db/b=da*f/a2*1/qi-f/aflia/a) (4) och _51210'55Û db/b z da*f / az ; I (5) Likforrnighet ger: r, = ro * db/b ; (6) (5) i (6) ger: r, z r0*da*f / az ; (7) För samma motivavstånd (a) och motivdjup (da) fås att oskärpan minskar då bländaröppningen (ro) och brännvidden (f) minskar. Då f minskar, så minskar emellertid också bilden. Relativa oskärpan blir: r,/hzr,,*da/(H*a); (8) r, /h z f* da/(H*a*2Q) ; (9) där bländaren Q = f/2r0 ; Reduktion av bländaröppningen är således en viktig möjlighet för att öka skärpedj upet.

Bländaröppningen kan emellertid inte reduceras hur mycket som helst, bl a måste ljuset räcka till. Ljustätheten på sensorns bild, I(h), är proportionellt mot ljustätheten från motivet, I(H) enligt: I(h) ~ 1(H)*H2*f,2 / (11*e)2 ; (10) Med (io) 1 (9) efhåiiee; f, /11~ {1(11)/1(H)}°-f* da*f/are), (11) dvs om I(h) inte kan minskas mera och motivets ljusförhållande och läge är valda, så ger en minskning av brännvidden en möjlighet att minska den relativa oskärpan. 3.4 Korrigering vid sammanställning av grundbilden från olika bilder.

Om bilder tages med samma relativa position för linsens optiska centrum relativt motivet, så är bildema enkelt transformerbara genom perspektivvridningar och skalningar med kunskap om inställningar hos lins och sensor för respektive bild.

För en traditionell kamera, där den enda inställningen kan göras medelst avståndsfokusering med linsen, kan endast foto med olika avståndsskärpa erhållas från samma kameraposition.

Det betyder att fotoserien då får parallella bildplan, och inga skärande skärpeplan. Med övriga applicerbara metoder enligt ovan kan dock även sådana kameror användas för avancerade produktfoto, där skärpedjup och perspektiv annars vore problem. sjzgsso Vid flerfoto-samrnanställning kan mindre fel uppstå i praktiken. Toleranser i inställningar och mekaniska stömingar kan ge förändringar mellan bilderna. Fotografering med lång exponeringstid kant ex kräva stabilt underlag för kamera och motiv för att inte störningar skall göra bilden suddig. Tills vidare förutsättes här att varje användbar bild har god skärpa inom sitt begränsade skärpedjup.

Korrigering kan ändå behöva göras efter det att bilderna primärt transformerats till grundbildens format. Dock är då alla bilder i huvudsak i rätt position, rätt perspektiv och rätt storlek. Följande metoder kan användas för efterfölj ande korrigeringar: - a. Konsekutiva bilder med olika avståndsskärpa kan korrigeras, då en skarp detalj i en bild motsvaras av en oskarp i bilderna intill. Positionen av den oskarpa bilden kan bestämmas, och genom järnförelse med flera bilders detaljpositioner kan positioner, skalning etc. samstärnmas.

Gemensam information mellan bilder används. Processen går snabbare om några få väldefinierade detaljer, gärna med stor spridning över bildytan, väljs ut för järnförelseprocessen.

Har bilderna rätt storlek, så begränsas arbetet till att överlappa positionema för detaljerna. Är skalningen fel, så fås måttet genom “uppmätning” ( eg. beräkning)av avståndet mellan detaljpositioner. Vid perspektivvridning blir skalan olika i olika delar av bilden t ex olika i y- led och x-led. - b. Gemensamma skarpa bildelement erhålles vid skärande fokuseringsplan t ex vid ovan beskrivna flingpaket i pkt 2.1. Genom överlappning av gemensamma gränser, kanter, så kan bilderna korrigeras och samrnanställas. - c. Tilläggsbilder kan tas med skärande skärpeplan t ex för att ge skarpa bilddetaljer i denna bild, som sedan kan återfinnas som skarpa bilddetaljer i olika bilder t ex i fallet a ovan.

Därigenom erhålles gemensamma referenser för flera bilder. - d. Bilder tagna med minskad bländaröppning får större skärpedjup och kan därmed ge bra referens till flera bilder, särskilt avseende ljus- och kontrastrika detaljer. - e. Bilder tagna med minskad brännvidd kan också ge större skärpedjup, trots behov av efterförstoring, och kan användas som i d ovan. 4. Andra exempel på användning av metoden.

Skärpan i en produkt kan också förbättras genom att öka upplösningen i fotot, t ex kan en produkt fotograferas, så att endast en del av produkten ryms på den elektroniska sensom. Då utnyttjas sensoms upplösning bättre för just denna del av hela produktbilden. Övriga delar av produkten kan fotograferas med samma eller annan förstoring. Därefter kan de olika bilderna transforrneras om till en grundbild, där hela den önskade bilden finns med, och då med hög upplösning. Upplösningen i efterarbetningen av bilden blir inte begränsad av att hela bilden måste få plats på sensom. Här används datoms kapacitet. Metoden att sätta samman bildema blir, på motsvarande sätt som tidigare, enklare om positionen av linsens optiska center i relation till motivet i huvudsak bibehålls. Detta kan t ex åstadkommas om de olika fotona tas med kameran invriden mot respektive motivdel med linsens optiska center som vridningspunkt. På samma sätt som tidigare underlättas samrnanfogningen om bildema har _ 550 överlappning, där väldefinierade detaljer ingår och kan användas vid jämförelse mellan bilder för ev. korrigering. En eller flera bilder kan också tas med en lins med mindre brärmvidd, där väsentliga delar av hela bilden finns med på samma foto, och bidraga med övergripande information om grtmdbilden.

Metoden att välja delar av motivet och fotografera dessa med större brännvidd, ev. med hjälp av zoom, kan också användas tillsammans med tidigare nämnda metoder. Det kan antingen gälla mycket små detaljer i produkten, eller detaljer som används vid hoppassningen av bildområden för att få bättre upplösning på dessa och därmed exaktare passning. 5. Exempel på anordning för att utföra skärpedjupsförbättringen.

Anordningen består av enheter i kamera och enheter i beräkningsapparat, t ex persondator.

Kameraenheterna består av inställningsorgan, vars inställningar kan registreras.

Inställningsorganen avser lins och/ eller sensor. För traditionella kameror med elektronisk sensor sker avståndsinställning endast med linsen. T/S-karneror kan ha inställningsorgan för såväl lins som sensor, och dessa har stor rörlighet, dvs de kan även lutas och ge fokusering och perspektiv i många olika plan. Inställningama kan styras ut och läsas av och lins/sensor skall enligt uppfinningen kunna relateras till geometri i kameran. Värden på linssystemet som brännvidd och helst även optiskt center, eller motsvarande linsbeskrivning är bra om de är kända vid efterföljande beräkningar. Det underlättar om läget av optiska centret är känt särskilt vid byte av linser mellan foton.

I beräkningsapparaten, datorn, finns programvara som kan lagra flera bilder och arbeta med transformationer av bilder enligt skalning av storlek, perspektiv-vridning och positionering.

Om inte inställningsdata överförs med bildema, så får fotografen, operatören, läsa av och sj älv mata in värden på inställningar etc.

Valet av hur bildema skall tagas görs av fotografen och han kan antingen ställa in kameran manuellt eller få hjälp av datorsystemet. Han kan t ex läsa in positionen för den punkt han vill fokusera på och läsa av den tillhörande gjorda fokuserings inställningen. Genom att läsa in tre punkter definieras ett skärpeplan och datorn kan beräkna hur inställningarna av lins/sensor skall göras för att åstadkomma detta skärpeplan. Datorn kan också ha tilläggsprogram, som automatiserar det mesta av jobbet. Stymingen kan, med viss automatik, också inbegripa Valbar bländar- tidinställning från ljusmätning, och annan styming av kamerafunktioner.

Det ingår också programvara som ev. med hjälp av operatör, väljer ut vilka bildområden som skall användas från respektive transformerade bild.

Programvara kan adderas till som ev. med hjälp av operatör väljer ut detaljer från olika bilder som ligger till grund för beräkning av efterkorrektion av bildema till grundbildsforrnen för sammansättning av bildområden till grundbilden.

Claims (18)

II 512 350 13 Patentkrav.

1. En metod för ökning av skärpedjup, som ger förbättrad skärpa över en bild innehållande objekt med utsträckning och avstånd så att skärpa normalt inte kan erhållas över hela bilden, genom att använda minst två bilder, erhållna med olika karnerainställningar, vilka inkluderar minst en av ändrad skärpa och ändrad bländare, med i huvudsak samma position av linsens optiska center relativt objektet, och genom kombination av infonnation från dessa bilder för att erhålla en ny bild, kärmetecknat av att; resultatet från stillbildskameror behandlas av processor, varvid minst delar av processtegen kan utföras externt till kameran, med användning av data överförda från kameran med kommunikationslänkar eller via lagringsmedia; metoden inkluderar applikationsprocessema; objekt med kontinuerlig utsträckning i avstånd, större än skärpedjupet för en enda bild, och objekt med avståndsgap mellan sidledes nära objekt, där avståndsgapet är större än skärpedjupet för en enda bild, och där sagda applikationsprocesser använder den naturliga bildrepresentationen i rumskoordinater; och inkluderande följande metodsteg; a. ta foton med olika skärpeinställning mellan bilder, skapande olika skärpa för olika bildareor, inkluderande naturliga variationer och stömingar i fotosekvensen, genererande förändringar i bilderna utöver de sagda skärpeändringama, där bildändringarna utgör ändringar som inkluderar något av position, skala och perspektiv; b. matchning av de olika fotobildema till position, skala och perspektiv av en vald basbild i steg av; val av en basbild; identifiering och lokalisering av ett antal gränslinjer och starkt kontrasterande strukturer i ett antal bilder; beräkning av geometrisk transformation av ett antal bilder till basbilden, användande rninst ett av positionsändring, skaländring och perspektivlutning; val av gemensamma referenser för utvärdering och/eller korrigering av matchningen av bildema med användning av positionema för identifierade gemensamma strukturer; c. uppbyggnad av en ny skapad basbild från de matchade bildema inkluderande; cl. analys av bildareor med kontinuerlig skärpeändring av bildelement i arean, motsvarande en kontinuerlig ändring av avstånd, där skärpeändringar används för gränslinjer och/eller starkt kontrasterande strukturer i avstånd, och identifiering av övergångsgränser, där skärpeändringen är av motsvarande storlek sett från respektive bilds fokuserade tillstånd, och val av övergångsgräns mellan bildinforrnation från en bild och nästa närliggande fokuserade bild, beaktande sagda övergångspositioner, och vid stora diskontinuiteter i bildövergången, utföres en finstärrld matchning av de två bildema längs den gemensamma övergångsgränsen, inkluderande något metodsteg från (b); c2. val av gränslinjer för; .um ...rt .min .r. 512 350 14 analys av ett antal gränslinjeornråde, beträffande skillnader i skärpa mellan de två sidorna om gränslinj en för respektive fokuserade bild, för identifiering av övergångsgränser med skärpeavståndsgap större än ett givet värde; korrektion av gränslinjearean, där gränslinj en är en övergångsgräns enligt (c2), mellan olika fokuserade bilder, med reducering av defokuserad bildinformation från den defokuserade bildsidan till den fokuserade bildsidan, och när sagda skärpegap är mindre än sagda givna värde, övergången betraktas som övergång enligt (c1); c3. användning för analys av skärpa i (cl) och (c2); snabba variationer av ljus och/eller färg som funktion av areabaserade rumskoordinater(x,y), jämförelse för bäst fokuserat tillstånd mellan bilder, med användning av gränslinjer och/eller starkt kontrasterande strukturer, d. tillägg av minst ett hjälpfoto, för applikationer med komplex bildstruktur i avstånd, med utsträckning större än skärpedjupet i en enda bild, kompletterande sagda fotosekvens med en bild som kombinerar fokuserade bildelement tillhörande olika bilder, inkluderande minst ett av; fotografering med signifikant reducerad apertur, ökande skärpedjupet, fotografering med lutande fokalplan, som skär minst ett armat bildfokalplan;

2. En metod enligt krav l, kärmetecknad av; analys av brantheten i variationer i ljus och/eller färg, selektivt användande derivator av, relativa derivator av, skillnader av, och kombinationer eller kvoter därav och styrkan av ljus och/eller färg.

3. En metod enligt krav 1, kärmetecknad av; användning av metoder av reducerad apertur eller lutande bildplan för korrektion av defokuserat överspill över gränser mellan olika fokuserade bilder i steg av; val av gränser, där dessa metoder ger en fokuserad bild på ömse sidor av gränsen, val av denna tvåsidors fokuserade bild för gränspresentation, eller ensides fokuserade bilder av gränskorridoren, efter beräkning och reducering av överspillet till respektive ensides fokuserade bild.

4. En metod enligt krav l med uppbyggnad av en ny skapad basbild från de matchande bilderna inkluderande ytterligare steg, kärmetecknad av; definition av övergångspositioner; för strukturer med kontinuerlig utsträckning över angränsande olika fokuserade bilder, där strukturerna är delade tillhörande sagda angränsande olika fokuserade bilder, utmed gränslinjer, där gränslinjen är gräns mellan olika fokuserade bilder, analys av ytorna mellan gränslinj er för identifiering av bildelement med bättre fokus än i andra bilder och definition av övergångspositioner mellan strukturer som tillhör olika angränsande bilder, val av ytterligare övergångspositioner for sagda olika fokuserade bilder genom areor som innehåller långsamma variationer av ljus och/eller färg och som inte innehåller någon definierad struktur med tillhörighet hos andra fokuserade bilder, uppbyggnad av den nya skapade basbilden genom ett antal övergångspositioner mellan olika bilder med bibehållande av kontinuitet av ljusnivå. _s1215z5o

5. En metod enligt något av krav 1 - 4, kännetecknad av; uppbyggnad av den nya basbilden successivt i steg av; start med ett valt fokuserat bildelement från en vald bild, ökning av den undersökta ytan kontinuerligt, under jämförelse med angränsande bilder, övergång mellan bilder, när element blir skarpare i en annan bild, ökning av den nya basbildens area med arean från den nu aktuella bilden, selektivt startande med frontbilden och successivt arbetande mot bakgrunden.

6. En metod enligt något av krav 1 - S, kännetecknad av; uppbyggnad av en ny basbild, med val av strategi i steg av; beräkning av täthet av bilds gränslinjer, val av lågtäthetsstrategi för stora lågtäthetsareor, val av högtäthetsstrategi för små högtäthetsareor, uppbyggnad av lågtäthetsstrategi med steg av; förbindning av valda gränslinjer för den valda bilden med angränsande gränslinjer, genom definition av övergångspositioner över areor emellan, överföring av den slutna bildareorna till den nya basbilden.

7. En metod enligt något av krav 1 - 6, kännetecknad av; inkludering till processorutrustningen, med ett operatörsgränssnitt, MMI, för interaktion med en operatör, reduktion av komplexitet i bildbehandlingen med en operatör som selektivt utför steg av; definition på datorskärm, vilka delar från vilken bild, som skall bli överförda till den nya basbilden, och reducerande processerna till i huvudsak bildmatchning och slutkorrigering av delar i position och gränsfokusering, val av detalj er från olika bilder för bildmatchningen, selektivt definition av strategi för olika areor för den nya bilduppbyggnaden.

8. Sätt enligt något av patentkraven I - 7, kännetecknat av att oskärpeonirådets bredd kan bestämmas för gränser, kanter etc., och därifrån kan skärpan korrigeras även för andra bildelement och kan korrigeringen även göras genom att först estimera de skarpa bildelementens bildposition.

9. Sätt enligt något av patentkraven 1 - 8, kännetecknat av att konsekutiva bilder används för att beräkna ett bildelements bildplansavstånd och bildelementets faktiska utsträckning i detta skarpa bildläge, och kan detta t ex användas för bildelement som är oskarpt i bilderna på ömse sidor om det teoretiskt skarpa bildplanet.

10. Sätt enligt något av patentkravenl - 9, kännetecknat av att geometrier, linjer, rektanglar, cirklar etc. inter- eller extrapoleras från intilliggande bild(er) för att därmed ges skärpa i mellanliggande oskarpa område, och att metoden kan byggas ut med hjälp av att lagrade geometrier i ett bibliotek kan jämföras med bildelementen t ex med hjälp av korrelering, och där geometrien med bra överensstämmelse används, och kan geometriema innehålla tecken, bokstäver etc. r 5112 550

11. Sätt enligt något av patentkraven 1 - 10, kännetecknat av att korrigering av ettdera eller flera av position, skala, perspektiv för olika bilder utföres genom positionsjärnförelse mellan sarnhörande bildelement i minst två bilder, och att successiva jämförelser mellan olika bilder kan användas för relatering av flera bilder till varandra.

12. Sätt enligt något av patentkraven I - 10, där sensoms upplösning utnyttjas bättre, genom att del av produkten fotograferas förstorad med större brännvidd, så att produktdelen täcker en större yta av sensorn, kännetecknad av att övriga delar av produkten fotograferas med samma eller annan förstoring, där även bildavstånd relativt brärmvidden kan variera, och att de olika bilderna transforrneras om till en grundbild, där hela den önskade bilden finns med och då med motsvarande högre upplösning, där datoms kapacitet utnyttjas, vilket kan ge mycket högre upplösning än sensoms för hela bilden, och metoden att sätta samman bildema blir enklare om positionen av linsens optiska center kan bibehållas relativt motivet, och kan detta åstadkommas om de olika fotona tas med kameran invriden mot respektive motivdel med linsens optiska center som vridningspunkt, och underlättas även här sarnrnanfogningen om bilderna har överlappning, där väldefinierade detalj er ingår och kan användas vid jämförelse mellan bilder för ev. korrigering, och kan en eller flera bilder tagas med mindre brännvidd, där väsentliga delar av hela bilden finns med på samma foto, och kan bidraga med övergripande information om grundbilden.

13. Anordning med uppgift enligt något av patentkraven l-11, bestående av inställningsorgan på kamera, beräkningsenhet för lagring av bilder med relaterade karnerainställningar och programvara för hantering av flera bilder och för beräkning av transforrnering av bilder i förrn av storleksskalning, perspektivändring och positionering, kännetecknat av att inställningsorgan för lins och eller sensor reglerar respektives position inklusive vinklar relaterat till en geometri i kameran, och programvarumodul med algoritmer, som använder inställningar för respektive bild för att transformera om bildema till en bestämd grundbild, som också definieras av inställningsdata, men inte nödvändigtvis behöver utgöra en verkligt fotograferad bild, och programmodul, som ev. med hjälp av operatör, väljer ut vilka bildområden , som skall användas från respektive transforrnerade bild och sätter samman dessa till en grundbild,

14. Anordning enligt patentkrav 13, som hjälper fotografen, operatören, med inställningar av de olika fotonas skärpeplan, kärmetecknat av att fotografen anger position i bilden för punkt som fokuseras och vars fokusinställning registreras i beräkningsenheten, och tillhörande värden på lins- eller ev. sensorinställning erhålles från beräkningsenheten, och motsvarande inställningsorgan styrs ut för fotografering, och kan grunddata för respektive inställningsorgan lagras i beräkningsenheten t ex en fickdator eller en PC, och användas vid beräkning av resultat och kalibrering till värden för utstyming av inställningsorgan.

15. Anordning enligt något av kraven 13 och 14, kännetecknat av; anordning för fotografen att markera ställen på en datorskärmbild, och att dator-prograrnvarurnodulen gör beräkningarna och styr ut kamerainställningarna automatiskt via elektroniska styrorgan.

16. Anordning enligt något av krav 13 - 15, kännetecknat av kontroll av ett kameralinssystem, bibehållande synfaltet under ändring av bildskärpa av olika avlägsna subjekt. 51217350,

17. Sätt enligt något av patentkraven 1 - 12, där fotografisk film används istället fór elektronisk sensor, kännetecknat av att fotona tas på motsvarande sätt och att bilderna därefter skannas av till elektroniskt lagrade bilder, for att därefter behandlas på motsvarande sätt.

18. Sätt enligt något av patentkraven 1- 12, kännetecknat av att tilläggsfoto tages med mindre brännvidd, antingen med hjälp av zoom eller byte av lins, där omtransformering underlättas av att positionen av linsens optiska centrum bibehålls relativt motivet, och att bilden därmed blir mindre och utnyttjar sensorns upplösning sämre, medan skärpedjupet får potential att öka, och att efter återfórstoring av bilden oskärpan också förstoras, och ges ett antal oskarpare bildelement bättre skärpa, och kan denna typ av bild användas för att ge tilläggsinformation och binda ihop andra bilder.