SE500632C2 - Metod att utföra bildbehandling och anordning för utförande av metoden - Google Patents

Description

l5 C) CI) O\ t' NI I\É' 2 praktiskt taget allenaràdande systemkonceptet. Konceptet underbyggs dessutom av det faktum, att även dagens datorer är för långsamma för att hinna bearbeta rörliga bilder i den takt de levereras fràn kameran.

Genom US-A-4,684,991 är känd en anordning vid en uppsätt- ning, i matrisform anordnade fotodioder. Dessa är anslutna till en bildbehandlingsprocessor av det slag, som medger parallell signalbehandling och som är integrerad på samma halvledarskiva som fotodioderna. På samma halvledarskiva är också integrerat ett till processorn anslutet digitalt nät av kombinatoriskt eller sekventiellt slag och är inrättat att åstadkomma en antals- och/eller positionsbestämning av bildelementet, sonlvia fotodioderna.och.bildbehandlingspro- cessorn konstaterats uppfylla ett digitalt villkor.

Den kända anordningen.medger utförande av operationer såsom yt- och tyngdpunktsberäkningar, men är ej tillämpbar för utförande am' generella bildbehandlingsoperationer' såsom exempelvis medianfiltrering.

Ett ändamål med föreliggande uppfinning är att åstadkomma en metod av inledningsvis nämnt slag, vilken ger utökade möjligheter att utföra en större klass av användbara bild- operationer. Detta uppnås enligt uppfinningen därigenom, att varje sensorelements utsignal jämföres med ett monotont ökande eller minskande referensvärde och att för varje sensorelementkontinuerligtkonstaterashuruvidasensorele- mentets utsignal är större eller mindre än referensvärdet.

En alternativ metod, som förutsätter sensorelement av ljus- integrerande typ karakteriseras av, att varje sensorele- ments utsignal jämföres med ett förinställbart referens- värde och att för varje sensorelement kontinuerligt kon- stateras huruvida sensorelementets utsignal uppnått refe- rensvärdet eller ej.

Enligt ett särskilt kännetecken för uppfinningen får nämnda referensvärde variera så, att ett förutbestämt samband, 500 632 3 exempelvis en linearisering, uppnås mellan ljusintensiteten och den tidpunkt, då sensorelementets utsignal uppnått referensvärdet.

Enligt ett annat särskilt. kännetecken. för' uppfinningen gäller, att en grupp av sensorelement i matrisen sorteras i en följd svarande mot ordningsföljden av att sensorele- mentens utsignaler passerar nämnda referensvärde, vilket innebär en medianfiltrering.

Enligt ytterligare ett annat särskilt kännetecken för upp- finningen utnyttjas den uppfinningsenliga metoden så, att det sensorelement identifieras vars utsignal först passerar referensvärdet, vilket innebär detektering av ljusaste punkten i bilden.

En vidareutveckling av den uppfinningsenliga metoden inne- bär, att i en grupp av sensorelement i matrisen, konstate- ras huruvida hos en förutbestämd kombination av sensorele- medan övriga ment utsignalen uppnått referensvärdet, sensorelement i gruppen ej gjort detta, vilket är liktydigt med en morfologisk operation.

En ytterligare vidareutveckling har àstadkommits genom att för varje sensorelement ackumuleras pulser, vilkas antal, då utsignalen uppnår referensvärdet, är ett digitalt värde på ljusintensitet.

Genom att härvid alstra nämnda pulser med variabel frekvens uppnås ett förutbestämt samband, exempelvis en linearise- ring, mel1an.ljusintensiteten och dess motsvarande digitala värde.

Om i en grupp av sensorelement i matrisen, till varje ele- ment i. gruppen tillordnas en filterkoefficient och för vilket utsignalen iuppnàtt varje sensorelement hos referensvärdet successivt ackumuleras tillhörande filter- koefficient år detta liktydigt med en linjär filtrering.

C.) C.) CH (_ J f\) 4 Härvid uppnås ett förutbestämt samband, exempelvis en linearisering, mellan ljusintensiteten och den tidpunkt, då sensorelementets utsignal uppnått referensvärdet om den successiva ackumuleringen sker med en lämpligt vald, vari- abel frekvens.

En A/D-omvandling av bilden uppnås därigenom att för varje sensorelement räknas med en förutbestämd frekvens under exponeringstiden:h1pulseri.ett digitalt resultatregister.

En anordning med vilken den uppfinningsenliga metoden kan utövas kännetecknas av, att varje subprocessor är inrättad att konstatera förekomsten av kombinationer av sensorele- ment för vilka utsignalen överskridit resp ej överskridit nämnda referensvärde.

Enligt en vidareutveckling av den uppfinningsenliga anord- ningen innefattar subprocessorn ett ackumulatorregister inrättat antingen att räkna pulser, vilkas antal, då utsignalen uppnår referensvärdet, är ett mátt på ljusinten- siteten eller att successivt ackumulera koefficienter samhörande meden1bildbehandlingsoperation under utförande.

På samma substrat som sensorelementen och subprocessorerna är företrädesvis också anordnat ett styrbart propagerings- nät.

Uppfinningen.skall i det följande förklaras ytterligare med hänvisning till bif ritning pá vilken Fig 1 schematiskt visar en anordning enligt uppfinningen.

Fig 2a är ett exempel på en bildpunktsstruktur innehållande ett sensorelement med jämförare och subprocessor.

Fig 2b visar schematiskt ett styrbart propageringsnât.

Fig 2c visar exempel pà styrinformation för att erhålla olika propageringsfall.

Fig 2d illustrerar en resultatbild då endast en objektpunkt finns i inbilden, korresponderande till de olika fallen angivna i fig 2c. 508 652 Fig 3 illustrerar sensorelementets laddningstillstånd dvs dess utsignal som funktion av tiden och ett referensvärde.

Fig 4 illustrerar utsignalen från en grupp av tre närlig- gande jämförare och resulterande median.

Fig 5 illustrerar detektering av ljusaste punkten.

Fig 6a och 6b visar effekten av två morfologiska operatio- ner nämligen expansion (dilation) resp krympning (erosion) i tvâ dimensioner resp en dimension på gráskalebild (fig 6b).

Fig 6c visar en enligt uppfinningen erhållen gráskalebild, vilken kan ses som ett utsnitt av det endimensionella fallet enligt fig 6b och bestående av åtta sensorelement.

Figurerna 6d och 6e visar resultat av morfologisk filtre- ring nämligen expansion (fig 6d) och krympning (fig 6e) på resultatet enligt fig 6c.

Fig 7 illustrerar linjär filtrering enligt uppfinningen.

I fig 1 hetecknar 1 ett sensorelement i en matris med totalt tolv stycken sensorelement anordnade på ett sub- strat. Till vart och ett av sensorelementen 1 är på sub- stratet tillordnad en jämförare och en subprocessor, båda betecknade med 2.

Fig 2a illustrerar i. blockschemaform inbördes koppling mellan sensorelement, jàmförare och subprocesser. Med 4 betecknas ett sensorelement av ljusintegrerande typ såsom en fotodiod och med 3 en uppladdningsanordning för att ladda upp fotodioden 4 inför en ljusmåtning. Till fotodio- den 4, vars utspänning u representerande dess laddnings- tillstànd, är ansluten en jämförare 5 i form av en diffe- rentialförstärkare. Jämförarens 5 utgång är förbunden med en ingång till en subprocessor 8 med i detta fall fyra ytterligare ingångar betecknade med 7 och fem utgångar betecknade med 10. Nämnda ingångar '7 är anslutna till utgàngarna.hos:närliggande fotodioders subprocessorer medan subprocessorns 8 utgångar på analogt sätt är anslutna till ingångarna hos närliggande fotodioders subprocessorer.

Subprocessorn 8 innefattar ett ackumulatorregister Sa och LH CD CD Ox LN BJ 6 ett propageringsnät 8b, för vilka skall redogöras senare i 2c och 2d. ingång för ett referensvârde (12 i fig 3) för jåmföraren 5 anslutning till fig 2b, Med 6 betecknas en och 9 betecknar till subprocessorn 8 inkommande instruk- tioner.

Anordningen enligt uppfinningen arbetar på följande sätt: Med hjälp av uppladdningsanordningen 3 laddas fotodioden 4 till ett initialvärde. Då ljus, i fig 2a illustrerad med en zig-zag pil, infaller mot fotodioden 4 ändras med tiden dess laddningstillstànd i proportion till det infallande ljusets intensitet. Den mot laddningstillståndet svarande spänningen u vars förlopp framgår av fig 3, jämföres med referensvärdet 12. Jämförarens 5 utsignal är binär och tillföres en av subprocessorns 8 ingångar 7. Jämförarens 5 binära utsignal är logiskt 1 då u är större än referensvär- det 12 och är logiskt O i övrigt. Subprocessorn 8 är inrät- tad att med hjälp av utsignaler från jämförare tillhörande fotodioder, vilka i uætrisen gränsar till fotodioden 4 konstatera förekomsten av kombinationer av fotodioder, för vilka tillhörande jämförares utsignal överskridit resp ej Överskridit nämnda referensvärde. Dessa.kombinationer väljs med hänsyn till den önskade bildbehandlingen och kommer att beskrivas närmare i det följande i anslutning till figurer- na 4 - 7.

Propageringsnätet 8b i fig 2b har till uppgift att propa- gera signaler asynkront över matrisen. Nätets ingångar al, a2 _.. a4 är förbundna med e-utgångarna från närmast intill liggande grannarnas propageringsnät. Ingångarna bl - b4 utgör ingångar för styrinformation. C-ingången används för att kontrollera spridningen, vilket möjliggör inhibiering av spridning.

Via ingången d påföres inbilden, som i det i fig 2d visade exemplet utgöres av en enda punkt. På e-utgången erhålles rersultatbilden. Propageringsriktningen.bestäms av en styr- information, som kan vara individuell eller lika för alla 5ÛÛ 652 7 subprocessorer. Styrinformationen är företrädesvis lagrad i ett register i varje subprocessor. Propageringsnätet visat i fig 2b representerar endast ett sätt att bygga upp ett sådant nät, fackmannen inser att man med Boolsk algebra kan variera uppbyggnaden på många sätt. Med propagerings- nätet kan man exempelvis markera sådana objekt i en bild, vilka åtminstone till en del sammanfaller med objekt i en annan bild. Propageringen innebär att man från varje objektpunkt åstadkommer en spridning enligt ett bestämt mönster. Tabellen i fig 2c visar vilken propageringsrikt- ning, som erhålles med viss styrinformation och fig 2d illustrerar resultatbilden, då endast en objektpunkt finns i inbilden. Så ger exempelvis nr 1 med styrinformation bl = O, b2 = 0, b3 = 0 och b4 = 1 spridning från objektpunkten mot väst. Nr 5 visar ett fall, där spridningen går i både sydlig och västlig riktning.

I fig 3 representerar punkterna 13 och 14 två tidpunkter korresponderande mot två olika urladdningskurvors passage av referensvärdet 12. Med ll betecknas det av laddnings- anordningen 3 (i fig JJ àstadkomna initialvårdet. Som kommer att framgå av det följande baseras en stor del av föreliggande uppfinning på detta faktum.

Fig 4 illustrerar hur uppfinningen utnyttjas vid median- beräkning. Utsignalen som funktion av tiden från jämförare tillhörande tre närliggande fotodioder framgår av diagram a, b och c. Fackmannen känner till att med medianvärdet avses det mittersta gråskalevärdet. Detta medianvärde erhålles enligt uppfinningen medelst subprocessorn genom att i ordningsföljd sortera tidpunkterna för att fotodio- dernas utsignaler passerar referensvärdet. Medianen d motsvarar alltså här elementet svarande mot diagram c medan diagram a och b motsvarar ljusare resp mörkare punkter.

I fig 5 representerar rastrerade staplar urladdningsför- loppet från ett antal i rad anordnade fotodioder. Staplar- nas bottnar ger tillsammans en ögonblicksbild av laddnings- lO 503 652 a tillståndet hos fotodioderna och korresponderar alltså mot ljusintensiteten utefter diodraden. Att bestämma den ljusaste punkten åstadkommes enligt uppfinningen genom att lägga in en referensnivå 15 och att identifiera den foto- diod 16, vars stapelbotten först när referensvärdet. Kon- ventionellt bestäms ljusaste punkten.genom att sekventiellt jämföra samtliga värden med varandra och fackmannen inser den förenkling och uppsnabbning, som uppnås med uppfin- ningen. Fackmannen inser att operationen också är utförbar i två dimensioner.

Bildbehandlingsoperationen krympning innebär att yttersta skiktet av ett objekt skalas av. Analogt innebär expansion, att ett ytterskikt läggs på ett objekt. Detta är illustre- rat i fig 6a för ett tvàdimensionellt binärt objekt 18. Det krympta objektet betecknas med 19 och det expanderande objektet med 17. Fig 6b visar motsvarande operationer i gråskalevärden (I), av pedagogiska skäl i endast en dimen- sion. Gràskalebilden enligt fig 6c representerar de tid- punkter, vid vilka laddningstillstándet hos åtta fotodioder uppnått referensvårdet. Expansion erhålles enligt uppfin- ningen därigenom, att man successivt för en grupp, exem- pelvis tre intill varandra liggande fotodioder, konstaterar när laddningstillstándet hos någon fotodiod i gruppen upp- nått referensvärdet och att härvid bildar denna diod mitt- diod för gruppen, som samtliga då anses ha uppnått refe- rensvärdet. Resultatet av operationen expansion framgår av fig 6d. Analogt gäller vid krympning varvid kravet är att alla dioder i gruppen uppnått referensvärdet; resultatet av operationen krympning framgår av fig 6e.

Operationen linjär filtrering innebär att gråskalevärdet i en punkt ersätts med en viktad summa av punkten och omgiv- ningen. I fig 7a visas ett exempel på en punkt och dess granne till höger och vänster. Vikterna är, som framgår av fig 7(a), 1, -2 och 1. 'Utsignalerna från tillhörande jämförare visas i diagram b, c och d. Enligt uppfinningen genomförs operationen linjär filtrering därigenom, att för 500 GÅ (N RJ 9 varje fotodiod, vars laddningstillstånd uppnått referens? värdet ackumuleras tillhörande filterkoefficient med fast eller variabel frekvens. Fig 7(e) anger vilket värde, som skall adderas till ackumulatorn 8a och fig 7(f) anger acku- mulatorns innehåll efter addition. I det visade exemplet är det filtrerade värdet alltså -1, vilket erhållits efter det den högra ljusdiodens laddningstillstånd uppnått referens- värdet.

Det är uppenbart att uppfinningen kan varieras och modifie- ras på många sätt inom uppfinningstankens ram. Så kan t.ex sensorelement och tillhörande subprocessorer anordnas i olika plan. Vidare kan naturligtvis subprocessorn innefatta kretsar för exempelvis antalsberäkning, positionsbestämning och tyngdpunktsberäkning.

Claims (1)

1. 0 15 20 25 30 35 Û CN ( F! RÖ 10 Patentkrav Metod att utföra bildbehandlingsoperationer såsom objektigenkänning eller linjär/icke-linjär filtrering på en tvádimensionell bild, vilken är upptagen med i tvádimensionell matrisform anordnade ljuskänsliga (1;4), att sensorelementen k ä n n e t e c k n a d därav, (l;4) ljusintensiteten svarande utsignal (l;4) monotont ökande eller minskande referensvärde och att sensorelement är inrättade att ge mot (u), att varje sensorelements utsignal (u), jämföres med ett för varje sensorelement kontinuerligt konstateras huruvida sensorelementets utsignal är större eller mindre än referensvärdet. Metod att utföra bildbehandlingsoperationer såsom objektigenkänning eller linjär/icke-linjär filtrering på en tvádimensionell bild, vilken är upptagen med i tvádimensionell matrisform anordnade ljuskänsliga sensorelement (l;4) av ljusintegrerande typ, dvs varje sensorelements utsignal svarar mot dess laddningstill- därav, att varje stånd, k ä n n e t e c k n a d sensorelements laddningstillständ, svarande nun: den mot sensorelementet infallande ljusintensiteten, jäm- (12) att för varje sensorelement kontinuerligt konstateras föres med ett förinstâllbart referensvärde och huruvida sensorelementets (1;4} utsignal uppnått refe- rensvärdet (12) eller ej. k ä n n e - (12) får variera så, att ett förutbestämt samband exempel- Metod enligt patentkrav 1 eller 2, t e c k n a d därav, att nämnda referensvärde vis en linearisering uppnås mellan ljusintensiteten och den tidpunkt, då sensorelementets utsignal uppnått referensvärdet. 2 eller 3, k à t e c k n a d därav, att en grupp av sensorelement i Metod enligt patentkrav 1, n n e - lO 15 20 25 30 35 SÜÛ 632 11 matrisen sorteras i en följd svarande mot ordnings- följden av att sensorelementens utsignal passerar nämnda referensvärde, vilket innebär en medianfiltre- ring (fig 4). Metod enligt patentkrav ln 2 eller 3, k:ä n n e - t e c k n a d därav, att det sensorelement identi- fieras vars utsignal först passerar referensvärdet, vilket innebär detektering av ljusaste punkten i bilden (fig S). Metod enligt patentkrav 1, 2 eller 3, k ä n n e - t e c k n a d därav, att i en grupp av sensorelement i matrisen, konstateras huruvida hos en förutbestämd kombination av sensorelement utsignalen uppnått refe- rensvärdet, medan övriga sensorelement i gruppen ej gjort detta, vilket är liktydigt med en morfologisk operation (fig 6a, 6b). Metod enligt patentkrav 1, 2 eller 3, k ä n n e - t e c k n a d därav, att för varje sensorelement ackumuleras pulser, vilkas antal, då utsignalen uppnår referensvärdet, är ett digitalt värde på ljusintensi- tet . Metod enligt patentkrav 7, k ä n n e t e c k n a d därav, att nämnda pulser alstras med variabel frek- vens, så att ett förutbestämt samband, exempelvis en linearisering uppnås mellan och ljusintensiteten och dess motsvarande digitala värde. Metod enligt patentkrav 1, 2 eller 3, k ä n n e - t e c k n a d därav, att i en grupp av sensorelement i matrisen, till varje element i gruppen tillordnas en filterkoefficient och att för varje sensorelement hos vilket utsignalen uppnått referensvärdet successivt ackumuleras tillhörande filterkoefficient, vilket är liktydigt med en linjär filtrering (fig 7). 10 15 20 25 30 UW CD CI.) ll. 12. 13. un! i\J 12 Metod enligt patentkrav 9, k ä n n e t e c k n a d därav, att den successiva ackumuleringen. sker med variabel frekvens, så att ett förutbestämt samband, exempelvis en linearisering, uppnås mellan ljusinten- siteten och den tidpunkt, då sensorelementets ladd- ningstillstànd uppnått referensvärdet. Anordning för utförande av metoden enligt patentkrav 1 eller 2, innefattande ett antal på ett substrat anordnade sensorelement (1;4), vilka är på substratet tillordnad en jämförare till vart och ett av (5) inrättad att jämföra sensorelementets utsignal med ett förinställbart refererensvärde (12) och en subproces- sor (2;8), k ä n n e t e c k n a d därav, att varje subprocessor (2;8) komsten av kombinationer av sensorelement 93 är inrättad att konstatera före- (l;4) överskridit för vilka utsignalen överskridit resp nämnda referensvärde (12). Anordning enligt patentkrav ll, k ä n n e t e c k - n a d därav, att subprocessorn innefattar ett ackumu- latorregister (8a) inrättat antingen att räkna pulser, vilkas antal, då utsignalen uppnår referensvärdet (12), ett mått pà ljusintensiteten eller att successivt ackumulera koefficienter samhörande med en bildbehandlingsoperation under utförande. är Anordning enligt patentkrav ll, k ä n n e t e c k - n a d därav, att pà substratet är anordnat ett styr- bart propageringsnät (8b).