SE1000620A1 - Förfarande för hyperspektral bildanalys i realtid - Google Patents

Abstract

I denna patentansökan presenteras ett övergripande förfarande för att med hyperspektral bildanalys på ett effektivt och enkelt sätt mäta kemiska och strukturella egenskaper för olika objekt. En hyperspektral bild innehåller per pixel en spektral vågländsprofil med flera hundra variabler, att jämföras med en vanlig färgbild som per pixel innehåller ett värde för vardera rött, grönt, och blått. Förfarandet beskriver en metodik som är icke destruktiv och som till viss grad kan ersätta kostsamma och tidskrävande labbmätningar. Förfarandet kan till och med appliceras för att utföra mätningar i realtid för en produktionsprocess. Statistiska analysmetoder appliceras för att utifrån den hyperspektrala informationsmängden mäta kemiska och strukturella egenskaper. Analysförfarandet kan grovt delas upp i ett kalibreringssteg där ett analyssystem byggs upp för att ge stöd för klassificering och kvantifiering, och ett prediktionssteg där analyssystemet används för att utföra mätningar. I patentskriften beskrivs för uppfinningen viktiga lösningar för att kunna möjligöra förfarandet. Beskrivna lösningar behandlar bland annat viktiga övergripande problemställningar för konceptet, metodik för det statistiska förfarandet för att bland annat hantera de stora datamängderna och för att maximera noggrannheten för prediktioner och slutligen tekniska lösningar för att göra det praktiskt genomförbart att utföra mätningar i realtid.

Description

vilket ofta inte är fallet för ett inhomogent ämne. Vid användning av flera enpunktsmätare föreligger även problem med att synkronisera enpunktsmätarna med varandra.

En annan spektral analysmetod utgörs av hyperspektral (bild)analys. Med hyperspektral bildanalys kan en eller flera informationsmängder avseende ett obj ekts kemiska sammansättning och fysiska egenskaper samlas in. Problemet med att använda befintliga metoder av hyperspektral bildanalys är att den insamlade informationsmängden vanligen är mycket stor. lnformationsmängdens storlek medför att kända metoder kräver stor bearbetningskapacitet vid analys av inforrnationsmängden. Kravet på bearbetningskapacitet medför att mätningen och analysen svårligen kan ske i realtid i takt med att data genereras utan sker med tidsmässig fördröjning mellan tidpunkten för provtagningen och tidpunkten för analysen. Vid industriell produktion medför detta, vid avvikelser i obj ektets kemiska innehåll eller fysiska egenskaper, att en stor mängd, eller antal, av objektet hinner framställas innan avvikelsema uppmärksammas och åtgärdas. Detta kan i värsta fall innebära, särskilt för känsliga produkter i livsmedels- och läkemedelsbranschen, att hela batcher måste kasseras med mycket höga kassationskostnader som följd.

Ett problem med att utföra hyperspektral bildanalys i industriella processer är att det objekt som ska analyseras vanligen är under förflyttning på en transportör, ett transportband eller liknande. Befintliga tekniker för hyperspektral bildanalys i realtid har problem med att dessa inte är tillräcklig snabba för att klara av de hastigheter som många objekt framförs med på transportörer och transportband. För att hyperspektral bildanalys skall kunna användas måste transportörens hastighet sänkas drastiskt, eller än värre stoppas helt, vilket medför produktivitetsförluster i produktionsprocessen.

Det föreligger även problem med att befintliga system och förfaranden för att utföra hyperspektral bildanalys enbart är avsedda att användas för en eller ett fåtal applikationer.

Olika applikationer medför att olika system utvecklas, respektive köps in, vilket är kostsamt.

Inom de specifika applikationema där förfarandet enligt den föreliggande patentansökan används föreligger problem som förfarandet löser. Vid beredning och tillverkning av livsmedel föreligger exempelvis problem med variationer i det tillverkade livsmedlets kvalitet, såväl kemisk, sensorisk, strukturell som temporal. I dagsläget analyseras ostkvalitet via stickprov där ett prov tas från osten varefter provet förflyttas till ett laboratorium där provet analyseras. Ett specifikt problem vid analys av ost är att ost till sin natur är inhomogen (heterogen), vilket medför att det kan vara svårt att få relevant information från enskilda stickprov. De ostproducerande företagen vet i dagsläget inte med säkerhet hur stora variationema i kvalitet är mellan enskilda ostar. Om ett prov visar på avvikelser är det svårt att veta hur stort parti av osten som skall kasseras. I slutänden kan ostens kvalitetsvariationer medföra att kundens upplevda tillfredsställelse med den erhållna osten inte ligger i paritet med antigen kundens förväntningar eller kundens tidigare erfarenheter av samma typ av ost. Detta kan i värsta fall medföra att kunden slutar köpa osten från tillverkaren i fråga. Okontrollerade kvalitetsvariationer kan också leda till försämrat maskinutnyttjande vid i tillverkningsprocessen.

Känd teknik System och metoder för att utföra och genomföra hyperspektral bildanalys är sedan tidigare kända. Exempelvis beskrivs i patentskriften WO2008099407 en metod för genomförande av hyperspektral bildanalys. Det i patentskriften beskrivna förfarandet skiljer sig i stor omfattning från det granskade förfarandet. Exempelvis är systemet i patentskriften inte avsett att användas vid mätningar i realtid.

Ett system för att utföra hyperspektral bildanalys beskrivs även i patentskriften WO2006102640, av sökande Infotonics Technology. I patentskriften beskrivs ett system för att använda hyperspektral bildanalys i medicinska sammanhang eller livsmedelssammanhang.

Systemet skiljer sig i stor omfattning från det granskade systemet.

Linjeskarmers är sedan tidigare kända i ett antal olika varianter. Ett exempel på linjeskanners marknadsförs av företaget Specim. Även företagen Neo och Headwall marknadsför varianter av linj eskanners. Linj eskanners bygger ofta på så kallad Pushbroom teknik.

Metoder för att övervaka osttillverkning med hjälp av spektral analys är sedan tidigare kända.

Exempelvis beskrivs i patentskriften US200903 05423 en metod för att utvärdera ost med ett eller flera IR spektra vid åtminstone en punkt. Förfarandet bygger på att ett eller flera prov tas från ostama och analyseras vid sidan av produktionslinan. Metoden skiljer sig i stor omfattning från metoden enligt den föreliggande patentansökan genom att denna använder förestörande provtagning. Vidare analyseras inte ostens fysiska egenskaper såsom hål, sprickor, färg och liknande. Förekomsten av främmande objekt såsom mögel, plast och liknande kan heller inte identifieras med förfarandet enligt patentskriften.

I patentskriften WO2007000l 66 beskrivs en metod för att samla in och analysera spektral information från exempelvis ost. Den i patentskriften beskrivna metoden skiljer sig i stor omfattning från metoden i enlighet med den föreliggande uppfinningen. Exempelvis genomförs provtagningen genom att sensor eller liknande förs ner i osten. Den i patentskriften beskrivna förfarandet använder förstörande provtagning. Vidare sker ingen mätning eller analys av ostens fysiska egenskaper såsom hål, sprickor, färg och liknande. Förekomsten av främmande objekt såsom mögel, plast och liknande kan vidare inte identifieras med förfarandet enligt patentskriften.

Med ovan nämnda problem och kända teknik i beaktande föreligger ett behov av ett generellt förfarande för hyperspektral bildanalys där analysen av den insamlade informationen sker med multivariat analys. Ändamålen med den föreliggande uppfinningen Det huvudsakliga ändamålet med den föreliggande uppfinningen är att åstadkomma ett förfarande och ett system som löser ovan nämnda problem. Ett annat ändamål med den föreliggande patentansökan är att åstadkomma ett förfarande vilket kan användas för ett stort antal olika typer av applikationer. Ett ytterligare ändamål med den föreliggande uppfinningen är att skapa ett förfarande där provning väsentligen sker genom ickeförstörande provning (provtagning). Det är även ett syfte med den föreliggande uppfinningen att åstadkomma ett förfarande där den hyperspektrala bildanalysen sker via multivariat analys. Ett ytterligare annat ändamål är att åstadkomma ett förfarande med vilket den hyperspektrala bildanalysen kan ske i realtid. Ett ännu ytterligare ändamål med den föreliggande uppfinningen är att kalibreringsförfarande kan utföras utifrån referensvärden på utvalda parametrar eller utifrån strukturella egenskaper hos objekten, samt att kalibreringsförfarandet kan utföras automatiskt i realtid.

Kortfattad beskrivning av i följande stycken hänvisade figurer I den följande detaljerade beskrivningen av den föreliggande uppfinningen kommer hänvisning och referenser till följande figurer att ske. Dessa beskrivs kortfattat i den följande figurförteckningen. De i figurema exemplifierade utföringsforrnerna är inte begränsande för skyddsomfånget för den föreliggande patentansökan. Notera att figurerna är schematiska och att detalj er därmed kan vara utelämnade i dessa.

Figur 1 visar schematiskt ett förfarande för genomförande av multivariat, hyperspektral bildanalys i enlighet med en första utföringsform av den föreliggande uppfinningen.

Figur 2 visar identifikation och separation av mätobj ekt från bakgrund samt identifikation av strukturell avvikelse/egenskap på mätobj ektet Figur 3 visar ett hierarkiskt modellsystem för klassificering och kvantifiering.

Figur 4 visar schematiskt en utrustning avsedd att användas i provmätningar.

Figur 5 visar kalibreringsförfarande On-line.

Detaljerad beskrivning av uppfinningen I följ ande stycken kommer ett förfarande för att med hyperspektral bildanalys, mäta och analysera obj ekts (produkters) kemiska sammansättning och fysiska egenskaper att beskrivas.

Förfarandet kan grovt sett delas upp i två nivåer. I den första nivån byggs ett modellsystem (strukturerat system av statistiska modeller) upp så att det utifrån hyperspektrala datamängder kan mäta kemiska och strukturella egenskaper för ett objekt (produkt). I nästa nivå appliceras modellsystemet för att i realtid mäta de i den föregående definierade nivån definierade egenskaper. Förfarandet kan användas inom en mängd applikationsområden såsom inom livsmedels- och läkemedelsindustrin och fyller en viktig funktion för kvalitetskontroll genom klassificering och kvantifiering av relevanta kemiska och strukturella egenskaper. De genom förfarandet mätta egenskaperna jämförs sedan med ett eller flera fördefinierade värden (intervall) som är relevanta för produktens kvalité. Förförande ger en unik fördel i och med att det kan ersätta kostsamma och tidskrävande labboratoriemätningar med en snabb och icke destruktiv metodik. I vissa fall kan förfarandet utöver att effektivisera analyser till och med möjliggöra mätningar av annars svårkaraktäriserbara egenskaper såsom att beskriva distribution av kemiska och strukturella egenskaper över en yta. Inom förfarandets första nivå byggs analyssystem upp för att optimalt kunna mäta för applikationsområdet relevanta variabler eller beskriva viktiga strukturella egenskaper. På en global prediktionsnivå kan förfarandet användas för att utifrån en produkts hyperspektrala informationsmängd identifiera vilken typ den är av och utifrån det automatiskt välja ut ett specifikt applicerbart modellsystem och mäta de för modellsystemets karaktäriserbara egenskaper. Förfarandet ger även möjlighet att automatiskt förbättra modellsystemens prediktionsegenskaper genom att avgöra om nya provmätningar tillför ny potentiellt informativ variation. I fall att beskrivningsgraden och prediktionsförrnågan förbättras kan modellsystemet automatiskt uppdateras.

Med hänvisning till figur 1 visas schematiskt ett utföringsexempel av det föreliggande förfarandet. Förfarandet i det exemplifierande förfarandet utgörs av åtta steg. I alternativa utföringsformer kan förfarandet definieras med flera eller färre steg. Stegen kan vidare definieras med andra för ändamålet lämpliga benämningar vilka innefattas av grundintentionerna i den föreliggande patentansökan. Två eller flera steg kan även slås samman till ett steg.

I det första steget, benämnt problemställning, i det övergripande förfarandet analyseras de applikationsspecifika förutsättningama och de problem som råder inom den specifika applikationens tekniska område. Exempelvis identifieras de parametrar/egenskaper som är relevanta att analysera for ett objekt inom den specifika applikationen. Dessa parametrar kan exempelvis vara avgörande för objektets kvalitet. Med parameter menas exempelvis objektets (produktens) kemiska sammansättning och egenskap i sin helhet. Vidare kan med parameter avses specifika ämnen/föreningar och dess koncentration i obj ektet. Vidare avses med parameter även faktorer avseende obj ektets fysiska form samt obj ektets fysiska egenskaper.

Med variabler avses även andra mätbara storheter som har en avgörande betydelse för objektets egenskaper såsom strukturella avvikelser, förekomsten av oönskade kemiska föreningar, föremål och liknande.

I fórfarandets steg två, benämnt försöksupplägg, utarbetas ett fórsöksupplägg med utgångspunkt från de analyserade problemställningama och de identifierade relevanta parametrarna. Försöksupplägget innebär att minst en provmätning, med en ickedestruktiv metodik såsom hyperspektral mätning, och minst en referensmätning planeras.

Företrädesvis planeras ett flertal olika provmätningar och minst en referensmätning I förfarandets steg tre, benämnt provmätningar, genomförs de i steg två planerade provmätningama. Provmätningama är avsedd att avgöra förekomsten av och mängden av relevanta kemiska ämnen i objektet utifrån insamlad spektralinforrnation (rådata) från objektets yta eller dess djupmässiga närhet. Via provmätningama kan intervall för nonnala variationer av obj ektets kemiska sammansättning för respektive variabel framräknas och bestämmas.

Vid informationsinsamlingen bestrålas objektet av minst en elektromagnetisk strålningskälla.

Den bestrålade ytan absorberar och reflekterar strålning av olika våglängder i olika omfattning. Den av det bestrålade objektet (och ytan som objektet är placerad på) reflekterade strålningen registreras med minst en sensor såsom företrädesvis minst en hyperspektral sensor, kamera eller liknande. Den av kameran (sensom) detekterade reflekterade strålningen omvandlas till minst tredimensionella informationsmängder (inforrnationskuber) som innefattar minst två spatiala dimensioner och minst en spektral dimension. Vid provmätningarna skannas både objektets yta, avvikelser på obj ektets yta och delar av bakgrunden (figur 2). De insamlade informationsmängdema lagras på ett för ändamålet lämpligt stationärt eller portabelt lagringsmedium som exempelvis i en hårdisk i exempelvis en dator ansluten till kameran.

I den exemplifierande utföringsforrnen utgörs kameran av en hyperspektral linjeskarmer. Med linjeskannem samlas information in linje för linje där respektive linje är uppbyggd av delinforrnationsmängder för varje pixel (koordinat). Den sekventiella inmätningen av linjer ger upphov till en tredimensionell informationsmängd (såsom exempelvis informationskuber) innefattande minst två spatiala dimensioner och minst en spektral dimension. Vid inmätning är företrädesvis den spektrala dimensionen hyperspektral och skapar ett spektrum där antal våglängder (variabler) överstiger 19 men i många fall till och med överstigande 100 våglängder. F örfarandet kan även infatta analys av multispektrala inforrnationsmängder med ett färre antal våglängder och som ej nödvändigtvis representerar en kontinuerlig spektral profil. Hänvisningar till hyperspektrala inforrnationsmängder i patentskriften kan direkt bytas ut för att även gälla för multispektrala informationsmängder. I det exemplifierade utförandet under såväl kalibreringsförfarandet som prediktionsförfarandet normaliseras automatiskt den hyperspektrala informationsmängden mot ett referensobj ekt med hög känd absorbansnivå.

Norrnaliseringsförfarande har många tänkbara praktiska utförningsformer där referensobjektet automatiskt utan att störa inmätningsprocessen i övrigt förs till mätuppställningen, exempel på detta är genom en utfällbar arm eller en vagga. Även om användande av en hyperspektral linjeskarmer beskrivs i denna patentansökan är användande av en linj eskanner inte begränsande för skyddsomfånget för det granskade förfarandet. I alternativa utföringsformer kan andra för ändamålet lämpliga utrustningar användas för att samla in den hyperspektrala informationsmängden.

Efter provmätningen märks objektet på ett för ändamålet lämpligt sätt. Märkningen kan exempelvis ske genom att objektet förpackas i en för objektet lämplig förpackning och att förpackningen (eller objektet) förses med en märkning såsom streckkod eller med en annan för ändamålet lämplig märkningsmetod. I altemativa utföringsforrner är det tänkbart att objektet i sig märks.

I steg fyra, benämnt referensmätningar, förs det i steg tre provmätta och märkta objektet till ett labb eller liknande där en eller flera referensmätningar genomförs. I labbet sker en omfattande mätning och analys av de parametrar som i steg ett bedömts som relevanta.

Referensmätningar sker med för ändamålet lämpliga tekniker vilka inte behöver vara av typen spektral analys. Teknikerna utgörs av sedan tidigare kända tekniker eller i framtiden utvecklade tekniker. Dessa tekniker kan vara av för objektet förstörande karaktär. Genom märkningen av objektet kan informationen erhållen via provmätningen och referensmätningen kopplas ihop.

I förfarandets steg fem, benämnd analysfas, sker en statistisk/matematisk analys av den insamlade informationsmängden (spektrala informationskuber) från provmätningarna. Vid analysfasen sker initialt en klassificering av informationsmängden i minst två klasser med minst en klassificeringsalgoritm. Företrädesvis klassificeras inforrnationsmängden i ett flertal olika klasser.

I figur 3 exemplifieras klassificeringen med en global modell vilken är uppbyggd på ett flertal lokala applikationsspecifika modeller. Med den globala modellen kan klassificeringen ske på ett flertal olika nivåer. På en övergripande nivå skiljs mellan objekt (prov) och bakgrund (figur 2). Provet kan därefter klassificeras efter vilken typ av objekt som objektet utgörs av såsom exempelvis livsmedel, läkemedel med flera typer av objekt. Objektet kan även klassificeras som okänt. Att okänt ämne kan identifieras i och med att det avviker från vad som är tidigare känt och behöver inte tidigare ha kalibrerats in i någon modell. Livsmedlet kan därefter klassificeras såsom mej eriprodukt, kött eller okänt. Mejeriprodukten kan i sin tur delas i underklassen ost, vilket exemplifieras i den senare redovisade ostapplikationen. Vid ostapplikationen kvantifieras kemiskt innehåll såsom förekomst av vatten, fett och med flera kemiska föreningar. Vidare klassificeras och kvantifieras förekomsten av fysiska strukturer som är relevanta för ostapplikationen i fråga, exempelvis hål, sprickor och liknande strukturella variationer. Genom kombinationen av multivariat modellering och bildanalys kan delobj ekt och delstrukturer identifieras utifrån dess kemiska egenskaper som i förfarandet representeras som latenta variabler. Detta är i sin tur användbart vid utarbetning av modeller som korrelerar referensmätta parametrar och spektrala inforrnationsmängder. Strukturella avvikelser och ickerepresentativa delobj ekt kan då exkluderas från kalibreringsförfarandet.

Det är även unikt för det föreliggande förfarandet att ett statistiskt urval av relevanta delinfonnationsmängder (spektrum) sker för varje klass. Urvalet av representativa spektrum för de olika klasserna styrs av statiska metoder för att maximera inforrnationsinnehållet och att för att i förlängningen ge så bra beskrivning som möjligt av referensmätta parametrar.

Genom förfarandet kan antalet delinforrnationsmängder (spektrum) och därigenom den totala datamängden reduceras i stor omfattning vilket medför att mindre minnesutrymme krävs för lagring av informationsmängden. Exempelvis kan en datamängd om 100 MB minskar till par MB. Bearbetningen av filema går även fortare vid modelleringen.

Urvalsförfarandet har även inneburit en oväntad teknisk effekt genom att detta löser obalansproblem med klassificeringsmodeller såsom PLS-DA. Innebörden av detta är att om en stor obalans i antalet spektrum i olika klasser föreligger sker genom ett statistiskt urval en minskning av antalet spektrum i klassen med högre antal spektrum. En alternativ utföringsforrn är att genom ett simuleringssteg utöka antal spektrum i den mindre representerade klassen. Detta förfarande ger noggrannare och mer tillförlitliga prediktioner för de parametrar som i tidigare steg referensmätts.

Vid analysen sker även en sammanslagning av den spektrala rådatan (informationsmängden) från provmätningarna och resultatet från referensmätningama. I altemativa utföringsformer kan alla, eller vissa, referensvärden för parametrarna hämtas från en eller flera databaser. Som ett exempel kan värden från referensmätningar läggas till i databasen i samband med att de mäts på labb. I ett statistiskt analyssteg korreleras informationsmängden från provmätningama 10 med resultatet från de genomförda referensmätningama. De sammanslagna infonnationsmängderna analyseras av minst en programvara.

I steg sex, benämnt Modellsystem, skapas minst en specifik modell eller modellsystem. Med programvaran utvecklas (modelleras) minst ett applikationsspecifikt modellsystem innefattande minst en klassificeringsmodell och företrädesvis minst en kvantifieringsmodell för respektive specifika applikation. Vidare utarbetas strukturerade arbetsflöden for att användas i realtid med avseende den specifika applikationen.

Den beräkningsmotor som används för kvantifiering och klassificering i realtid är optimerad för maximerat processor- och minnesnyttj ande. Strukturen för det sammansatta arbetsflödet är uppbyggt för att ge stöd för denna funktionalitet. Detta medger att beräkningar parallelliseras genom att antingen beräkningar for enskilda modeller och/eller delinforrnation mängder kan läggas ut på olika processorer for att ge så hög beräkningseffektivitet som möjligt.

Behandlingen av infomiationsmängden sker sekventiellt eller parallellt.

Kombinationen av ett multivariat modelleringsforfarande och optimerat processorutnyttj ande i prediktionsmotom gör att det inte är nödvändigt att begränsa statistisk analys och prediktion till att utgå från endast ett fåtal informativa våglängder. Det ovan nämnda begränsningssteget kallas variabelselektion och genomförs ibland eftersom vissa statistiska metoder inte kan analysera dataset med många korrelerade våglängder och att prediktionsmotorn inte har kapacitet att hantera de stora informationsmängder som är vanli ga vid hyperspektral bildanalys.

I förfarandets steg sju, med benämningen At-line Prediktion, används modellsystemet vid sidan av produktionslinan eller liknande, för att klassificera och kvantifiera tidigare referensmätta parametrar. Prov tas från produktionslinan eller leds av till en parallell lina (eventuellt miniatyriserad) och mäts med den hyperspektrala analysutrustningen. I det fallet att det nya provet innehåller ny variation ej tidigare representerad i modellsystemet så sker en kontinuerlig finjustering av modellsystemet via ytterligare utförda referensmätningar och uppdatering av statistiska modeller. Modellerna uppdateras automatiskt för att förbättra prediktionssäkerheten for systemet. 11 I förfarandets steg åtta, benämnd Intergration On-line, integreras ett applicerbart modellsystem (utvecklat i steg 6) On-line i produktionslinan eller liknande. I On-line läget kan de parametrar som referensmätts i steg 4 och statistiskt modellerats i steg 5 automatiskt mätas i realtid genom applicering av ett utarbetat modellsystem. Modellsystemet som används för mätningen består av en eller flera multivariata modeller. Unikt med den föreliggande uppfinningen är att direkt när kameran samlat in en inforrnationsmängd sker en prediktion via minst en programvara innefattande minst en algoritm. En tänkbar applikation är att en informationsmängd som beskriver ett helt objekt först samlas in innan prediktionen utförs.

Detta kan till exempel vara nödvändigt om delstrukturer ska identifieras eller att en parameter ska mätas för ett helt objekt. Programvaran kan utgöras av Umbio Real-time utvecklat av företaget Umbio AB.

Med hänvisning till figur 5 visas kalibreringsförfarandet vid On-line mätning. När ny, ej identifierad, variation i den hyperspektrala informationsmängden från On-line mätningama av objektet påvisats avger systemet ett larm eller liknande om detta. För att identifiera den nya variationen tas objektet ut från produktionslinan och analyseras via en ny referensmätning.

Den nya referensmätningen identifierar vad avvikelsen utgörs av. Den identifierade avvikelsens spektrala signatur och definition såsom benämning integreras i modellsystemet.

Nästa gång den identifierade avvikelsen förkommer i en On-line mätning identifieras denna med sin definition. Med tiden kommer ett alltmera fullständig modellsystem att utvecklats genom användandet av förfarandet. Genom förfarandet kan modellsystemet initialt innehålla en tom eller generell modell som mer eller mindre automatisk kalibreras (trimmas in) genom att förfarandet (modellsystemet) sj älv bestämmer vilka prover som kan tillföra störst ny varians till modellsystemet. I en utföringsforrn sker kalibreringen av modellsystemet helt automatiskt. Detta medför att manuella försöksupplägg och kalibreringar kan minskas eller i vissa fall helt undvikas.

Applikation för hyperspektral bildanalys av livsmedel såsom hårdost Det föreliggande förfarandet, för hyperspektral bildanalys i realtid, kan med fördel användas vid undersökningar av livsmedel såsom exempelvis ost, bröd, kött eller andra varianter av livsmedel. I den exemplifierande utföringsformen av den föreliggande patentansökan utgörs livsmedlet av någon sort av hårdost. 12 I en exemplifierande utföringsform används den hyperspektrala bildanalysen för att mäta egenskaper i ost. I det första steget i förfarandet identifieras ett antal parametrar vilka är intressanta att mäta och kan bidra till att ge en ökad förståelse om produktens kvalitet och dess variation. Inom en specifik applikation såsom hårdost föreligger vissa övergripande uppdelningar såsom typ av hårdost. Respektive osttyp har en specifik kemisk sammansättning som medför olika specifika egenskaper såsom smak, lukt med flera. Ett första ställningstagande kan vara att avgränsa vilken osttyp som ska analyseras.

Vidare beaktas om dessa parametrar kan definieras på ett tydligt sätt och om det finns potential att mäta dessa genom hyperspektral bildanalys. Exempel på intressanta kemiska parametrar (egenskaper) att mäta är vattenhalt, salthalt, fetthalt, proteinhalt med mera.

Parametrar avseende ostens struktur såsom antalet hål, fördelning av hål och förekomst av sprickor är även intressant att mäta. Strukturella variationer kan påvisas även om objektet har homogen kemisk sammansättning. Detta är möjligt genom scattereffekter som påverkar ljusspridning. Med det föreliggande förfarandet kan även sensoriska parametrar såsom exempelvis tuggmotstånd, kletighet och hårdhet analyseras. Även förekomsten av andra avvikelser i förhållande till det normala kan analyseras. Avvikelsema kan utgöras exempelvis av oönskad förekomst av mögel, plast, missfårgningar, metall, insekter och liknande i eller på osten. Mögel kan med det föreliggande förfarandet påvisas före det att möglet är synligt för blotta ögat på osten. Avvikelser kan även utgöras av variation i fördelningar (homogenitet) av råmaterialet i osten. Ett övergripande mål för förfarandet kan vara att på en global nivå kunna beskriva de ovan nämnda parametrarna. Ett första steg skulle då vara att identifiera osttyp och då bör osttyp finnas med som en övergripande parameter vid problemställning och försöksupplägg.

I steg två läggs ett försöksupplägg upp för att bestämma vilka mätningar ska göras i förfarandets följ ande steg. Försöksupplägget designas för att säkerställa så att den informationsmängd som genereras vid de hyperspektrala provmätningama och referensmätningarna kan analyseras för att bygga upp ett applicerbart modellsystem. Av vikt är att besluta om hur många provmätningar som behöver genomföras för att en statistisk relevant provserie skall kunna analyseras.

I förfarandets steg tre genomförs minst en provmätning där minst en hyperspektral informationsmängd samlas in med en utrustning schematiskt visad i figur 4. Utrustningen, 13 benämnd variationsmätare, innefattar företrädesvis en hyperspektral linj eskanner med integrerad belysning med vilken hyperspektrala informationsmängder samlas in från den reflekterade strålningen från osten. Utrustningen innefattar vidare minst ett styrsystem, minst en dator och minst en programvara. Linjeskannern använder företrädesvis så kallad Pushbroom teknik. Linjeskarmern arbetar exempelvis med en frekvens om 100 Hz. Det är tänkbart att samplingshastighet för skarmem varierar i stor omfattning inom ramen för den föreliggande patentansökan. Företrädesvis arbetar kameran (skannem) inom vâglängdsområdet 400-2500 nm. Vid scanningen placeras objekt på ett transportband eller liknande varefter osten förflyttas efter bandet i riktning mot kameran (skannem). Vid skanning med en linjeskanner (linjekamera) sker skanningen av osten linje för linje. Vid skanningen samlas rådata in och lagras i ett för ändamålet lämpligt media såsom en hårdisk eller liknande. I alternativa utföringsformer är det tänkbart att osten och kameran förflyttas inbördes genom att osten står stilla och kameran rör sig eller att både kameran och osten rör sig. Skanningen kan även ske med teknik där både osten och kameran står stilla såsom exempelvis beskrivs i patentskriften US6l663 73.

Efter provmätningen märks osten på ett för ändamålet lämpligt sätt. Exempelvis kan osten förpackas i en för osten lämplig förpackning som förses med en för ändamålet lämplig märkning såsom en streckkod.

I steg 4 genomförs en referensmätning av osten. Detta genomförs genom att osten förs till ett labb eller liknande. I labbet sker en omfattande mätning och analys av de kemiska , sensoriska och strukturella parametrar som i steg ett bedömts som relevanta att undersöka för osten ifråga.

I steg 5 sker en statistisk analys av resultatet från de hyperspektral provmätningarna och resultatet från referensmätningama. Vid analysen sker en bearbetning (sammanslagning) av referensdata (inforrnationsmängd) och den spektrala rådatan (informationsmängden) från provmätningarna. De sammanslagna inforrnationsmängderna analyseras av en specifik programvara såsom av sökandes Umbio Evince Image. Programvaran utarbetar (modellerar) minst en specifik modell eller modellsystem företrädesvis utarbetas minst en eller flera multivariata modeller och arbetsflöden tas fram avseende den specifika applikationen. 14 I steg sex, benämnt Modellsystem, skapas ett modellsystem som kan användas för att prediktera de kvalitetsrelaterade parametrar som identifierats i problemställning och försöksupplägg. Det applikationsspecifika modellsystemet innefattande minst en klassificeringsmodell och företrädesvis minst en kvantifieringsmodell för respektive speciflka applikation. Noggrant framtagna modellsystem kan sedan appliceras för att i realtid mäta de parametrar som lagts in i försöksupplägget. Det framtagna modellsystemet överförs till ett strukturerat arbetsflöde som används av en optimerad prediktionsmotor för att göra realtids prediktioner både At-line och On-line. Den beräkningsmotor som används för kvantifiering och klassificering i realtid är optimerad för maximerat processor- och minnesnyttjande.

Strukturen för det sammansatta arbetsflödet är uppbyggt för att ge stöd för denna funktionalitet. Detta medger att beräkningar parallelliseras genom att antingen beräkningar för enskilda modeller och/eller delinforrnation mängder kan läggas ut på olika processorer för att ge så hög beräkningseffektivitet som möjligt. Behandlingen av infomiationsmängden sker sekventiellt eller parallellt.

I förfarandets steg sju, med benämningen At-line Prediktion, används modellsystemet vid sidan av produktionslinan eller liknande, för att klassificera och kvantifiera tidigare referensmätta parametrar. Prov tas från produktionslinan eller leds av till en parallell lina (eventuellt miniatyriserad) och mäts med den hyperspektrala analysutrustningen. I det fallet att det nya provet innehåller ny variation ej tidigare representerad i modellsystemet så sker en kontinuerlig finjustering av modellsystemet via ytterligare utförda referensmätningar och uppdatering av statistiska modeller. Avvikelserna kan exempelvis bero på säsongvariationer i råvaromas kemiska innehåll. Säsongsvariationerna kan exempelvis bero av att koma äter annan typ av foder under sommaren än under vintem vilket kan medföra variation i mjölkens kemiska sammansättning. Avvikelsen kan även utgöras av ett föremål eller liknande som hamnat i eller på osten. Unikt med den föreliggande uppfinningen är att direkt när kameran samlats in information sker en prediktion via minst en programvara innefattande minst en algoritm. Unikt att med det föreliggande förfarandet att bearbetning av informationsmängden (med ingående delinformationsmängder såsom spektrum) och modelleringen sker med parallella processer. Den parallella behandlingen av infonnationsmängden och modelleringen kan exempelvis ske genom att flerkärniga processorer och/eller flera processorer används.

Programvaran kan utgöras av Umbio Real-time utvecklat av företaget Umbio AB. Även metadata avseende batch, operatör, anläggning och andra relevanta metadata samlas in. 15 I förfarandets steg åtta implementeras förfarandet on-line i produktionen. Detta steg har stora likheter med steg åtta, men istället för att utföra prediktioner vid sidan av produktionslinan på variationsmätaren integreras utrustningen direkt över den faktiska produktionslinan. På detta sätt kan och förfarandet används som ett applicerbart mätinstrument för att övervaka produktionsprocessen. De genom förfarandet mätta egenskaperna kan sedan sparas ut så att de kan jämföras med metadata i form av processparametrar.

I den detaljerade beskrivningen av den föreliggande uppfinningen kan konstruktionsdetalj er och delförfaranden vara utelämnade som är uppenbara för en fackman inom det område förfarandet och anordningen avser. Sådana uppenbara konstruktionsdetalj er och delförfaranden ingår i den omfattning som krävs för att en fullgod funktion skall erhållas för det föreliggande förfarandet och anordningen. Även om vissa föredragna utföringsforrner redovisats mera i detalj, kan variationer och modifieringar av förfarandet och anordningen komma att framgå för fackmännen inom det område uppfinningen avser. Samtliga sådana modifieringar och varianter anses falla inom ramen för de efterföljande patentkraven. Exempelvis är de angivna användningsområdena inte begränsande för skyddsomfånget för förfarandet i enlighet med föreliggande patentansökan, utan förfarandet kan användas för att identifiera avvikelser i ett mycket stort antal objekt och produkter där förfarandet är lämpligt att använda. Det är även tänkbart att informationsinsamlingen kan ske med hjälp av annan för ändamålet lämplig teknik.

Det är vidare tänkbart att mätningar sker för andra våglängdsområden än det nära infraröda området, beroende på lämplighet för ändamålet. Vid beskrivning av hyperspektral datainsamling är det även tänkbart att data samlas in genom att variera strålkällans frekvensområde. Det är att jämföra med den i förfarande beskrivna ansatsen då man har en strålkälla av konstant karaktär och att man använder sig av en sensor som parallellt mäter ett flertal våglängder. Dessa två ansatser ger båda en hyperspektral datamängd vilket är det som är av vikt för beskrivandet av förfarandet. En annan tänkbar möjlighet är att istället för att mäta absorbans eller reflektans mäta genomlysning av strålning genom ett objekt, så kallat transmittans.

Fördelar med uppfinningen 16 Med den föreliggande uppfinningen uppnås ett antal fördelar. De mest uppenbara är att ett övergripande metod skapas med vilken ett flertal olika applikationsspecifika förfaranden, som är anpassade efter den specifika applikationen, för predíktion av avvikelser i det kemiska innehållet och fysiska egenskaperna applikationsspecifika objekt, kan skapas. En annan fördel är att prediktionen sker i realtid utan att manuella prover, förstörande prover, behöver tas.

Uppfinningen kan utifrån ovan beskrivna egenskaper ge möjlighet till snabbare, mindre resurskrävande och i vissa fall ej tidigare möjliga mätningar. En annan fördel med den föreliggande uppfinningen är att förfarandet kombinerar bildanalys och spektroskopisk analys vilket ger en unik möjlighet att identifiera strukturer utifrån dess kemiska egenskaper. En ärmu ytterligare fördel med den föreliggande uppfinningen är att analysen sker med multivariata analysmetoder vilka har många eftersträvansvärda egenskaper vid analys av hyperspektralt data, såsom att analysmetoden kan hantera många korrelerade variabler. En viktig fördel med förfarandet är att det underlättar att migrera metodiken från utveckling och applicering i en labb miljö till att användas som en stabil mätmetod i realtid direkt i en produktionsprocess.

Claims (1)

1. 7 Patentkrav. 1. Metod för att utveckla minst ett applikationsanpassat förfarande fór att med hyperspektral bildanalys i realtid mäta och analysera avvikelser och variationer i det kemiska innehållet i och/eller de fysiska egenskaperna fór ett eller flera applikationsspecifika objekt (produkter) i förhållande till motsvarande referensvärden for det kemiska innehållet och/eller de fysiska egenskaperna for det applikationsspecifika obj ektet eller objekten kännetecknad av att metoden på en övergripande nivå kan indelas i två nivåer, vars forsta nivå innefattar minst ett kalibreringsfórfarande och att den andra nivån innefattar minst ett prediktionsfórfarande, vars kalibreringsforfarande innefattar utveckling av minst ett applikationsanpassat multivariat modellsystem genom att minst en programvara bearbetar och analyserar minst en hyperspektral informationsmängd från minst en provmätning av minst ett applikationsspecifikt objekt vars utvecklade applikationsanpassade modellsystem används i prediktionsfórfarandet i realtid. Metod i enlighet med patentkrav 1 kännetecknad av att programvaran innefattande iterativ klassificeringsmodell med vilken den hyperspektrala informationsmängden initialt klassificeras i minst två klasser av minst en klassificeringsalgoritm. Metod i enlighet med minst ett av tidigare patentkrav kännetecknat av att den klassificerade hyperspektrala informationsmängden kvantifieras av minst en kvantifieringsalgoritm. Metod i enlighet med minst ett av tidigare patentkrav kännetecknat av att minst en referensmätning för strukturell eller kemiska karaktärisering utförs for minst ett applikationsspecifikt obj ekt. Metod i enlighet med minst ett av tidigare patentkrav kännetecknat av att analysen är ickedestruktiv for obj ektet. Metod i enlighet med minst ett av tidigare patentkrav kännetecknat av ett kalibreringsforfarande på en global nivå innefattar ett forsta steg där applikationsspecifika problemställningar analyseras och relevanta parametrar påverkande objektets kvalitet identifieras, varefter ett forsöksupplägg med 18 provmätningar och referensmätningar med beaktande av problemställningar och identifierade parametrar i steg ett utarbetas, varefter provmätningar genomförs i ett tredje steg där ett stort antal minst tredimensionella hyperspektrala informationsmängder samlas in med minst en hyperspektral kamera, varefter i förfarandets steg fyra minst en referensmätning genomförs på motsvarande parametrar som genomfördes i provmätningarna i steg tre genomförs, varefter an analys av informationsmängderna i provmätningarna och referensmätningarna analyseras med minst en programvara i ett steg fem varefter applikationsspecifikt modellsystem innefattande minst en multivariat modell byggs upp i steg sex. 7. Metod i enlighet med minst ett av tidigare patentkrav kännetecknat av ett prediktionsförfarande vars applikationsspecifika modellsystem integreras i mätningar on-line där avvikelser i obj ektets kemiska innehåll och fysiska egenskaper predikteras utifrån obj ektets minst tredimensionella hyperspektrala informationsmängd . 8. Metod i enlighet med minst ett av tidigare patentkrav kännetecknad av att avvikelser i objektets kemiska innehåll och fysiska egenskaper medför att minst en ny referensmätning genomförs där variationen identifieras och integreras i ett automatiskt uppdaterat modellsystem. 9. Metod i enlighet med minst ett av tidigare patentkrav kännetecknad av att samtliga mätta våglängder kan användas i en prediktionsmodell i vilken inget behov på variabelselektion föreligger. 10. Metod i enlighet med minst ett av tidigare patentkrav kännetecknad av att strukturella delobjekt kan identifieras som delområden genom dess representation i form av latenta variabler. l 1. Metod i enlighet med minst ett av tidigare patentkrav kännetecknad av att en identifikation av delinformationsmängd att använda för att räkna ut korrelation mellan ett obj ekts spektrala signatur och dess uppmätta värde för en eller flera referensparametrar. 19 12. Metod i enlighet med minst ett av tidigare patentkrav kännetecknat av att de hyperspektrala informationsmängdema analyseras genom spektral klassificering varefter en spatial klassificering sker. 13. Metod i enlighet med minst ett av tidigare patentkrav kännetecknat av att analysen genomförs med hjälp av balanserade modeller. 14. Förfarande i enlighet med minst ett av tidigare patentkrav kännetecknat av att on-line mätningen sker med optimalt processorkapacitetsutnyttj ande. 15. Metod i enlighet med minst ett av tidigare patentkrav kännetecknat av att objektet utgörs av någon typ av livsmedel. 16. Metod i enlighet med minst ett av tidigare patentkrav kännetecknat av att objektet utgörs av mej eriprodukt. 17. Metod i enlighet med minst ett av tidigare patentkrav kännetecknat av att objektet utgörs av ost.