NO325882B1 - Fremgangsmate og system for automatisk klassifisering av fisk under vann. - Google Patents

Abstract

Det omtales en fremgangsmåte og system for automatisk klassifisering av fisk, både over og under vann, omfattende et kamerasystem innrettet til å ta bilder av fisken som passerer, og en analyseenhet innrettet til å motta og å analysere hvert bilde for å finne omrisset av fisken, og å dele opp fiskens omriss i et antall segmenter for analyse av hvert segment. Analyseenheten er videre innrettet til å analysere overganger eller kanter i hvert segment uttrykt ved overgangenes eller kantenes styrke og retning, for deretter å angi karakteristiske trekk til fisken, så som finner, øyne, striper langs fisken, mønster, etc., basert på analysen av overgangene eller kantene, og å sammenligne de karakteristiske trekkene med data av fisk i en kunnskapsdatabase for klassifisering av fisken, og å fremvise resultatet i et brukergrensesnitt.

Description

Den foreliggende oppfinnelse vedrører en fremgangsmåte og system for automatisk klassifisering av fisk under vann, omfattende et kamerasystem innrettet til å ta bilder av fisken som passerer, og en analyseenhet innrettet til å motta og å analysere hvert bilde for å finne omrisset av fisken, og å dele opp fiskens omriss i et antall segmenter for analyse av hvert segment.

Foreliggende oppfinnelse er en uvikling av et automatisk klassifiseringssystem for fisk, hvor systemet bestemmer fiskens art og størrelse ved hjelp av billedbehandling, og er tenkt brukt om bord på havforskningsfartøy og kommersielle fiskebåter.

Et kjent system omfatter en lyskasse og et kamerasystem som for eksempel er plassert over et transportbånd. Videre er det utviklet programvare som tar kontinuerlige bilder av båndet for å detektere når det kommer fisk. Det blir så tatt et bilde av fisken som analyseres for å finne størrelse og art. Systemet har som eksempel kapasitet til ca 8000 fisk pr. time ved en båndhastighet på 1.5 meter pr sekund.

Klassifisering av fisk kan for eksempel være basert på en metode som er utviklet av Norval Strachan ved Aberdeen University i 1993 (WO9409920). Metoden går ut på å analysere hvert bilde for å finne omriss av fisken, dele fisken opp i et vist antall segmenter og analysere fargen i hvert segment. Resultatet av analysen sammenlignes med tilsvarende analyser av kjent fisk, og danner grunnlag for klassifisering. Tester viser at det er mulig å oppnå en gjenkjennelsesgrad på 98-100 %, og nøyaktighet på lengdemåling på ca 1 %.

Det er videre kjent fra NO 167182 en fremgangsmåte for å sortere fisk, samt en fiskesorteringsinnretning.

Siden systemet er basert på fargeanalyse, er det avhengig av kontrollerte lysforhold. Dette oppnåes ved hjelp av lyskassen som gjør det mulig å kontrollere lystmengden og spektrum. Det vil ikke være mulig å benytte denne metoden for klassifisering av fisk uten at man har full kontroll med lyset, og den er derfor ikke brukbar for klassifisering av fisk i vann.

Det har vært jobbet med denne problemstillingen en tid, og resultatet er en ny metode for klassifisering av fisk som ikke er avhengig av konstante lysforhold. Analysen gjøres på samme bildet som tidligere, men analysemetoden er forskjellig. I stedet for å måle farger ser man på overganger eller kanter i bildet som beskrives ved hjelp av overgangens styrke og retning. Overgangene vil dermed angi karakteristiske trekk som finner, øyne, striper langs fisken, mønster, og lignende. Resultatet av analysen vil på samme måte som før bli sammenlignet med tilsvarende analyse av kjent fisk for å klassifisere fisken. Det er gjort prøver med denne nye metoden og det har blitt oppnådd lovende resultater.

Det er et formål med foreliggende oppfinnelsen å frembringe en løsning som vil kunne brukes for klassifisering av fisk også under vann, i tillegg til over vann, og som ikke er avhengig av konstante lysforhold. Bruksområder som kan tenkes er sortering av fisk etter art og størrelse i en fangstsituasjon (for eksempel i en trål). Det kan også tenkes at et slikt system kan benyttes av havforskere slik at de kan klassifisere fisken som fanges i en trål, uten at fisken blir tatt om bord, men svømmer fritt ut av enden på trålen.

Foreliggende fremgangsmåte og system skal kunne benyttes for gjenkjenning av alle kommersielle fiskearter, samt også fisk som er sløyd og hodeløs.

De overnevnte formål oppnås ved en fremgangsmåte som angitt i krav 1, hvori det beskrives en fremgangsmåte for automatisk klassifisering av fisk under vann, omfattende å plassere et kamerasystem under vann og å ta bilder av fisk som ledes forbi kamerasystemet, å analysere hvert bilde for å finne omrisset av fisken, og å dele opp fiskens omriss i et antall segmenter for analyse av hvert segment. Deretter utføres trinnene å analysere overganger i hvert segment uttrykt ved overgangenes styrke, så som mørkhetsgrad og retning, å angi karakteristiske trekk til fisken, så som finner, øyne, striper langs fisken, mønster, etc, basert på analysen av overgangene, og å sammenligne de karakteristiske trekkene med data av fisk i en kunnskapsdatabase for klassifisering av fisken, ved hjelp av diskriminasjonsanalyse.

Alternative utførelser av fremgangsmåten er kjennetegnet ved de uselvstendige kravene 2-4.

Etter at fiskens omriss er detektert, beregnes fortrinnsvis fiskens lengdeakse, hvorpå objektet kan normeres slik at lengdeaksen blir tilnærmet horisontal og fiskens hode vender mot venstre.

Fortrinnsvis genereres et bilde av fisken, for fremvisning av overganger til objektet, og å beskrive nevnte overganger ved hjelp av styrke, så som mørkhetsgrad, og retning.

Hver fisk kan deles i et antall like segmenter, uavhengig av fiskestørrelse og type, og å analysere overganger, som styrke og retning, innen hvert segment for dannelse av nevnte karakteristikk.

De overnevnte formål oppnås også ved et system som angitt i krav 5, ved at kamerasystemet er anordnet under vann, og at analyseenheten er innrettet til å analysere overganger i hvert segment uttrykt ved overgangenes styrke, så som mørkhetsgrad og retning, for deretter å angi karakteristiske trekk til fisken, så som finner, øyne, striper langs fisken, mønster, etc, basert på analysen av overgangene, og å sammenligne de karakteristiske trekkene med data av fisk i en kunnskapsdatabase for klassifisering av fisken, ved hjelp av diskriminasjonsanalyse, og å fremvise resultatet i et brukergrensesnitt.

Alternative utførelser av systemet er kjennetegnet ved de uselvstendige kravene 6-7.

Kamerasystemet kan være anordnet i en trål eller lignende som trekkes av et fartøy, og analyseenheten kan være anordnet om bord på fartøyet.

Nevnte trål eller lignende kan omfatte midler for å lede fisken kontrollert forbi kameraet.

Oppfinnelsen skal nå beskrives nærmere ved hjelp de vedlagte figurer, hvori:

Figur 1 viser et eksempel på et bilde av en torsk generert i henhold til foreliggende fremgangsmåte. Figur 2 viser eksempel inndeling i segmenter av en torsk, i henhold til foreliggende fremgangsmåte. Figur 3 viser tilsvarende som figur 1, et eksempel på en flekksteinbitt generert i henhold til foreliggende fremgangsmåte. Figur 4 viser tilsvarende som figur 1 og 3, et eksempel på en lodde generert i henhold til foreliggende fremgangsmåte. Figur 5 viser et eksempel på et av bruksområdene til foreliggende oppfinnelse under vann.

Systemet i følge foreliggende oppfinnelse omfatter et kamerasystem som er plassert over for eksempel et transportbånd med fisk som beveges forbi. Kameraet kan sammenhengende overvåke transportbåndet med fisken, og der kan også være anbrakt en høy-oppløselig måleverdigiver for å opprettholde kameraet synkronisert med bevegelsen til transportbåndet. En analyseenhet er forbundet med kameraet, hvor analyseenheten er innrettet til å motta bilder tatt av kameraet. Videre er analyseenheten innrettet til å analysere hvert bilde for å finne omrisset av fisken, og å dele opp fiskens omriss i et antall segmenter for analyse av hvert segment. Analyseenheten analyserer overganger eller kanter i hvert segment uttrykt ved overgangenes eller kantenes styrke og retning, for deretter å angi karakteristiske trekk til fisken, så som finner, øyne, striper langs fisken, mønster, etc, basert på analysen av overgangene eller kantene. Disse karakteristiske trekkene sammenlignes deretter med data av fisk i en kunnskapsdatabase for klassifisering av fisken.

I en utførelse (ikke vist) kan systemet være anordnet mer elle mindre samlet om bord i et fartøy. Dvs. at analyseenheten er anordnet i tilknytning til kameraet. Kunnskapsdatabasen kan omfattes i analyseenheten eller det kan være frembrakt en forbindelse til en ekstern database. Figur 5 viser en mulig videre anvendelse av et klassifiseringssystem under vann. Et forskningsfartøy 100 sleper en trål 110 hvor den bakerste delen omfatter i det minste deler av et klassifiseringssystem basert på overnevnte prinsipp. Når fisken har passert gjennom klassifiserings-systemet slipper den ut i sjøen igjen. Dette gjør det mulig for havforskere å klassifisere fisk i havet uten å ta den om bord. Resultatet kan sendes til fartøyet 100 gjennom kabel, trådløst ved hjelp av akustikk, eller lagres i klassifiserings-systemet til det blir tatt om bord. Således kan kameraet være plassert i trålen, samt midler for å lede fisken kontrollert forbi kameraet, mens analyseenheten kan være plassert om bord i fartøyet.

Figur 1 viser et software generert bilde av torsk som er analysert for å få frem overganger / kanter i objektet. Overgangen beskrives med styrke (vises her som grad av sort) og retning.

Først detekteres fiskens omriss under transportert av fisken forbi kamerasystemet som tar bilder av fisken som passerer, deretter analyseres hvert bilde for å finne omrisset av fisken, og fiskens lengdeakse beregnes. Deretter normeres objektet slik at lengdeaksen blir tilnærmet horisontal og fiskens hode vender mot for eksempel venstre. Fisken deles så i et antall segmenter (som vist i figur 2). Antall segmenter er i utgangspunktet det samme for alle fiskestørrelser. Et software program i analyseenheten analyserer overganger innen hvert segment, så som styrke og retning, og dette vil sammen med fiskens form danne grunnlag for en beskrivelse/karakteristikk av hver enkelt fisk, hvor beskrivelsen/karakteristikken for eksempel kan bestå av ca 100 parametrer. Beskrivelsen/karakteristikken av fisken sammenlignes med beskrivelse/karakteristikk av kjent fisk ved hjelp av diskriminasjonsanalyse. Fisken blir klassifisert som den art som den får best score på. Dersom score verdien blir for lav vil fisken klassifiseres som "Ukjent"

Figurene 3 og 4 viser tilsvarende eksempler som vist i figur 1, men for henholdsvis flekksteinbit og lodde. Figur 4 av lodden viser det genererte bildet før normering og rotasjon.

Som det fremgår fra figur 2 vil hver fisk ha unike overganger i hvert segment, og ved å analysere disse overgangene eller kantene i bildet, som beskrives ved hjelp av overgangens styrke og retning, vil det dermed angis karakteristiske trekk som finner, øyne, striper langs fisken, mønster, og lignende. Resultatet av analysen kan på samme måte som før bli sammenlignet med tilsvarende analyse av kjent fisk for å klassifisere fisken.

Metoden vil også kunne anvendes for klassifisering av fisk på land eller om bord på fartøyer. Den vil kunne forenkle det tekniske utstyret som kreves, eller brukes i tillegg til fargeanalyse for å oppnå bedre resultatet på vanskelige arter.

Claims (7)

1. Fremgangsmåte for automatisk klassifisering av fisk under vann, omfattende de følgende trinn: å plassere et kamerasystem under vann og å ta bilder av fisk som ledes forbi kamerasystemet, å analysere hvert bilde for å finne omrisset av fisken, og å dele opp fiskens omriss i et antall segmenter for analyse av hvert segment, karakterisert ved: å analysere overganger i hvert segment uttrykt ved overgangenes styrke, så som mørkhetsgrad og retning, å angi karakteristiske trekk til fisken, så som finner, øyne, striper langs fisken, mønster, etc, basert på analysen av overgangene, og å sammenligne de karakteristiske trekkene med data av fisk i en kunnskapsdatabase for klassifisering av fisken, ved hjelp av diskriminasjonsanalyse.

2. Fremgangsmåte i samsvar med krav 1, karakterisert ved at etter at fiskens omriss er detektert, beregnes fiskens lengdeakse, hvorpå objektet normeres slik at lengdeaksen blir tilnærmet horisontal og fiskens hode vender mot venstre.

3. Fremgangsmåte i samsvar med krav 2, karakterisert ved å generere et bilde av fisken, for fremvisning av overganger til objektet, og å beskrive nevnte overganger ved hjelp av styrke, så som mørkhetsgrad, og retning.

4. Fremgangsmåte i samsvar med krav 2-3, karakterisert ved at hver fisk deles i et antall like segmenter, uavhengig av fiskestørrelse og type, og å analysere overganger, som styrke og retning, innen hvert segment for dannelse av nevnte karakteristikk.

5. System for automatisk klassifisering av fisk under vann, omfattende et kamerasystem innrettet til å ta bilder av fisk som passerer, og en analyseenhet innrettet til å motta og å analysere hvert bilde for å finne omrisset av fisken, og å dele opp fiskens omriss i et antall segmenter for analyse av hvert segment, karakterisert ved at kamerasystemet er anordnet under vann, og at analyseenheten er innrettet til å analysere overganger i hvert segment uttrykt ved overgangenes styrke, så som mørkhetsgrad og retning, for deretter å angi karakteristiske trekk til fisken, så som finner, øyne, striper langs fisken, mønster, etc, basert på analysen av overgangene, og å sammenligne de karakteristiske trekkene med data av fisk i en kunnskapsdatabase for klassifisering av fisken, ved hjelp av diskriminasjonsanalyse, og å fremvise resultatet i et brukergrensesnitt.

6. System i samsvar med krav 5, karakterisert ved at kamerasystemet er anordnet i en trål eller lignende som trekkes av et fartøy, og at analyseenheten er anordnet om bord på fartøyet.

7. System i samsvar med krav 6, karakterisert ved at nevnte trål eller lignende omfatter midler for å lede fisken kontrollert forbi kameraet.