NO20092446L - Anordning og fremgangsmate for fisketelling eller biomassebestemmelse - Google Patents
Anordning og fremgangsmate for fisketelling eller biomassebestemmelseInfo
- Publication number
- NO20092446L NO20092446L NO20092446A NO20092446A NO20092446L NO 20092446 L NO20092446 L NO 20092446L NO 20092446 A NO20092446 A NO 20092446A NO 20092446 A NO20092446 A NO 20092446A NO 20092446 L NO20092446 L NO 20092446L
- Authority
- NO
- Norway
- Prior art keywords
- image
- distance
- camera
- volume
- produce
- Prior art date
Links
- 241000251468 Actinopterygii Species 0.000 title claims description 84
- 239000002028 Biomass Substances 0.000 title description 30
- 238000000034 method Methods 0.000 title description 21
- 239000011159 matrix material Substances 0.000 claims description 53
- 230000003287 optical effect Effects 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000005286 illumination Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 9
- 206010034960 Photophobia Diseases 0.000 claims description 6
- 208000013469 light sensitivity Diseases 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 claims description 5
- 230000009182 swimming Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims 1
- 230000001360 synchronised effect Effects 0.000 claims 1
- 230000005855 radiation Effects 0.000 description 21
- 238000007619 statistical method Methods 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 10
- 238000001914 filtration Methods 0.000 description 7
- 238000003672 processing method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 210000001015 abdomen Anatomy 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000009360 aquaculture Methods 0.000 description 1
- 244000144974 aquaculture Species 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000009372 pisciculture Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K61/00—Culture of aquatic animals
- A01K61/90—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
- A01K61/95—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination specially adapted for fish
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Zoology (AREA)
- Environmental Sciences (AREA)
- Marine Sciences & Fisheries (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Description
Oppfinnelsen angår en anordning for bestemmelse av biomasse representert ved organismer som befinner seg i et omgivende medium, og særlig til bestemmelse av biomasse representert ved levende fisk i vann.
Bestemmelse av biomasse representert ved levende fisk eller andre organismer som befinner seg i et volum av mediet kan oppnås helt eller tildels ved telling av et antall individer og en todimensjonal bestemmelse av det enkelte individs form. Både individtelling og formbestemmelse er beheftet med usikkerhet, ettersom biomassen faktisk er bestemt av individenes tredimensjonale form.
I marin oppdrett er det foruten pålitelig biomassebestemmelse også nyttig å kunne følge individenes utvikling, og til det formål ha tilgjengelig et middel som muliggjør en mer nøyaktig observasjon av forskjellige utviklingsparametere, som også kan omfatte individenes atferd.
Det finnes flere systemer for estimering av volum av frittsvømmende fisk basert på kamera, bildebehandling og statistiske metoder, både i handelen og i publikasjoner. Et problem med matfisk er at de opptrer i høye konsentrasjoner og derfor gir store utfordringer innen bildebehandling for å isolere konturen av enkeltfisk. Med kjent kontur og avstand fra kamera kan fiskens volum estimeres med statistiske metoder og erfaringsdata, gjerne ved karakteristiske dimensjoner av fiskens kontur. To kameraer i stereosyn-oppsett brukes gjerne for å bestemme avstand mellom fisk og kamera. Fisken ser på bilder i stor grad ut som en enstonig flate og mangelen på tydelige detaljer på overflaten gjør det vanskelig å bestemme fiskesidens krumning med stereoteknikk. En stor ulempe med stereoteknikk er også et det krever omfattende kalibrering som gjerne må gjentas i felt.
I fig. 1 er vist en undervannsenhet 10 som utgjør 3D-kameraet, omfattende en styre-, prosessor og kommunikasjonselektronikk 400, en optisk kilde 100 innrettet til utsendelse av en stråling til belysning et objekt 300 og med forbindelse til styre-, prosessor og kommunikasjonselektronikken 400, et elektronisk kamera 200 med forbindelse til styre-, prosessor og kommunikasjonselektronikken 400 og med en avbildingsoptikk 250, og en forbindelse 20 til et overflateutstyr som ikke er vist i denne illustrasjonen.
Den optiske strålingen, som tilveiebringer optisk energi for belysing av objektet 300, er
modulert til å bære tidsinformasjon.
Kameraet 200 omfatter et flertall optiske mottakere 210 oppstilt i et array, eller minst en optisk mottaker 210 med en avsøkningsinnretning, som med en avbildningsoptikk 250 er innrettet slik en refleksjon fra et objekt belyst av det optiske signalet utsendt fra den optiske kilden registreres til en todimensjonal avbilding av objektet i kameraet 200.
De optiske mottakerne 210 er innrettet til å motta tidsinformasjonen som bæres av strålingen i refleksjonen.
Styre-, prosessor og kommunikasjonselektronikken 400 er innrettet til å fastlegge tid for mottak av refleksjonen i hver optisk mottaker på basis av tidsinformasjonen, og videre til å bestemme på grunnlag av den fastlagte tid og strålingens utbredelseshastighet en avstand mellom den optiske mottakeren og den del av objektet som skapte refleksjonen.
Ved kameraets todimensjonale avbildning og avstandsbestemmelsen oppnås en tredimensjonal bestemmelse av geometrien til objektet, i det omfang det gjelder deler av objektet som reflekterer den optiske strålingen og således lar seg avbilde ved hjelp av kameraet 200.
Oppfinnelsen har til hensikt å skaffe en biomassebestemmelsesanordning med forbedret nøyaktighet, og med fordel en anordning av forannevnte slag som er anpasset til å skaffe data om observerte individers beskaffenhet og atferd.
Oppfinnelsen bøter på disse svakhetene ved å bruke et 3D-kamera som direkte måler avstanden til punkter på objekter i kameraets synsfelt, eksempelvis av det slag som er beskrevet innledningsvis. Dermed kan objekter enkelt skilles fra hverandre uavhengig av omgivende lysforhold og interessante objekter segmenteres ut og angi for etterfølgende bildebehandling hvor i bildet videre behandling skal konsentreres. All bildeinformasjon innhentes av samme kamerabrikke og det er ingen kalibrering involvert utover at produsenten stiller en parameter for kameraobjektivets brennvidde.
I en utførelsesform hvor man ytterligere kan forbedre oppløsning og nøyaktighet anvendes i tillegg et ordinært 2D-kamera av farge- eller gråtonetypen, hvor dette kameraets synsfelt er koordinert med 3D-kameraets synsfelt, slik at det er anordnet en bestemt relasjon mellom et bildeelement, også kalt piksel, i 2D-kameraet og et bildeelement i 3D-kameraet. Typisk kan 2D-kameraet i en fordelaktig utførelsesform av oppfinnelsen ha et dynamisk område, eventuelt følsomhet, hva angår lys som er større enn 3D-kameraets dynamiske område, eventuelt følsomhet, og/eller 2D-kameraet kan ha en oppløsning som er større enn 3D-kameraets oppløsning. For det sistnevnte kan som eksempel kombineres et 2D-kamera som for avbilding av samme motiv, dvs. med samme synsfelt som 3D-kameraet, oppviser 4 bildeelementer innenfor den del av bildefeltet som 3D-kameraet avbilder i 1 bildeelement.
Til en forenkling av foreliggende oppfinnelses måleanordning til bruk for biomassebestemmelse kan, som antydet tidligere, funksjonen til 2D-kameraet skaffes av en variant av 3D-kameraet som er anpasset til å utgi en 2D-avbildning av motivet. Imidlertid oppviser nåtidens 3D-kameraer av det slag som hovedsakelig er tenkt for å bli innbefattet i oppfinnelsens måleanordning til bruk for biomassebestemmelse typisk en oppløsning eller en lysfølsomhet som er lavere enn nåtidens tilgjengelige 2D-kameraer, eller har en annen tids- eller spektralrespons. I en for tiden fordelaktig utførelsesform av foreliggende oppfinnelse, som er anpasset for å overvinne ytelsesbegrensninger i tilgjengelige 3D-kameraer, er 3D-kameraet og 2D-kameraet skaffet i form av separate kameraenheter.
På grunnlag av avstander bestemt av avstandsmåleren og optiske og geometriske konstanter ved avbildingsanordningen beregnes en volumbeskrivelse av objektet.
En diskriminator mottar avstander bestemt av avstandsmåleren, og aksepterer eller forkaster stråling mottatt fra objekter som ligger i avstander som ligger innenfor hhv. utenfor et bestemt observasjonsvolum, hvorved mottatt stråling fra ande objekter som ligger nærmere eller mer fjernt fra det bestemte observasjons volumet elimineres. Slik oppnås eksempelvis at en telling eller en bestemmelse av det faktiske volum av en enkelt fisk i en stim kan utføres uten at samtidig avbildning av bakenforliggende fisk påvirker måleresultatet.
Den tredimensjonale bestemmelsen av objektet benyttes med en modell for objektet til beregning av objektets volum.
Et eksempel vist i figur 2 angir punktene A, B, M og N som punkter på en reflekterende overflate av en fisk som er belyst fra kilden 100, og hvordan disse punktene blir avbildet i punktene A', B', M' hhv. N' på forskjellige optiske mottakere i et array 200 av optiske mottakere 210. Avbildningsoptikken er forenklet til et såkalt "pinhole" i fig.
2, men det viste "pinhole" kan erstattes med en linse for å bedre kameraets lysfølsomhet.
Styre-, prosessor og kommunikasjonselektronikken 400 omfatter en diskriminator innrettet til tidsmessig å selektere den stråling som mottas av de optiske mottakerne 210, hvorved anordningen kan begrense den mottatte, reflekterte stråling som skal anvendes for bestemmelse av objektets geometri. Dette er illustrert ved angivelsene 161 og 162, idet objekter som reflekterer stråling i avstander som ligger nærmere enn beliggenheten 161 og fjernere enn beliggenheten 162 ikke registreres for bestemmelse av obj ektformen.
Figurene 1 og 2 viser konfigurasjoner med strålingskilden 100 anordnet til siden for aperturen til kameraet 200, hvilke konfigurasjoner kan være fordelaktig i tilfeller hvor mediet som omgir objektet rommer et antall partikler eller annet som bevirker sterk tilbakespreding mot kameraet av den utsendte stråling. Hvor tilbakespreding ikke må hensyntas, kan kilden anbringes i en del av kameraets 200 aperture, eksempelvis sentrert i aperturen for slik å optimalisere den reflekterte stråling fra objektet, og for å oppnå en symmetrisk geometri som forenkler avstandsbestemmelsen og bestemmelsen av objektets form.
Kjennetegnende trekk ved oppfinnelsen fremgår videre av de vedfølgende patentkrav, hvilke trekk er tenkt å fremgå av en biomassebestemmer innrettet til å bestemme biomassen i fisk som ved passasje av belysningsvolumet blir registrert av oppfinnelsens formregistreringsanordning.
En fordelaktig utførelsesform av en biomassebestemmer innbefatter flere av oppfinnelsens formregistreringsanordninger som belyser og avbilder et registreringsvolum fra forskjellige vinkler og/eller med stråling av forskjellige bølgelengder.
I en fordelaktig utførelse av oppfinnelsen anvendes en konfigurasjon med en eller flere optiske kilder og ett eller flere kameraer som avbilder alle sider av objektet med tredimensjonal bestemmelse av objektets form, og videre til å beregne objektets volum.
Oppfinnelsen blir i det følgende nærmere forklart ved hjelp av ett eller flere utførelseseksempler, og med henvisning til de vedfølgende tegningsfigurer, hvor figur 1 er en blokkskjematisk tegning av en fisketeller eller biomassemåler i henhold til foreliggende oppfinnelse,
figur 2 er en skjematisk illustrasjon av et utførelseseksempel av en tredimensjonalavbildende innretning eller 3D-kamera for bruk i en fisketeller eller biomassemåler i henhold til foreliggende oppfinnelse,
figur 3 er en blokkskjematisk tegning av et utførelseseksempel av en første databehandlingsmetode i en fisketeller eller biomassemåler i henhold til foreliggende oppfinnelse,
figur 4 er en blokkskjematisk tegning av et utførelseseksempel av en andre databehandlingsmetode i en fisketeller eller biomassemåler i henhold til foreliggende oppfinnelse,
figur 5 er en blokkskjematisk tegning av et utførelseseksempel av en tredje databehandlingsmetode i en fisketeller eller biomassemåler i henhold til foreliggende oppfinnelse,
figur 6 er en blokkskjematisk tegning av et utførelseseksempel av en første databehandlingsmetode i konturbestemmer i en fisketeller eller biomassemåler i henhold til foreliggende oppfinnelse,
figur 7 er en blokkskjematisk tegning av et utførelseseksempel av en andre databehandlingsmetode i konturbestemmer i en fisketeller eller biomassemåler i henhold til foreliggende oppfinnelse,
figurene 8A og 8B er tabelloppstillinger av 3D-bildedata som illustrerer ved et eksempel en fordelaktig tabellekspanderingsmetode for et utførelseseksempel av en databehandlingsmetode i en fisketeller eller biomassemåler i henhold til foreliggende oppfinnelse,
figur 9 er et gråtoneskalabilde som representerer et eksempel på originale intensiteter i et fullt synsfelt i bildedata fra 3D-kamera som vist i figur 2,
figur 10 er et utsnitt av gråtoneskalabildet, merket med hvit ramme i fullsynsfeltsbildet vist i figur 9,
figur 11 er tabelloppstilling av 3D-bildedata som illustrerer ved et eksempel originale intensiteter i bildedata i utsnittet vist i figur 10,
figur 12 er tabelloppstilling av 3D-bildedata som illustrerer ved et eksempel originale avstander i bildedata i utsnittet vist i figur 10,
figur 13 er tabelloppstilling av behandlede 3D-bildedata som illustrerer ved et eksempel originale avstander i bildedata i utsnittet vist i figur 10 filtrert ved intensiteter i bildedata som vist i figur 11,
figur 14 er tabelloppstilling av behandlede 3D-bildedata som illustrerer ved et eksempel originale avstander i bildedata vist i figur 13 filtrert ved flatesøk,
figur 15 er tabelloppstilling av behandlede 3D-bildedata som illustrerer ved et eksempel kontursøk i originale intensiteter i bildedata vist i figur 11, og
figur 16 er en kurvetegning som illustrerer relativ varians i intensiteter og relativ varians i avstander i 3D-bildedata vist i figur 11 henholdsvis i figur 12.
Ovennevnte hensikt og andre fordeler oppnås ved oppfinnelsens måleanordning til bruk for biomassebestemmelse, som innbefatter minst en avstandsmålende avbildningsinnretning, som i det følgende blir omtalt som et 3D-kamera, hvilket 3D-kamera innbefatter en optisk kilde og minst en optisk avbildningsenhet med en endimensjonal eller todimensjonal oppstilling av et flertall bildeelementer, hvor kilden avgir en optisk utstråling som bærer tidsinformasjon og et antall av bildeelementene er innrettet til å avbilde respektive deler av et objekt i et motiv som blir belyst med utstrålingen og til å oppfange tidsinformasjonen i en del av den optiske utstrålingen som har blitt reflektert av objektet. 3D-kameraet innbefatter også en avstandsmåler som er anordnet i tilknyting til 3D-kameraets bildeelementer og til den optiske kilden eller til en referanseinnretning som registrerer tidsinformasjonen i utstråling fra den optiske kilden som ikke har blitt reflektert av objektet. Tidsinformasjonen i kildeutstrålingen og reflektert stråling mottatt av bildelementene utledes av avstandsmåleren, som på grunnlag av beregnet gangtid bestemmer avstanden mellom hvert bildelement og den respektive reflekterende del av objektet som er avbildet på bildeelementene. Tidsinformasjonen kan ligge i en fase i en modulasjon av strålingen utsendt fra den optiske kilden. Videre innbefatter oppfinnelsens måleanordning til bruk for biomassebestemmelse et kamera for opptak av todimensjonalt bilde og som er anpasset til å avbilde det samme motiv som kan avbildes av 3D-kameraet, hvilket kamera for opptak av todimensjonalt bilde her blir omtalt som et 2D-kamera. Videre innbefatter oppfinnelsens måleanordning til bruk for biomassebestemmelse en bildebehandlingsinnretning som er anpasset til å ta inn 3D-bildedata og 2D-bildedata, og på basis av disse 3D- og 2D-bildedata å fremstille en formbeskrivelse av ett eller flere objekter som inngår i det avbildete motivet. Videre innbefatter oppfinnelsens måleanordning til bruk for biomassebestemmelse en volum- eller masseberegningsinnretning som er anpasset til å ta inn formbeskrivelsen fremstilt av bildebehandlingsinnretningen, og på basis av formbeskrivelsen fremstille en volum-eller masseverdi for det ene eller de flere objektene som inngår i det avbildete motivet.
Et 3D-kamerasystem av den type som her er foreslått for den foreliggende oppfinnelsen, sender modulert (kontinuerlig eller pulset) lys ut i et volum og, frembringer informasjon om koordinatene til eventuelle reflektorer i volumet. For beskrivelsens skyld antas at kamerasystemets interne koordinatsystem er transformert over i et kartesisk koordinatsystem (x, y, z) hvis (x, y)-plan står normalt på kameraaksen, hvilket innebærer at kameraets bildeplan ligger i et plan som utspennes av x-akse og y-akse, eksempelvis alle punkter med koordinater x,y,0.1 hvert punkt (x, y) registrerer kamerasystemet estimater av avstand, r, til eventuelle reflektorer langs z-aksen. Resultatet av et slikt bilde kan representeres med en matrise R med indekser tilsvarende x- og y-koordinat. Hvert matriseelement er en vektor r med avstandsestimat til reflektorer i volumet begrenset av indeksenes tilhørende x- og y-område og kameraets rekkevidde. Matriseelementene reduseres til en skalar r dersom kamerasystemet bare kan registrere én refleksjon per element.
Unøyaktigheten i avstandsestimatet, som skaffes fra 3D-kameraet, øker når intensiteten av det reflekterte lyset avtar. Unøyaktigheten øker derfor generelt når avstanden til reflektoren øker, objektets overflate absorberer mer av lyset eller overflatens ikke står normalt på kameraaksen. Unøyaktigheten går mot maksimalverdien for avstand når intensiteten i reflektert lys går mot null, det vil si et det ikke er noen signifikant reflektor til stede. I et tomt volum består derfor matrisen bare av kraftig støy, det er ingen korrelasjon mellom nabopunkter.
Kameraet kan måle intensiteten av lyset reflektert fra hver reflektor. Elementene i matrisen R består da av en vektor med samhørende par av verdier (r, e), for avstand (r), dvs. avstandsestimat, henholdsvis intensitet (e). Elementene reduseres eventuelt til to skalarverdier hver dersom kameraet bare registrerer én refleks per element. Intensiteten har vesentlig mindre støy enn avstandsestimatet.
Avstandsdata, dvs. avstandsestimatdata, kan brukes til å estimere karakteristiske trekk ved observert fisk. Da kan hvert avstandsdataestimat r vektes med tilhørende lysintensitet (e) slik at de antatt sikreste observasjonene teller mest.
Kjente 3D-kamerasystem som produserer datasettet R er kjent for å ha dårlig oppløsning i forhold til vanlige kameraer. En bedre måling kan, som nevnt over, oppnås ved å kombinere et samtidig høyoppløselig bilde skaffet med et ordinært 2D-kamera, heretter for enkelthets skyld kalt gråtonebilde, med datasettet R som er skaffet med 3D-kameraet. I motsetning til 3D-kameraets bilde som er skaffet ved å belyse objektet fra den modulerte lyskilden, representerer gråtonebildets bildepunkter summen av reflektert lys fra kameraets lyskilde og omgivelseslys. De to kameraene er ikke plassert på samme sted og gråtonebildet transformeres derfor geometrisk over i samme plan som datasettet R. Deretter benyttes gråtonebildet på samme måte som intensitetsdata fra R. Ved bildeopptak som gjøres på dagtid, eventuelt nattopptak hvor anlegget omfatter lyskilder til vanlig belysning av anlegget, faller omgivelseslys typisk inn ovenfra og lyser opp fisken rygg. Det kan være en fordel å gjøre bildeopptak på dagtid, eller med lyskilde anordnet i eller over vannflaten, for måling av fisk med mørk rygg, fordi kameralyset reflekteres dårlig langsetter ryggen og gir alene dårlig kontrast for kontursøk.
Både for estimering av kontur og volum kan statistiske metoder anvendes. Med statistiske metoder menes her metoder som er basert på modell etablert fra erfaringsdata, for eksempel varianter av prinsipalkomponentanalyse eller nevrale nettverk.
Foreliggende oppfinnelse er tenkt utført i et datamaskinsystem med en tilknyttet videokamerainnretning for opptak 3D- og 2D-avbildninger av ett eller flere objekter i et motiv, hvor datamaskinsystemet er programmerbart med et biomassebestemmelsesprogram eller anpasset til å virke i samsvar med et biomassebestemmelsesprogram tilført på en programbærerinnretning, hvilket biomassebestemmelsesprogram er anpasset til å få datamaskinsystemet til å utføre en videobildebasert biomassebestemmelsesfremgangsmåte. Denne fremgangsmåten innbefatter fortrinnsvis å utføre de behandlingstrinn som forklares i den følgende del av oppfinnelsens beskrivelse.
Et 3D-kamerasystem innbefatter en lyskilde som sender modulert (kontinuerlig eller pulset) lys ut i et volum, og avbildnings- og prosesseringsutstyr som frembringer informasjon om koordinatene til eventuelle reflektorer i det volum som dekkes av avbildningsutstyret. 3D-kameraets detektor består av en matrise 200 av optiske detektorer 210, hvor hvert matriseelement 210 er følsomt for et prismeformet volum foran kameraets objektiv. Hvert matriseelement 210 representerer derfor informasjon i et sfærisk koordinatsystembeskrevet med vinklene phi og theta og med en radius r, hvert element med en åpningsvinkel dphi og dtheta. Dphi og dtheta er bestemt av detektorens og objektivets samlede optiske og geometriske egenskaper.
Kameraet dekker romvinkelen begrenset av produktene Nxdphi og Mxdtheta, hvor N og M er detektormatrisens 200 dimensjoner i detektormatirseplanet, dvs. N bildeelementer 210 (piksler) i en første retning, og M bildeelementer 210 (piksler) i en retning normalt til den første retningen. Matrisens midtelement er typisk anordnet slik at det pr. definisjon skaffer informasjon fra et avbildet objekt som er beliggende på et punkt langs kameraaksen. Hvis ønskelig kan informasjonen transformeres over i et annet koordinatsystem, vanligvis kartesisk.
I hvert detektorelement registreres informasjon om eventuelle reflektorer langs elementets deteksjonsprisme. Denne informasjonen kan være et komplekst tall for mottatt lys synkrondemodulert med utsendt lys' modulasjon. Det komplekse tallet kan regnes om til refleksjonens relative fasevinkel og amplitude. Med en gitt lyshastighet er fasevinkelen et mål på avstand fra lyskilde via reflektor til detektor. Detektoren kan også utformes slik at lysets gangtid og intensitet måles direkte.
Samlet for hele detektoren kan informasjonen presenteres i en matrise for avstand til reflektor R og intensitet eller amplityde A. Matrisenes dimensjoner er lik detektormatrisens dimensjoner NxM. I kameraer hvor hvert element kan registrere flere reflektorer i forskjellig avstand vil matrisene R og A bestå av vektorer med samhørende elementer i stedet for skalare verdier. For å forenkle beskrivelsen vil det i den følgende antas at bare en refleksjon registreres i hvert element og at elementene i matrisene R og A derfor er skalare tall. I det etterfølgende benevnes R som avstandsbilde og A som amplitydebilde.
For god visualisering er det vanlig å kombinere avstands- og amplitydebilde slik at hvert bildepunkt i avstandsbildet gis gråtoneverdi som representerer amplityden i punktet, se for eksempel ref 1. Dette gjør at observatøren lettere kan kjenne igjen objekter og andre detaljer i representasjonen av den tredimensjonale scenen. Dette er bare en visualiseringsteknikk og angår ikke prinsippene for kombinertbruk av avstands-og amplitydebilde som er grunnlag for denne beskrivelsen.
Unøyaktigheten i målt avstand øker når intensiteten av det reflekterte lyset avtar. Unøyaktigheten øker derfor generelt når avstanden til reflektoren øker, objektets overflate absorberer mer av lyset eller overflatens ikke står normalt på kameraaksen. Målefeilen går mot kameraets måleomfang (span) når det ikke reflekteres noe lys. For et tomt volum består derfor matrisen R bare av ukorrelerte kraftig støy.
Amplityden i hvert punkt kan brukes til å anslå standardavviket i målt avstand.
Detektoren i et 3D kamera som beskrevet kan ha to vesentlige ulemper: Antall detektorelementer kan være lite og eksponeringstiden kan være lang i forhold til hva som kan oppnås med en konvensjonell gråtone-halvlederdetektor. Dette gir uskarpe bilder, spesielt dersom reflektoren er i bevegelse. Informasjonen fra et 3D-kamera kan derfor med fordel kombineres med bilder fra et konvensjonelt kamera. Det konvensjonelle kameraet kan ta mange bilder med høy oppløsning og uvesentlig bevegelsesuskarphet i løpet av den tiden 3D-kameraet fanger ett 3D-bilde. Et konvensjonelt kamera er ømfintlig for både 3D-kameraets lys og omgivelseslys og kan derfor også gi tilleggsinformasjon som er viktig for å fastlegge reflektorers kontur. I det etterfølgende benevnes bilder fra et slikt kamera som gråtonebilde.
Informasjon om krumme reflektorer kan økes vesentlig ved å bruke flere 3D-kameraer som observerer reflektoren fra forskjellig vinkel.
I det følgende forklares og drøftes volumberegning basert på avstandsestimater.
For den følgende forklaring av prosesseringstrinn som kan inngå i en utførelsesform av oppfinnelsens fremgangsmåte, og tilsvarende for virkemåten til en anordning som kan inngå i oppfinnelsens løsning, vises det først til den vedfølgende figur 3. De følgende avsnitt er nummerert i samsvar med figurens henvisningstall.
31.Mest mulig støy kan, om ønskelig, fjernes ved å begrense interessant avstandsområde til et, fortrinnsvis bestemt, intervall og fjerne, eller se bort fra, alle refleksjoner utenfor dette området, eventuelt også områder der variasjonen, som kan
være forskjellen i avstanden r, eller forskjellen i intensiteten e, mellom naboelementer i matrisen R overstiger en grenseverdi. Deretter fjernes områder som har et areal mindre enn en grenseverdi. Resultatet etter å ha behandlet matrisen R som angitt foran, er nå en matrise R<*>som i stor grad bare inneholder avstandsdata til reelle reflektorer med et minimalt sammenhengende areal og som ligger i gunstig avstand fra kameraet. 32. Potensielle objekter i matrisen R<*>undersøkes med akseptanskriterier. Kriterier kan være at variansen over objektets flate er under en gitt verdi og at hele objektet er innenfor matrisens (x, y)-område. For god måling av fisk skal fisken stå nært horisontalt og med siden nær normalt på kameraaksen. Fisk som er gunstig plassert har også et karakteristisk intervall for lengde/høyde-forholdet. Det kan være flere aksepterte objekter i matrisen som hvert for seg kan behandles videre mot volumberegning. Objekter som aksepteres sendes til videre prosessering. I det følgende omtales bare ett objekt for å forenkle beskrivelsen. 33. Nå er posisjonen til objektets sentrale område kjent, og antas å være en fisk. Fiskens kontur skal nå søkes. Spesielt langs fiskens rygg og buk vil mange punkter være fjernet under trinn 31 over. Med kunnskapen om objektet fra R<*>søkes nå i R fra det sentrale området og utover til det detekteres et sprang i avstand, eksempelvis sprang i r-verdien mellom inntilliggende R-matriseelementer. Spranget kan være forårsaket av reflekser fra objekter foran eller bak objektet vi behandler eller økt støy fordi det ikke er noen reflektor bak fisken. 34. Konturen er omtrentlig fastlagt, men kan forbedres ved at en konturmodell for aktuelt fiskeslag tilpasses kontur funnet under trinn 33 slik at samlet avvik minimaliseres. 35. Kontur skaleres i absolutte mål, for eksempel mm, og karakteristiske dimensjoner kan finnes. 36. Avstandsprofiler over fisken side estimeres. Det gir informasjon om fiskens tykkelse. Profiler, gjerne fra buk til rygg, kan brukes til å estimere fiskens tykkelse eller kondisjonsfaktor basert på statistiske metoder og erfaringsdata.
37. Volumberegning.
Det er flere alternative metoder for å beregne volumet, som angitt herunder:
3 7A. Med statistiske metoder finnes fiskens volum fra konturen og et sett med
erfaringsdata for aktuelt fiskeslag.
37B. Med statistiske metoder finnes volumet fra en kombinasjon av kontur og profiler og et sett med erfaringsdata for aktuelt fiskeslag.
37C. En tredimensjonal modell av aktuelt fiskeslag tilpasses kontur og profiler slik at et kriterium for samlet avvik minimaliseres. Modellens volum er da representativ for fiskens volum.
I det følgende beskrives og drøftes fremgangsmåte for volumberegning basert på avstandsestimater og lysintensitet, som tenkes å inngå i en eller flere utførelsesformer av oppfinnelsen.
For den følgende forklaring av handlinger i en utførelsesform av oppfinnelsens fremgangsmåte og virkemåten til oppfinnelsens anordning vises det først til den vedfølgende figur 4. De følgende avsnitt er nummerert i samsvar med figurens henvisningstall. 41. Avstandsdata r der tilhørende intensitet a er under en gitt terskel elimineres. Deretter fjernes isolerte områder under et visst areal og punkter utenfor ønsket avstandsintervall. Resultatet av støyfiltreringen er sentrale områder av reelle objekter representert i matrisen R<*>. 42. Potensielle objekter undersøkes med akseptanskriterier som over. Aksepterte objekter sendes til videre prosessering.
43. Ut fira objektets sentrale posisjon i R<*>søkes konturen i R som angitt over.
44. Intensitetsdata inneholder mye mindre støy enn avstandsdata. Nå søkes konturen i intensitetsdata innenfor et område langs konturen funnet i trinn 43. Konturdeteksjonsalgoritmen kan kontinuerlig justeres etter lokale forhold der den søker og kan detektere konturen med større presisjon enn hvis den er justert etter forholdene i hele bildet. 45. Konturen er omtrentlig fastlagt, men kan forbedres ved at en konturmodell for aktuelt fiskeslag tilpasses estimert kontur slik at samlet avvik minimaliseres. 46. Kontur skaleres i absolutte mål, for eksempel mm, og karakteristiske dimensjoner kan finnes. 47. Avstandsprofiler over fisken side estimeres. Det gir informasjon om fiskens tykkelse. Profiler, gjerne fra buk til rygg, kan brukes til å estimere fiskens tykkelse eller kondisjonsfaktor basert på statistiske metoder og erfaringsdata.
48. Volumberegning.
48A. Med statistiske metoder finnes fiskens volum fra konturen og et sett med erfaringsdata for aktuelt fiskeslag.
48B. Med statistiske metoder finnes volumet fra en kombinasjon av kontur og profiler og et sett med erfaringsdata for aktuelt fiskeslag.
48C. En tredimensjonal modell av aktuelt fiskeslag tilpasses kontur og profiler slik at et kriterium for samlet avvik minimaliseres. Modellens volum er da representativ for fiskens volum.
Figurene 6 og 7 viser alternative utførelsesformer av oppfinnelsens videobildebaserte biomassebestemmelsesfremgangsmåte, og illustrerer en fremgangsmåte, eller en virkemåte til bildebehandlingsinnretningen og volum- eller
masseberegningsinnretningen, som kan innbefattes i foreliggende oppfinnelses måleanordning til bruk for biomassebestemmelse.
I det følgende beskrives og drøftes beregning av reflektorstørrelse.
Beskrivelsen gjelder bruk av kamerasystemet innen oppdrett i vann generelt og fiskeoppdrett spesielt. Idet følgende antas derfor, for det formål å forklare oppfinnelsen ved hjelp av eksempler, at reflektoren som observeres er en fisk, og at fisken ikke nødvendigvis opptrer alene i deteksjonsvolumet. Oppfinnelsen omfatter altså kombinering av informasjon fra et avstands- og amplitydekamera (dvs. intensitetskamera) for å forbedre sikkerheten i bestemmelse av reflektorers kontur eller silhuett. Prosesseringstrirmene beskrevet under er eksempler på hvordan rådata kan utnyttes for å oppnå dette, og tydeliggjør hvordan denne oppfinnelsen skiller seg fra andre metoder eller løsninger. En fagkyndig på området vil kunne komme frem til en rekke mulige implementasjoner av oppfinnelsen på bakgrunn av de forklaringer som gis her.
Prosesseringstrinnene under er illustrert med eksempler. Figurene 11 og 12 viser eksempler på henholdsvis en amplitydematrise (intensitetsmatrise) og en avstandsmatrise. Disse matrisene, som er 15 ganger 18 elementers utsnitt, er dannet fra et utsnitt av virkelige bilder av fisk som er illustrert i figur 9, hvor utsnittet, som er illustrert separat i figur 10, dekker et område ved fiskens rygg. Figur 9 er et gråtoneskalabilde som representerer et eksempel på originale intensiteter i et fullt synsfelt i bildedata fra 3D-kamera som skissert i figur 2, mens figur 10 er utsnittet av gråtoneskalabildet, merket med hvit ramme i fullsynsfeltsbildet vist i figur 9. Således er figur 11 en tabelloppstilling av 3D-bildedata som illustrerer ved et eksempel originale intensiteter (amplityder) i bildedata i utsnittet vist i figur 10, mens figur 12 er en tabelloppstilling av 3D-bildedata som illustrerer ved et eksempel originale avstander i bildedata i utsnittet vist i figur 10.
Figur 16 viser eksempler på varians i 14 elementstriper på langs av en avbildet fisk. Kurvediagrammet i figur 16 illustrerer eksempel på relativ varians i intensiteter og relativ varians i avstander i 3D-bildedata som er tatt i tilfeldige 16-punkts områder, med minst mulig variasjon i intensitet innen hvert område, over en hel fisk, men er ikke relatert til data i datamatrisene vist i andre figurer.
Hver stripe er på 16 elementer, og siden de ligger langsetter fisken, er de virkelige avstandene for hvert bildeelement i utsnittet nær lik hverandre innen hver stripe.
Figuren viser at varians i avstand synker med økende amplityde mens varians i amplityde stiger med økende amplityde. Langs fiskens kontur i en situasjon hvor den reflekterende flaten nærmer seg parallellitet med lysbanene er amplityden lav, og avstandsdata kan derfor være lite egnet til å fastlegge fiskens omriss.
Filtrering av bilder gjøres ofte med en operasjon på et 3x3 elementers område sentrert i det elementet som skal filtreres.
I det følgende beskrives og drøftes segmentering, arealsegmentering henholdsvis avstandssegmentering
I det følgende drøftes arealsegmentering.
Når observasjonsvolumet er tomt for reflektorer blir verdiene i amplitydebildet nær null og variansen mellom naboelementer i avstandsbildet stor. Når en fisk kommer inn i observasjonsområdet vil amplitydeverdiene øke mens variansen mellom naboelementer vil avta lokalt i området der fisken avbildes. Med et 3D-kamera system kan bildet segmenteres både i areal og avstand. Det betyr at reflektorenes kontur kan skilles fra bakgrunn og at reflektorer i forskjellig avstand fra kamera kan skilles.
Første trinn i segmenteringen kan bestå av en arealsegmentering. En rask metode innbefatter å fjerne alle bildepunkter der amplityden er under en gitt grenseverdi, trinn 61, og å anvende dette resultat på avstandsbildet, trinn 62. De gjenstående elementene i både avstands- og amplitydebildet representerer da med stor sannsynlighet reell refleksjon. Hvis det bare er en enkeltfisk i observasjonsområdet vil det, med høy nok grenseverdi, bare være ett område som gjenstår.
Hvis flere fisker er til stede vil det være flere områder, muligens overlappende, som gjenstår. Arealsegmenteringen resulterer i trinn 61 i en ny matrise A<*>hvor hvert element er enten 0 eller 1, hvor 1 angir at elementet tilhører et arealsegment. En matrise oppnådd i trinn 62, hvor hvert element er produktet av tilsvarende element i R og A<*>, som utføres i trinn 62, betegnes videre som R<*>.
Et eksempel på R<*>er vist i Figur 13, som er en tabelloppstilling av behandlede 3D-bildedata som illustrerer ved et eksempel originale avstander i bildedata i utsnittet vist i figur 10 filtrert ved intensiteter i bildedata som vist i figur 11. I dette tilfellet er elementene i A<*>gitt verdien 1 bare dersom elementverdien i A er større eller lik en filtreringsverdi som i det viste eksempelet er satt til 10. Da det er problematisk å illustrere såpass mange operasjoner på det sterkt begrensede datamaterialet matrisen representerer samtidig som matrisen skal inneholde virkelige data, har filtreringsverdien for denne forklaringen av oppfinnelsen satt til 10. Verdien bestemmer sannsynligheten for at signalet i et punkt skal feilklassifiseres som ikke-refleksjon mens det er en reell refleksjon. Dette er som en hypotesetest innen statistikk: man velger en verdi som i praksis fungerer. Derfor er det her ikke fastlagt noe eksakt kriterium for å velge denne bestemte verdien. Likevel er filtreringsverdien ganske lite kritisk. Den styrer hvor kraftig refleksjoner fra sentralområdet på et objekt skal være for å være interessante for etterfølgende behandling. Et fjernt objekt gir svakt signal og er samtidig lite og har dårlig signal/støyforhold og vil i mange sammenhenger være uinteressant. Når terskelverdien settes høy nok blir slike uinteressante objekter automatisk fjernet allerede under arealsegmenteringen. Det er imidlertid funnet fordelaktig at den likevel ikke er for stor fordi beregnede arealer blir mye mindre enn objektenes reelle areal og det etterfølgende kontursøksområdet blir større. Imidlertid har man funnet at filtreringsverdien må være høy i vann med mye partikkelrefleksjon og kan være lavere i klart vann, men valg av filtreringsverdien bør allikevel velges av produsenten ut fra hvordan utstyret skal brukes.
Hvis arealsegmenteringen resulterer i områder med areal over en viss nedre grenseverdi, inneholder bildet akseptable objekter, men hvis ikke forkastes bildet og prosesseringen avbrytes i påvente av neste bilde.
I det følgende drøftes avstandssegmentering
Aksepterte bilder avstandssegmenteres i trinn 63 for å isolere områder som ligger i omtrent samme avstand frakameraet. Hvert slikt område representerer sannsynligvis en fisk. For den videre behandling velges i dette trinn det avstandssegmentet som er nærmest kamera. Vi får nå en ny matrise R<**>med elementverdier 0 eller 1, hvor elementer med verdi 1 er medlemmer av segmentet R<**>begrenset til et område som representerer den eneste eller nærmeste fisken. Segmentet i R<**>er alltid mindre enn fiskens virkelige silhuett. I trinn 63 produseres også en matrise Z som inneholder alle arealsegmenter som ikke er med i R<**>. Unionen av Z og R<**>er således lik A. Bildeelementene i Z er med visshet utenfor det virkelige arealet av objektet som er segmentert ut i R<**>.
Konturalgoritmer som arbeider med A, R<**>og Z som innganger for å begrense områder i bilder med tilnærmet lik gråtone eller farge, er som beskrevet her.
Tabelloppstillingen i figur 14 viser eksempel på behandlede 3D-bildedata, som illustrerer ved et eksempel originale avstander i bildedata vist i figur 13 filtrert ved flatesøk. Slik illustreres i figur 14 resultatet når bildet i figur 13 er "filtrert" av R<**>. Dette bildet, som er illustrert i figur 14, viser sentrale deler av fisken og er utgangspunkt for fastlegging av fiskens kontur.
I det følgende forklares og drøftes kontursøk.
Søk etter konturen går ut på å finne «kanten» i bildet som ligger i overgangen mellom fisk og bakgrunn. Det finnes en rekke velkjente metoder for å finne kanter i gråtonebilder. Disse metodene er ofte ikke robuste når det gjelder å finne omriss av enkeltfisk i bilder med flere fisk eller under ugunstige lysforhold. Dette problemet avhjelpes av oppfinnelsen i og med at matrisen R<**>på en robust måte angir et utgangspunkt for søket og danner a priori kunnskap for initialisering av kontursøkealgoritmen. Fiskens kontur må ligge i en begrenset avstand utenfor konturen av segmentet i R<**>.
Kontursøket består nå i å søke i det opprinnelige amplitydebildet A i nærheten av konturen gitt i R<**>. Dette søket kan tilpasses bildeegenskapene lokalt i A i stedet for å bruke en søkemetode som er tilpasset hele bildets egenskaper. Kontursøket har derfor to store fordeler i forhold til vanlig kantdeteksjon i gråtonebilder ved at konturens omtrentlige plassering er kjent og at søkemetoden kan tilpasses bildeegenskapene langs etter konturen. Det er også naturlig å bruke kunnskap om hvordan konturen av en fisk må se ut, for eksempel med statistiske metoder for å optimalisere kontursøket. Med statistiske metoder menes her for eksempel prinsipalkomponentanalyse eller nevrale nettverk kalibrert med erfaringsdata.
Figur 15 viser en tabelloppstilling av behandlede 3D-bildedata, og illustrerer ved et eksempel kontursøk i originale intensiteter i bildedata vist i figur 11. Slik illustrerer figur 15 ved et eksempel resultatet av et kontursøk i A basert på R<**>.
I det følgende forklares og drøftes løsning med 3D-kamera i kombinasjon med 2D-gråtonekamera.
Det er tidligere nevnt at 3D-kameraet typisk har dårligere oppløsning og følsomhet enn 2D-kameraet, med typisk lengre eksponeringstid når bildet blir registrert. Den lengre eksponeringstiden fører typisk til bevegelsesuskarphet i bildet. Derfor er det aktuelt å kombinere 3D-kamera med et 2D-gråtonekamera som kan ta flere høyoppløselige bilder uten bevegelsesuskarphet samtidig som 3D-bildene tas. Med henvisning til figur 7, representeres hvert gråtonebilde med en matrise G med dimensjon KxL, tilsvarende gråtonekameraets bildematrisedimensjon, eller et valgt utsnitt av gråtonekameraets bildematrise som er tilpasset 3D-kameraets avbildningsfelt.
3D-kameraet brukes også i denne situasjonen til i trinnene 71, 72 og 73 å areal- og avstandssegmentere bildet, slik det er beskrevet over for de tilsvarende trinnene 61,62 og 63. Forskjellen er nå at R<**>og Z ikke brukes direkte som utgangs- og begrensningsareal, men prosesseres i trinn 74 for å brukes som utgangsareal under kontursøk i gråtonebildet G i trinn 75. Kontursøket i G i trinn 75 utføres imidlertid på tilsvarende måte som det i trinn 64 blir brukt til å søke i A.
Dette virker ved at 3D-kameraets koordinatsystem transformeres over i gråtonekameraets koordinatsystem, ved dimensjonstilpasningen i trinn 74. Transformasjonen kan forenkles om de to kameraene monteres tett sammen, med tilnærmet parallelle kameraakser, og at optikken velges slik at begge kameraene har samme synsfelt. Da består transformasjonen hovedsakelig i å øke dimensjonen i R<**>og Z til samme som G, elementene i den nye R<***>gis verdier ved å repetere elementer i R<**>. Samme metode kan brukes for oppdimensjoneringen av Z til Z<*>. Figurene 8A og 8B viser et eksempel på hvordan et utsnitt av R<**>med dimensjon 2x2, illustrert ved eksempel i figur 8A, kan gjøres om til R<***>med dimensjon 8x8, illustrert ved eksempel i figur 8B.
3D-kameraets typisk dårlige oppløsning sammenliknet med 2D-kameraets typisk bedre oppløsning, sammenholdt med at R<***>bare er et utgangspunkt for kontursøket i G, gjør at kravet til presisjon i montasje og innbyrdes kalibrering av kameraene i dette systemet, som benytter nevnte kombinasjon av 3D-kamera og 2D-kamera, er vesentlig mindre enn ved systemer som benytter stereokamerasystem dannet av to 2D-kameraer. At 3D-bildene bare er utgangspunkt for kontursøk gjør også at flere bilder fra gråtonekameraet tatt under eksponering av 3D-bildet kan kontursøkes basert på den samme R<***>, selv om fisken i hvert bilde er forskjøvet i forhold til R<***>.
En etterbehandling av registrerte data kan være basert på det følgende.
Fiskene svømmer i praksis vanligvis med ryggen opp og buken ned, ganske godt orientert etter vertikalen. Kamerahuset kan imidlertid i praksis svinge en del på seg når det er anbrakt under vannflaten, for eksempel på grunn av strøm og bølgebevegelser. Selv om fisken ved avbildning opptrer midt i et bilde fra et kamera som i utgangspunktet skal ha sin synsakse, eller kameraakse, innrettet med horisontalplanet, kan den derfor i realiteten være sett skrått ovenfra eller nedenfra. Dette er en feilkilde som kan være av betydning ved etterbehandling av den anslåtte konturen for beregning av fiskens volum. Denne feilen kan til en viss grad korrigeres ved for hvert bilde ved å måle, på det tidspunkt bildet skaffes, kameraets vinkel i forhold til det plan synsaksen (kameraaksen) er ment å skulle ligge i, og deretter gjøre en transformasjon, som eksempelvis kan innebære en eller flere translasjons- eller rotasjonsberegninger, for å fastlegge konturens dimensjoner som om kameraet hadde opprettholdt den forutbestemte synsretningen.
Det forutsettes at fisk som svømmer i kameraets avbildningsvolum typisk svømmer hovedsakelig normalt på kameraaksen. Dersom fisken ikke svømmer normalt på kameraaksen, vil den kunne fremstå i avbildningen som kortere enn den i virkeligheten er. Denne feilen er gitt av cotangens(alfa), hvor alfa er vinkelen mellom kameraaksen og fiskens svømmeretning. Vinkelen kan måles ved å estimere avstandsforskj ellen mellom fiskens for og bakpart i avstandsbildet som innfanges med 3D-kameraet.
Foreliggende oppfinnelse er hovedsakelig beskrevet ved hjelp av eksempler på dens virkemåte, og slik at en fagkyndig på oppfinnelsens teknikkområde vil kunne realisere den ved en anordning som omfatter funksjonelle elementer anpasset til å skaffe de virkninger som er beskrevet, eventuelt ved en fremgangsmåte som omfatter utførelse av handlinger som virker teknisk som beskrevet for oppfinnelsens funksjoner og virkninger. Likeledes er beskrivelsen slik lagt opp at den gir en fagkyndig på oppfinnelsens teknikkområde den tekniske veiledning som skal til for å kunne realisere den ved bruk av programmerbar teknikk, slik som for eksempel ved bruk av datamaskinteknikk, eller et dataprogram som konfigurerer en databehandlingsinnretning til å utføre de tekniske handlinger som oppfinnelsen innbefatter, eller som konfigurerer en databehandlingsinnretning til å opprette oppfinnelsens funksjonelle elementer i samsvar med oppfinnelsen sammensetning av de funksjonelle elementer og deres vekselvirkninger som beskrevet her.
Claims (23)
1.
Anordning for berøringsfri bestemmelse av volumet eller massen til et objekt (300) suspendert i et medium, særlig volumet eller massen til en svømmende fisk, hvilken anordning innbefatter
et elektronisk 3D-kamera anpasset til å skaffe en 3D-avbildning av objektet i et motiwolum (160) for 3D-kameraet, hvilket 3D-kamera innbefatter en første optisk sender (100) innrettet til å utsende i et belysningsvolum av mediet som innbefatter motiwolumet et optisk signal med en tidsbestemmende modulasjon, et første array (200) av flere optiske mottakere (210), hver innrettet til å motta en del av det optiske signalet reflektert fra en respektiv første optisk reflekterende del av et objekt i belysningsvolumet, og et flertall første avstandsmålere(400), hver med en inngang forbundet med den optiske senderen for mottak av et sendersignal som er tidsrelatert til den tidsbestemmende modulasjonen, hver med en inngang forbundet med en respektiv en av de flere optiske mottakerne for å motta et mottakersignal som er tidsrelatert til den tidsbestemmende modulasjonen i den reflekterte delen av det optiske signalet, og hver innrettet til å fastlegge en avstand fra den respektive reflekterende delen av objektet til den respektive optiske mottakeren på grunnlag av sendersignalet, mottakersignalet og det optiske signalets utbredelseshastighet i mediet,
og
karakterisert ved at anordningen innbefatter en bildedatabehandlingsinnretning som er anpasset til å ta inn 3D-bildedata fra 3D-avbildningen med avstandbildedata (R) og amplitydebildedata (A), og er anpasset til å fremstille en formbeskrivelse av objektet på basis av de inntatte 3D-bildedata.
2.
Anordning ifølge krav 1, hvor bildedatabehandlingsinnretningen er anpasset til å fremstille en formbeskrivelse av objektet på basis av de inntatte 3D-bildedata ved å innbefatte en konturbestemmerinnretning med
en bildeelementfjerner (61) anpasset til å fremstille et redusert amplitydebilde (A <*> ) ved fjerne bildeelementer i amplitydebildet (A),
en arealsegmenterer (62) anpasset til å fremstille et arealsegmentert avstandsbilde (R <*> ) ved å arealsegmentere i avstandsbildet (R) med det reduserte amplitydebildet (A <*> ),
en avstandssegmenterer (63) anpasset til å fremstille et avstandssegmentert avstandsbilde (R <**> ) og en matrise (Z) som inneholder alle arealsegmenter som ikke er med i R <**> ved å avstandssegmentere det arealsegmenterte avstandsbildet (R <*> ), og en konturestimator (64) anpasset til å fremstille en konUirbildematri.se som representerer det avbildete objektets kontur på basis av det avstandssegmenterte avstandsbildet (R <**> ), matrisen (Z) som inneholder alle arealsegmenter som ikke er med i R <**> , og amplitydebildet (A).
3.
Anordning ifølge krav 1, hvor anordningen innbefatter et elektronisk 2D-kamera anpasset til å skaffe en 2D-avbilding av objektet i 3D-kameraets motiwolum med en avbildningsoppløsning som er en annen enn 3D-kameraets avbildningsoppløsning eller en lysfølsomhet som er en annen enn 3D-kameraets lysfølsomhet, bildedatabehandlingsinnretning som er anpasset til å ta inn 2D-bildedata fra 2D-avbildningen med gråtonebildedata (G), og
bildedatabehandlingsinnretningen er anpasset til å fremstille en formbeskrivelse av objektet på basis av de inntatte 3D- og 2D-bildedata ved å innbefatte en konturbestemmerinnretning med
en bildeelementfjerner (71) anpasset til å fremstille et redusert amplitydebilde (A <*> ) ved fjerne bildeelementer i amplitydebildet (A),
en arealsegmenterer (72) anpasset til å fremstille et arealsegmentert avstandsbilde (R <*> ) ved å arealsegmentere i avstandsbildet (R) med det reduserte amplitydebildet (A <*> ),
en avstandssegmenterer (73) anpasset til å fremstille et avstandssegmentert avstandsbilde (R <**> ) og en matrise (Z) som inneholder alle arealsegmenter som ikke er med i det avstandssegmentert avstandsbildet (R <**> ) ved å avstandssegmentere det arealsegmenterte avstandsbildet (R <*> ),
en dimensjonstilpasser (74) anpasset til å fremstille en dimensjonstilpasset utgave (R <***> ) av det avstandssegmenterte avstandsbildet (R <**> ) og en dimensjonstilpasset utgave (Z <*> ) av matrisen (Z) som inneholder alle arealsegmenter som ikke er med i det avstandssegmentert avstandsbildet (R <**> ), og
en konturestimator (75) anpasset til å fremstille en konturbildematrise som representerer det avbildete objektets kontur på basis av den dimensjonstilpassete utgaven (R <***> ) av det avstandssegmenterte avstandsbildet (R <**> ), den dimensjonstilpassete utgaven (Z <*> ) av matrisen (Z) som inneholder alle arealsegmenter som ikke er med i det avstandssegmentert avstandsbildet (R <**> ), og gråtonebildet (G).
4.
Anordning ifølge krav 2 eller 3, innbefattende en volum- eller masseberegningsinnretning som er anpasset til å ta inn konturbildematrisen fremstilt av bildedatabehandlingsinnretningen, og er anpasset til på basis av konturbildematrisen å fremstille en volum- eller masseverdi for det avbildete objektet.
5.
Anordning ifølge et hvilket som helst av de foregående krav, hvor minst en av avstandsmålerne innbefatter en diskriminator innrettet til å selektere en tidsbegrenset del av mottakersignalet som tidsmessig er relatert til en bestemt del av belysningsvolumet.
6.
Anordning ifølge krav et hvilket som helst av de foregående krav, hvor det optiske signalet er et nærinfrarødsignal.
7.
Anordning ifølge krav 6, hvor nærinfrarødsignalet omfatter optiske bølgelengder som ikke registreres av fiskeøyne.
8.
Anordning ifølge et hvilket som helst av de foregående krav, videre innbefattende en volumberegningsanordning med en inngang forbundet med de første avstandsmålerne for å motta den fastlagte avstanden og innrettet til bestemme objektets volum på grunnlag av den fastlagte avstanden og data for senderens og mottakernes geometri og optikk.
9.
Anordning ifølge et hvilket som helst av de foregående krav, hvor mottakerne er klargjort for synkrondemodulasjon av den tidsbestemmende modulasjonen.
10.
Anordning ifølge et hvilket som helst av de foregående krav, hvor den tidsbestemmende modulasjonen er en fasemodulasjon.
11.
Anordning ifølge et hvilket som helst av de foregående krav, videre innbefattende et videokamera innrettet til å avbilde et objekt i belysningsvolumet.
12.
Anordning ifølge krav 11, hvor videokameraet er fokusert til å avbilde objektet i den del av belysningsvolumet som tilsvarer den bestemte delen av belysningsvolumet som er angitt i krav 1.
13.
Anordning ifølge et hvilket som helst av de foregående krav, innbefattende en kalibreringsinnretning klargjort for kalibrering, med henblikk på optimalisering av mottakerens følsomhet og et støysignal forårsaket av mediet, ved bruk av et referanseobjekt i belysningsvolumet.
14.
Anordning ifølge et hvilket som helst av de foregående krav, hvor de optiske mottakerne er innrettet til å registrere en intensitet i det optisk reflekterte signalet og å utgi et intensitetssignal klargjort for bruk i en fremvisningsinnretning til dannelse av et bilde av objektet.
15.
Anordning ifølge krav 4, hvor volum- eller masseberegningsanordningen er innrettet til å motta et flertall av fastlagte avstander fira et flertall avstandsmålinger, og til å bestemme objektets volum på grunnlag av flertallet av fastlagte avstander.
16.
Datamaskinprogramprodukt for berøringsfri bestemmelse av volumet eller massen til et objekt (300) suspendert i et medium, særlig volumet eller massen til en svømmende fisk, hvilket datamaskinprogramprodukt er forsynt med en kode som er eksekverbar i en datamaskin forbundet med et elektronisk 3D-kamera anpasset til å skaffe en 3D-avbildning av objektet i et motiwolum (160) for 3D-kameraet, hvilket 3D-kamera innbefatter en første optisk sender (100) innrettet til å utsende i et belysningsvolum av mediet som innbefatter motiwolumet et optisk signal med en tidsbestemmende modulasjon, et første array (200) av flere optiske mottakere (210), hver innrettet til å motta en del av det optiske signalet reflektert fra en respektiv første optisk reflekterende del av et objekt i belysningsvolumet, og et flertall første avstandsmålere(400), hver med en inngang forbundet med den optiske senderen for mottak av et sendersignal som er tidsrelatert til den tidsbestemmende modulasjonen, hver med en inngang forbundet med en respektiv en av de flere optiske mottakerne for å motta et mottakersignal som er tidsrelatert til den tidsbestemmende modulasjonen i den reflekterte delen av det optiske signalet, og hver innrettet til å fastlegge en avstand fra den respektive reflekterende delen av objektet til den respektive optiske mottakeren på grunnlag av sendersignalet, mottakersignalet og det optiske signalets utbredelseshastighet i mediet,
og
karakterisert ved at koden er anpasset til å konfigurere datamaskinen til å utgjøre en bildebehandlingsinnretning anpasset til å ta inn 3D-bildedata fra 3D-avbildningen med avstandbildedata (R) og amplitydebildedata (A), og til å fremstille en formbeskrivelse av objektet på basis av de inntatte 3D-bildedata.
17.
Datamaskinprogramprodukt ifølge krav 16, hvor koden er anpasset til å konfigurere datamaskinen til å fremstille en formbeskrivelse av objektet på basis av de inntatte 3D-bildedata ved å konfigurere datamaskinen til å utgjøre en konturbestemmerinnretning med
en bildeelementfjerner (61) anpasset til å fremstille et redusert amplitydebilde (A <*> ) ved fjerne bildeelementer i amplitydebildet (A),
en arealsegmenterer (62) anpasset til å fremstille et arealsegmentert avstandsbilde (R <*> ) ved å arealsegmentere i avstandsbildet (R) med det reduserte amplitydebildet (A <*> ),
en avstandssegmenterer (63) anpasset til å fremstille et avstandssegmentert avstandsbilde (R <**> ) og en matrise (Z) som inneholder alle arealsegmenter som ikke er med i R <**> ved å avstandssegmentere det arealsegmenterte avstandsbildet (R <*> ), og en konturestimator (64) anpasset til å fremstille en konturbildematrise som representerer det avbildete objektets kontur på basis av det avstandssegmenterte avstandsbildet (R <**> ), matrisen (Z) som inneholder alle arealsegmenter som ikke er med i R <**> , og amplitydebildet (A).
18.
Datamaskinprogramprodukt ifølge krav 16 eller 17, hvor koden er innrettet til å anpasse datamaskinen forbundet med et elektronisk 2D-kamera til å skaffe en 2D-avbilding av objektet i 3D-kameraets motiwolum med en avbildningsoppløsning som er en annen enn 3D-kameraets avbildningsoppløsning eller en lysfølsomhet som er en annen enn 3D-kameraets lysfølsomhet, og hvor koden er anpasset til å konfigurere datamaskinen til å utgjøre
en bildedatabehandlingsinnretning som er anpasset til å ta inn 2D-bildedata fra 2D-avbildningen med gråtonebildedata (G), hvilken bildedatabehandlingsinnretning er anpasset til å fremstille en formbeskrivelse av objektet på basis av de inntatte 3D- og 2D-bildedata ved å innbefatte en konturbestemmerinnretning med en bildeelementfjerner (71) anpasset til å fremstille et redusert amplitydebilde (A <*> ) ved fjerne bildeelementer i amplitydebildet (A),
en arealsegmenterer (72) anpasset til å fremstille et arealsegmentert avstandsbilde (R <*> ) ved å arealsegmentere i avstandsbildet (R) med det reduserte amplitydebildet (A <*> ),
en avstandssegmenterer (73) anpasset til å fremstille et avstandssegmentert avstandsbilde (R <**> ) og en matrise (Z) som inneholder alle arealsegmenter som ikke er med i det avstandssegmentert avstandsbildet (R <**> ) ved å avstandssegmentere det arealsegmenterte avstandsbildet (R <*> ),
en dimensjonstilpasser (74) anpasset til å fremstille en dimensjonstilpasset utgave (R <***> ) av det avstandssegmenterte avstandsbildet (R <**> ) og en dimensjonstilpasset utgave (Z <*> ) av matrisen (Z) som inneholder alle arealsegmenter som ikke er med i det avstandssegmentert avstandsbildet (R <**> ), og
en konturestimator (75) anpasset til å fremstille en konturbildematrise som representerer det avbildete objektets kontur på basis av den dimensjonstilpassete utgaven (R <***> ) av det avstandssegmenterte avstandsbildet (R <**> ), den dimensjonstilpassete utgaven (Z <*> ) av matrisen (Z) som inneholder alle arealsegmenter som ikke er med i det avstandssegmentert avstandsbildet (R <**> ), og gråtonebildet (G).
19.
Datamaskinprogramprodukt ifølge krav 17 eller 18, hvor koden er anpasset til å konfigurere datamaskinen til å utgjøre
en volum- eller masseberegningsinnretning som er anpasset til å ta inn konturbildematrisen fremstilt av bildedatabehandlingsinnretningen, og er anpasset til på basis av konturbildematrisen å fremstille en volum- eller masseverdi for det avbildete objektet.
20.
Datamaskinprogramprodukt ifølge et hvilket som helst av de kravene 16,17, 18 eller 19, hvor minst en av avstandsmålerne innbefatter en diskriminator innrettet til å selektere en tidsbegrenset del av mottakersignalet som tidsmessig er relatert til en bestemt del av belysningsvolumet.
21.
Datamaskinprogramprodukt ifølge et hvilket som helst av de kravene 16, 17, 18, 19 eller 20, hvor koden er anpasset til å konfigurere datamaskinen til å utgjøre en volumberegningsanordning med en inngang forbundet med de første avstandsmålerne for å motta den fastlagte avstanden og innrettet til bestemme objektets volum på grunnlag av den fastlagte avstanden og data for senderens og mottakernes geometri og optikk.
22.
Datamaskinprogramprodukt ifølge et hvilket som helst av de kravene 16, 17, 18, 19, 20 eller 21, hvor koden er anpasset til å konfigurere datamaskinen forbundet med en kalibreringsinnretning til å utføre optimalisering av mottakerens følsomhet og et støysignal forårsaket av mediet, ved bruk av et referanseobjekt i belysingsvolumet.
23.
Datamaskinprogramprodukt ifølge krav 19, hvor koden er anpasset til å konfigurere datamaskinen slik at volum- eller masseberegningsanordningen er innrettet til å motta et flertall av fastlagte avstander fra et flertall avstandsmålinger, og til å bestemme objektets volum på grunnlag av flertallet av fastlagte avstander.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
NO20092446A NO330423B1 (no) | 2009-06-26 | 2009-06-26 | Anordning og fremgangsmate for fisketelling eller biomassebestemmelse |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
NO20092446A NO330423B1 (no) | 2009-06-26 | 2009-06-26 | Anordning og fremgangsmate for fisketelling eller biomassebestemmelse |
Publications (2)
Publication Number | Publication Date |
---|---|
NO20092446L true NO20092446L (no) | 2010-12-27 |
NO330423B1 NO330423B1 (no) | 2011-04-11 |
Family
ID=43602992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
NO20092446A NO330423B1 (no) | 2009-06-26 | 2009-06-26 | Anordning og fremgangsmate for fisketelling eller biomassebestemmelse |
Country Status (1)
Country | Link |
---|---|
NO (1) | NO330423B1 (no) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NO341371B1 (no) * | 2011-09-22 | 2017-10-23 | Scantrawl As | Sortering under fiske |
CN111868472A (zh) * | 2018-03-20 | 2020-10-30 | 吉利海洋科技有限公司 | 提取多个移动物体的统计样本的系统及方法 |
CN109443196B (zh) * | 2018-09-28 | 2020-07-24 | 顺丰科技有限公司 | 一种体积测量方法及系统 |
ES2786798B2 (es) * | 2019-04-11 | 2022-02-08 | Univ Oviedo | Sistema de estimación de biomasa en acuicultura basado en sensores ópticos y redes neuronales |
-
2009
- 2009-06-26 NO NO20092446A patent/NO330423B1/no not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
NO330423B1 (no) | 2011-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10237532B2 (en) | Scan colorization with an uncalibrated camera | |
CN108370438B (zh) | 范围选通的深度相机组件 | |
Biskup et al. | A stereo imaging system for measuring structural parameters of plant canopies | |
JP4604190B2 (ja) | 距離イメージセンサを用いた視線検出装置 | |
Reynolds et al. | Capturing time-of-flight data with confidence | |
RU2415567C2 (ru) | Система машинного доения (варианты) и способ машинного доения | |
CA2764135C (en) | Device and method for detecting a plant | |
US11294455B2 (en) | Method and device for determining gaze placement, computer readable storage medium | |
US8780182B2 (en) | Imaging system and method using partial-coherence speckle interference tomography | |
NO337305B1 (no) | System og fremgangsmåte for beregning av fysiske størrelser for fritt bevegelige objekter i vann | |
KR102424135B1 (ko) | 2개의 카메라로부터의 곡선의 세트의 구조형 광 매칭 | |
KR20190074841A (ko) | 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법 | |
WO2011104706A1 (en) | A system and method for providing 3d imaging | |
JP2013101045A (ja) | 物品の3次元位置姿勢の認識装置及び認識方法 | |
KR20120058828A (ko) | 3차원 좌표 추출 시스템 및 그 방법 | |
JP2003130621A (ja) | 3次元形状計測方法およびその装置 | |
WO2020156299A1 (zh) | 基于三维光学成像传感器的三维超声成像方法和系统 | |
Ouyang et al. | Visualization and image enhancement for multistatic underwater laser line scan system using image-based rendering | |
KR102186733B1 (ko) | 3차원 해저 지형 생성 방법 | |
Krotkov | EXPLORATORY VISUAL SENSING FOR DETERMINING SPATIAL LAYOUT WITH AN AGILE STEREO CAMERA SYSTEM. | |
WO2017077277A1 (en) | System and methods for imaging three-dimensional objects | |
WO2016142489A1 (en) | Eye tracking using a depth sensor | |
NO20092446L (no) | Anordning og fremgangsmate for fisketelling eller biomassebestemmelse | |
CN109085603A (zh) | 光学三维成像系统和彩色三维图像成像方法 | |
EP3989169A1 (en) | Hybrid photogrammetry |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM1K | Lapsed by not paying the annual fees |