NO347348B1

NO347348B1 - System og framgangsmåte for avbildning og telling av eksterne strukturer på en fisk

Info

Publication number: NO347348B1
Application number: NO20190760A
Authority: NO
Inventors: Frank Robert Wiik Prytz; Bjørn Grøtting
Original assignee: Subc3D As
Priority date: 2019-06-19
Filing date: 2019-06-19
Publication date: 2023-09-25
Also published as: WO2020256566A1; GB2599532A; JP2022538077A; GB2599532B; NO20190760A1; US20220245555A1; GB202117886D0

Description

SYSTEM OG FRAMGANGSMÅTE FOR AVBILDNING OG TELLING AV EKSTERNE STRUKTURER PÅ EN FISK

Oppfinnelsen vedrører et system for avbildning av strukturer i vann. Mer spesifikt vedrører oppfinnelsen et system som omfatter kameraer innrettet for digital nærbildefotogrammetri og en dataprosesseringsenhet som beregner en tredimensjonal modell av et objekt som er fotografert av kameraene. Ytterligere mer spesifikt vedrører oppfinnelsen at dataprosesseringsenheten er innrettet til å registrere og telle strukturer som avviker fra en glatt overflate til objektet. Objektet kan være en levende fisk som svømmer fritt forbi kameraene uten å være i en kanal eller annen ledeanordning. Ytterligere mer spesifikt kan en registrert struktur være en ekstern krepsdyrparasitt slik som en lakselus. En registrert struktur kan alternativt utgjøres av en skade i fiskens skinn. Kameraer og dataprosesseringsenheten kan være innrettet til å rapportere dimensjonen på strukturen eller deler av strukturen. Systemet tilveiebringer en kontinuerlig overvåking og registrering av antall eksterne krepsdyrparasitter i en merd.

Oppdrett av fisk kan skje i anlegg som flyter på en vannoverflate. Anlegget kan omfatte flere innhegninger, hvor hver innhegning er lukket i den betydning at fisken ikke kan svømme eller hoppe ut av innhegningen. Innhegningen kan omfatte åpne vegger som utgjøres av ei not, og en åpen bunn som utgjøres av ei not. En slik innhegning kalles en åpen merd. Innhegningen kan alternativt omfatte tette vegger og en tett bunn. En slik innhegning kalles en lukket merd. I det følgende vil begrepet merd brukes om både en åpen merd og en lukket merd, hvis det ikke ut av sammenhengen er klart at det enten er en åpen merd eller en lukket merd.

Laks (Salmo salar) og regnbueørret (Oncorhynchus mykiss) har spesielt på ryggsiden en flekket skinnoverflate og flekkede skjell. Eksterne fiskeparasitter, slik som lakselus (Lepeophtheirus salmonis), er flate. De fastsittende chalimus I og chalimus II stadiene til lakselus er fra om lag 1 mm til om lag 2,3 mm lange. Disse stadiene er vanskelige å gjenkjenne og identifisere med bildegjenkjenning når de sitter på et fiskeskinn. I det bevegelige pre-adult I stadiet er lakselus om lag 3,6 mm lange. Disse er også vanskelig å gjenkjenne og identifisere med bildegjenkjenning. Pre-adult II stadiene er om lag 4,3 til 5,2 mm lange. De voksne stadiene er lettere å gjenkjenne og identifisere med bildegjenkjenning, da voksne hanner er om lag 5-6 mm lange og voksne hunner er om lag 8-12 mm lange. Hanner og hunner er da så store at de skiller seg ut fra prikkmønsteret til laks og regnbueørret. I tillegg har voksne lakselus en annen farge enn skinnet til fisken.

Eksterne fiskeparasitter er et problem ved oppdrett av fisk i merder.

Patentskrift WO2018011745 viser en kanal som fisken svømmer gjennom. En fiskehelseskanner omfatter to avbildningsanordninger i form av kameraer. Fiskehelse og fiskevelferd registreres for fisk som svømmer gjennom kanalen. Innsamlede data fra kameraene gjennomgår en billedanalyse for å identifisere kjennetegn på fisk og for å karakterisere helsetilstand.

Patentskrift EP2531022 viser et system som omfatter et kamera koblet til et bildegjenkjenningssystem. Et styringssystem retter en laserpuls mot et område på en fisk som oppviser en kontrastforskjell som er typisk for parasitter på overflaten av fisken. Kameraet kan avbilde fisken mens den svømmer gjennom et rør.

Patentskrift CN109856138 viser et system som overvåker en fiskehelse i en merd. Systemet bruker maskinlæring og et bildegjenkjenningssystem for å analysere en video for å overvåke fiskehelsen.

Patentskrift WO2016070297 viser et bærbart apparat for fotografering av en fisk som er bedøvet og plassert på en plate. Et bilde brukes for å analysere fiskehelsen, en lengde, og en vekt av fisken.

Oppfinnelsen har til formål å avhjelpe eller å redusere i det minste én av ulempene ved kjent teknikk, eller i det minste å skaffe til veie et nyttig alternativ til kjent teknikk.

Formålet oppnås ved trekkene som er angitt i nedenstående beskrivelse og i de etterfølgende patentkravene.

Oppfinnelsen vedrører bruk av digital nærbildefotogrammetri. Nærmere bestemt vedrører oppfinnelsen bruk av et system som omfatter flere kameraer. Systemet kan også omfatte én eller flere lyskilder. Kameraene og lyskilden er tilpasset til å kunne brukes i vann. Systemet kan videre være forbundet til en undervannsfarkost som kan bevege seg autonomt rundt i hele det innelukkede volumet til en merd. Systemet kan videre omfatte en ladestasjon som er nedsenket i merden. Ladestasjonen tilføres elektrisk energi fra en energikilde utenfor merden. Undervannsfarkosten vil søke seg til ladestasjonen for overføring av elektrisk energi. Undervannsfarkosten vil også oppholde seg på ladestasjonen når undervannsfarkosten ikke beveger seg rundt i merden. Ladestasjonen kan være innrettet til å overføre data fra systemet og til en sentral dataprosesseringsenhet.

Systemet kan omfatte én kameragruppe. Hver kameragruppe omfatter i det minste to kameraer. Hvert kamera i kameragruppen tar synkroniserte bilder av et objekt i merden. De minst to kameraene i kameragruppen har samme optikk og oppløsning. De synkroniserte bildene fra de like kameraene behandles av den sentrale dataprosesseringsenheten, og dataprosesseringsenheten skaper en tredimensjonal modell av objektet som er fotografert.

Systemet kan omfatte flere kameragrupper. Hver kameragruppe kan peke i en forskjellig retning i forhold til de andre kameragruppene.

Ett av kameraene i hver kameragruppe kan være et videokamera. Videokameraet kan filme med en større synsvinkel enn de andre kameraene i kameragruppen. Data fra videokameraet benyttes ikke til å beregne den tredimensjonale modellen av objektet.

Lyskilden er tilpasset til å gi et lysspekter som egner seg for å avbilde objekter i vann. Lysintensiteten kan varieres. Lyset kan være et blitzlys.

Systemet kan omfatte sensorer for orientering, slik som inklinometer, kompass og gyrokompass. Systemet kan videre omfatte andre sensorer for å måle fysiske egenskaper til vannet og til omgivelsene, slik som en oksygensensor, en temperatursensor, en dybdesensor, en lyssensor og et salinometer.

Systemet kan omfatte midler for trådløs kommunikasjon når undervannsfarkosten forflytter seg rundt i merden. Videosignaler fra videokameraet kan overføres trådløst og i sanntid. De overførte bildene fra videokameraet kan overvåke utfôring av fôrpellets. De overførte bildene fra videokameraet kan brukes til å inspisere en notvegg i merden.

Oppfinnelsen vedrører også å plassere flere undervannsfarkoster som hver er forsynt med én eller flere kameragrupper i samme merd. Undervannsfarkostene kan være innrettet til å kommunisere med hverandre. Det kan være flere ladestasjoner i én merd.

Systemet kan være innrettet til å posisjonere undervannsfarkosten i merden i forhold til hvor fisken oppholder seg i merden og til å registrere svømmeretningen til de fleste fiskene i merden.

Undervannsfarkosten kan være innrettet til å kobles til en kabel. Dette kan være fordelaktig når systemet skal brukes til å inspisere notveggen i merden og til å inspisere forankringsliner og andre elementer i merdens forankring.

Undervannsfarkosten kan være forsynt med midler for å kunne flyte opp til en vannoverflate. Dette kan være fordelaktig hvis det oppstår en feil, eller undervannsfarkosten ikke finner fram til ladestasjonen.

Oppfinnelsen er definert av de selvstendige patentkravene. De uselvstendige kravene definerer fordelaktige utførelser av oppfinnelsen.

I et første aspekt vedrører oppfinnelsen mer spesifikt et system for in situ overvåking og registrering av fiskehelse for fisk i en merd, hvor systemet omfatter i det minste ett kamerahus. Kamerahuset er forsynt med en kameragruppe som omfatter i det minste to kameraer innrettet til å ta synkroniserte bilder for digital nærbildefotogrammetri; systemet omfatter en sentral dataprosesseringsenhet, den sentrale dataprosesseringsenheten er innrettet til å beregne en tredimensjonal modell av et objekt fotografert synkront av de minst to kameraene; og dataprosesseringsenheten er innrettet til å rapportere antall strukturer som avviker fra objektets glatte overflate i den tredimensjonale modellen.

Kameragruppen kan omfatte et overvåkingsvideokamera. Kamerahuset kan omfatte to kameragrupper. Kamerahuset kan være fastgjort til en undervannsfarkost. Undervannsfarkosten kan være en autonom undervannsfarkost. Systemet kan omfatte i det minste to kamerahus fastgjort til undervannsfarkosten.

Systemet kan omfatte kommunikasjonsmidler for trådløs overføring av innsamlede data fra de minst to kameraene og til den sentrale dataprosesseringsenheten.

En merd kan være forsynt med et system som beskrevet i det forgående. Merden kan være forsynt med en ladestasjon for undervannsfarkosten. Merden kan være forsynt med to undervannsfarkoster, og hver undervannsfarkost kan være forsynt med i det minste ett kamerahus.

I et andre aspekt vedrører oppfinnelsen mer spesifikt en framgangsmåte for in situ å overvåke og å registrere fiskehelse for fisk i en merd. Framgangsmåten omfatter trinnene å: - tilveiebringe et system som beskrevet i det foregående;

- fotografere synkront et objekt i merden med kameraene i kameragruppen;

- behandle de innsamlede data fra systemet i den sentrale dataprosesseringsenheten; - beregne en tredimensjonal modell av det fotograferte objektet i merden;

- analysere den tredimensjonale modellen for strukturer som avviker fra objektets glatte overflate og telle antall slike strukturer; og

- rapportere antall slike strukturer.

Framgangsmåten kan ytterligere omfatte å beregne og å rapportere størrelsen på strukturene.

I det etterfølgende beskrives et eksempel på en foretrukket utførelsesform som er anskueliggjort på medfølgende tegninger, hvor:

Fig. 1 viser skjematisk en kameragruppe, hvor kameragruppen er sett forfra;

Fig. 2 viser i samme målestokk som figur 1 kameragruppen sett bakfra;

Fig. 3 viser i litt mindre målestokk enn figur 1, to kameragrupper som peker i forskjellige retninger;

Fig. 4 viser et fotografi av en laks hvor det er plassert markører med ulik størrelse på laksens overflate;

Fig. 5 viser en tredimensjonal gjengivelse av laksen vist i figur 4 basert på digital nærbildefotogrammetri;

Fig. 6 viser et fotografi av samme laks som i figur 4, hvor det er laget en simulert skade i fiskens skinn;

Fig. 7 viser en tredimensjonal gjengivelse av laksen vist i figur 6 basert på digital nærbildefotogrammetri;

Fig. 8 viser en bearbeidet tredimensjonal gjengivelse av skaden vist i figur 6 sett mot fiskens hode;

Fig. 9 viser skjematisk systemet i henhold til oppfinnelsen; og

Fig. 10 viser det samme som figur 9 i en alternativ utførelsesform.

I figurene viser henvisningstall 1 til et system i henhold til oppfinnelsen. Systemet 1 omfatter en kameragruppe 2 som er posisjonert i et kamerahus 3. Kameragruppen 2 omfatter i det minste to like kameraer 21 innrettet for avbildning av et objekt 5 basert på digital nærbildefotogrammetri. Kameragruppen 2 er vist med et videokamera 23. I figurene er det vist fire like kameraer 21 i kameragruppen 2. Kameragruppen 2 kan omfatte tre like kameraer 21. Kameragruppen 2 kan omfatte fem like kameraer 21. Systemet 1 kan omfatte en flerhet kamerahus 3, og hvert kamerahus 3 er forsynt med én kameragruppe 2.

Kamerahuset 3 er vanntett. Kamerahuset 3 er forsynt med et vindu 31 som slipper lys inn til kameraene 21 og videokameraet 23. Kamerahuset 3 kan ha en ytre form som er tilpasset til antall kameraer 21, 23 i kameragruppen 2.

Videokameraet 23 er vist posisjonert sentralt i kameragruppen 2. Videokameraet 23 kan ha en annen posisjon i forhold til de øvrige like kameraer 21 enn det som er vist i figurene.

Figur 3 viser skjematisk to kameragrupper 2 i ett kamerahus 3. Kameragruppene 2 peker hver sin vei.

Systemet 1 omfatter videre en sentral dataprosesseringsenhet 7. Data fra kameraene 21 overføres til den sentrale dataprosesseringsenheten 7. Den sentrale dataprosesseringsenheten 7 er innrettet til å genere en tredimensjonal modell 6 av et objekt 5 som er fotografert av kameraene 21 i kameragruppen 2. Systemet 1 kan også omfatte en undervannsfarkost 8 som er posisjonert inne i en merd 9 for oppdrett av fisk (ikke vist). Merden 9 flyter i en vannoverflate 99 som vist i figurene 9 og 10. Undervannsfarkosten 8 kan være en autonom undervannsfarkost 8. Merden 9 kan være forsynt med en ladestasjon 81 som tilføres elektrisk energi fra en energikilde (ikke vist) utenfor merden 9. Ladestasjonen 81 kan være innrettet til å overføre data fra kameraene 21 i kameragruppen 2 og til den sentrale dataprosesseringsenheten 7.

I en alternativ utførelsesform er undervannsfarkosten 8 innrettet til å overføre data trådløst fra kameraene 21 i kameragruppen 2 og til den sentrale dataprosesseringsenheten 7. I en ytterligere alternativ utførelsesform kan en flerhet undervannsfarkoster 8 være posisjonert i den samme merden 9, som vist i figur 10. Merden 9 kan være forsynt med en flerhet ladestasjoner 81. I en ytterligere alternativ utførelsesform kan hver undervannsfarkost 8 være forsynt med en flerhet kamerahus 3, som vist i figur 10. Det kan være én undervannsfarkost 8 med en flerhet kamerahus 3 i én merd 9.

Tre ulike markører 4, 41-43 ble plassert på et objekt 5. Objektet 5 var en død laks (S. salar) 51, se figur 4. Den første markøren 41 var sirkulær med en diameter på 12,0 mm og en høyde på 5,7 mm. Den andre markøren 42 var sirkulær med en diameter på 7,0 mm og en høyde på 3,1 mm. Den tredje markøren 43 var sirkulær med en diameter på 5,1 mm og en høyde på 2,2 mm. Det ble brukt én første markør 41, fem andre markører 42 og to tredje markører 43. Objektet 5 med markører 4 ble avbildet med en avstand på 60 cm mellom objektet 5 og kameragruppen 2.

Resultatet basert på digital nærbildefotogrammetri er vist i figur 5 som en tredimensjonal modell 6. Markørene 41-43 framkommer tydelig som opphøyde strukturer 61-63 på fiskeskinnet 55. Figur 5 viser at tredimensjonal modellering basert på digital nærbildefotogrammetri er godt egnet for å påvise og telle eksterne fiskeparasitter. Framgangsmåten kan også kombineres med bildegjenkjenning. En slik kombinasjon gjør det mulig å detektere og identifisere enda mindre objekter. Kameraene 21 med høy oppløsning gjør det mulig å påvise slike opphøyde strukturer på større avstand.

Den døde laksen 51 ble påført en simulert skade 53 ved å legge to ortogonale snitt i fiskeskinnet 55, se figur 6. Hvert snitt var ca.2 cm langt og 3-4 mm dypt. Resultatet basert på digital nærbildefotogrammetri er vist i figur 7 som en tredimensjonal modell 60. Den simulerte skaden 53 trer tydelig fram som en struktur på den tredimensjonale modellen 60. Datagrunnlaget kan også brukes til å danne en tredimensjonal modell 69 sett fra en annen synsvinkel, slik som vist i figur 8. Siden avstandene mellom kameraene 21 er kjente, kan også størrelsen på skaden 53 angis i den tredimensjonale modellen 69 slik som vist.

Den sentrale dataprosesseringsenheten kan være innrettet til å presentere den beregnede tredimensjonale modellen 6, 60 sammen med og samtidig med en fotografisk billedgjengivelse av objektet 5 for en observatør. Den beregnede tredimensjonale modellen 6, 60 kan presenteres med markeringer for strukturer 61-63 som avviker fra en glatt overflate. Observatøren kan sammenligne den tredimensjonale modellen 6, 60 med fotografiet for å avgjøre om dataprosesseringsenheten markerer korrekt. Framgangsmåten kan også brukes til maskinlæring.

Det bør bemerkes at alle de ovennevnte utførelsesformene illustrerer oppfinnelsen, men begrenser den ikke, og fagpersoner på området vil kunne utforme mange alternative utførelsesformer uten å avvike fra omfanget av de vedlagte kravene. I kravene skal referansenumre i parentes ikke sees som begrensende.

Bruken av verbet "å omfatte" og dets ulike former ekskluderer ikke tilstedeværelsen av elementer eller trinn som ikke er nevnt i kravene. De ubestemte artiklene "en", "ei" eller "et" foran et element ekskluderer ikke tilstedeværelsen av flere slike elementer.

Det faktumet at enkelte trekk er anført i innbyrdes forskjellige avhengige krav, indikerer ikke at en kombinasjon av disse trekkene ikke med fordel kan brukes.

Claims

Patentkrav

1. System (1) for in situ overvåking og registrering av fiskehelse for fisk i en merd (9), hvor systemet (1) omfatter i det minste ett kamerahus (3), k a r a k t e -r i s e r t v e d at kamerahuset (3) er forsynt med en kameragruppe (2) som omfatter i det minste to kameraer (21) innrettet til å ta synkroniserte bilder for digital nærbildefotogrammetri; systemet (1) omfatter en sentral dataprosesseringsenhet (7), den sentrale dataprosesseringsenheten (7) er innrettet til å beregne en tredimensjonal modell (6, 60, 69) av et objekt (5) fotografert synkront av de minst to kameraer (21); og dataprosesseringsenheten (7) er innrettet til å rapportere antall strukturer (53; 61-63) som avviker fra objektets (5) glatte overflate i den tredimensjonale modellen (6, 60).

2. System (1) i henhold til krav 1, hvor kameragruppen (2) omfatter et overvåkingsvideokamera (23).

3. System (1) i henhold til hvilket som helst av de foregående krav, hvor kamerahuset (3) omfatter to kameragrupper (2).

4. System (1) i henhold til hvilket som helst av de foregående krav, hvor kamerahuset (3) er fastgjort til en undervannsfarkost (8).

5. System (1) i henhold til krav 4, hvor undervannsfarkosten (8) er en autonom undervannsfarkost (8).

6. System (1) i henhold til hvilket som helst av de foregående krav, hvor systemet (1) omfatter i det minste to kamerahus (3) fastgjort til en undervannsfarkost (8).

7. System (1) i henhold til hvilket som helst av de foregående krav, hvor systemet (1) omfatter kommunikasjonsmidler for trådløs overføring av innsamlede data fra de minst to kameraene (21) og til den sentrale dataprosesseringsenheten (7).

8. Merd (9) forsynt med et system (1) i henhold til hvilket som helst av de foregående krav, hvor merden (9) er forsynt med en ladestasjon (81) for en undervannsfarkost (8).

9. Merd (9) forsynt med et system (1) i henhold til hvilket som helst av de foregående krav, hvor merden (9) er forsynt med to undervannsfarkoster (8), og hver undervannsfarkost (8) er forsynt med i det minste ett kamerahus (3).

10. Framgangsmåte for in situ å overvåke og å registrere fiskehelse for fisk i en merd (9), k a r a k t e r i s e r t v e d at framgangsmåten omfatter trinnene å:

- tilveiebringe et system (1) i henhold til hvilket som helst av de foregående krav; - fotografere synkront et objekt (5) i merden (9) med kameraene (21) i kameragruppen (2);

- behandle de innsamlede data fra systemet (1) i den sentrale dataprosesseringsenheten (7);

- beregne en tredimensjonal modell (6, 60, 69) av det fotograferte objektet (5); - analysere den tredimensjonale modellen (6, 60) for strukturer (53; 61-63) som avviker fra objektets (5) glatte overflate og telle antall slike strukturer (53; 61-63); og

- rapportere antall slike strukturer (53; 61-63).

11. Framgangsmåten i henhold til krav 10, hvor framgangsmåten ytterligere omfatter å beregne og å rapportere størrelsen på strukturene (53; 61-63).