NO330423B1

NO330423B1 - Device and method for fish counting or biomass determination

Info

Publication number: NO330423B1
Application number: NO20092446A
Authority: NO
Inventors: Peder Anders Rod; Odd Arild Olsen
Original assignee: Storvik Aqua As
Priority date: 2009-06-26
Filing date: 2009-06-26
Publication date: 2011-04-11
Also published as: NO20092446L

Abstract

Anordning for bestemmelse av volumet eller massen til et objekt suspendert i et medium. Et elektronisk 3D-kamera er anpasset til å skaffe en 3D-avbildning omfattende et avstandsbilde og et amplitydebilde av objektet i et motivvolum for 3D-kameraet. Et elektronisk 2D-kamera anpasset til å skaffe en 2D-avbilding omfattende et gråtonebilde av objektet i 3D-kameraets motivvolum. En bildedatabehandlingsinnretning er anpasset til å ta inn 3D-bildedata fra 3D-avbildningen, eventuelt 2D-bildedata fra 2D-avbildnigen, og er anpasset til på basis av 3D-bildedata, eventuelt 2D- bildedata, å fremstille en konturmatrise som representerer objektets kontur, ved å utføre i serie a) elementfjerning i amplitydebildet, b) arealsegmentering, c) avstandssegmentering, eventuelt d) dimensjonstilpasning, og f) konturestimering. En volum- eller masseberegnings-innretning som tar inn konturmatrise, og fremstiller på basis av konturmatrisen en volum- eller masseverdi for det avbildete objektet.Device for determining the volume or mass of an object suspended in a medium. An electronic 3D camera is adapted to provide a 3D image comprising a distance image and an amplitude image of the object in a subject volume for the 3D camera. An electronic 2D camera adapted to provide a 2D image comprising a grayscale image of the object in the 3D camera's subject volume. An image data processing device is adapted to capture 3D image data from the 3D image, possibly 2D image data from the 2D image, and is adapted to produce, based on 3D image data, possibly 2D image data, a contour matrix representing the contour of the object, by performing in series a) element removal in the amplitude image, b) area segmentation, c) distance segmentation, optionally d) dimension fitting, and f) contour estimation. A volume or mass calculation device that takes in a contour matrix, and produces on the basis of the contour matrix a volume or mass value for the object depicted.

Description

Oppfinnelsen angår en anordning for bestemmelse av biomasse representert ved organismer som befinner seg i et omgivende medium, og særlig til bestemmelse av biomasse representert ved levende fisk i vann. The invention relates to a device for determining biomass represented by organisms that are in a surrounding medium, and in particular to determining biomass represented by live fish in water.

Bestemmelse av biomasse representert ved levende fisk eller andre organismer som befinner seg i et volum av mediet kan oppnås helt eller tildels ved telling av et antall individer og en todimensjonal bestemmelse av det enkelte individs form. Både individtelling og formbestemmelse er beheftet med usikkerhet, ettersom biomassen faktisk er bestemt av individenes tredimensjonale form. Determination of biomass represented by live fish or other organisms that are in a volume of the medium can be achieved in whole or in part by counting a number of individuals and a two-dimensional determination of the individual individual's shape. Both individual counting and shape determination are subject to uncertainty, as the biomass is actually determined by the three-dimensional shape of the individuals.

I marin oppdrett er det foruten pålitelig biomassebestemmelse også nyttig å kunne følge individenes utvikling, og til det formål ha tilgjengelig et middel som muliggjør en mer nøyaktig observasjon av forskjellige utviklingsparametere, som også kan omfatte individenes atferd. In marine farming, in addition to reliable biomass determination, it is also useful to be able to follow the individuals' development, and to that end have available a means that enables a more accurate observation of various developmental parameters, which can also include the individuals' behaviour.

Det finnes flere systemer for estimering av volum av frittsvømmende fisk basert på kamera, bildebehandling og statistiske metoder, både i handelen og i publikasjoner. Et problem med matfisk er at de opptrer i høye konsentrasjoner og derfor gir store utfordringer innen bildebehandling for å isolere konturen av enkeltfisk. Med kjent kontur og avstand fra kamera kan fiskens volum estimeres med statistiske metoder og erfaringsdata, gjerne ved karakteristiske dimensjoner av fiskens kontur. To kameraer i stereosyn-oppsett brukes gjerne for å bestemme avstand mellom fisk og kamera. Fisken ser på bilder i stor grad ut som en enstonig flate og mangelen på tydelige detaljer på overflaten gjør det vanskelig å bestemme fiskesidens krumning med stereoteknikk. En stor ulempe med stereoteknikk er også et det krever omfattende kalibrering som gjerne må gjentas i felt. There are several systems for estimating the volume of free-swimming fish based on cameras, image processing and statistical methods, both in the trade and in publications. A problem with food fish is that they appear in high concentrations and therefore present major challenges in image processing to isolate the contour of individual fish. With a known contour and distance from the camera, the fish's volume can be estimated using statistical methods and empirical data, preferably by characteristic dimensions of the fish's contour. Two cameras in a stereo vision setup are often used to determine the distance between fish and camera. In photographs, the fish looks largely like a monotonous surface and the lack of clear details on the surface makes it difficult to determine the curvature of the fish side with stereo techniques. A major disadvantage of stereo technique is also that it requires extensive calibration, which often has to be repeated in the field.

I fig. 1 er vist en undervannsenhet 10 som utgjør 3D-kameraet, omfattende en styre-, prosessor og kommunikasjonselektronikk 400, en optisk kilde 100 innrettet til utsendelse av en stråling til belysning et objekt 300 og med forbindelse til styre-, prosessor og kommunikasjonselektronikken 400, et elektronisk kamera 200 med forbindelse til styre-, prosessor og kommunikasjonselektronikken 400 og med en avbildingsoptikk 250, og en forbindelse 20 til et overflateutstyr som ikke er vist i denne illustrasjonen. In fig. 1 shows an underwater unit 10 which constitutes the 3D camera, comprising a control, processor and communication electronics 400, an optical source 100 arranged for sending out a radiation to illuminate an object 300 and with connection to the control, processor and communication electronics 400, a electronic camera 200 with a connection to the control, processor and communication electronics 400 and with an imaging optic 250, and a connection 20 to a surface equipment that is not shown in this illustration.

Den optiske strålingen, som tilveiebringer optisk energi for belysing av objektet 300, er The optical radiation, which provides optical energy for illuminating the object 300, is

modulert til å bære tidsinformasjon. modulated to carry time information.

Kameraet 200 omfatter et flertall optiske mottakere 210 oppstilt i et array, eller minst en optisk mottaker 210 med en avsøkningsinnretning, som med en avbildningsoptikk 250 er innrettet slik en refleksjon fra et objekt belyst av det optiske signalet utsendt fra den optiske kilden registreres til en todimensjonal avbilding av objektet i kameraet 200. The camera 200 comprises a plurality of optical receivers 210 arranged in an array, or at least one optical receiver 210 with a scanning device, which with an imaging optic 250 is arranged so that a reflection from an object illuminated by the optical signal emitted from the optical source is recorded into a two-dimensional image of the object in the camera 200.

De optiske mottakerne 210 er innrettet til å motta tidsinformasjonen som bæres av strålingen i refleksjonen. The optical receivers 210 are arranged to receive the time information carried by the radiation in the reflection.

Styre-, prosessor og kommunikasjonselektronikken 400 er innrettet til å fastlegge tid for mottak av refleksjonen i hver optisk mottaker på basis av tidsinformasjonen, og videre til å bestemme på grunnlag av den fastlagte tid og strålingens utbredelseshastighet en avstand mellom den optiske mottakeren og den del av objektet som skapte refleksjonen. The control, processor and communication electronics 400 are arranged to determine the time for reception of the reflection in each optical receiver on the basis of the time information, and further to determine, on the basis of the determined time and the propagation speed of the radiation, a distance between the optical receiver and the part of the object that created the reflection.

Ved kameraets todimensjonale avbildning og avstandsbestemmelsen oppnås en tredimensjonal bestemmelse av geometrien til objektet, i det omfang det gjelder deler av objektet som reflekterer den optiske strålingen og således lar seg avbilde ved hjelp av kameraet 200. With the camera's two-dimensional imaging and the distance determination, a three-dimensional determination of the geometry of the object is achieved, to the extent that it concerns parts of the object that reflect the optical radiation and thus can be imaged with the help of the camera 200.

Oppfinnelsen har til hensikt å skaffe en biomassebestemmelsesanordning med forbedret nøyaktighet, og med fordel en anordning av forannevnte slag som er anpasset til å skaffe data om observerte individers beskaffenhet og atferd. The invention intends to provide a biomass determination device with improved accuracy, and advantageously a device of the aforementioned kind which is adapted to obtain data on the nature and behavior of observed individuals.

Oppfinnelsen bøter på disse svakhetene ved å bruke et 3D-kamera som direkte måler avstanden til punkter på objekter i kameraets synsfelt, eksempelvis av det slag som er beskrevet innledningsvis. Dermed kan objekter enkelt skilles fra hverandre uavhengig av omgivende lysforhold og interessante objekter segmenteres ut og angi for etterfølgende bildebehandling hvor i bildet videre behandling skal konsentreres. All bildeinformasjon innhentes av samme kamerabrikke og det er ingen kalibrering involvert utover at produsenten stiller en parameter for kameraobjektivets brennvidde. The invention compensates for these weaknesses by using a 3D camera which directly measures the distance to points on objects in the camera's field of view, for example of the kind described at the outset. In this way, objects can be easily separated from each other regardless of the surrounding light conditions and interesting objects can be segmented out and indicated for subsequent image processing where in the image further processing should be concentrated. All image information is obtained by the same camera chip and there is no calibration involved beyond the fact that the manufacturer sets a parameter for the focal length of the camera lens.

I en utførelsesform hvor man ytterligere kan forbedre oppløsning og nøyaktighet anvendes i tillegg et ordinært 2D-kamera av farge- eller gråtonetypen, hvor dette kameraets synsfelt er koordinert med 3D-kameraets synsfelt, slik at det er anordnet en bestemt relasjon mellom et bildeelement, også kalt piksel, i 2D-kameraet og et bildeelement i 3D-kameraet. Typisk kan 2D-kameraet i en fordelaktig utførelsesform av oppfinnelsen ha et dynamisk område, eventuelt følsomhet, hva angår lys som er større enn 3D-kameraets dynamiske område, eventuelt følsomhet, og/eller 2D-kameraet kan ha en oppløsning som er større enn 3D-kameraets oppløsning. For det sistnevnte kan som eksempel kombineres et 2D-kamera som for avbilding av samme motiv, dvs. med samme synsfelt som 3D-kameraet, oppviser 4 bildeelementer innenfor den del av bildefeltet som 3D-kameraet avbilder i 1 bildeelement. In an embodiment where resolution and accuracy can be further improved, an ordinary 2D camera of the color or grayscale type is additionally used, where this camera's field of view is coordinated with the 3D camera's field of view, so that a specific relationship is arranged between an image element, also called a pixel, in the 2D camera and an image element in the 3D camera. Typically, in an advantageous embodiment of the invention, the 2D camera can have a dynamic range, possibly sensitivity, with respect to light that is greater than the 3D camera's dynamic range, possibly sensitivity, and/or the 2D camera can have a resolution that is greater than 3D - the camera's resolution. For the latter, for example, a 2D camera can be combined which, for imaging the same subject, i.e. with the same field of view as the 3D camera, displays 4 image elements within the part of the image field that the 3D camera images in 1 image element.

Til en forenkling av foreliggende oppfinnelses måleanordning til bruk for biomassebestemmelse kan, som antydet tidligere, funksjonen til 2D-kameraet skaffes av en variant av 3D-kameraet som er anpasset til å utgi en 2D-avbildning av motivet. Imidlertid oppviser nåtidens 3D-kameraer av det slag som hovedsakelig er tenkt for å bli innbefattet i oppfinnelsens måleanordning til bruk for biomassebestemmelse typisk en oppløsning eller en lysfølsomhet som er lavere enn nåtidens tilgjengelige 2D-kameraer, eller har en annen tids- eller spektralrespons. I en for tiden fordelaktig utførelsesform av foreliggende oppfinnelse, som er anpasset for å overvinne ytelsesbegrensninger i tilgjengelige 3D-kameraer, er 3D-kameraet og 2D-kameraet skaffet i form av separate kameraenheter. To simplify the present invention's measuring device for use for biomass determination, the function of the 2D camera can, as indicated earlier, be provided by a variant of the 3D camera which is adapted to output a 2D image of the subject. However, today's 3D cameras of the kind that are mainly intended to be included in the measuring device of the invention for use for biomass determination typically exhibit a resolution or a light sensitivity that is lower than the currently available 2D cameras, or have a different temporal or spectral response. In a currently advantageous embodiment of the present invention, which is adapted to overcome performance limitations in available 3D cameras, the 3D camera and the 2D camera are provided in the form of separate camera units.

På grunnlag av avstander bestemt av avstandsmåleren og optiske og geometriske konstanter ved avbildingsanordningen beregnes en volumbeskrivelse av objektet. On the basis of distances determined by the distance meter and optical and geometric constants of the imaging device, a volume description of the object is calculated.

En diskriminator mottar avstander bestemt av avstandsmåleren, og aksepterer eller forkaster stråling mottatt fra objekter som ligger i avstander som ligger innenfor hhv. utenfor et bestemt observasjonsvolum, hvorved mottatt stråling fra ande objekter som ligger nærmere eller mer fjernt fra det bestemte observasjons volumet elimineres. Slik oppnås eksempelvis at en telling eller en bestemmelse av det faktiske volum av en enkelt fisk i en stim kan utføres uten at samtidig avbildning av bakenforliggende fisk påvirker måleresultatet. A discriminator receives distances determined by the rangefinder, and accepts or rejects radiation received from objects located at distances that are within or outside a specific observation volume, whereby received radiation from other objects that are closer or more distant from the specific observation volume is eliminated. In this way it is achieved, for example, that a count or a determination of the actual volume of a single fish in a shoal can be carried out without the simultaneous imaging of fish lying behind affecting the measurement result.

Den tredimensjonale bestemmelsen av objektet benyttes med en modell for objektet til beregning av objektets volum. The three-dimensional determination of the object is used with a model for the object to calculate the object's volume.

Et eksempel vist i figur 2 angir punktene A, B, M og N som punkter på en reflekterende overflate av en fisk som er belyst fra kilden 100, og hvordan disse punktene blir avbildet i punktene A', B', M' hhv. N' på forskjellige optiske mottakere i et array 200 av optiske mottakere 210. Avbildningsoptikken er forenklet til et såkalt "pinhole" i fig. An example shown in figure 2 indicates the points A, B, M and N as points on a reflective surface of a fish which is illuminated from the source 100, and how these points are depicted in the points A', B', M' respectively. N' on different optical receivers in an array 200 of optical receivers 210. The imaging optics are simplified to a so-called "pinhole" in fig.

2, men det viste "pinhole" kan erstattes med en linse for å bedre kameraets lysfølsomhet. 2, but the "pinhole" shown can be replaced with a lens to improve the camera's light sensitivity.

Styre-, prosessor og kommunikasjonselektronikken 400 omfatter en diskriminator innrettet til tidsmessig å selektere den stråling som mottas av de optiske mottakerne 210, hvorved anordningen kan begrense den mottatte, reflekterte stråling som skal anvendes for bestemmelse av objektets geometri. Dette er illustrert ved angivelsene 161 og 162, idet objekter som reflekterer stråling i avstander som ligger nærmere enn beliggenheten 161 og fjernere enn beliggenheten 162 ikke registreres for bestemmelse av obj ektformen. The control, processor and communication electronics 400 comprise a discriminator designed to temporally select the radiation received by the optical receivers 210, whereby the device can limit the received, reflected radiation to be used for determining the object's geometry. This is illustrated by the entries 161 and 162, as objects that reflect radiation at distances that are closer than location 161 and farther than location 162 are not registered for determining the shape of the object.

Figurene 1 og 2 viser konfigurasjoner med strålingskilden 100 anordnet til siden for aperturen til kameraet 200, hvilke konfigurasjoner kan være fordelaktig i tilfeller hvor mediet som omgir objektet rommer et antall partikler eller annet som bevirker sterk tilbakespreding mot kameraet av den utsendte stråling. Hvor tilbakespreding ikke må hensyntas, kan kilden anbringes i en del av kameraets 200 aperture, eksempelvis sentrert i aperturen for slik å optimalisere den reflekterte stråling fra objektet, og for å oppnå en symmetrisk geometri som forenkler avstandsbestemmelsen og bestemmelsen av objektets form. Figures 1 and 2 show configurations with the radiation source 100 arranged to the side of the aperture of the camera 200, which configurations can be advantageous in cases where the medium surrounding the object contains a number of particles or other things that cause strong backscatter towards the camera of the emitted radiation. Where backscattering does not have to be taken into account, the source can be placed in a part of the camera's 200 aperture, for example centered in the aperture in order to optimize the reflected radiation from the object, and to achieve a symmetrical geometry that simplifies the distance determination and the determination of the object's shape.

Kjennetegnende trekk ved oppfinnelsen fremgår videre av de vedfølgende patentkrav, hvilke trekk er tenkt å fremgå av en biomassebestemmer innrettet til å bestemme biomassen i fisk som ved passasje av belysningsvolumet blir registrert av oppfinnelsens formregistreringsanordning. Characteristic features of the invention are further apparent from the accompanying patent claims, which features are intended to be apparent from a biomass determiner designed to determine the biomass in fish which is registered by the invention's shape registration device when passing through the illumination volume.

En fordelaktig utførelsesform av en biomassebestemmer innbefatter flere av oppfinnelsens formregistreringsanordninger som belyser og avbilder et registreringsvolum fra forskjellige vinkler og/eller med stråling av forskjellige bølgelengder. An advantageous embodiment of a biomass determiner includes several of the invention's shape registration devices which illuminate and image a registration volume from different angles and/or with radiation of different wavelengths.

I en fordelaktig utførelse av oppfinnelsen anvendes en konfigurasjon med en eller flere optiske kilder og ett eller flere kameraer som avbilder alle sider av objektet med tredimensjonal bestemmelse av objektets form, og videre til å beregne objektets volum. In an advantageous embodiment of the invention, a configuration is used with one or more optical sources and one or more cameras that image all sides of the object with three-dimensional determination of the object's shape, and further to calculate the object's volume.

Oppfinnelsen blir i det følgende nærmere forklart ved hjelp av ett eller flere utførelseseksempler, og med henvisning til de vedfølgende tegningsfigurer, hvor figur 1 er en blokkskjematisk tegning av en fisketeller eller biomassemåler i henhold til foreliggende oppfinnelse, In the following, the invention is explained in more detail with the help of one or more exemplary embodiments, and with reference to the accompanying drawings, where Figure 1 is a block schematic drawing of a fish counter or biomass meter according to the present invention,

figur 2 er en skjematisk illustrasjon av et utførelseseksempel av en tredimensjonalavbildende innretning eller 3D-kamera for bruk i en fisketeller eller biomassemåler i henhold til foreliggende oppfinnelse, figure 2 is a schematic illustration of an embodiment of a three-dimensional imaging device or 3D camera for use in a fish counter or biomass meter according to the present invention,

figur 3 er en blokkskjematisk tegning av et utførelseseksempel av en første databehandlingsmetode i en fisketeller eller biomassemåler i henhold til foreliggende oppfinnelse, figure 3 is a block schematic drawing of an embodiment of a first data processing method in a fish counter or biomass meter according to the present invention,

figur 4 er en blokkskjematisk tegning av et utførelseseksempel av en andre databehandlingsmetode i en fisketeller eller biomassemåler i henhold til foreliggende oppfinnelse, figure 4 is a block schematic drawing of an embodiment of a second data processing method in a fish counter or biomass meter according to the present invention,

figur 5 er en blokkskjematisk tegning av et utførelseseksempel av en tredje databehandlingsmetode i en fisketeller eller biomassemåler i henhold til foreliggende oppfinnelse, figure 5 is a block schematic drawing of an embodiment of a third data processing method in a fish counter or biomass meter according to the present invention,

figur 6 er en blokkskjematisk tegning av et utførelseseksempel av en første databehandlingsmetode i konturbestemmer i en fisketeller eller biomassemåler i henhold til foreliggende oppfinnelse, figure 6 is a block schematic drawing of an embodiment of a first data processing method in contour determination in a fish counter or biomass meter according to the present invention,

figur 7 er en blokkskjematisk tegning av et utførelseseksempel av en andre databehandlingsmetode i konturbestemmer i en fisketeller eller biomassemåler i henhold til foreliggende oppfinnelse, figure 7 is a block schematic drawing of an embodiment of a second data processing method in contour determination in a fish counter or biomass meter according to the present invention,

figurene 8A og 8B er tabelloppstillinger av 3D-bildedata som illustrerer ved et eksempel en fordelaktig tabellekspanderingsmetode for et utførelseseksempel av en databehandlingsmetode i en fisketeller eller biomassemåler i henhold til foreliggende oppfinnelse, figures 8A and 8B are tabulations of 3D image data which illustrate by way of example an advantageous table expansion method for an embodiment of a data processing method in a fish counter or biomass meter according to the present invention,

figur 9 er et gråtoneskalabilde som representerer et eksempel på originale intensiteter i et fullt synsfelt i bildedata fra 3D-kamera som vist i figur 2, Figure 9 is a grayscale image representing an example of original intensities in a full field of view in image data from 3D camera as shown in Figure 2,

figur 10 er et utsnitt av gråtoneskalabildet, merket med hvit ramme i fullsynsfeltsbildet vist i figur 9, figure 10 is a section of the gray scale image, marked with a white frame in the full field of view image shown in figure 9,

figur 11 er tabelloppstilling av 3D-bildedata som illustrerer ved et eksempel originale intensiteter i bildedata i utsnittet vist i figur 10, figure 11 is a tabular arrangement of 3D image data which illustrates, by way of example, original intensities in image data in the section shown in figure 10,

figur 12 er tabelloppstilling av 3D-bildedata som illustrerer ved et eksempel originale avstander i bildedata i utsnittet vist i figur 10, figure 12 is a tabular arrangement of 3D image data which illustrates, by way of example, original distances in image data in the section shown in figure 10,

figur 13 er tabelloppstilling av behandlede 3D-bildedata som illustrerer ved et eksempel originale avstander i bildedata i utsnittet vist i figur 10 filtrert ved intensiteter i bildedata som vist i figur 11, figure 13 is a tabulation of processed 3D image data which illustrates, by way of example, original distances in image data in the section shown in figure 10 filtered by intensities in image data as shown in figure 11,

figur 14 er tabelloppstilling av behandlede 3D-bildedata som illustrerer ved et eksempel originale avstander i bildedata vist i figur 13 filtrert ved fiatesøk, figure 14 is a tabulation of processed 3D image data which illustrates, by way of example, original distances in image data shown in figure 13 filtered by fiat search,

figur 15 er tabelloppstilling av behandlede 3D-bildedata som illustrerer ved et eksempel kontursøk i originale intensiteter i bildedata vist i figur 11, og figure 15 is a tabulation of processed 3D image data which illustrates by an example contour search in original intensities in image data shown in figure 11, and

figur 16 er en kurvetegning som illustrerer relativ varians i intensiteter og relativ varians i avstander i 3D-bildedata vist i figur 11 henholdsvis i figur 12. figure 16 is a curve drawing illustrating relative variance in intensities and relative variance in distances in 3D image data shown in figure 11 and in figure 12 respectively.

Ovennevnte hensikt og andre fordeler oppnås ved oppfinnelsens måleanordning til bruk for biomassebestemmelse, som innbefatter minst en avstandsmålende avbildningsinnretning, som i det følgende blir omtalt som et 3D-kamera, hvilket 3D-kamera innbefatter en optisk kilde og minst en optisk avbildningsenhet med en endimensjonal eller todimensjonal oppstilling av et flertall bildeelementer, hvor kilden avgir en optisk utstråling som bærer tidsinformasjon og et antall av bildeelementene er innrettet til å avbilde respektive deler av et objekt i et motiv som blir belyst med utstrålingen og til å oppfange tidsinformasjonen i en del av den optiske utstrålingen som har blitt reflektert av objektet. 3D-kameraet innbefatter også en avstandsmåler som er anordnet i tilknyting til 3D-kameraets bildeelementer og til den optiske kilden eller til en referanseinnretning som registrerer tidsinformasjonen i utstråling fra den optiske kilden som ikke har blitt reflektert av objektet. Tidsinformasjonen i kildeutstrålingen og reflektert stråling mottatt av bildelementene utledes av avstandsmåleren, som på grunnlag av beregnet gangtid bestemmer avstanden mellom hvert bildelement og den respektive reflekterende del av objektet som er avbildet på bildeelementene. Tidsinformasjonen kan ligge i en fase i en modulasjon av strålingen utsendt fra den optiske kilden. Videre innbefatter oppfinnelsens måleanordning til bruk for biomassebestemmelse et kamera for opptak av todimensjonalt bilde og som er anpasset til å avbilde det samme motiv som kan avbildes av 3D-kameraet, hvilket kamera for opptak av todimensjonalt bilde her blir omtalt som et 2D-kamera. Videre innbefatter oppfinnelsens måleanordning til bruk for biomassebestemmelse en bildebehandlingsinnretning som er anpasset til å ta inn 3D-bildedata og 2D-bildedata, og på basis av disse 3D- og 2D-bildedata å fremstille en formbeskrivelse av ett eller flere objekter som inngår i det avbildete motivet. Videre innbefatter oppfinnelsens måleanordning til bruk for biomassebestemmelse en volum- eller masseberegningsinnretning som er anpasset til å ta inn formbeskrivelsen fremstilt av bildebehandlingsinnretningen, og på basis av formbeskrivelsen fremstille en volum-eller masseverdi for det ene eller de flere objektene som inngår i det avbildete motivet. The above purpose and other advantages are achieved by the invention's measuring device for biomass determination, which includes at least one distance-measuring imaging device, which is referred to in the following as a 3D camera, which 3D camera includes an optical source and at least one optical imaging unit with a one-dimensional or two-dimensional arrangement of a plurality of image elements, where the source emits an optical radiation that carries time information and a number of the image elements are arranged to depict respective parts of an object in a subject that is illuminated with the radiation and to capture the time information in a part of the optical the radiation that has been reflected by the object. The 3D camera also includes a distance meter which is arranged in connection with the 3D camera's picture elements and with the optical source or with a reference device which registers the time information in radiation from the optical source which has not been reflected by the object. The time information in the source radiation and reflected radiation received by the image elements is derived by the distance meter, which, on the basis of calculated travel time, determines the distance between each image element and the respective reflective part of the object depicted on the image elements. The time information may lie in a phase in a modulation of the radiation emitted from the optical source. Furthermore, the measuring device of the invention for use for biomass determination includes a camera for recording a two-dimensional image and which is adapted to image the same subject that can be imaged by the 3D camera, which camera for recording a two-dimensional image is referred to here as a 2D camera. Furthermore, the measuring device of the invention for use for biomass determination includes an image processing device which is adapted to take in 3D image data and 2D image data, and on the basis of this 3D and 2D image data to produce a shape description of one or more objects included in the image the subject. Furthermore, the measuring device of the invention for use for biomass determination includes a volume or mass calculation device which is adapted to take in the shape description produced by the image processing device, and on the basis of the shape description produces a volume or mass value for the one or more objects included in the depicted motif.

Et 3D-kamerasystem av den type som her er foreslått for den foreliggende oppfinnelsen, sender modulert (kontinuerlig eller pulset) lys ut i et volum og, frembringer informasjon om koordinatene til eventuelle reflektorer i volumet. For beskrivelsens skyld antas at kamerasystemets interne koordinatsystem er transformert over i et kartesisk koordinatsystem (x, y, z) hvis (x, y)-plan står normalt på kameraaksen, hvilket innebærer at kameraets bildeplan ligger i et plan som utspennes av x-akse og y-akse, eksempelvis alle punkter med koordinater x,y,0.1 hvert punkt (x, y) registrerer kamerasystemet estimater av avstand, r, til eventuelle reflektorer langs z-aksen. Resultatet av et slikt bilde kan representeres med en matrise R med indekser tilsvarende x- og y-koordinat. Hvert matriseelement er en vektor r med avstandsestimat til reflektorer i volumet begrenset av indeksenes tilhørende x- og y-område og kameraets rekkevidde. Matriseelementene reduseres til en skalar r dersom kamerasystemet bare kan registrere én refleksjon per element. A 3D camera system of the type here proposed for the present invention emits modulated (continuous or pulsed) light into a volume and produces information about the coordinates of any reflectors in the volume. For the sake of description, it is assumed that the camera system's internal coordinate system has been transformed into a Cartesian coordinate system (x, y, z) whose (x, y) plane is normal to the camera axis, which means that the camera's image plane lies in a plane spanned by the x-axis and y-axis, for example all points with coordinates x,y,0.1 each point (x, y) the camera system records estimates of the distance, r, to any reflectors along the z-axis. The result of such an image can be represented by a matrix R with indices corresponding to the x- and y-coordinate. Each matrix element is a vector r with distance estimates to reflectors in the volume limited by the indices' corresponding x- and y-range and the camera's range. The matrix elements are reduced to a scalar r if the camera system can only record one reflection per element.

Unøyaktigheten i avstandsestimatet, som skaffes fra 3D-kameraet, øker når intensiteten av det reflekterte lyset avtar. Unøyaktigheten øker derfor generelt når avstanden til reflektoren øker, objektets overflate absorberer mer av lyset eller overflatens ikke står normalt på kameraaksen. Unøyaktigheten går mot maksimalverdien for avstand når intensiteten i reflektert lys går mot null, det vil si et det ikke er noen signifikant reflektor til stede. I et tomt volum består derfor matrisen bare av kraftig støy, det er ingen korrelasjon mellom nabopunkter. The inaccuracy of the distance estimate, which is obtained from the 3D camera, increases as the intensity of the reflected light decreases. The inaccuracy therefore generally increases when the distance to the reflector increases, the surface of the object absorbs more of the light or the surface is not normal to the camera axis. The inaccuracy goes towards the maximum value for distance when the intensity of reflected light goes towards zero, i.e. when there is no significant reflector present. In an empty volume, the matrix therefore only consists of heavy noise, there is no correlation between neighboring points.

Kameraet kan måle intensiteten av lyset reflektert fra hver reflektor. Elementene i matrisen R består da av en vektor med samhørende par av verdier (r, e), for avstand (r), dvs. avstandsestimat, henholdsvis intensitet (e). Elementene reduseres eventuelt til to skalarverdier hver dersom kameraet bare registrerer én refleks per element. Intensiteten har vesentlig mindre støy enn avstandsestimatet. The camera can measure the intensity of the light reflected from each reflector. The elements in the matrix R then consist of a vector with coherent pairs of values (r, e), for distance (r), i.e. distance estimate, respectively intensity (e). The elements are possibly reduced to two scalar values each if the camera only registers one reflex per element. The intensity has significantly less noise than the distance estimate.

Avstandsdata, dvs. avstandsestimatdata, kan brukes til å estimere karakteristiske trekk ved observert fisk. Da kan hvert avstandsdataestimat r vektes med tilhørende lysintensitet (e) slik at de antatt sikreste observasjonene teller mest. Distance data, i.e. distance estimation data, can be used to estimate characteristic features of observed fish. Then each distance data estimate r can be weighted with the associated light intensity (e) so that the supposedly safest observations count the most.

Kjente 3D-kamerasystem som produserer datasettet R er kjent for å ha dårlig oppløsning i forhold til vanlige kameraer. En bedre måling kan, som nevnt over, oppnås ved å kombinere et samtidig høyoppløselig bilde skaffet med et ordinært 2D-kamera, heretter for enkelthets skyld kalt gråtonebilde, med datasettet R som er skaffet med 3D-kameraet. I motsetning til 3D-kameraets bilde som er skaffet ved å belyse objektet fra den modulerte lyskilden, representerer gråtonebildets bildepunkter summen av reflektert lys fra kameraets lyskilde og omgivelseslys. De to kameraene er ikke plassert på samme sted og gråtonebildet transformeres derfor geometrisk over i samme plan som datasettet R. Deretter benyttes gråtonebildet på samme måte som intensitetsdata fra R. Ved bildeopptak som gjøres på dagtid, eventuelt nattopptak hvor anlegget omfatter lyskilder til vanlig belysning av anlegget, faller omgivelseslys typisk inn ovenfra og lyser opp fisken rygg. Det kan være en fordel å gjøre bildeopptak på dagtid, eller med lyskilde anordnet i eller over vannflaten, for måling av fisk med mørk rygg, fordi kameralyset reflekteres dårlig langsetter ryggen og gir alene dårlig kontrast for kontursøk. Known 3D camera systems that produce the data set R are known to have poor resolution compared to regular cameras. A better measurement can, as mentioned above, be achieved by combining a simultaneous high-resolution image obtained with an ordinary 2D camera, hereafter for simplicity called grayscale image, with the data set R obtained with the 3D camera. Unlike the 3D camera's image, which is obtained by illuminating the object from the modulated light source, the grayscale image's pixels represent the sum of reflected light from the camera's light source and ambient light. The two cameras are not located in the same place, and the grayscale image is therefore geometrically transformed into the same plane as the data set R. The grayscale image is then used in the same way as intensity data from R. For image recordings made during the day, possibly night recordings where the system includes light sources for normal illumination of facility, ambient light typically falls in from above and illuminates the fish's back. It can be an advantage to take pictures during the day, or with a light source arranged in or above the water surface, for measuring fish with a dark back, because the camera light is poorly reflected, elongates the back and alone provides poor contrast for contour searches.

Både for estimering av kontur og volum kan statistiske metoder anvendes. Med statistiske metoder menes her metoder som er basert på modell etablert fra erfaringsdata, for eksempel varianter av prinsipalkomponentanalyse eller nevrale nettverk. Both for estimating contour and volume, statistical methods can be used. Statistical methods here mean methods that are based on models established from empirical data, for example variants of principal component analysis or neural networks.

Foreliggende oppfinnelse er tenkt utført i et datamaskinsystem med en tilknyttet videokamerainnretning for opptak 3D- og 2D-avbildninger av ett eller flere objekter i et motiv, hvor datamaskinsystemet er programmerbart med et biomassebestemmelsesprogram eller anpasset til å virke i samsvar med et biomassebestemmelsesprogram tilført på en programbærerinnretning, hvilket biomassebestemmelsesprogram er anpasset til å få datamaskinsystemet til å utføre en videobildebasert biomassebesternmelsesfremgangsmåte. Denne fremgangsmåten innbefatter fortrinnsvis å utføre de behandlingstrinn som forklares i den følgende del av oppfinnelsens beskrivelse. The present invention is intended to be carried out in a computer system with an associated video camera device for recording 3D and 2D images of one or more objects in a motif, where the computer system is programmable with a biomass determination program or adapted to work in accordance with a biomass determination program supplied on a program carrier device , which biomass determination program is adapted to cause the computer system to perform a video image-based biomass determination procedure. This method preferably includes carrying out the treatment steps which are explained in the following part of the description of the invention.

Et 3D-kamerasystem innbefatter en lyskilde som sender modulert (kontinuerlig eller pulset) lys ut i et volum, og avbildnings- og prosesseringsutstyr som frembringer informasjon om koordinatene til eventuelle reflektorer i det volum som dekkes av avbildningsutstyret. 3D-kameraets detektor består av en matrise 200 av optiske detektorer 210, hvor hvert matriseelement 210 er følsomt for et prismeformet volum foran kameraets objektiv. Hvert matriseelement 210 representerer derfor informasjon i et sfærisk koordinatsystembeskrevet med vinklene phi og theta og med en radius r, hvert element med en åpningsvinkel dphi og dtheta. Dphi og dtheta er bestemt av detektorens og objektivets samlede optiske og geometriske egenskaper. A 3D camera system includes a light source that emits modulated (continuous or pulsed) light into a volume, and imaging and processing equipment that produces information about the coordinates of any reflectors in the volume covered by the imaging equipment. The 3D camera's detector consists of a matrix 200 of optical detectors 210, where each matrix element 210 is sensitive to a prism-shaped volume in front of the camera's lens. Each matrix element 210 therefore represents information in a spherical coordinate system described with angles phi and theta and with a radius r, each element with an opening angle dphi and dtheta. Dphi and dtheta are determined by the overall optical and geometric properties of the detector and objective.

Kameraet dekker romvinkelen begrenset av produktene Nxdphi og Mxdtheta, hvor N og M er detektormatrisens 200 dimensjoner i detektormatirseplanet, dvs. N bildeelementer 210 (piksler) i en første retning, og M bildeelementer 210 (piksler) i en retning normalt til den første retningen. Matrisens midtelement er typisk anordnet slik at det pr. definisjon skaffer informasjon fra et avbildet objekt som er beliggende på et punkt langs kameraaksen. Hvis ønskelig kan informasjonen transformeres over i et annet koordinatsystem, vanligvis kartesisk. The camera covers the solid angle limited by the products Nxdphi and Mxdtheta, where N and M are the dimensions of the detector matrix 200 in the detector matrix plane, i.e. N picture elements 210 (pixels) in a first direction, and M picture elements 210 (pixels) in a direction normal to the first direction. The middle element of the matrix is typically arranged so that per definition obtains information from an imaged object that is located at a point along the camera axis. If desired, the information can be transformed into another coordinate system, usually Cartesian.

I hvert detektorelement registreres informasjon om eventuelle reflektorer langs elementets deteksjonsprisme. Denne informasjonen kan være et komplekst tall for mottatt lys synkrondemodulert med utsendt lys' modulasjon. Det komplekse tallet kan regnes om til refleksjonens relative fasevinkel og amplitude. Med en gitt lyshastighet er fasevinkelen et mål på avstand fra lyskilde via reflektor til detektor. Detektoren kan også utformes slik at lysets gangtid og intensitet måles direkte. In each detector element, information is recorded about any reflectors along the element's detection prism. This information can be a complex number for received light synchronously demodulated with transmitted light's modulation. The complex number can be converted into the reflection's relative phase angle and amplitude. With a given speed of light, the phase angle is a measure of the distance from light source via reflector to detector. The detector can also be designed so that the light's transit time and intensity are measured directly.

Samlet for hele detektoren kan informasjonen presenteres i en matrise for avstand til reflektor R og intensitet eller amplityde A. Matrisenes dimensjoner er lik detektormatrisens dimensjoner NxM. I kameraer hvor hvert element kan registrere flere reflektorer i forskjellig avstand vil matrisene R og A bestå av vektorer med samhørende elementer i stedet for skalare verdier. For å forenkle beskrivelsen vil det i den følgende antas at bare en refleksjon registreres i hvert element og at elementene i matrisene R og A derfor er skalare tall. I det etterfølgende benevnes R som avstandsbilde og A som amplitydebilde. Taken together for the entire detector, the information can be presented in a matrix for distance to reflector R and intensity or amplitude A. The dimensions of the matrices are equal to the dimensions of the detector matrix NxM. In cameras where each element can register several reflectors at different distances, the matrices R and A will consist of vectors with coherent elements instead of scalar values. To simplify the description, it will be assumed in the following that only one reflection is registered in each element and that the elements in the matrices R and A are therefore scalar numbers. In what follows, R is referred to as the distance image and A as the amplitude image.

For god visualisering er det vanlig å kombinere avstands- og amplitydebilde slik at hvert bildepunkt i avstandsbildet gis gråtoneverdi som representerer amplityden i punktet, se for eksempel ref 1. Dette gjør at observatøren lettere kan kjenne igjen objekter og andre detaljer i representasjonen av den tredimensjonale scenen. Dette er bare en visualiseringsteknikk og angår ikke prinsippene for kombinertbruk av avstands-og amplitydebilde som er grunnlag for denne beskrivelsen. For good visualization, it is common to combine distance and amplitude images so that each image point in the distance image is given a grayscale value that represents the amplitude at the point, see for example ref 1. This makes it easier for the observer to recognize objects and other details in the representation of the three-dimensional scene . This is only a visualization technique and does not concern the principles for the combined use of distance and amplitude images which are the basis for this description.

Unøyaktigheten i målt avstand øker når intensiteten av det reflekterte lyset avtar. Unøyaktigheten øker derfor generelt når avstanden til reflektoren øker, objektets overflate absorberer mer av lyset eller overflatens ikke står normalt på kameraaksen. Målefeilen går mot kameraets måleomfang (span) når det ikke reflekteres noe lys. For et tomt volum består derfor matrisen R bare av ukorrelerte kraftig støy. The inaccuracy in measured distance increases as the intensity of the reflected light decreases. The inaccuracy therefore generally increases when the distance to the reflector increases, the surface of the object absorbs more of the light or the surface is not normal to the camera axis. The measurement error goes against the camera's measurement range (span) when no light is reflected. For an empty volume, the matrix R therefore consists only of uncorrelated heavy noise.

Amplityden i hvert punkt kan brukes til å anslå standardavviket i målt avstand. The amplitude at each point can be used to estimate the standard deviation of the measured distance.

Detektoren i et 3D kamera som beskrevet kan ha to vesentlige ulemper: Antall detektorelementer kan være lite og eksponeringstiden kan være lang i forhold til hva som kan oppnås med en konvensjonell gråtone-halvlederdetektor. Dette gir uskarpe bilder, spesielt dersom reflektoren er i bevegelse. Informasjonen fra et 3D-kamera kan derfor med fordel kombineres med bilder fra et konvensjonelt kamera. Det konvensjonelle kameraet kan ta mange bilder med høy oppløsning og uvesentlig bevegelsesuskarphet i løpet av den tiden 3D-kameraet fanger ett 3D-bilde. Et konvensjonelt kamera er ømfintlig for både 3D-kameraets lys og omgivelseslys og kan derfor også gi tilleggsinformasjon som er viktig for å fastlegge reflektorers kontur. I det etterfølgende benevnes bilder fra et slikt kamera som gråtonebilde. The detector in a 3D camera as described can have two significant disadvantages: The number of detector elements can be small and the exposure time can be long compared to what can be achieved with a conventional grayscale semiconductor detector. This results in blurry images, especially if the reflector is moving. The information from a 3D camera can therefore be advantageously combined with images from a conventional camera. The conventional camera can capture many images with high resolution and insignificant motion blur during the time the 3D camera captures one 3D image. A conventional camera is sensitive to both the 3D camera's light and ambient light and can therefore also provide additional information that is important for determining the contour of reflectors. In what follows, images from such a camera are referred to as grayscale images.

Informasjon om krumme reflektorer kan økes vesentlig ved å bruke flere 3D-kameraer som observerer reflektoren fra forskjellig vinkel. Information about curved reflectors can be significantly increased by using several 3D cameras that observe the reflector from different angles.

I det følgende forklares og drøftes volumberegning basert på avstandsestimater. In the following, volume calculation based on distance estimates is explained and discussed.

For den følgende forklaring av prosesseringstrinn som kan inngå i en utførelsesform av oppfinnelsens fremgangsmåte, og tilsvarende for virkemåten til en anordning som kan inngå i oppfinnelsens løsning, vises det først til den vedfølgende figur 3. De følgende avsnitt er nummerert i samsvar med figurens henvisningstall. For the following explanation of processing steps that can be included in an embodiment of the method of the invention, and correspondingly for the operation of a device that can be included in the solution of the invention, reference is first made to the accompanying figure 3. The following sections are numbered in accordance with the figure's reference number.

31.Mest mulig støy kan, om ønskelig, fjernes ved å begrense interessant avstandsområde til et, fortrinnsvis bestemt, intervall og fjerne, eller se bort fra, alle refleksjoner utenfor dette området, eventuelt også områder der variasjonen, som kan 31. As much noise as possible can, if desired, be removed by limiting the interesting distance range to a, preferably specific, interval and removing, or ignoring, all reflections outside this range, possibly also areas where the variation, which can

være forskjellen i avstanden r, eller forskjellen i intensiteten e, mellom naboelementer i matrisen R overstiger en grenseverdi. Deretter fjernes områder som har et areal mindre enn en grenseverdi. Resultatet etter å ha behandlet matrisen R som angitt foran, er nå en matrise R<*>som i stor grad bare inneholder avstandsdata til reelle reflektorer med et minimalt sammenhengende areal og som ligger i gunstig avstand fra kameraet. 32. Potensielle objekter i matrisen R<*>undersøkes med akseptanskriterier. Kriterier kan være at variansen over objektets flate er under en gitt verdi og at hele objektet er innenfor matrisens (x, y)-område. For god måling av fisk skal fisken stå nært horisontalt og med siden nær normalt på kameraaksen. Fisk som er gunstig plassert har også et karakteristisk intervall for lengde/høyde-forholdet. Det kan være flere aksepterte objekter i matrisen som hvert for seg kan behandles videre mot volumberegning. Objekter som aksepteres sendes til videre prosessering. I det følgende omtales bare ett objekt for å forenkle beskrivelsen. 33. Nå er posisjonen til objektets sentrale område kjent, og antas å være en fisk. Fiskens kontur skal nå søkes. Spesielt langs fiskens rygg og buk vil mange punkter være fjernet under trinn 31 over. Med kunnskapen om objektet fira R<*>søkes nå i R fira det sentrale området og utover til det detekteres et sprang i avstand, eksempelvis sprang i r-verdien mellom inntilliggende R-matriseelementer. Spranget kan være forårsaket av reflekser fra objekter foran eller bak objektet vi behandler eller økt støy fordi det ikke er noen reflektor bak fisken. 34. Konturen er omtrentlig fastlagt, men kan forbedres ved at en konturmodell for aktuelt fiskeslag tilpasses kontur funnet under trinn 33 slik at samlet avvik minimaliseres. 35. Kontur skaleres i absolutte mål, for eksempel mm, og karakteristiske dimensjoner kan finnes. 36. Avstandsprofiler over fisken side estimeres. Det gir informasjon om fiskens tykkelse. Profiler, gjerne fra buk til rygg, kan brukes til å estimere fiskens tykkelse eller kondisjonsfaktor basert på statistiske metoder og erfaringsdata. be the difference in the distance r, or the difference in the intensity e, between neighboring elements in the matrix R exceeds a limit value. Areas that have an area smaller than a limit value are then removed. The result, after processing the matrix R as indicated above, is now a matrix R<*> which largely only contains distance data to real reflectors with a minimal contiguous area and which are at a favorable distance from the camera. 32. Potential objects in the matrix R<*> are examined with acceptance criteria. Criteria can be that the variance over the object's surface is below a given value and that the entire object is within the matrix's (x, y) range. For good measurement of fish, the fish must stand close to horizontal and with its side close to normal to the camera axis. Fish that are favorably placed also have a characteristic interval for the length/height ratio. There may be several accepted objects in the matrix which can each be further processed towards volume calculation. Objects that are accepted are sent for further processing. In the following, only one object is mentioned to simplify the description. 33. Now the position of the object's central area is known, and is assumed to be a fish. The contour of the fish must now be searched. Especially along the fish's back and belly, many points will have been removed during step 31 above. With the knowledge of the object fira R<*>, R fira is now searched for the central area and beyond until a jump in distance is detected, for example a jump in the r value between adjacent R-matrix elements. The jump can be caused by reflections from objects in front or behind the object we are processing or increased noise because there is no reflector behind the fish. 34. The contour is roughly determined, but can be improved by adapting a contour model for the relevant fish species to the contour found during step 33 so that overall deviations are minimised. 35. Contours are scaled in absolute measurements, for example mm, and characteristic dimensions can be found. 36. Distance profiles over the fish side are estimated. It gives information about the thickness of the fish. Profiles, preferably from belly to back, can be used to estimate the fish's thickness or condition factor based on statistical methods and empirical data.

37. Volumberegning. 37. Volume calculation.

Det er flere alternative metoder for å beregne volumet, som angitt herunder: There are several alternative methods for calculating the volume, as indicated below:

3 7A. Med statistiske metoder finnes fiskens volum fra konturen og et sett med 3 7A. Using statistical methods, the volume of the fish is found from the contour and a set of

erfaringsdata for aktuelt fiskeslag. experience data for the relevant type of fish.

37B. Med statistiske metoder finnes volumet fra en kombinasjon av kontur og profiler og et sett med erfaringsdata for aktuelt fiskeslag. 37B. With statistical methods, the volume is found from a combination of contour and profiles and a set of experience data for the relevant fish species.

37C. En tredimensjonal modell av aktuelt fiskeslag tilpasses kontur og profiler slik at et kriterium for samlet avvik minimaliseres. Modellens volum er da representativ for fiskens volum. 37C. A three-dimensional model of the relevant fish species is adapted to contours and profiles so that a criterion for overall deviation is minimized. The model's volume is then representative of the fish's volume.

I det følgende beskrives og drøftes fremgangsmåte for volumberegning basert på avstandsestimater og lysintensitet, som tenkes å inngå i en eller flere utførelsesformer av oppfinnelsen. In the following, the procedure for volume calculation based on distance estimates and light intensity, which is thought to be part of one or more embodiments of the invention, is described and discussed.

For den følgende forklaring av handlinger i en utførelsesform av oppfinnelsens fremgangsmåte og virkemåten til oppfinnelsens anordning vises det først til den vedfølgende figur 4. De følgende avsnitt er nummerert i samsvar med figurens henvisningstall. 41. Avstandsdata r der tilhørende intensitet a er under en gitt terskel elimineres. Deretter fjernes isolerte områder under et visst areal og punkter utenfor ønsket avstandsintervall. Resultatet av støyfiltreringen er sentrale områder av reelle objekter representert i matrisen R<*>. 42. Potensielle objekter undersøkes med akseptanskriterier som over. Aksepterte objekter sendes til videre prosessering. For the following explanation of actions in an embodiment of the method of the invention and the operation of the device of the invention, reference is first made to the attached Figure 4. The following sections are numbered in accordance with the figure's reference numbers. 41. Distance data r where the associated intensity a is below a given threshold is eliminated. Then isolated areas below a certain area and points outside the desired distance interval are removed. The result of the noise filtering is central areas of real objects represented in the matrix R<*>. 42. Potential objects are examined with acceptance criteria as above. Accepted objects are sent for further processing.

43. Ut fra objektets sentrale posisjon i R<*>søkes konturen i R som angitt over. 43. Based on the object's central position in R<*>, the contour in R is searched for as stated above.

44. Intensitetsdata inneholder mye mindre støy enn avstandsdata. Nå søkes konturen i intensitetsdata innenfor et område langs konturen funnet i trinn 43. Konturdeteksjonsalgoritmen kan kontinuerlig justeres etter lokale forhold der den søker og kan detektere konturen med større presisjon enn hvis den er justert etter forholdene i hele bildet. 45. Konturen er omtrentlig fastlagt, men kan forbedres ved at en konturmodell for aktuelt fiskeslag tilpasses estimert kontur slik at samlet avvik minimaliseres. 46. Kontur skaleres i absolutte mål, for eksempel mm, og karakteristiske dimensjoner kan finnes. 47. Avstandsprofiler over fisken side estimeres. Det gir informasjon om fiskens tykkelse. Profiler, gjerne fra buk til rygg, kan brukes til å estimere fiskens tykkelse eller kondisjonsfaktor basert på statistiske metoder og erfaringsdata. 44. Intensity data contains much less noise than distance data. Now the contour is searched in intensity data within an area along the contour found in step 43. The contour detection algorithm can be continuously adjusted according to local conditions where it is searching and can detect the contour with greater precision than if it is adjusted according to the conditions in the whole image. 45. The contour is approximately determined, but can be improved by adapting a contour model for the relevant fish species to the estimated contour so that overall deviations are minimised. 46. Contours are scaled in absolute measurements, for example mm, and characteristic dimensions can be found. 47. Distance profiles over the fish side are estimated. It gives information about the thickness of the fish. Profiles, preferably from belly to back, can be used to estimate the fish's thickness or condition factor based on statistical methods and empirical data.

48. Volumberegning. 48. Volume calculation.

48A. Med statistiske metoder finnes fiskens volum fra konturen og et sett med erfaringsdata for aktuelt fiskeslag. 48A. Using statistical methods, the volume of the fish is found from the contour and a set of experience data for the relevant fish species.

48B. Med statistiske metoder finnes volumet fra en kombinasjon av kontur og profiler og et sett med erfaringsdata for aktuelt fiskeslag. 48B. With statistical methods, the volume is found from a combination of contour and profiles and a set of experience data for the relevant fish species.

48C. En tredimensjonal modell av aktuelt fiskeslag tilpasses kontur og profiler slik at et kriterium for samlet avvik minimaliseres. Modellens volum er da representativ for fiskens volum. 48C. A three-dimensional model of the relevant fish species is adapted to contours and profiles so that a criterion for overall deviation is minimized. The model's volume is then representative of the fish's volume.

Figurene 6 og 7 viser alternative utførelsesformer av oppfinnelsens videobildebaserte biomassebestemmelsesfremgangsmåte, og illustrerer en fremgangsmåte, eller en virkemåte til bildebehandlingsinnretningen og volum- eller Figures 6 and 7 show alternative embodiments of the invention's video image-based biomass determination method, and illustrate a method, or an operation of the image processing device and volume or

masseberegningsinnretningen, som kan innbefattes i foreliggende oppfinnelses måleanordning til bruk for biomassebestemmelse. the mass calculation device, which can be included in the present invention's measuring device for use for biomass determination.

I det følgende beskrives og drøftes beregning av reflektorstørrelse. In the following, calculation of reflector size is described and discussed.

Beskrivelsen gjelder bruk av kamerasystemet innen oppdrett i vann generelt og fiskeoppdrett spesielt. Idet følgende antas derfor, for det formål å forklare oppfinnelsen ved hjelp av eksempler, at reflektoren som observeres er en fisk, og at fisken ikke nødvendigvis opptrer alene i deteksjonsvolumet. Oppfinnelsen omfatter altså kombinering av informasjon fra et avstands- og amplitydekamera (dvs. intensitetskamera) for å forbedre sikkerheten i bestemmelse av reflektorers kontur eller silhuett. Prosesseringstrirmene beskrevet under er eksempler på hvordan rådata kan utnyttes for å oppnå dette, og tydeliggjør hvordan denne oppfinnelsen skiller seg fra andre metoder eller løsninger. En fagkyndig på området vil kunne komme frem til en rekke mulige implementasjoner av oppfinnelsen på bakgrunn av de forklaringer som gis her. The description applies to the use of the camera system in aquaculture in general and fish farming in particular. In the following it is therefore assumed, for the purpose of explaining the invention by means of examples, that the reflector being observed is a fish, and that the fish does not necessarily appear alone in the detection volume. The invention therefore includes combining information from a distance and amplitude camera (ie intensity camera) to improve safety in determining the contour or silhouette of reflectors. The processing steps described below are examples of how raw data can be used to achieve this, and make clear how this invention differs from other methods or solutions. An expert in the field will be able to arrive at a number of possible implementations of the invention on the basis of the explanations given here.

Prosesseringstrinnene under er illustrert med eksempler. Figurene 11 og 12 viser eksempler på henholdsvis en amplitydematrise (intensitetsmatrise) og en avstandsmatrise. Disse matrisene, som er 15 ganger 18 elementers utsnitt, er dannet fra et utsnitt av virkelige bilder av fisk som er illustrert i figur 9, hvor utsnittet, som er illustrert separat i figur 10, dekker et område ved fiskens rygg. Figur 9 er et gråtoneskalabilde som representerer et eksempel på originale intensiteter i et fullt synsfelt i bildedata fra 3D-kamera som skissert i figur 2, mens figur 10 er utsnittet av gråtoneskalabildet, merket med hvit ramme i fullsynsfeltsbildet vist i figur 9. Således er figur 11 en tabelloppstilling av 3D-bildedata som illustrerer ved et eksempel originale intensiteter (amplityder) i bildedata i utsnittet vist i figur 10, mens figur 12 er en tabelloppstilling av 3D-bildedata som illustrerer ved et eksempel originale avstander i bildedata i utsnittet vist i figur 10. The processing steps below are illustrated with examples. Figures 11 and 12 show examples of an amplitude matrix (intensity matrix) and a distance matrix, respectively. These matrices, which are 15 by 18 element sections, are formed from a section of real images of fish illustrated in Figure 9, where the section, illustrated separately in Figure 10, covers an area of the fish's back. Figure 9 is a grayscale image that represents an example of original intensities in a full field of view in image data from a 3D camera as outlined in Figure 2, while Figure 10 is the section of the grayscale image, marked with a white frame in the full field of view image shown in Figure 9. Thus, Figure 11 is a tabular arrangement of 3D image data which illustrates, by way of example, original intensities (amplitudes) in image data in the section shown in figure 10, while figure 12 is a tabular arrangement of 3D image data which illustrates, by way of example, original distances in image data in the section shown in figure 10.

Figur 16 viser eksempler på varians i 14 elementstriper på langs av en avbildet fisk. Kurvediagrammet i figur 16 illustrerer eksempel på relativ varians i intensiteter og relativ varians i avstander i 3D-bildedata som er tatt i tilfeldige 16-punkts områder, med minst mulig variasjon i intensitet innen hvert område, over en hel fisk, men er ikke relatert til data i datamatrisene vist i andre figurer. Figure 16 shows examples of variance in 14 longitudinal element stripes of a depicted fish. The curve diagram in Figure 16 illustrates examples of relative variance in intensities and relative variance in distances in 3D image data taken in random 16-point areas, with the least possible variation in intensity within each area, over a whole fish, but is not related to data in the data matrices shown in other figures.

Hver stripe er på 16 elementer, og siden de ligger langsetter fisken, er de virkelige avstandene for hvert bildeelement i utsnittet nær lik hverandre innen hver stripe. Each strip has 16 elements, and since they are located along the fish, the actual distances for each image element in the section are close to each other within each strip.

Figuren viser at varians i avstand synker med økende amplityde mens varians i amplityde stiger med økende amplityde. Langs fiskens kontur i en situasjon hvor den reflekterende flaten nærmer seg parallellitet med lysbanene er amplityden lav, og avstandsdata kan derfor være lite egnet til å fastlegge fiskens omriss. The figure shows that variance in distance decreases with increasing amplitude, while variance in amplitude rises with increasing amplitude. Along the fish's contour in a situation where the reflective surface approaches parallelism with the light paths, the amplitude is low, and distance data may therefore not be suitable for determining the fish's outline.

Filtrering av bilder gjøres ofte med en operasjon på et 3x3 elementers område sentrert i det elementet som skal filtreres. Filtering images is often done with an operation on a 3x3 element area centered on the element to be filtered.

I det følgende beskrives og drøftes segmentering, arealsegmentering henholdsvis avstandssegmentering In the following, segmentation, area segmentation and distance segmentation are described and discussed

I det følgende drøftes arealsegmentering. In the following, area segmentation is discussed.

Når observasjonsvolumet er tomt for reflektorer blir verdiene i amplitydebildet nær null og variansen mellom naboelementer i avstandsbildet stor. Når en fisk kommer inn i observasjonsområdet vil amplitydeverdiene øke mens variansen mellom naboelementer vil avta lokalt i området der fisken avbildes. Med et 3D-kamera system kan bildet segmenteres både i areal og avstand. Det betyr at reflektorenes kontur kan skilles fra bakgrunn og at reflektorer i forskjellig avstand fra kamera kan skilles. When the observation volume is empty of reflectors, the values in the amplitude image are close to zero and the variance between neighboring elements in the distance image is large. When a fish enters the observation area, the amplitude values will increase, while the variance between neighboring elements will decrease locally in the area where the fish is imaged. With a 3D camera system, the image can be segmented both in area and distance. This means that the contour of the reflectors can be distinguished from the background and that reflectors at different distances from the camera can be distinguished.

Første trinn i segmenteringen kan bestå av en arealsegmentering. En rask metode innbefatter å fjerne alle bildepunkter der amplityden er under en gitt grenseverdi, trinn 61, og å anvende dette resultat på avstandsbildet, trinn 62. De gjenstående elementene i både avstands- og amplitydebildet representerer da med stor sannsynlighet reell refleksjon. Hvis det bare er en enkeltfisk i observasjonsområdet vil det, med høy nok grenseverdi, bare være ett område som gjenstår. The first step in the segmentation can consist of an area segmentation. A quick method involves removing all image points where the amplitude is below a given threshold value, step 61, and applying this result to the distance image, step 62. The remaining elements in both the distance and amplitude images then very likely represent real reflection. If there is only a single fish in the observation area, with a high enough limit value, only one area remains.

Hvis flere fisker er til stede vil det være flere områder, muligens overlappende, som gjenstår. Arealsegmenteringen resulterer i trinn 61 i en ny matrise A<*>hvor hvert element er enten 0 eller 1, hvor 1 angir at elementet tilhører et arealsegment. En matrise oppnådd i trinn 62, hvor hvert element er produktet av tilsvarende element i R og A<*>, som utføres i trinn 62, betegnes videre som R<*>. If more fish are present there will be more areas, possibly overlapping, that remain. The area segmentation results in step 61 in a new matrix A<*>where each element is either 0 or 1, where 1 indicates that the element belongs to an area segment. A matrix obtained in step 62, where each element is the product of the corresponding element in R and A<*>, which is performed in step 62, is further denoted as R<*>.

Et eksempel på R<*>er vist i Figur 13, som er en tabelloppstilling av behandlede 3D-bildedata som illustrerer ved et eksempel originale avstander i bildedata i utsnittet vist i figur 10 filtrert ved intensiteter i bildedata som vist i figur 11. I dette tilfellet er elementene i A<*>gitt verdien 1 bare dersom elementverdien i A er større eller lik en filtreringsverdi som i det viste eksempelet er satt til 10. Da det er problematisk å illustrere såpass mange operasjoner på det sterkt begrensede datamaterialet matrisen representerer samtidig som matrisen skal inneholde virkelige data, har filtreringsverdien for denne forklaringen av oppfinnelsen satt til 10. Verdien bestemmer sannsynligheten for at signalet i et punkt skal feilklassifiseres som ikke-refleksjon mens det er en reell refleksjon. Dette er som en hypotesetest innen statistikk: man velger en verdi som i praksis fungerer. Derfor er det her ikke fastlagt noe eksakt kriterium for å velge denne bestemte verdien. Likevel er filtreringsverdien ganske lite kritisk. Den styrer hvor kraftig refleksjoner fra sentralområdet på et objekt skal være for å være interessante for etterfølgende behandling. Et fjernt objekt gir svakt signal og er samtidig lite og har dårlig signal/støyforhold og vil i mange sammenhenger være uinteressant. Når terskelverdien settes høy nok blir slike uinteressante objekter automatisk fjernet allerede under arealsegmenteringen. Det er imidlertid funnet fordelaktig at den likevel ikke er for stor fordi beregnede arealer blir mye mindre enn objektenes reelle areal og det etterfølgende kontursøksområdet blir større. Imidlertid har man funnet at filtreringsverdien må være høy i vann med mye partikkelrefleksjon og kan være lavere i klart vann, men valg av filtreringsverdien bør allikevel velges av produsenten ut fra hvordan utstyret skal brukes. An example of R<*> is shown in Figure 13, which is a tabular arrangement of processed 3D image data that illustrates, by way of example, original distances in image data in the section shown in Figure 10 filtered by intensities in image data as shown in Figure 11. In this in this case, the elements in A<*> are given the value 1 only if the element value in A is greater than or equal to a filtering value which in the shown example is set to 10. As it is problematic to illustrate so many operations on the highly limited data material the matrix represents at the same time as matrix should contain real data, the filtering value for this explanation of the invention is set to 10. The value determines the probability that the signal at a point will be misclassified as non-reflection while it is a real reflection. This is like a hypothesis test in statistics: you choose a value that works in practice. Therefore, no exact criterion has been established here for choosing this specific value. Nevertheless, the filtering value is rather uncritical. It controls how strong reflections from the central area of an object must be in order to be interesting for subsequent processing. A distant object gives a weak signal and is at the same time small and has a poor signal/noise ratio and will in many contexts be uninteresting. When the threshold value is set high enough, such uninteresting objects are automatically removed already during the area segmentation. However, it has been found advantageous that it is still not too large because calculated areas are much smaller than the objects' real area and the subsequent contour search area is larger. However, it has been found that the filtration value must be high in water with a lot of particle reflection and can be lower in clear water, but the selection of the filtration value should still be chosen by the manufacturer based on how the equipment is to be used.

Hvis arealsegmenteringen resulterer i områder med areal over en viss nedre grenseverdi, inneholder bildet akseptable objekter, men hvis ikke forkastes bildet og prosesseringen avbrytes i påvente av neste bilde. If the area segmentation results in areas with area above a certain lower limit value, the image contains acceptable objects, but if not, the image is discarded and processing is suspended pending the next image.

I det følgende drøftes avstandssegmentering In the following, distance segmentation is discussed

Aksepterte bilder avstandssegmenteres i trinn 63 for å isolere områder som ligger i omtrent samme avstand frakameraet. Hvert slikt område representerer sannsynligvis en fisk. For den videre behandling velges i dette trinn det avstandssegmentet som er nærmest kamera. Vi får nå en ny matrise R<**>med elementverdier 0 eller 1, hvor elementer med verdi 1 er medlemmer av segmentet R<**>begrenset til et område som representerer den eneste eller nærmeste fisken. Segmentet i R<**>er alltid mindre enn fiskens virkelige silhuett. I trinn 63 produseres også en matrise Z som inneholder alle arealsegmenter som ikke er med i R<**>. Unionen av Z og R<**>er således lik A. Bildeelementene i Z er med visshet utenfor det virkelige arealet av objektet som er segmentert ut i R<**>. Accepted images are distance segmented in step 63 to isolate areas that are approximately the same distance from the camera. Each such area probably represents a fish. For further processing, the distance segment closest to the camera is selected in this step. We now get a new matrix R<**>with element values 0 or 1, where elements with value 1 are members of the segment R<**>limited to an area representing the only or nearest fish. The segment in R<**> is always smaller than the actual silhouette of the fish. In step 63, a matrix Z is also produced which contains all area segments which are not included in R<**>. The union of Z and R<**> is thus equal to A. The image elements in Z are definitely outside the real area of the object segmented out in R<**>.

Konturalgoritmer som arbeider med A, R<**>og Z som innganger for å begrense områder i bilder med tilnærmet lik gråtone eller farge, er som beskrevet her. Contour algorithms that work with A, R<**>and Z as inputs to limit areas in images of roughly equal grayscale or color are as described here.

Tabelloppstillingen i figur 14 viser eksempel på behandlede 3D-bildedata, som illustrerer ved et eksempel originale avstander i bildedata vist i figur 13 filtrert ved flatesøk. Slik illustreres i figur 14 resultatet når bildet i figur 13 er "filtrert" av R<**>. Dette bildet, som er illustrert i figur 14, viser sentrale deler av fisken og er utgangspunkt for fastlegging av fiskens kontur. The tabular arrangement in figure 14 shows an example of processed 3D image data, which illustrates with an example original distances in image data shown in figure 13 filtered by surface search. This is how Figure 14 illustrates the result when the image in Figure 13 is "filtered" by R<**>. This image, which is illustrated in Figure 14, shows central parts of the fish and is the starting point for determining the fish's contour.

I det følgende forklares og drøftes kontursøk. In the following, contour search is explained and discussed.

Søk etter konturen går ut på å finne «kanten» i bildet som ligger i overgangen mellom fisk og bakgrunn. Det finnes en rekke velkjente metoder for å finne kanter i gråtonebilder. Disse metodene er ofte ikke robuste når det gjelder å finne omriss av enkeltfisk i bilder med flere fisk eller under ugunstige lysforhold. Dette problemet avhjelpes av oppfinnelsen i og med at matrisen R<**>på en robust måte angir et utgangspunkt for søket og danner a priori kunnskap for initialisering av kontursøkealgoritmen. Fiskens kontur må ligge i en begrenset avstand utenfor konturen av segmentet i R<**>. Searching for the contour involves finding the "edge" in the image that lies in the transition between fish and background. There are a number of well-known methods for finding edges in grayscale images. These methods are often not robust when it comes to finding outlines of individual fish in images with several fish or under unfavorable lighting conditions. This problem is remedied by the invention in that the matrix R<**>in a robust way indicates a starting point for the search and forms a priori knowledge for initializing the contour search algorithm. The contour of the fish must lie at a limited distance outside the contour of the segment in R<**>.

Kontursøket består nå i å søke i det opprinnelige amplitydebildet A i nærheten av konturen gitt i R<**>. Dette søket kan tilpasses bildeegenskapene lokalt i A i stedet for å bruke en søkemetode som er tilpasset hele bildets egenskaper. Kontursøket har derfor to store fordeler i forhold til vanlig kantdeteksjon i gråtonebilder ved at konturens omtrentlige plassering er kjent og at søkemetoden kan tilpasses bildeegenskapene langs etter konturen. Det er også naturlig å bruke kunnskap om hvordan konturen av en fisk må se ut, for eksempel med statistiske metoder for å optimalisere kontursøket. Med statistiske metoder menes her for eksempel prinsipalkomponentanalyse eller nevrale nettverk kalibrert med erfaringsdata. The contour search now consists of searching the original amplitude image A in the vicinity of the contour given in R<**>. This search can be adapted to the image properties locally in A instead of using a search method that is adapted to the entire image properties. The contour search therefore has two major advantages compared to ordinary edge detection in grayscale images in that the approximate location of the contour is known and that the search method can be adapted to the image properties along the contour. It is also natural to use knowledge of how the contour of a fish must look, for example with statistical methods to optimize the contour search. By statistical methods is meant here, for example, principal component analysis or neural networks calibrated with experience data.

Figur 15 viser en tabelloppstilling av behandlede 3D-bildedata, og illustrerer ved et eksempel kontursøk i originale intensiteter i bildedata vist i figur 11. Slik illustrerer figur 15 ved et eksempel resultatet av et kontursøk i A basert på R<**>. Figure 15 shows a tabular arrangement of processed 3D image data, and illustrates by way of example a contour search in original intensities in image data shown in Figure 11. Thus, by way of example, Figure 15 illustrates the result of a contour search in A based on R<**>.

I det følgende forklares og drøftes løsning med 3D-kamera i kombinasjon med 2D-gråtonekamera. In the following, a solution with a 3D camera in combination with a 2D grayscale camera is explained and discussed.

Det er tidligere nevnt at 3D-kameraet typisk har dårligere oppløsning og følsomhet enn 2D-kameraet, med typisk lengre eksponeringstid når bildet blir registrert. Den lengre eksponeringstiden fører typisk til bevegelsesuskarphet i bildet. Derfor er det aktuelt å kombinere 3D-kamera med et 2D-gråtonekamera som kan ta flere høyoppløselige bilder uten bevegelsesuskarphet samtidig som 3D-bildene tas. Med henvisning til figur 7, representeres hvert gråtonebilde med en matrise G med dimensjon KxL, tilsvarende gråtonekameraets bildematrisedimensjon, eller et valgt utsnitt av gråtonekameraets bildematrise som er tilpasset 3D-kameraets avbildningsfelt. It was previously mentioned that the 3D camera typically has poorer resolution and sensitivity than the 2D camera, with a typically longer exposure time when the image is recorded. The longer exposure time typically leads to motion blur in the image. It is therefore appropriate to combine a 3D camera with a 2D grayscale camera that can take several high-resolution images without motion blur at the same time as the 3D images are taken. With reference to Figure 7, each grayscale image is represented by a matrix G with dimension KxL, corresponding to the grayscale camera's image matrix dimension, or a selected section of the grayscale camera's image matrix that is adapted to the 3D camera's imaging field.

3D-kameraet brukes også i denne situasjonen til i trinnene 71, 72 og 73 å areal- og avstandssegmentere bildet, slik det er beskrevet over for de tilsvarende trinnene 61,62 og 63. Forskjellen er nå at R<**>og Z ikke brukes direkte som utgangs- og begrensningsareal, men prosesseres i trinn 74 for å brukes som utgangsareal under kontursøk i gråtonebildet G i trinn 75. Kontursøket i G i trinn 75 utføres imidlertid på tilsvarende måte som det i trinn 64 blir brukt til å søke i A. The 3D camera is also used in this situation in steps 71, 72 and 73 to segment the image by area and distance, as described above for the corresponding steps 61, 62 and 63. The difference now is that R<**> and Z do not is used directly as the output and limitation area, but is processed in step 74 to be used as the output area during contour search in the grayscale image G in step 75. However, the contour search in G in step 75 is performed in a similar way to that used in step 64 to search in A .

Dette virker ved at 3D-kameraets koordinatsystem transformeres over i gråtonekameraets koordinatsystem, ved dimensjonstilpasningen i trinn 74. Transformasjonen kan forenkles om de to kameraene monteres tett sammen, med tilnærmet parallelle kameraakser, og at optikken velges slik at begge kameraene har samme synsfelt. Da består transformasjonen hovedsakelig i å øke dimensjonen i R<**>og Z til samme som G, elementene i den nye R<***>gis verdier ved å repetere elementer i R<**>. Samme metode kan brukes for oppdimensjoneringen av Z til Z<*>. Figurene 8A og 8B viser et eksempel på hvordan et utsnitt av R<**>med dimensjon 2x2, illustrert ved eksempel i figur 8A, kan gjøres om til R<***>med dimensjon 8x8, illustrert ved eksempel i figur 8B. This works by transforming the 3D camera's coordinate system into the greyscale camera's coordinate system, during the dimension adjustment in step 74. The transformation can be simplified if the two cameras are mounted close together, with approximately parallel camera axes, and that the optics are chosen so that both cameras have the same field of view. Then the transformation consists mainly in increasing the dimension in R<**>and Z to the same as G, the elements in the new R<***>are given values by repeating elements in R<**>. The same method can be used for the upsizing of Z to Z<*>. Figures 8A and 8B show an example of how a section of R<**> with dimension 2x2, illustrated by example in Figure 8A, can be turned into R<***> with dimension 8x8, illustrated by example in Figure 8B.

3D-kameraets typisk dårlige oppløsning sammenliknet med 2D-kameraets typisk bedre oppløsning, sammenholdt med at R<***>bare er et utgangspunkt for kontursøket i G, gjør at kravet til presisjon i montasje og innbyrdes kalibrering av kameraene i dette systemet, som benytter nevnte kombinasjon av 3D-kamera og 2D-kamera, er vesentlig mindre enn ved systemer som benytter stereokamerasystem dannet av to 2D-kameraer. At 3D-bildene bare er utgangspunkt for kontursøk gjør også at flere bilder fra gråtonekameraet tatt under eksponering av 3D-bildet kan kontursøkes basert på den samme R<***>, selv om fisken i hvert bilde er forskjøvet i forhold til R<***>. The 3D camera's typically poor resolution compared to the 2D camera's typically better resolution, combined with the fact that R<***>is only a starting point for the contour search in G, means that the requirement for precision in assembly and mutual calibration of the cameras in this system, which uses the aforementioned combination of 3D camera and 2D camera, is significantly smaller than with systems that use a stereo camera system formed by two 2D cameras. The fact that the 3D images are only a starting point for contour searches also means that several images from the grayscale camera taken during exposure of the 3D image can be contour searched based on the same R<***>, even if the fish in each image is shifted in relation to R<* **>.

En etterbehandling av registrerte data kan være basert på det følgende. Post-processing of registered data may be based on the following.

Fiskene svømmer i praksis vanligvis med ryggen opp og buken ned, ganske godt orientert etter vertikalen. Kamerahuset kan imidlertid i praksis svinge en del på seg når det er anbrakt under vannflaten, for eksempel på grunn av strøm og bølgebevegelser. Selv om fisken ved avbildning opptrer midt i et bilde fra et kamera som i utgangspunktet skal ha sin synsakse, eller kameraakse, innrettet med horisontalplanet, kan den derfor i realiteten være sett skrått ovenfra eller nedenfra. Dette er en feilkilde som kan være av betydning ved etterbehandling av den anslåtte konturen for beregning av fiskens volum. Denne feilen kan til en viss grad korrigeres ved for hvert bilde ved å måle, på det tidspunkt bildet skaffes, kameraets vinkel i forhold til det plan synsaksen (kameraaksen) er ment å skulle ligge i, og deretter gjøre en transformasjon, som eksempelvis kan innebære en eller flere translasjons- eller rotasjonsberegninger, for å fastlegge konturens dimensjoner som om kameraet hadde opprettholdt den forutbestemte synsretningen. In practice, the fish usually swim with their backs up and their bellies down, fairly well oriented to the vertical. In practice, however, the camera housing can oscillate quite a bit when it is placed below the water's surface, for example due to currents and wave movements. Even if the fish appears in the middle of an image from a camera which should initially have its visual axis, or camera axis, aligned with the horizontal plane, it can therefore in reality be seen obliquely from above or below. This is a source of error that can be significant when post-processing the estimated contour for calculating the volume of the fish. This error can be corrected to a certain extent by for each image by measuring, at the time the image is acquired, the camera's angle in relation to the plane the visual axis (camera axis) is intended to lie in, and then making a transformation, which may for example involve one or more translational or rotational calculations, to determine the dimensions of the outline as if the camera had maintained the predetermined direction of view.

Det forutsettes at fisk som svømmer i kameraets avbildningsvolum typisk svømmer hovedsakelig normalt på kameraaksen. Dersom fisken ikke svømmer normalt på kameraaksen, vil den kunne fremstå i avbildningen som kortere enn den i virkeligheten er. Denne feilen er gitt av cotangens(alfa), hvor alfa er vinkelen mellom kameraaksen og fiskens svømmeretning. Vinkelen kan måles ved å estimere avstandsforskj ellen mellom fiskens for og bakpart i avstandsbildet som innfanges med 3D-kameraet. It is assumed that fish swimming in the camera's imaging volume typically swim mainly normal to the camera axis. If the fish does not swim normally on the camera axis, it may appear in the image as shorter than it actually is. This error is given by the cotangent(alpha), where alpha is the angle between the camera axis and the fish's swimming direction. The angle can be measured by estimating the distance difference between the front and back of the fish in the distance image captured with the 3D camera.

Foreliggende oppfinnelse er hovedsakelig beskrevet ved hjelp av eksempler på dens virkemåte, og slik at en fagkyndig på oppfinnelsens teknikkområde vil kunne realisere den ved en anordning som omfatter funksjonelle elementer anpasset til å skaffe de virkninger som er beskrevet, eventuelt ved en fremgangsmåte som omfatter utførelse av handlinger som virker teknisk som beskrevet for oppfinnelsens funksjoner og virkninger. Likeledes er beskrivelsen slik lagt opp at den gir en fagkyndig på oppfinnelsens teknikkområde den tekniske veiledning som skal til for å kunne realisere den ved bruk av programmerbar teknikk, slik som for eksempel ved bruk av datamaskinteknikk, eller et dataprogram som konfigurerer en databehandlingsinnretning til å utføre de tekniske handlinger som oppfinnelsen innbefatter, eller som konfigurerer en databehandlingsinnretning til å opprette oppfinnelsens funksjonelle elementer i samsvar med oppfinnelsen sammensetning av de funksjonelle elementer og deres vekselvirkninger som beskrevet her. The present invention is mainly described by means of examples of its mode of operation, and so that an expert in the technical area of the invention will be able to realize it by means of a device that includes functional elements adapted to obtain the effects that are described, possibly by a method that includes carrying out actions that work technically as described for the invention's functions and effects. Likewise, the description is laid out in such a way that it provides an expert in the technical area of the invention with the technical guidance needed to be able to realize it using programmable technology, such as, for example, using computer technology, or a computer program that configures a data processing device to perform the technical actions which the invention includes, or which configure a data processing device to create the functional elements of the invention in accordance with the composition of the functional elements and their interactions as described here.

Claims

1. Device for non-contact determination of the volume or mass of an object (300) suspended in a medium, in particular the volume or mass of a swimming fish, which device includes an electronic 3D camera adapted to obtain a 3D image of the object in a subject volume (160) for the 3D camera, which 3D camera includes a first optical transmitter (100) arranged to emit into an illumination volume of the medium comprising the subject volume an optical signal with a timing modulation, a first array (200) of a plurality of optical receivers (210), each adapted to receive a portion of the optical signal reflected from a respective first optically reflective portion of an object in the illumination volume, and a plurality first range finders (400), each having an input connected to the optical transmitter for receiving a transmitter signal time-related to the timing modulation, each having an input connected to a respective one of the plurality of optical receivers for receiving a receiver signal time-related to the timing modulation in the reflected part of the optical signal, each adapted to determine a distance from the respective reflective d el of the object to the respective optical receiver on the basis of the transmitter signal, the receiver signal and the optical signal propagation speed in the medium, and characterized in that the device includes an image data processing device which is adapted to take in 3D image data from the 3D imaging with distance image data (R) and amplitude image data (A), and is adapted to produce a shape description of the object on the basis of the taken in 3D image data.

2. Device according to claim 1, where the image data processing device is adapted to produce a shape description of the object on the basis of the received 3D image data by including a contour determining device with an image element remover (61) adapted to produce a reduced amplitude image (A<*>) by removing image elements in the amplitude image (A), an area segmenter (62) adapted to produce an area segmented distance image (R<*>) by area segmenting the distance image (R) with the reduced amplitude image (A<*>), a distance segmenter (63) adapted to produce a distance segmented distance image (R<**>) and a matrix (Z) containing all area segments not included in R<**> by distance segmenting the area segmented distance image (R<*> ), and a contour estimator (64) adapted to produce a contour image matrix representing the contour of the imaged object based on the range-segmented range image (R<**>), the matrix (Z) containing all area segments not included in R <**>, and the amplitude image (A).

3. Device according to claim 1, wherein the device includes an electronic 2D camera adapted to obtain a 2D image of the object in the 3D camera's subject volume with an imaging resolution that is different from the 3D camera's imaging resolution or a light sensitivity that is different from 3D camera light sensitivity, image data processing device adapted to receive 2D image data from the 2D image with grayscale image data (G), and the image data processing device is adapted to produce a shape description of the object on the basis of the received 3D and 2D image data by including a contour determining device with an image element remover (71) adapted to produce a reduced amplitude image (A<*>) by removing image elements in the amplitude image (A), an area segmenter (72) adapted to produce an area segmented distance image (R<*>) by area segmenting the distance image (R) with the reduced amplitude image (A<*>), a distance segmenter (73) adapted to produce a distance segmented distance image (R<**>) and a matrix (Z) containing all area segments not included in the distance segmented distance image (R<**>) by distance segmenting the area segmented distance image (R<*>), a dimension adjuster (74) adapted to produce a dimension adjusted version (R<***>) of the distance segmented distance image (R<**>) and a dimension adjustment version (Z<*>) of the matrix (Z) containing all area segments which is not included in the distance-segmented distance image (R<**>), and a contour estimator (75) adapted to produce a contour image matrix representing the contour of the imaged object based on the dimension adjusted version (R<***>) of the distance segmented distance image (R<**>), the dimension adjusted version (Z<* >) of the matrix (Z) containing all area segments that are not included in the distance-segmented distance image (R<**>), and the grayscale image (G).

4. Device according to claim 2 or 3, including a volume or mass calculation device which is adapted to take in the contour image matrix produced by the image data processing device, and is adapted to produce a volume or mass value for the imaged object on the basis of the contour image matrix.

5. Device according to any one of the preceding claims, where at least one of the distance meters includes a discriminator arranged to select a time-limited part of the receiver signal which is temporally related to a specific part of the illumination volume.

6. Device according to claim any of the preceding claims, where the optical signal is a near-infrared signal.

7. Device according to claim 6, where the near-infrared signal comprises optical wavelengths that are not detected by fish eyes.

8. Device according to any one of the preceding claims, further comprising a volume calculation device having an input connected to the first range finders for receiving the determined distance and arranged to determine the volume of the object on the basis of the determined distance and data for the geometry and optics of the transmitter and receivers .

9. Device according to any one of the preceding claims, where the receivers are prepared for synchronous demodulation of the timing modulation.

10. Device according to any one of the preceding claims, wherein the timing modulation is a phase modulation.

11. Device according to any one of the preceding claims, further comprising a video camera arranged to image an object in the illumination volume.

12. Device according to claim 11, where the video camera is focused to image the object in the part of the illumination volume that corresponds to the specific part of the illumination volume specified in claim 1.

13. Device according to any one of the preceding claims, including a calibration device prepared for calibration, with a view to optimizing the sensitivity of the receiver and a noise signal caused by the medium, using a reference object in the illumination volume.

14. Device according to any one of the preceding claims, where the optical receivers are arranged to register an intensity in the optically reflected signal and to output an intensity signal prepared for use in a display device to form an image of the object.

15. Device according to claim 4, where the volume or mass calculation device is arranged to receive a majority of determined distances from a plurality of distance measurements, and to determine the object's volume on the basis of the majority of determined distances.

16. Computer program product for non-contact determination of the volume or mass of an object (300) suspended in a medium, in particular the volume or mass of a swimming fish, which computer program product is provided with a code executable in a computer connected to an electronic 3D camera adapted to obtaining a 3D image of the object in a subject volume (160) for the 3D camera, which 3D camera includes a first optical transmitter (100) arranged to emit in an illumination volume of the medium comprising the subject volume an optical signal with a timing modulation , a first array (200) of multiple optical receivers (210), each adapted to receive a portion of the optical signal reflected from a respective first optically reflective portion of an object in the illumination volume, and a plurality of first rangefinders (400), each having an input connected to the optical transmitter for receiving a transmitter signal time-related to the timing modulation, each having an input g connected to a respective one of the plurality of optical receivers for receiving a receiver signal time-related to the timing modulation in the reflected portion of the optical signal, each adapted to determine a distance from the respective reflective portion of the object to the respective the optical receiver on the basis of the transmitter signal, the receiver signal and the propagation speed of the optical signal in the medium, and characterized in that the code is adapted to configure the computer to constitute an image processing device adapted to take in 3D image data from the 3D imaging with distance image data (R) and amplitude image data (A), and to produce a shape description of the object based on the taken 3D image data.

17. A computer program product according to claim 16, wherein the code is adapted to configure the computer to produce a shape description of the object based on the captured 3D image data by configuring the computer to constitute a contour determining device with an image element remover (61) adapted to produce a reduced amplitude image (A<*>) by removing image elements in the amplitude image (A), an area segmenter (62) adapted to produce an area segmented distance image (R<*>) by area segmenting the distance image (R) with the reduced amplitude image (A<*>), a distance segmenter (63) adapted to produce a distance segmented distance image (R<**>) and a matrix (Z) containing all area segments not included in R<**> by distance segmenting the area segmented distance image (R<*> ), and a contour estimator (64) adapted to produce a contour image matrix representing the contour of the imaged object based on the range segmented range image (R<**>), the matrix (Z) containing all area segments not included in R<* *>, and the amplitude image (A).

18. Computer program product according to claim 16 or 17, wherein the code is arranged to adapt the computer connected to an electronic 2D camera to obtain a 2D image of the object in the subject volume of the 3D camera with an imaging resolution that is different from the imaging resolution of the 3D camera or a light sensitivity other than the 3D camera's light sensitivity, and where the code is adapted to configure the computer to constitute an image data processing device adapted to receive 2D image data for the 2D imaging with grayscale image data (G), which image data processing device is adapted to produce a shape description of the object based on the received 3D and 2D image data by including a contour determining device with an image element remover (71) adapted to produce a reduced amplitude image (A<*>) by removing image elements in the amplitude image (A), an area segmenter (72) adapted to produce an area segmented distance image (R<*>) by area segmenting the distance image (R) with the reduced amplitude image (A<*>), a distance segmenter (73) adapted to produce a distance segmented distance image (R<**>) and a matrix (Z) containing all area segments not included in the distance segmented distance image (R<**>) by distance segmenting the area segmented distance image (R<*>), a dimension adjuster (74) adapted to produce a dimension adjusted version (R<***>) of the distance segmented distance image (R<**>) and a dimension adjustment version (Z<*>) of the matrix (Z) containing all area segments which is not included in the distance-segmented distance image (R<**>), and a contour estimator (75) adapted to produce a contour image matrix representing the contour of the imaged object based on the dimension adjusted version (R<***>) of the distance segmented distance image (R<**>), the dimension adjusted version (Z<* >) of the matrix (Z) containing all area segments that are not included in the distance-segmented distance image (R<**>), and the grayscale image (G).

19. The computer program product of claim 17 or 18, wherein the code is adapted to configure the computer to constitute a volume or mass calculation device which is adapted to take in the contour image matrix produced by the image data processing device, and is adapted to, on the basis of the contour image matrix, produce a volume or mass value for the imaged object.

20. Computer program product according to any one of the claims 16, 17, 18 or 19, where at least one of the distance meters includes a discriminator arranged to select a time-limited part of the receiver signal which is temporally related to a specific part of the illumination volume.

21. A computer program product according to any one of claims 16, 17, 18, 19 or 20, wherein the code is adapted to configure the computer to constitute a volume calculation device having an input connected to the first range finders for receiving the determined distance and arranged to determine the volume of the object based on the determined distance and data for the geometry and optics of the transmitter and receivers.

22. A computer program product according to any one of claims 16, 17, 18, 19, 20 or 21, wherein the code is adapted to configure the computer associated with a calibration device to perform optimization of the sensitivity of the receiver and a noise signal caused by the medium, using a reference object in the illumination volume.

23. The computer program product of claim 19, wherein the code is adapted to configure the computer so that the volume or mass calculation device is adapted to receive a plurality of determined distances from a plurality of distance measurements, and to determine the volume of the object based on the plurality of determined distances.