NO337305B1 - System and method for calculating physical sizes for freely moving objects in water - Google Patents
System and method for calculating physical sizes for freely moving objects in water Download PDFInfo
- Publication number
- NO337305B1 NO337305B1 NO20121541A NO20121541A NO337305B1 NO 337305 B1 NO337305 B1 NO 337305B1 NO 20121541 A NO20121541 A NO 20121541A NO 20121541 A NO20121541 A NO 20121541A NO 337305 B1 NO337305 B1 NO 337305B1
- Authority
- NO
- Norway
- Prior art keywords
- accordance
- light
- light source
- fish
- lla
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 38
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims description 24
- 241000251468 Actinopterygii Species 0.000 claims description 80
- 238000012545 processing Methods 0.000 claims description 23
- 239000002028 Biomass Substances 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 238000001454 recorded image Methods 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000007619 statistical method Methods 0.000 claims description 2
- 235000019688 fish Nutrition 0.000 description 71
- 238000005259 measurement Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000009395 breeding Methods 0.000 description 6
- 230000001488 breeding effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 241000195493 Cryptophyta Species 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 239000000725 suspension Substances 0.000 description 3
- 241000972773 Aulopiformes Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 241001674048 Phthiraptera Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 235000019515 salmon Nutrition 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000032170 Congenital Abnormalities Diseases 0.000 description 1
- 206010052428 Wound Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000021407 appetite control Nutrition 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000008188 pellet Substances 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K61/00—Culture of aquatic animals
- A01K61/90—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
- A01K61/95—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination specially adapted for fish
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Zoology (AREA)
- Environmental Sciences (AREA)
- Artificial Intelligence (AREA)
- Marine Sciences & Fisheries (AREA)
- Biodiversity & Conservation Biology (AREA)
- Animal Husbandry (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Geophysics And Detection Of Objects (AREA)
- Measuring Arrangements Characterized By The Use Of Fluids (AREA)
Description
System og framgangsmåte for beregning av fysiske størrelser for fritt bevegelige objekter i vann System and procedure for calculating physical quantities for freely moving objects in water
Den foreliggende oppfinnelsen gjelder en fremgangsmåte for beregning av fysiske størrelser, så som en eller flere av: 3D modell, størrelse, vekt og volum, for fritt bevegelige objekter i vann, i samsvar med innledningen til patentkrav 1. The present invention relates to a method for calculating physical quantities, such as one or more of: 3D model, size, weight and volume, for freely moving objects in water, in accordance with the introduction to patent claim 1.
Den foreliggende oppfinnelsen gjelder videre et system for beregning av fysiske størrelser, så som en eller flere av: 3D modell, størrelse, vekt og volum, for fritt bevegelige objekter i vann, i samsvar med innledningen til patentkrav 14. The present invention further relates to a system for calculating physical quantities, such as one or more of: 3D model, size, weight and volume, for freely moving objects in water, in accordance with the introduction to patent claim 14.
Spesielt er den foreliggende oppfinnelsen rettet mot beregning av en eller flere av: 3D modell, størrelse, vekt og volum for fisk i oppdrettsmerder, settefiskanlegg der det benyttes kar og lignende anvendelser. In particular, the present invention is aimed at calculating one or more of: 3D model, size, weight and volume for fish in breeding cages, hatcheries where vessels are used and similar applications.
Bakgrunn Background
Pålitelige automatiske systemer for overvåkning av fisk i oppdrettsanlegg er ønskelig for å optimalisere driften og redusere kostnadene. Faktorer som det erønskelig å ha kontroll på er størrelsen på fisken, snittvekten, størrelsesfordeling i merden, total biomasse, samt fiskens tilstand, adferd og faktisk forforbruk. Reliable automatic systems for monitoring fish in farms are desirable to optimize operations and reduce costs. Factors on which it is desirable to have control are the size of the fish, average weight, size distribution in the cage, total biomass, as well as the fish's condition, behavior and actual consumption.
NO 332103 omhandler et system og fremgangsmåte for beregning av størrelse på marine organismer i vann. Systemet benytter en avstandsmåler for å måle avstand til fisk som et kamera skal ta bilde av. Kameraet er innrettet til å ta bilder nedover i vannet og bildene tas når avstandsmåleren har detektert at det er et objekt innenfor et måleområde. Bildet og informasjon fra avstandsmåleren overføres til et bildeanalyseverktøy for bestemmelse av fiskens størrelse og vekt. NO 332103 deals with a system and method for calculating the size of marine organisms in water. The system uses a distance meter to measure the distance to fish that a camera is to take a picture of. The camera is designed to take pictures down into the water and the pictures are taken when the rangefinder has detected that there is an object within a measurement area. The image and information from the rangefinder are transferred to an image analysis tool for determining the size and weight of the fish.
NO330423 beskriver en anordning og fremgangsmåte for fisketelling eller biomasse-bestemmelse. Det beskrives en anordning for bestemmelse av volumet eller massen til et objekt suspendert i et medium. Volumet eller massen beregnes ved å benytte et 3D-kamera i kombinasjon med et gråtone 2D-kamera. NO330423 describes a device and method for fish counting or biomass determination. A device for determining the volume or mass of an object suspended in a medium is described. The volume or mass is calculated by using a 3D camera in combination with a grayscale 2D camera.
NO330863 beskriver en anordning og fremgangsmåte for snittvektsmåling og appetittforing i oppdrettsanlegg, hvor det omtales en fremgangsmåte og et system for registrering av hovedsakelig fritt bevegelige objekter i en oppdrettsmerd. Bilder fra et gitt antall kamera, i respektive vinkler, overføres til en databehandlingsenhet for prosessering. Databehandlingsenheten detekterer om det er fisk, pellets, feses eller andre fremmedelementer i bildet. Informasjon fra databehandlingsenheten benyttes til å beregne volum og vekt av fisken i bildet. Vekt og voluminformasjon sammenkobles med data om foring av fisken. NO330863 describes a device and method for average weight measurement and appetite control in breeding facilities, where a method and a system for recording mainly freely moving objects in a breeding pen is described. Images from a given number of cameras, at respective angles, are transferred to a data processing unit for processing. The data processing unit detects whether there are fish, pellets, faeces or other foreign elements in the image. Information from the data processing unit is used to calculate the volume and weight of the fish in the image. Weight and volume information is combined with data on feeding the fish.
Fra EP1217328 er det kjent en framgangsmåte for å framskaffe et 3D-bilde ved å projisere et kjent mønster på et objekt i en gitt avstand, og ta bilde av objektet med det projiserte mønsteret. Deretter detekteres mønsteret fra bildet, hvoretter det detekterte og projiserte bildet sammenlignes og avstanden til de ulike delene av objektet beregnes. Det spesielle med EP 1217328 er at det gitte mønsteret dannes ved å arrangere områder med lokal maksimums og minimums lystetthet alternerende. From EP1217328, a procedure is known for obtaining a 3D image by projecting a known pattern onto an object at a given distance, and taking a picture of the object with the projected pattern. The pattern is then detected from the image, after which the detected and projected image are compared and the distance to the various parts of the object is calculated. The special feature of EP 1217328 is that the given pattern is formed by arranging areas with local maximum and minimum light density alternately.
WO2010/098954 beskriver en framgangsmåte for å estimere en fysisk størrelse av et objekt, hvor det projiseres et gitt lysmønster på objektet, hvoretter det reflekterte lyset detekteres og de innsamlede dataene prosesseres i en datamaskin for å gi en tredimensjonal representasjon av objektet, og basert på den tredimensjonale strukturen kan objektets fysiske størrelse beregnes. WO2010/098954 describes a method for estimating a physical size of an object, where a given light pattern is projected onto the object, after which the reflected light is detected and the collected data is processed in a computer to provide a three-dimensional representation of the object, and based on the three-dimensional structure, the object's physical size can be calculated.
EP1659857 Al beskriver en fremgangsmåte for registrering og estimering av vekten av fisk. Et antall kameraer, spesielt CCD-kameraer, registrerer bilder av fisk som beveger seg med kameraene i et overføringsrør. Fisken belyses fra forskjellige sider i overføringsrøret og bilder av forskjellige deler av fisken blir registrert av en sekvenskontroller, på en slik måte at et sammensatt bilde-opptak er laget, som blir brukt som et utgangspunkt for estimering av vekten til fisken. Det beskrives en enhet for å gjøre målinger på fisk som beveger seg i et overføringsrør, som har minst to lyskilder på veggen av overføringsrøret for belysning av fisk, samt to eller flere kameraer, spesielt CCD-kameraer arrangert i et kryssplan jevnt rundt omkretsen, for å registrere refleksjoner fra fisken eller skygge bilder av fisk. EP1659857 Al describes a method for recording and estimating the weight of fish. A number of cameras, especially CCD cameras, record images of fish moving with the cameras in a transmission tube. The fish is illuminated from different sides in the transmission tube and images of different parts of the fish are recorded by a sequence controller, in such a way that a composite image recording is made, which is used as a starting point for estimating the weight of the fish. A device is described for making measurements on fish moving in a transfer tube, having at least two light sources on the wall of the transfer tube for illuminating fish, as well as two or more cameras, in particular CCD cameras arranged in a cross plane evenly around the circumference, for to record reflections from the fish or shadow images of fish.
EP2425215 beskriver et kontaktløst system og en fremgangsmåte for å estimere massen eller vekten av et målobjekt. Målobjektet avbildes og en romlig fremstilling av målobjektet (dyret) avledes fra bildene. En virtuelt romlig modell tilveiebringes av et karakteristisk objekt av en klasse av objekter som målobjektet tilhører. Den virtuelle romlige modellen omformes til å optimalt passe den romlige representasjonen av det enkelte dyr. Endelig blir massen eller vekten av målobjektet estimert som en funksjon av formvariabler som karakteriserer det omformede virtuelle objektet. EP2425215 describes a contactless system and a method for estimating the mass or weight of a target object. The target object is imaged and a spatial representation of the target object (the animal) is derived from the images. A virtual spatial model is provided by a characteristic object of a class of objects to which the target object belongs. The virtual spatial model is transformed to optimally fit the spatial representation of the individual animal. Finally, the mass or weight of the target object is estimated as a function of shape variables that characterize the reshaped virtual object.
NO 20101736 beskriver et system og fremgangsmåte for beregning av størrelse på marine organismer i vann, så som fisk, hvor det benyttes minst et kamera, bildeanalyseverktøy for å analysere bilder tatt av kameraet. Videre så omfatter det benyttelse av en avstandsmåler for å måle avstand til fisk som kameraet skal ta bilde av, hvor nevnte kamera er innrettet til å ta bilder nedover i vannet av enkeltfisk ved mottak av et signal fra avstandsmåleren, og at bilder av fisken samt informasjon om avstanden til fisken er innrettet til å bli overført til bildeanalyseverkøyet for bestemmelse av fiskens størrelse og vekt. En klar ulempe med denne er at man trenger avstanden til objektet for å klare å beregne volum av objektet. Med andre ord benytter man avstanden fram til objektet og ut fra den beregner størrelsen til objektet ved å telle antall piksler med fisk i bildet og avstand. I og med at man kun måler avstanden i et punkt, så er i tillegg avstandsmålingen forholdsvis unøyaktig avhengig av hvordan objektet beveger seg/er posisjonert. Det skal også bemerkes at denne løsningen bare er innrettet for å ta bilder av enkeltfisk basert på avstandsmåleren, noe som gjør at fisk som skal vurderes må være innenfor måleområdet til avstandsmåleren og gir dermed et begrenset datagrunnlag for statistisk analyse. NO 20101736 describes a system and method for calculating the size of marine organisms in water, such as fish, where at least one camera, image analysis tool is used to analyze images taken by the camera. Furthermore, it includes the use of a distance meter to measure the distance to fish that the camera is to take a picture of, where said camera is set up to take pictures down in the water of individual fish upon receiving a signal from the distance meter, and that pictures of the fish as well as information whether the distance to the fish is arranged to be transferred to the image analysis tool for determining the fish's size and weight. A clear disadvantage of this is that you need the distance to the object to be able to calculate the volume of the object. In other words, you use the distance to the object and from that calculate the size of the object by counting the number of pixels with fish in the image and the distance. As the distance is only measured at one point, the distance measurement is also relatively inaccurate depending on how the object moves/is positioned. It should also be noted that this solution is only designed to take pictures of individual fish based on the distance meter, which means that fish to be assessed must be within the measuring range of the distance meter and thus provides a limited data basis for statistical analysis.
US 2004/0008259 Al beskriver et system som måler fysiske størrelser til et objekt som består av en lyskilde som belyser objektet og et kamera som tar bilder av objektet. Lyskilden belyser objektet med lys av kjent bølgelengde og mønster og kameraet har filter for å filtrere bort lys som ikke kommer fra lyskilden slik at lys fra omgivelsene ikke forstyrrer målingene. En prosessor beregner objektets fysiske størrelser ut fra bildene. Denne publikasjonen er innrettet for bruk i luft og ikke for bruk i vann og er ikke i stand til å håndtere tilbakespredning fra partikler, alger eller lignende i vann. US 2004/0008259 Al describes a system that measures physical dimensions of an object which consists of a light source that illuminates the object and a camera that takes pictures of the object. The light source illuminates the object with light of a known wavelength and pattern and the camera has a filter to filter out light that does not come from the light source so that light from the surroundings does not disturb the measurements. A processor calculates the object's physical dimensions from the images. This publication is designed for use in air and not for use in water and is not able to handle backscatter from particles, algae or the like in water.
Ulemper ved kjent teknikk er at de ikke tar hensyn til de inhomogene lysforholdene i vann, noe som gjør det vanskelig å segmentere ut fisken på en robust, automatisk og nøyaktig måte fra bildene. 3D modellering av fisken blir dermed unøyaktig og en får derfor få målinger og unøyaktig estimert vekt. Disadvantages of known techniques are that they do not take into account the inhomogeneous light conditions in water, which makes it difficult to segment the fish in a robust, automatic and accurate way from the images. 3D modeling of the fish thus becomes inaccurate and one therefore gets few measurements and inaccurately estimated weight.
Mer og mer industrialisert oppdrett der trenden er større og større merder med mer fisk gjør at dagens teknologier for biomassemåling har begrensninger. For å få et godt resultat ved biomassemåling er det viktig at man får et representativt utvalg målinger. Det finnes noen systemer for måling av biomasse av fisk på markedet i dag. De mest brukte er en løsning der fisken må svømme gjennom en fysisk enhet for å bli målt. Dette er noe fisken vegrer seg for å gjøre og dette gjør at man ofte får et lite antall målinger noe som fører til at man fåret lite statistisk representativt grunnlag for å beregne riktig snittvekt i merden med avvik mot faktisk vekt som resultat. More and more industrialized farming, where the trend is larger and larger cages with more fish means that current technologies for biomass measurement have limitations. In order to get a good result when measuring biomass, it is important that you get a representative selection of measurements. There are some systems for measuring the biomass of fish on the market today. The most used is a solution where the fish must swim through a physical device to be measured. This is something the fish is reluctant to do and this means that you often get a small number of measurements, which leads to a little statistically representative basis for calculating the correct average weight in the cage with deviations from the actual weight as a result.
Bruk av 2D-kameraer (satt sammen for å oppnå stereosyn) er i og for seg kjent fra tidligere for å måle biomasse av fisk, men disse løsningene er basert på at man manuelt må gjenkjenne fisken i to bilder for å finne korresponderende punkter og slike systemer har videre utfordringer hva gjelder repeterbarhet, samt at systemet er arbeidskrevende. The use of 2D cameras (put together to achieve stereo vision) is in itself known from the past to measure biomass of fish, but these solutions are based on having to manually recognize the fish in two images in order to find corresponding points and such systems have further challenges in terms of repeatability, as well as the fact that the system is labor-intensive.
Partikler, alger, stor fisketetthet og lignende påvirker lysforholdene i stor grad i en oppdrettsmerd. Dette gjør bruk av maskinsyn utfordrende da systemet må ta hensyn til disse skiftende forholdene, noe de foreliggende systemene ikke gjør tilfredsstillende. Particles, algae, high density of fish and the like affect the lighting conditions to a large extent in a breeding pen. This makes the use of machine vision challenging as the system must take these changing conditions into account, which the existing systems do not do satisfactorily.
Formål Purpose
Hovedformålet med den foreliggende oppfinnelsen er å tilveiebringe en fremgangsmåte og et system som løser de ovenfor nevnte problemene ved kjent teknikk. The main purpose of the present invention is to provide a method and a system which solves the above-mentioned problems using known techniques.
Det er videre et formål å tilveiebringe et system og en fremgangsmåte som gir økt nøyaktighet ved beregning av fysiske størrelser for fritt bevegelige objekter i vann. It is also an aim to provide a system and a method which provides increased accuracy when calculating physical quantities for freely moving objects in water.
Et formål med den foreliggende oppfinnelsen er å tilveiebringe et system og en fremgangsmåte som er i stand til å estimere fysiske størrelser for fritt bevegelige objekter i vann selv når lysforholdene og sikt ellers er dårlige og/eller skiftende. One purpose of the present invention is to provide a system and a method which is capable of estimating physical sizes for freely moving objects in water even when the light conditions and visibility are otherwise poor and/or changing.
Det er også et formål med den foreliggende oppfinnelsen å tilveiebringe et system og en fremgangsmåte som gir stillbilder eller videobilder av homogen kvalitet som underlag for generering av en 3D-modell av fritt bevegelige objekter i vann, da undervannsbilder/video ellers blir av heterogen kvalitet på grunn av skiftende og dårlig lysforhold. It is also an aim of the present invention to provide a system and a method that provides still images or video images of homogeneous quality as a basis for generating a 3D model of freely moving objects in water, as underwater images/video are otherwise of heterogeneous quality on due to changing and poor lighting conditions.
Det er videre et formål med den foreliggende oppfinnelsen å tilveiebringe et system og en fremgangsmåte som benytter lys med valgt bølgelengde til å belyse objektet og minst to registreringsmidler satt sammen for å skape et sterosyn-system som gir stillbilder eller videobilder av homogen kvalitet som underlag for generering av en 3D-modell av fritt bevegelige objekter i vann. It is further an object of the present invention to provide a system and a method that uses light of a selected wavelength to illuminate the object and at least two recording means put together to create a sterosyn system that provides still images or video images of homogeneous quality as a basis for generation of a 3D model of freely moving objects in water.
Det er videre et formål med den foreliggende oppfinnelsen å tilveiebringe et system og en fremgangsmåte som benytter strukturert lys med valgt bølgelengde som projiseres som et lysmønster på fritt bevegelige objekter i vann som sammen med minst ett registreringsmiddel gir stillbilder eller videobilder av homogen kvalitet som underlag for generering av en 3D-modell av fritt bevegelige objekter i vann. It is further an object of the present invention to provide a system and a method which uses structured light with a selected wavelength which is projected as a light pattern on freely moving objects in water which, together with at least one recording means, provides still images or video images of homogeneous quality as a basis for generation of a 3D model of freely moving objects in water.
Det er videre et formål med den foreliggende oppfinnelsen å tilveiebringe et system og en fremgangsmåte som tar hensyn til forstyrrende lyskilder gjennom bruk av filtre eller bildedannende sensorer for å bare registrere lys medønskede bølgelengder. It is further an object of the present invention to provide a system and a method which takes into account disturbing light sources through the use of filters or imaging sensors to only register light with desired wavelengths.
Det er videre et formål med den foreliggende oppfinnelsen å tilveiebringe et system og en framgangsmåte som måler stort nok antall objekter til at man kan beregne en så nøyaktig snittvekt som mulig, samt eventuelt biomasse. It is also an aim of the present invention to provide a system and a method which measures a large enough number of objects to enable an average weight as accurate as possible to be calculated, as well as possibly biomass.
Oppfinnelsen The invention
En fremgangsmåte i samsvar med oppfinnelsen er angitt i patentkrav 1. Fordelaktige trekk ved fremgangsmåten er angitt i patentkravene 2-13. A method in accordance with the invention is specified in patent claim 1. Advantageous features of the method are specified in patent claims 2-13.
Et system i samsvar med oppfinnelsen er angitt i patentkrav 14. Fordelaktige trekk ved systemet er angitt i patentkravene 14-23. A system in accordance with the invention is stated in patent claim 14. Advantageous features of the system are stated in patent claims 14-23.
Den foreliggende oppfinnelsen tilveiebringer et system og en fremgangsmåte for måling av fysiske størrelser for fritt bevegelige objekter i vann, spesielt for fritt bevegelig fisk i oppdrettsmerder, settefiskanlegg der det benyttes kar eller lignende anvendelser ved bruk av minst en lyskilde innrettet til å belyse et objekt gjennom å avgi lys eller strukturert lys med en valgt bølge-lengde, samt minst ett registreringsmiddel i form av et 2D-kamera for registrering av stillbilder eller video av de belyste objektene. The present invention provides a system and a method for measuring physical quantities for freely moving objects in water, especially for freely moving fish in breeding cages, hatcheries where tanks are used or similar applications using at least one light source arranged to illuminate an object through to emit light or structured light with a selected wavelength, as well as at least one recording means in the form of a 2D camera for recording still images or video of the illuminated objects.
I en første utførelsesform av oppfinnelsen omfatter systemet minst en lyskilde som er innrettet til å projisere et på forhånd kjent eller valgt lysmønster med en valgt bølgelengde på fritt bevegelige objekter som skal undersøkes, samt minst ett registreringsmiddel i form av et 2D-kamera som er innrettet for å avbilde (stillbilde eller video) det fritt bevegelige objektet som undersøkes med det påprojiserte lysmønsteret fra lyskilden. In a first embodiment of the invention, the system comprises at least one light source which is arranged to project a previously known or selected light pattern with a selected wavelength onto freely moving objects to be examined, as well as at least one recording means in the form of a 2D camera which is arranged to image (still image or video) the freely moving object being examined with the projected light pattern from the light source.
I en andre utførelsesform av oppfinnelsen omfatter systemet minst en lyskilde som er innrettet til å belyse fritt bevegelige objekter som skal undersøkes med lys med en valgt bølgelengde, samt minst to registreringsmidler i form av minst to 2D-kameraer satt sammen for å skape et stereosyn-system. In a second embodiment of the invention, the system comprises at least one light source which is arranged to illuminate freely moving objects to be examined with light of a selected wavelength, as well as at least two recording means in the form of at least two 2D cameras put together to create a stereo vision system.
Systemet omfatter videre en styringsenhet som er innrettet til å styre lyskilden til å utgi lys med gitte egenskaper, så som valg av bølgelengde (farge), intensitet, frekvens, osv. Styrings-innretningen vil videre være innrettet til å velge aktuelt lysmønsteret når det skal projiseres et lysmønster på objektet. The system further comprises a control unit which is arranged to control the light source to emit light with given characteristics, such as selection of wavelength (colour), intensity, frequency, etc. The control device will also be arranged to select the relevant light pattern when a light pattern is projected onto the object.
Systemet kan videre omfatte en separat bildebehandlingsenhet forsynt med midler og/eller programvare innrettet for å benytte informasjonen fra det belyste objektet eller objekter med påprojisert lysmønsteret registrert av registreringsmidlene for å generere en 3D-modell av det fritt bevegelige objektet. Som et alternativ kan bildebehandlingsenheten eller dens funksjoner være innrettet i styringsenheten eller i en ekstern enhet. The system can further comprise a separate image processing unit provided with means and/or software designed to use the information from the illuminated object or objects with the projected light pattern registered by the recording means to generate a 3D model of the freely moving object. As an alternative, the image processing unit or its functions may be arranged in the control unit or in an external unit.
3D-modellen kan videre benyttes for å estimere volum og vekt basert på en funksjon av formvariabler som karakteriserer det avbildede objektet. Målte parametre i 3D-modellen, slik som for eksempel lengde og høyde, settes inn i en beregningsformel for vektestimering. The 3D model can also be used to estimate volume and weight based on a function of shape variables that characterize the imaged object. Measured parameters in the 3D model, such as length and height, are inserted into a calculation formula for weight estimation.
Bilder/video som ikke inneholder hele objekter forkastes fordelaktig før videre analyse. Images/video that do not contain complete objects are advantageously discarded before further analysis.
Systemet omfatter videre statiske optiske eller programmerbare filtre som er tilordnet registreringsmidlene, hvilke filtre er innrettet for å kun slippe igjennomønskede bølgelengder for derigjennom å oppnå homogen kvalitet på de registrerte bildene. Ønsket bølgelengde vil typisk hovedsakelig være den bølgelengden som sendes ut fra lyskilden for å belyse objektet eller for å påprojisere lysmønsteret på det fritt bevegelige objektet, hvilket eksempelvis kan være lys i det infrarøde bølgelengdeområdet. The system further comprises static optical or programmable filters which are assigned to the recording means, which filters are designed to only let through the desired wavelengths in order to thereby achieve homogeneous quality of the recorded images. The desired wavelength will typically mainly be the wavelength emitted from the light source to illuminate the object or to project the light pattern onto the freely moving object, which can for example be light in the infrared wavelength range.
Bruk av strukturert lys eller lys i kombinasjon med filter for å tilveiebringe homogent registrerte bilder løser en del av utfordringene man til nå har sett ved bruk av maskinsyn (bildebehandling) på fritt bevegelige objekter i vann, spesielt fisk, ved at man klarer å segmentere ut fisken selv om kontrasten i bildet er lav og de omkringliggende forholdene er skiftende. The use of structured light or light in combination with filters to provide homogeneously recorded images solves some of the challenges that have so far been seen when using machine vision (image processing) on freely moving objects in water, especially fish, by being able to segment out the fish even if the contrast in the image is low and the surrounding conditions are changing.
Med andre ord vil det ved hjelp av den foreliggende oppfinnelsen være mulig å estimere fysiske størrelser for objektet på en god og nøyaktig måte selv når lysforholdene og sikt ellers er dårlige, samt også under skiftende lysforhold. In other words, with the help of the present invention, it will be possible to estimate physical sizes for the object in a good and accurate way even when the lighting conditions and visibility are otherwise poor, as well as under changing lighting conditions.
For å unngå uønskede refleksjoner fra den blanke overflaten på eksempelvis fisk er det fordelaktig at objektet (fisken) belyses/påprojiseres av lyskilden med en gitt vinkel i forhold til registreringsmidlene. In order to avoid unwanted reflections from the glossy surface of, for example, fish, it is advantageous that the object (the fish) is illuminated/projected on by the light source at a given angle in relation to the recording means.
Ved at registreringsmidlene er forsynt med statisk optiske eller programmerbare filtre unngår man uønsket refleksjon slik at registreringsmidlene fanger opp riktig lys/lysmønster og gir bilder som kan brukes i automatisk bildebehandling i bildebehandlingsenheten. By providing the recording means with static optical or programmable filters, unwanted reflection is avoided so that the recording means captures the correct light/light pattern and provides images that can be used in automatic image processing in the image processing unit.
Automatisk måling av snittvekt og biomasse i fiskeoppdrettsanlegg er utfordrende. Fisken står ofte tett og beveger seg raskt noe som gir heterogene lysforhold på grunn av at fiskene skygger for sollys. Også skiftende vær, døgnvariasjon, partikler, alger og årstidsvariasjon fører til heterogene lysforhold. Heterogene lysforhold gir utfordringer ved automatisk bildebehandling da man må ta høyde for disse skiftende forholdene ved prosessering av bildene. Automatic measurement of average weight and biomass in fish farms is challenging. The fish often stand close together and move quickly, which results in heterogeneous light conditions due to the fish shading the sunlight. Changing weather, diurnal variation, particles, algae and seasonal variation also lead to heterogeneous light conditions. Heterogeneous light conditions present challenges in automatic image processing as these changing conditions must be taken into account when processing the images.
Den foreliggende oppfinnelsen vil ikke lide under slike forhold da lyskilden kan settes opp med ønsket bølgelengde, intensitet, frekvens, osv., slik at den foreliggende oppfinnelsen kan ta hensyn til disse forholdene og dermed gi bilder av homogen kvalitet til bildebehandling. The present invention will not suffer under such conditions as the light source can be set up with the desired wavelength, intensity, frequency, etc., so that the present invention can take these conditions into account and thus provide images of homogeneous quality for image processing.
Den foreliggende oppfinnelsen er basert på et optisk system i kombinasjon med kunstig lyskilde, hvor lyskilden belyser objektet eller projiserer et lysmønster på objektet med en valgt bølge-lengde, eksempelvis fisk, og filtrerer bort alt annet lys fra registreringsmidlene ved hjelp av filtre eller bruker en bildedannende sensor som kun fanger opp ønsket bølgelengde. På denne måten oppnår man et homogent målemiljø. Ved eksempelvis å benytte en bølgelengde, så som i det infrarøde bølgelengdeområdet, som absorberes raskt i vann får man lite forstyrrelser fra andre lyskilder (for eksempel sollys eller annet kunstig tilført lys). The present invention is based on an optical system in combination with an artificial light source, where the light source illuminates the object or projects a light pattern onto the object with a selected wavelength, for example fish, and filters out all other light from the recording means by means of filters or uses a imaging sensor that only captures the desired wavelength. In this way, a homogeneous measurement environment is achieved. By, for example, using a wavelength, such as in the infrared wavelength range, which is quickly absorbed in water, you get little interference from other light sources (for example sunlight or other artificially added light).
Da marine organismer som fisk kan påvirkes av kunstig lys er det fordelaktig å benytte lys av en bølgelengde som har minst mulig innvirkning på organismen eller som er helt usynlig for organismen (eksempelvis lys i det infrarøde bølgelengdeområdet). Ved å velge bølgelengder som absorberes raskt i vann vil det medføre at man på en viss dybde vil ha lite eller ingen påvirkning av disse bølgelengdene fra for eksempel sollys, noe som medfører at det er minimal påvirkning av forstyrrende kilder som påvirker bildene som registreres av registreringsmidlene, noe som letter bildebehandlingen og gir økt nøyaktighet ved beregning av de fysiske størrelsene. As marine organisms such as fish can be affected by artificial light, it is advantageous to use light of a wavelength which has the least possible impact on the organism or which is completely invisible to the organism (for example light in the infrared wavelength range). By choosing wavelengths that are absorbed quickly in water, it will mean that at a certain depth there will be little or no influence of these wavelengths from, for example, sunlight, which means that there is minimal influence from disturbing sources that affect the images recorded by the recording means , which facilitates image processing and provides increased accuracy when calculating the physical sizes.
Ved å filtrere bort/minimere andre bølgelengder enn det tilførte lyset fra lyskilden eller benytte en bildedannende sensor som fanger opp ønsket bølgelengde oppnår man derfor en homogen kvalitet på de registrerte bildene som skal benyttes for bildebehandling, dvs. bildene er uten forstyrrelser fra andre lyskilder. Den homogene kvaliteten på bildene gjør at bildebehandlingen og 3D-modelleringen kan utføres på en robust og nøyaktig måte. By filtering out/minimizing wavelengths other than the supplied light from the light source or using an imaging sensor that captures the desired wavelength, you therefore achieve a homogeneous quality of the recorded images to be used for image processing, i.e. the images are without interference from other light sources. The homogeneous quality of the images means that the image processing and 3D modeling can be carried out in a robust and accurate way.
Når objektet som skal undersøkes er fisk, så er det fordelaktig å plassere den foreliggende oppfinnelsen nær foringsområdet til fisken i en merd, da all fisken er innom for å spise i løpet av en foringsperiode, og vil dermed gi best mulig representativt utvalg målte fisk. Selvsagt kan den foreliggende oppfinnelsen plasseres hvor som helst i merden. Ved å plassere systemet i samsvar med den foreliggende oppfinnelsen i nærheten av foringsområdet slipper man arbeidet med å flytte rundt på systemet i merden og oppsøke fisken der den står. When the object to be examined is fish, it is advantageous to place the present invention close to the feeding area of the fish in a cage, as all the fish come to eat during a feeding period, and will thus provide the best possible representative selection of measured fish. Of course, the present invention can be placed anywhere in the cage. By placing the system in accordance with the present invention near the feeding area, the work of moving the system around in the cage and searching for the fish where it is is avoided.
Målet til oppdrettere er at all fisken i løpet av dagen skal opp i foringsområdet for å spise, noe som gjør at både liten og stor fisk vil passere forbi den foreliggende oppfinnelsen i løpet av en foringssyklus. The aim of breeders is for all the fish during the day to go up to the feeding area to eat, which means that both small and large fish will pass by the present invention during a feeding cycle.
Den foreliggende oppfinnelsen kan også tilordnes en vinsj eller lignende for å måle gjennom en vannsøyle, samt for heving og senkning i merden, alternativt også innrettet til å flyttes rundt i merden dersomønskelig ved hjelp av egnede midler for dette. The present invention can also be assigned to a winch or the like to measure through a water column, as well as for raising and lowering the cage, alternatively also arranged to be moved around the cage if desired using suitable means for this.
Den foreliggende oppfinnelsen vil også kunne benyttes ved estimering av antall fisk ved at man benytter data om fisketetthet i en modell for dette. The present invention will also be able to be used for estimating the number of fish by using data on fish density in a model for this.
Ytterligere fordelaktige trekk og detaljer ved den foreliggende oppfinnelsen vil fremgå av den etterfølgende eksempelbeskrivelsen. Further advantageous features and details of the present invention will be apparent from the following exemplary description.
Eksempel Example
Den foreliggende oppfinnelsen vil nedenfor bli beskrevet mer detaljert med henvisning til de vedlagte tegningene hvor: Figur 1 viser en prinsippskisse av et system i samsvar med en første utførelsesform av den foreliggende oppfinnelsen som benytter strukturert lys, Figur 2 viser en prinsippskisse av et system i samsvar med en andre utførelsesform av den foreliggende oppfinnelsen som benytter en lyskilde til belysning av objektet som skal observeres, Figur 3 viser en prinsippskisse av et system i samsvar med den foreliggende oppfinnelsen plassert i en merd, og Figur 4 viser et blokkskjema av et system i samsvar med den foreliggende oppfinnelsen. The present invention will be described below in more detail with reference to the attached drawings where: Figure 1 shows a schematic diagram of a system in accordance with a first embodiment of the present invention which uses structured light, Figure 2 shows a schematic diagram of a system in accordance with a second embodiment of the present invention that uses a light source to illuminate the object to be observed, Figure 3 shows a schematic diagram of a system in accordance with the present invention placed in a cage, and Figure 4 shows a block diagram of a system in accordance with the present invention.
Henviser nå til Figur 1 som viser en prinsippskisse av et system i samsvar med en første utførelsesform av den foreliggende oppfinnelsen, for innretning i en merd for betraktning av fisk. Referring now to Figure 1 which shows a schematic diagram of a system in accordance with a first embodiment of the present invention, for arrangement in a cage for viewing fish.
Et system i samsvar med den første utførelsesformen av den foreliggende oppfinnelsen omfatter minst en lyskilde 10 innrettet til å avgi strukturert lys med en valgt bølgelengde, samt minst ett 2D-kamera 11 forsynt med et optisk filter 12. 2D-kameraet 11 kan være innrettet for å ta bare stillbilder, bare video eller både video og stillbilder. A system in accordance with the first embodiment of the present invention comprises at least one light source 10 arranged to emit structured light with a selected wavelength, as well as at least one 2D camera 11 provided with an optical filter 12. The 2D camera 11 can be arranged for to take only still images, only video or both video and still images.
Lyskilden 10 er for å avgi strukturert lys forsynt med midler og/eller programvare for å avgi et kjent eller valgt lysmønster 13 som projiseres på fisk 100 eller andre objekter som befinner seg i lyskildens 10 belysningsområde med en valgt bølgelengde. Ved bruk av strukturert lys så trengs i utgangspunktet bare ett 2D-kamera for bildegjenkjenning, men det kan også være fordeler ved å benytte flere kamera, hvilket vil bli ytterligere beskrevet nedenfor. The light source 10 is to emit structured light provided with means and/or software to emit a known or selected light pattern 13 which is projected onto fish 100 or other objects located in the light source 10's illumination area with a selected wavelength. When using structured light, basically only one 2D camera is needed for image recognition, but there can also be advantages in using several cameras, which will be further described below.
Lysmønsteret 13 som projiseres av lyskilden 10 kan ha hvilket som helst valgt mønster. Eksempelvis kan mønsteret dannes av en eller flere av (men ikke begrenset av listen): The light pattern 13 projected by the light source 10 can have any selected pattern. For example, the pattern can be formed by one or more of (but not limited to the list):
- enten horisontale eller vertikale streker, - either horizontal or vertical lines,
- både horisontale og vertikale streker, - both horizontal and vertical lines,
- streker med ulike egenskaper, - lines with different properties,
- streker som i seg selv danner et mønster som er egnet for optisk gjenkjenning, - lines which in themselves form a pattern suitable for optical recognition,
- ved bruk av synlig og/eller usynlig lys, - when using visible and/or invisible light,
- et kontinuerlig mønster, - a continuous pattern,
- seksjoner eller sektorer med unike mønstre, - sections or sectors with unique patterns,
- lyspunkter, - light points,
- en kombinasjon av disse. - a combination of these.
Det totale mønsteret bør fortrinnsvis dekke hele objektet som skal undersøkes. The overall pattern should preferably cover the entire object to be examined.
Henviser nå til Figur 2 som viser en prinsippskisse i et system i samsvar en andre utførelsesform av oppfinnelsen, for innretning i en merd for betraktning av fisk. Referring now to Figure 2 which shows a schematic diagram of a system in accordance with a second embodiment of the invention, for arrangement in a cage for viewing fish.
Et system i samsvar med den andre utførelsesformen av den foreliggende oppfinnelsen omfatter minst en lyskilde 10 innrettet til å belyse objektet med en valgt bølgelengde, samt minst to 2D-kamera lla-b satt sammen for å skape et stereosyn-system. Når man belyser objektet med lys uten mønster krever det at man benytter minst to 2D-kameraer for å kunne generere en 3D-modell av objektet. To eller flere kameraer er nødvendig for å kunne beregne avstand fram til objektet og derigjennom generere 3D modell. 2D-kameraene lla-b kan være innrettet for å ta bare stillbilder, bare video eller både video og stillbilder. A system in accordance with the second embodiment of the present invention comprises at least one light source 10 arranged to illuminate the object with a selected wavelength, as well as at least two 2D cameras lla-b assembled to create a stereo vision system. When illuminating the object with light without a pattern, it requires the use of at least two 2D cameras in order to generate a 3D model of the object. Two or more cameras are needed to be able to calculate the distance to the object and thereby generate a 3D model. The 2D cameras lla-b can be configured to take only still images, only video or both video and still images.
Lyskilden(e) 10 i både den første og andre utførelsesformen er innrettet for å sende ut lys medønskede parametere hva gjelder bølgelengde (farge), samt eventuelt også frekvens, intensitet, osv. Lyskilden er fortrinnsvis av typen lysdiode (LED), laser eller annen type innrettet for å sende ut lys med ønsket bølgelengde, også lyskilder der kun ønsket bølgelengde filtreres ut. The light source(s) 10 in both the first and second embodiments are arranged to emit light with desired parameters in terms of wavelength (colour), as well as possibly also frequency, intensity, etc. The light source is preferably of the type light emitting diode (LED), laser or other type designed to emit light with the desired wavelength, also light sources where only the desired wavelength is filtered out.
Videre er 2D-kameraet/-ene i både den første og andre utførelsesformen forsynt med optiske filtre 12,12a-b innrettet for å bare slippe igjennom lys med ønsket bølgelengde. Filtrene kan være både statiske og programmerbare for å slippe igjennom bareønskede bølgelengder. I en alternativ utførelsesform (ikke vist) er 2D-kameraene 11, lla-b i stedet for filtre forsynt med bildedannende sensorer som kun fanger opp ønsket bølgelengde. Furthermore, the 2D camera(s) in both the first and second embodiments are provided with optical filters 12, 12a-b arranged to only let through light of the desired wavelength. The filters can be both static and programmable to let through only the desired wavelengths. In an alternative embodiment (not shown), instead of filters, the 2D cameras 11, 11a-b are provided with image-forming sensors which only capture the desired wavelength.
Bruk av flere 2D-kamera lla-b gir flere muligheter, eventuelt også i kombinasjon med flere lyskilder eller styrbare lyskilder. Eksempelvis kan 2D-kameraene 11, lla-b være forsynt med forskjellige filtre 12a-b, dvs. filtre med forskjellige egenskaper. Eksempelvis kan det ene kameraet utstyres med et IR-filter som kun slipper igjennom IR-lys. Dersom lyskilden 10 sender ut et lys/lysmønster med IR-lys vil dette kameraet dermed fange opp lyset/lysmønsteret. Det andre kameraet kan for eksempel innrettes med et filter som kun slipper igjennom grønt lys. Ved å da belyse fisken med grønt lys/lysmønster vil man kunne avbilde fisken på en andre måte og dermed ha to bilder som kan kombineres for å segmentere fisken på en mest mulig robust måte. En 3D-modell kan genereres på bakgrunn av de to bildene i kombinasjon. Ved bildebehandling på bilder av fisken (uten lysmønster) kan man se etter for eksempel lakselus, skader, deformiteter eller lignende. Using several 2D cameras lla-b offers more possibilities, possibly also in combination with several light sources or controllable light sources. For example, the 2D cameras 11, 11a-b can be provided with different filters 12a-b, i.e. filters with different properties. For example, one camera can be equipped with an IR filter that only lets IR light through. If the light source 10 emits a light/light pattern with IR light, this camera will thus capture the light/light pattern. The second camera can, for example, be equipped with a filter that only lets green light through. By then illuminating the fish with a green light/light pattern, you will be able to image the fish in a different way and thus have two images that can be combined to segment the fish in the most robust way possible. A 3D model can be generated based on the two images in combination. When processing images of the fish (without light patterns), you can look for, for example, salmon lice, damage, deformities or the like.
Et annet eksempel er at det benyttes flere lyskilder, eksempelvis to lyskilder. Da kan eksempelvis begge lyskildene sende ut lys med mønster med ulike bølgelengder og at de to kameraene 12a-b fanger opp hvert sitt mønster for så å kombinere bildene ved generering av en 3D-modell. Another example is that several light sources are used, for example two light sources. Then, for example, both light sources can emit light with a pattern of different wavelengths and the two cameras 12a-b each capture their own pattern and then combine the images by generating a 3D model.
Videre kan lyskilden sende ut lys med ulike bølgelengder for å få best mulig bilder eller video for bearbeiding. Furthermore, the light source can emit light with different wavelengths to obtain the best possible images or video for processing.
Dette viser at kombinasjonen av en eller flere styrbare lyskilder og ett eller flere kamera med filter gir mange muligheter for ulike oppsett. This shows that the combination of one or more controllable light sources and one or more cameras with filters offers many possibilities for different setups.
Videre omfatter systemet fordelaktig en opphengsanordning 20, hvilken eksempelvis er dannet av et opphengspunkt 21 og en fra opphengspunktet 21 vertikalt innrettet stang 22, hvilken stang 22 er tilpasset for festing av 2D-kameraene lla-b og lyskilden 10. Furthermore, the system advantageously comprises a suspension device 20, which is for example formed by a suspension point 21 and a rod 22 arranged vertically from the suspension point 21, which rod 22 is adapted for attaching the 2D cameras lla-b and the light source 10.
Lyskilden 10 er i eksempelet vist i Figur 2 innrettet mellom de to 2D-kameraene 12a-b med en gitt avstand mellom 2D-kameraene 12a-b og lyskilden 10, samt at lyskilden 10 oppviser en vinkel i forhold til fisken som skal betraktes, mens den i den første utførelsesformen er plassert under 2D-kameraet 11, men den kan naturligvis like gjerne vært plassert ovenfor kameraet. In the example shown in Figure 2, the light source 10 is arranged between the two 2D cameras 12a-b with a given distance between the 2D cameras 12a-b and the light source 10, and that the light source 10 exhibits an angle in relation to the fish to be viewed, while it in the first embodiment is placed below the 2D camera 11, but it could of course just as well have been placed above the camera.
Lyskilden 10 kan for øvrig plasseres hvor som helst i forhold til 2D-kameraet/-ene avhengig av lysets refleksjon fra objektet som skal belyses. The light source 10 can also be placed anywhere in relation to the 2D camera(s) depending on the reflection of the light from the object to be illuminated.
Henviser nå til Figur 3 som viser en prinsippskisse av et system i samsvar med den første utførelsesformen av oppfinnelsen innrettet i en oppdrettsmerd 30 i nærheten av en foringsstasjon 40. Systemet i samsvar med oppfinnelsen er i dette eksempelet festet til en vinsj 50 for heving og senkning av systemet i merden 30. Videre kan systemet være anordnet til midler for å bevege systemet rundt omkring i merden 30 dersomønskelig. I Figuren kan man se at en fisk 100' er påprojisert et lysmønster 13 av lyskilden 10, mens andre fisker 100 ikke er påprojisert et lysmønster. Alternativt kan systemet innrettes stasjonært i foringsområdet, slik at brukere ikke trenger å flytte rundt på systemet, da all fisk vanligvis besøker foringsområdet i løpet av en dag. Referring now to Figure 3 which shows a schematic diagram of a system in accordance with the first embodiment of the invention arranged in a breeding pen 30 in the vicinity of a feeding station 40. The system in accordance with the invention is in this example attached to a winch 50 for raising and lowering of the system in the cage 30. Furthermore, the system can be arranged for means to move the system around in the cage 30 if desired. In the Figure, one can see that a light pattern 13 is projected onto a fish 100' by the light source 10, while other fish 100 are not projected onto a light pattern. Alternatively, the system can be set up stationary in the feeding area, so that users do not have to move the system around, as all fish usually visit the feeding area within a day.
Henviser nå til Figur 4 som viser et blokkskjema av systemet i samsvar med den foreliggende oppfinnelsen. Blokkskjemaet dekker både den første og andre utførelsesformen, slik at om det i den første utførelsesformen bare benyttes ett kamera så utelates komponentene 11b og 12b fra blokkskjemaet. I tillegg til de ovenfor nevnte komponentene omfatter systemet en bildebehandlingsenhet 60 forsynt med midler og/eller programvare for å benytte informasjonen fra lysmønsteret 13 registrert av 2D-kameraet 11 for å generere en 3D-modell av fisken 100' som belyses (for den første utførelsesformen) eller forsynt med midler og/eller programvare for å benytte informasjon fra stereosynet skapt av de to 2D-kameraene lla-b (for den andre utførelses-formen). Bildebehandlingsenheten 60 kan være en separat enhet, en enhet integrert i en styringsenhet 70 for systemet eller en ekstern enhet 80. Referring now to Figure 4 which shows a block diagram of the system in accordance with the present invention. The block diagram covers both the first and second embodiments, so that if only one camera is used in the first embodiment, components 11b and 12b are omitted from the block diagram. In addition to the above-mentioned components, the system comprises an image processing unit 60 provided with means and/or software to use the information from the light pattern 13 recorded by the 2D camera 11 to generate a 3D model of the fish 100' which is illuminated (for the first embodiment ) or provided with means and/or software to use information from the stereo vision created by the two 2D cameras lla-b (for the second embodiment). The image processing unit 60 can be a separate unit, a unit integrated in a control unit 70 for the system or an external unit 80.
Systemet omfatter videre som nevnt en styringsenhet 70 hvilket kan omfatte bildebehandlingsenheten 60, og er videre innrettet med midler og/eller programvare for styring av lyskilden(e) 10, registreringsmidlet/-ene 11, lla-b og eventuelt filtret/-ene 12,12a-b. Eksempelvis vil styringsenheten 70 innrette filtrene 12,12a-b med innstillinger som forteller hvilken bølgelengde lyskilden 10 avgir lys med, slik at filtrene 12,12a-b stiller seg inn for å bare motta lys med denne bølgelengde. The system further comprises, as mentioned, a control unit 70 which can comprise the image processing unit 60, and is further equipped with means and/or software for controlling the light source(s) 10, the recording means(s) 11, lla-b and possibly the filter(s) 12, 12a-b. For example, the control unit 70 will adjust the filters 12, 12a-b with settings that tell which wavelength the light source 10 emits light with, so that the filters 12, 12a-b adjust to only receive light with this wavelength.
Systemet er videre forsynt med kommunikasjonsmidler for kommunikasjon med en ekstern enhet 80, hvilken eksterne enhet 80 også kan være styringsenheten for systemet. The system is further provided with communication means for communication with an external unit 80, which external unit 80 can also be the control unit for the system.
Styringsenheten 70, bildebehandlingsenheten 60 eller den eksterne enheten 80 er forsynt med midler og/eller programvare for å benytte den genererte 3D-modellen til å estimere fysiske størrelser av den avbildede fisken, så som størrelse, volum og vekt, basert på en funksjon av formvariabler som karakteriserer det avbildede objektet. Målte parametere (for eksempel lengde og høyde) fra 3D-modellen benyttes i en modell for estimering av vekt. Vekten av enkeltfisk lagres fordelaktig videre i en database i f.eks. den eksterne enheten 80 eller styringsenheten 70, slik at man kan beregne snittvekten når datagrunnlaget blir stort nok til dette. Utfra snittvekten og antallet fisk totalt i merden kan den totale biomassen beregnes. The control unit 70, the image processing unit 60 or the external unit 80 is provided with means and/or software for using the generated 3D model to estimate physical quantities of the imaged fish, such as size, volume and weight, based on a function of shape variables which characterizes the imaged object. Measured parameters (for example length and height) from the 3D model are used in a model for estimating weight. The weight of individual fish is advantageously further stored in a database in e.g. the external unit 80 or the control unit 70, so that the average weight can be calculated when the data base becomes large enough for this. Based on the average weight and the total number of fish in the cage, the total biomass can be calculated.
Styringsenheten 70 eller den eksterne enheten 80 er videre innrettet for å presentere de beregnede fysiske størrelsene for brukeren. The control unit 70 or the external unit 80 is further arranged to present the calculated physical sizes to the user.
Styringsenheten 70 kan videre være innrettet for å styre vinsjen 50 for heving og senkning av systemet i merden 30, samt eventuelt andre midler for å bevege systemet i samsvar med den foreliggende oppfinnelsen rundt i en merd 30. The control unit 70 can further be arranged to control the winch 50 for raising and lowering the system in the cage 30, as well as possibly other means for moving the system in accordance with the present invention around a cage 30.
I en ytterligere utførelsesform av oppfinnelsen er styringsenheten 70 også innrettet for å styre foringsstasjonen 40 basert på bildeinformasjon fra registreringsmidlene. In a further embodiment of the invention, the control unit 70 is also arranged to control the feeding station 40 based on image information from the recording means.
Videre har den foreliggende oppfinnelsen også en ytterligere anvendelse ved at det ervervede bildene/video også kan benyttes til å se etter for eksempel lakselus, deformiteter, sårskader, sykdom og lignende. Furthermore, the present invention also has a further application in that the acquired images/video can also be used to look for, for example, salmon lice, deformities, wounds, disease and the like.
Den foreliggende oppfinnelsen er videre ikke begrenset til merder, men kan også benyttes for settefiskanlegg der det benyttes kar og lignende anvendelser. The present invention is furthermore not limited to cages, but can also be used for hatcheries where tubs and similar applications are used.
Claims (23)
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NO20121541A NO337305B1 (en) | 2012-12-20 | 2012-12-20 | System and method for calculating physical sizes for freely moving objects in water |
| EP13864165.9A EP2936051A4 (en) | 2012-12-20 | 2013-12-20 | System and method for calculating physical dimensions for freely movable objects in water |
| CA2895758A CA2895758A1 (en) | 2012-12-20 | 2013-12-20 | System and method for calculating physical dimensions for freely movable objects in water |
| PCT/NO2013/050231 WO2014098614A1 (en) | 2012-12-20 | 2013-12-20 | System and method for calculating physical dimensions for freely movable objects in water |
| CL2015001722A CL2015001722A1 (en) | 2012-12-20 | 2015-06-18 | System and method of calculating physical dimensions for objects that can move freely in water |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NO20121541A NO337305B1 (en) | 2012-12-20 | 2012-12-20 | System and method for calculating physical sizes for freely moving objects in water |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| NO20121541A1 NO20121541A1 (en) | 2014-06-23 |
| NO337305B1 true NO337305B1 (en) | 2016-03-07 |
Family
ID=50978780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| NO20121541A NO337305B1 (en) | 2012-12-20 | 2012-12-20 | System and method for calculating physical sizes for freely moving objects in water |
Country Status (5)
| Country | Link |
|---|---|
| EP (1) | EP2936051A4 (en) |
| CA (1) | CA2895758A1 (en) |
| CL (1) | CL2015001722A1 (en) |
| NO (1) | NO337305B1 (en) |
| WO (1) | WO2014098614A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NO344725B1 (en) * | 2019-02-13 | 2020-03-23 | Stingray Marine Solutions As | A cage observation system with a submerged observation unit |
| US12133514B2 (en) | 2019-02-13 | 2024-11-05 | Stingray Marine Solutions As | Submerged observation unit for a fish tank |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2959287C (en) | 2014-08-27 | 2022-12-06 | Vaki Fiskeldiskerfi Hf | Automatic grading system for living aquatic organisms |
| GB2539495B (en) * | 2015-06-19 | 2017-08-23 | Ace Aquatec Ltd | Improvements relating to time-of-flight cameras |
| WO2017001971A1 (en) * | 2015-06-30 | 2017-01-05 | Antípoda, Lda | Method and system for measuring biomass volume and weight of a fish farming tank |
| CN105104278B (en) * | 2015-08-20 | 2017-07-18 | 江苏大学 | Circulating water cultivation floats bait automatic delivery method and device |
| CL2016002664A1 (en) | 2015-10-22 | 2018-01-05 | Intervet Int Bv | A method for automatic monitoring of sea lice in salmon aquaculture |
| PT109333B (en) * | 2016-04-16 | 2020-10-02 | Fishmetrics. Lda. | FISH MEASUREMENT SYSTEM USING A CAMERA AND A STRUCTURED LIGHT PROJECTOR |
| NO20160880A1 (en) * | 2016-05-24 | 2017-11-27 | Itecsolutions Systems & Services As | Arrangement and method for measuring the biological mass of fish and use of the arrangement |
| GB201710705D0 (en) | 2017-07-04 | 2017-08-16 | Optoscale As | Structured-Light Illumination |
| CN107576279A (en) * | 2017-09-18 | 2018-01-12 | 三峡大学 | A kind of device and method for determining fish body center line equation in motion |
| AU2018390171A1 (en) * | 2017-12-20 | 2020-06-11 | Intervet International B.V. | System for external fish parasite monitoring in aquaculture |
| US11632939B2 (en) | 2017-12-20 | 2023-04-25 | Intervet Inc. | System for external fish parasite monitoring in aquaculture |
| AU2018387716B2 (en) | 2017-12-20 | 2024-05-23 | Intervet International B.V. | Method and system for external fish parasite monitoring in aquaculture |
| CA3084294A1 (en) | 2017-12-20 | 2019-06-27 | Intervet International B.V. | System for external fish parasite monitoring in aquaculture |
| US12127535B2 (en) | 2017-12-20 | 2024-10-29 | Intervet Inc. | Method and system for external fish parasite monitoring in aquaculture |
| WO2019180698A1 (en) | 2018-03-20 | 2019-09-26 | Giliocean Technology Ltd | Method and system for extraction of statistical sample of moving objects |
| US10534967B2 (en) * | 2018-05-03 | 2020-01-14 | X Development Llc | Fish measurement station keeping |
| WO2019232247A1 (en) | 2018-06-01 | 2019-12-05 | Aquabyte, Inc. | Biomass estimation in an aquaculture environment |
| US11659819B2 (en) | 2018-10-05 | 2023-05-30 | X Development Llc | Sensor positioning system |
| ES2786798B2 (en) * | 2019-04-11 | 2022-02-08 | Univ Oviedo | Biomass estimation system in aquaculture based on optical sensors and neural networks |
| NO347348B1 (en) * | 2019-06-19 | 2023-09-25 | Subc3D As | System and procedure for imaging and counting external structures on a fish |
| ES2799975A1 (en) * | 2019-06-21 | 2020-12-22 | Univ Oviedo | Biomass estimation system in aquaculture based on reconstructions of images in three dimensions (Machine-translation by Google Translate, not legally binding) |
| US11089227B1 (en) * | 2020-02-07 | 2021-08-10 | X Development Llc | Camera winch control for dynamic monitoring |
| CN111418537A (en) * | 2020-05-13 | 2020-07-17 | 浙江省海洋水产养殖研究所 | Shrimp fry counting device and method |
| EP3915361A1 (en) * | 2020-05-26 | 2021-12-01 | Furuno Electric Co., Ltd. | Device for calculating fish body depth |
| NO348007B1 (en) | 2020-12-16 | 2024-06-17 | Createview As | A system for monitoring of dead fish |
| KR20230155470A (en) | 2021-03-07 | 2023-11-10 | 릴데이타 인크. | AI-based feeding system and method for land-based fish farms |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040008259A1 (en) * | 2002-04-10 | 2004-01-15 | Gokturk Salih Burak | Optical methods for remotely measuring objects |
| NO20101736A1 (en) * | 2010-12-13 | 2012-06-14 | Ocea As | System and procedure for calculating the size of marine organisms in water |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7399220B2 (en) * | 2002-08-02 | 2008-07-15 | Kriesel Marshall S | Apparatus and methods for the volumetric and dimensional measurement of livestock |
| NO330863B1 (en) * | 2007-07-09 | 2011-08-01 | Feed Control Norway As | Apparatus and method for cutting weight milling and appetite lining in fish farms |
| JP2012519277A (en) * | 2009-02-27 | 2012-08-23 | ボディー サーフェイス トランスレーションズ， インコーポレイテッド | Physical parameter estimation using 3D display |
-
2012
- 2012-12-20 NO NO20121541A patent/NO337305B1/en active IP Right Review Request
-
2013
- 2013-12-20 WO PCT/NO2013/050231 patent/WO2014098614A1/en active Application Filing
- 2013-12-20 CA CA2895758A patent/CA2895758A1/en not_active Abandoned
- 2013-12-20 EP EP13864165.9A patent/EP2936051A4/en not_active Ceased
-
2015
- 2015-06-18 CL CL2015001722A patent/CL2015001722A1/en unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040008259A1 (en) * | 2002-04-10 | 2004-01-15 | Gokturk Salih Burak | Optical methods for remotely measuring objects |
| NO20101736A1 (en) * | 2010-12-13 | 2012-06-14 | Ocea As | System and procedure for calculating the size of marine organisms in water |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NO344725B1 (en) * | 2019-02-13 | 2020-03-23 | Stingray Marine Solutions As | A cage observation system with a submerged observation unit |
| US12133514B2 (en) | 2019-02-13 | 2024-11-05 | Stingray Marine Solutions As | Submerged observation unit for a fish tank |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2936051A4 (en) | 2016-08-24 |
| EP2936051A1 (en) | 2015-10-28 |
| WO2014098614A1 (en) | 2014-06-26 |
| NO20121541A1 (en) | 2014-06-23 |
| CL2015001722A1 (en) | 2016-05-20 |
| CA2895758A1 (en) | 2014-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| NO337305B1 (en) | System and method for calculating physical sizes for freely moving objects in water | |
| RU2415567C2 (en) | Machine milking system (versions) and method of machine milking | |
| EP1537531B1 (en) | Imaging system and method for body condition evaluation | |
| US20200267947A1 (en) | Arrangement and method for measuring the biological mass of fish, and use of the arrangement | |
| US20080273760A1 (en) | Method and apparatus for livestock assessment | |
| ES2660064T3 (en) | System and procedure for counting zooplankton | |
| JP2017530486A (en) | Method and system for determining the value of a variable of interest in a sample having a living thing | |
| JP2012519277A (en) | Physical parameter estimation using 3D display | |
| JP2009162759A (en) | Method and system for measuring contact angle based on droplet curved surface radius obtained by optical distance measurement method | |
| EP1903304A3 (en) | Position measuring system, position measuring method and position measuring program | |
| NO332103B1 (en) | System and method for calculating the size of marine organisms in water | |
| JP2019194573A (en) | Body weight estimation device | |
| Li et al. | Estimation of pig weight by machine vision: A review | |
| CN110873555B (en) | System and method for observing underwater creatures | |
| JP2019211364A (en) | Device and method for estimating weight of body of animal | |
| JP2014514543A5 (en) | ||
| EP3769036B1 (en) | Method and system for extraction of statistical sample of moving fish | |
| CN114569047B (en) | Capsule endoscope, and distance measuring method and device for imaging system | |
| JP2022019593A (en) | Underwater three-dimensional restoration device and underwater three-dimensional restoration method | |
| JP2021063774A (en) | Body weight estimation device | |
| JP7075765B2 (en) | Liquid content measuring device and method | |
| NO330423B1 (en) | Device and method for fish counting or biomass determination | |
| CN113780073B (en) | Device and method for auxiliary estimation of chicken flock uniformity | |
| JP7579010B2 (en) | Weight Estimation Device | |
| JP7233688B2 (en) | Method and system for measuring substances in liquid |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| Filing an opposition |
Opponent name: OPTOMAR AS, OTTO NIELSENS VEG 12, 7052 TRONDHEIM Effective date: 20161118 |
||
| Filing an opposition |
Opponent name: STEINSVIK AS, RUNDHAUG 25, 5563 FOERRESFJORDEN Effective date: 20161207 |
||
| CHAD | Change of the owner's name or address (par. 44 patent law, par. patentforskriften) |
Owner name: STORVIK AQUA AS, NO |
|
| CHAD | Change of the owner's name or address (par. 44 patent law, par. patentforskriften) |
Owner name: VARD AQUA SUNNDAL AS, NO |
|
| PDP | Decision of opposition (par. 25 patent act) |
Free format text: PATENT RULED INVALID; AFTER OPPOSITION; DECISION IN FORCE Filing date: 20161207 Opponent name: STEINSVIK AS , RUNDHAUG 25, 5563, FOERRESFJORDEN Free format text: PATENT RULED INVALID; AFTER OPPOSITION; DECISION IN FORCE Filing date: 20161118 Opponent name: OPTOSCALE AS , JARLEVEIEN 12, 7041, TRONDHEIM, NO |