NO325882B1 - Fremgangsmate og system for automatisk klassifisering av fisk under vann. - Google Patents

Fremgangsmate og system for automatisk klassifisering av fisk under vann. Download PDF

Info

Publication number
NO325882B1
NO325882B1 NO20065116A NO20065116A NO325882B1 NO 325882 B1 NO325882 B1 NO 325882B1 NO 20065116 A NO20065116 A NO 20065116A NO 20065116 A NO20065116 A NO 20065116A NO 325882 B1 NO325882 B1 NO 325882B1
Authority
NO
Norway
Prior art keywords
fish
transitions
analysis
outline
segment
Prior art date
Application number
NO20065116A
Other languages
English (en)
Other versions
NO20065116L (no
Inventor
Helge Hammersland
Original Assignee
Catching Technology As
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Catching Technology As filed Critical Catching Technology As
Priority to NO20065116A priority Critical patent/NO325882B1/no
Priority to PCT/NO2007/000388 priority patent/WO2008056988A1/en
Publication of NO20065116L publication Critical patent/NO20065116L/no
Publication of NO325882B1 publication Critical patent/NO325882B1/no

Links

Classifications

    • AHUMAN NECESSITIES
    • A22BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22CPROCESSING MEAT, POULTRY, OR FISH
    • A22C25/00Processing fish ; Curing of fish; Stunning of fish by electric current; Investigating fish by optical means
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00Culture of aquatic animals
    • A01K61/90Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/342Sorting according to other particular properties according to optical properties, e.g. colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Zoology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Food Science & Technology (AREA)
  • Wood Science & Technology (AREA)
  • Environmental Sciences (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Processing (AREA)
  • Processing Of Meat And Fish (AREA)
  • Farming Of Fish And Shellfish (AREA)
  • Sorting Of Articles (AREA)

Abstract

Det omtales en fremgangsmåte og system for automatisk klassifisering av fisk, både over og under vann, omfattende et kamerasystem innrettet til å ta bilder av fisken som passerer, og en analyseenhet innrettet til å motta og å analysere hvert bilde for å finne omrisset av fisken, og å dele opp fiskens omriss i et antall segmenter for analyse av hvert segment. Analyseenheten er videre innrettet til å analysere overganger eller kanter i hvert segment uttrykt ved overgangenes eller kantenes styrke og retning, for deretter å angi karakteristiske trekk til fisken, så som finner, øyne, striper langs fisken, mønster, etc., basert på analysen av overgangene eller kantene, og å sammenligne de karakteristiske trekkene med data av fisk i en kunnskapsdatabase for klassifisering av fisken, og å fremvise resultatet i et brukergrensesnitt.

Description

Den foreliggende oppfinnelse vedrører en fremgangsmåte og system for automatisk klassifisering av fisk under vann, omfattende et kamerasystem innrettet til å ta bilder av fisken som passerer, og en analyseenhet innrettet til å motta og å analysere hvert bilde for å finne omrisset av fisken, og å dele opp fiskens omriss i et antall segmenter for analyse av hvert segment.
Foreliggende oppfinnelse er en uvikling av et automatisk klassifiseringssystem for fisk, hvor systemet bestemmer fiskens art og størrelse ved hjelp av billedbehandling, og er tenkt brukt om bord på havforskningsfartøy og kommersielle fiskebåter.
Et kjent system omfatter en lyskasse og et kamerasystem som for eksempel er plassert over et transportbånd. Videre er det utviklet programvare som tar kontinuerlige bilder av båndet for å detektere når det kommer fisk. Det blir så tatt et bilde av fisken som analyseres for å finne størrelse og art. Systemet har som eksempel kapasitet til ca 8000 fisk pr. time ved en båndhastighet på 1.5 meter pr sekund.
Klassifisering av fisk kan for eksempel være basert på en metode som er utviklet av Norval Strachan ved Aberdeen University i 1993 (WO9409920). Metoden går ut på å analysere hvert bilde for å finne omriss av fisken, dele fisken opp i et vist antall segmenter og analysere fargen i hvert segment. Resultatet av analysen sammenlignes med tilsvarende analyser av kjent fisk, og danner grunnlag for klassifisering. Tester viser at det er mulig å oppnå en gjenkjennelsesgrad på 98-100 %, og nøyaktighet på lengdemåling på ca 1 %.
Det er videre kjent fra NO 167182 en fremgangsmåte for å sortere fisk, samt en fiskesorteringsinnretning.
Siden systemet er basert på fargeanalyse, er det avhengig av kontrollerte lysforhold. Dette oppnåes ved hjelp av lyskassen som gjør det mulig å kontrollere lystmengden og spektrum. Det vil ikke være mulig å benytte denne metoden for klassifisering av fisk uten at man har full kontroll med lyset, og den er derfor ikke brukbar for klassifisering av fisk i vann.
Det har vært jobbet med denne problemstillingen en tid, og resultatet er en ny metode for klassifisering av fisk som ikke er avhengig av konstante lysforhold. Analysen gjøres på samme bildet som tidligere, men analysemetoden er forskjellig. I stedet for å måle farger ser man på overganger eller kanter i bildet som beskrives ved hjelp av overgangens styrke og retning. Overgangene vil dermed angi karakteristiske trekk som finner, øyne, striper langs fisken, mønster, og lignende. Resultatet av analysen vil på samme måte som før bli sammenlignet med tilsvarende analyse av kjent fisk for å klassifisere fisken. Det er gjort prøver med denne nye metoden og det har blitt oppnådd lovende resultater.
Det er et formål med foreliggende oppfinnelsen å frembringe en løsning som vil kunne brukes for klassifisering av fisk også under vann, i tillegg til over vann, og som ikke er avhengig av konstante lysforhold. Bruksområder som kan tenkes er sortering av fisk etter art og størrelse i en fangstsituasjon (for eksempel i en trål). Det kan også tenkes at et slikt system kan benyttes av havforskere slik at de kan klassifisere fisken som fanges i en trål, uten at fisken blir tatt om bord, men svømmer fritt ut av enden på trålen.
Foreliggende fremgangsmåte og system skal kunne benyttes for gjenkjenning av alle kommersielle fiskearter, samt også fisk som er sløyd og hodeløs.
De overnevnte formål oppnås ved en fremgangsmåte som angitt i krav 1, hvori det beskrives en fremgangsmåte for automatisk klassifisering av fisk under vann, omfattende å plassere et kamerasystem under vann og å ta bilder av fisk som ledes forbi kamerasystemet, å analysere hvert bilde for å finne omrisset av fisken, og å dele opp fiskens omriss i et antall segmenter for analyse av hvert segment. Deretter utføres trinnene å analysere overganger i hvert segment uttrykt ved overgangenes styrke, så som mørkhetsgrad og retning, å angi karakteristiske trekk til fisken, så som finner, øyne, striper langs fisken, mønster, etc, basert på analysen av overgangene, og å sammenligne de karakteristiske trekkene med data av fisk i en kunnskapsdatabase for klassifisering av fisken, ved hjelp av diskriminasjonsanalyse.
Alternative utførelser av fremgangsmåten er kjennetegnet ved de uselvstendige kravene 2-4.
Etter at fiskens omriss er detektert, beregnes fortrinnsvis fiskens lengdeakse, hvorpå objektet kan normeres slik at lengdeaksen blir tilnærmet horisontal og fiskens hode vender mot venstre.
Fortrinnsvis genereres et bilde av fisken, for fremvisning av overganger til objektet, og å beskrive nevnte overganger ved hjelp av styrke, så som mørkhetsgrad, og retning.
Hver fisk kan deles i et antall like segmenter, uavhengig av fiskestørrelse og type, og å analysere overganger, som styrke og retning, innen hvert segment for dannelse av nevnte karakteristikk.
De overnevnte formål oppnås også ved et system som angitt i krav 5, ved at kamerasystemet er anordnet under vann, og at analyseenheten er innrettet til å analysere overganger i hvert segment uttrykt ved overgangenes styrke, så som mørkhetsgrad og retning, for deretter å angi karakteristiske trekk til fisken, så som finner, øyne, striper langs fisken, mønster, etc, basert på analysen av overgangene, og å sammenligne de karakteristiske trekkene med data av fisk i en kunnskapsdatabase for klassifisering av fisken, ved hjelp av diskriminasjonsanalyse, og å fremvise resultatet i et brukergrensesnitt.
Alternative utførelser av systemet er kjennetegnet ved de uselvstendige kravene 6-7.
Kamerasystemet kan være anordnet i en trål eller lignende som trekkes av et fartøy, og analyseenheten kan være anordnet om bord på fartøyet.
Nevnte trål eller lignende kan omfatte midler for å lede fisken kontrollert forbi kameraet.
Oppfinnelsen skal nå beskrives nærmere ved hjelp de vedlagte figurer, hvori:
Figur 1 viser et eksempel på et bilde av en torsk generert i henhold til foreliggende fremgangsmåte. Figur 2 viser eksempel inndeling i segmenter av en torsk, i henhold til foreliggende fremgangsmåte. Figur 3 viser tilsvarende som figur 1, et eksempel på en flekksteinbitt generert i henhold til foreliggende fremgangsmåte. Figur 4 viser tilsvarende som figur 1 og 3, et eksempel på en lodde generert i henhold til foreliggende fremgangsmåte. Figur 5 viser et eksempel på et av bruksområdene til foreliggende oppfinnelse under vann.
Systemet i følge foreliggende oppfinnelse omfatter et kamerasystem som er plassert over for eksempel et transportbånd med fisk som beveges forbi. Kameraet kan sammenhengende overvåke transportbåndet med fisken, og der kan også være anbrakt en høy-oppløselig måleverdigiver for å opprettholde kameraet synkronisert med bevegelsen til transportbåndet. En analyseenhet er forbundet med kameraet, hvor analyseenheten er innrettet til å motta bilder tatt av kameraet. Videre er analyseenheten innrettet til å analysere hvert bilde for å finne omrisset av fisken, og å dele opp fiskens omriss i et antall segmenter for analyse av hvert segment. Analyseenheten analyserer overganger eller kanter i hvert segment uttrykt ved overgangenes eller kantenes styrke og retning, for deretter å angi karakteristiske trekk til fisken, så som finner, øyne, striper langs fisken, mønster, etc, basert på analysen av overgangene eller kantene. Disse karakteristiske trekkene sammenlignes deretter med data av fisk i en kunnskapsdatabase for klassifisering av fisken.
I en utførelse (ikke vist) kan systemet være anordnet mer elle mindre samlet om bord i et fartøy. Dvs. at analyseenheten er anordnet i tilknytning til kameraet. Kunnskapsdatabasen kan omfattes i analyseenheten eller det kan være frembrakt en forbindelse til en ekstern database. Figur 5 viser en mulig videre anvendelse av et klassifiseringssystem under vann. Et forskningsfartøy 100 sleper en trål 110 hvor den bakerste delen omfatter i det minste deler av et klassifiseringssystem basert på overnevnte prinsipp. Når fisken har passert gjennom klassifiserings-systemet slipper den ut i sjøen igjen. Dette gjør det mulig for havforskere å klassifisere fisk i havet uten å ta den om bord. Resultatet kan sendes til fartøyet 100 gjennom kabel, trådløst ved hjelp av akustikk, eller lagres i klassifiserings-systemet til det blir tatt om bord. Således kan kameraet være plassert i trålen, samt midler for å lede fisken kontrollert forbi kameraet, mens analyseenheten kan være plassert om bord i fartøyet.
Figur 1 viser et software generert bilde av torsk som er analysert for å få frem overganger / kanter i objektet. Overgangen beskrives med styrke (vises her som grad av sort) og retning.
Først detekteres fiskens omriss under transportert av fisken forbi kamerasystemet som tar bilder av fisken som passerer, deretter analyseres hvert bilde for å finne omrisset av fisken, og fiskens lengdeakse beregnes. Deretter normeres objektet slik at lengdeaksen blir tilnærmet horisontal og fiskens hode vender mot for eksempel venstre. Fisken deles så i et antall segmenter (som vist i figur 2). Antall segmenter er i utgangspunktet det samme for alle fiskestørrelser. Et software program i analyseenheten analyserer overganger innen hvert segment, så som styrke og retning, og dette vil sammen med fiskens form danne grunnlag for en beskrivelse/karakteristikk av hver enkelt fisk, hvor beskrivelsen/karakteristikken for eksempel kan bestå av ca 100 parametrer. Beskrivelsen/karakteristikken av fisken sammenlignes med beskrivelse/karakteristikk av kjent fisk ved hjelp av diskriminasjonsanalyse. Fisken blir klassifisert som den art som den får best score på. Dersom score verdien blir for lav vil fisken klassifiseres som "Ukjent"
Figurene 3 og 4 viser tilsvarende eksempler som vist i figur 1, men for henholdsvis flekksteinbit og lodde. Figur 4 av lodden viser det genererte bildet før normering og rotasjon.
Som det fremgår fra figur 2 vil hver fisk ha unike overganger i hvert segment, og ved å analysere disse overgangene eller kantene i bildet, som beskrives ved hjelp av overgangens styrke og retning, vil det dermed angis karakteristiske trekk som finner, øyne, striper langs fisken, mønster, og lignende. Resultatet av analysen kan på samme måte som før bli sammenlignet med tilsvarende analyse av kjent fisk for å klassifisere fisken.
Metoden vil også kunne anvendes for klassifisering av fisk på land eller om bord på fartøyer. Den vil kunne forenkle det tekniske utstyret som kreves, eller brukes i tillegg til fargeanalyse for å oppnå bedre resultatet på vanskelige arter.

Claims (7)

1. Fremgangsmåte for automatisk klassifisering av fisk under vann, omfattende de følgende trinn: å plassere et kamerasystem under vann og å ta bilder av fisk som ledes forbi kamerasystemet, å analysere hvert bilde for å finne omrisset av fisken, og å dele opp fiskens omriss i et antall segmenter for analyse av hvert segment, karakterisert ved: å analysere overganger i hvert segment uttrykt ved overgangenes styrke, så som mørkhetsgrad og retning, å angi karakteristiske trekk til fisken, så som finner, øyne, striper langs fisken, mønster, etc, basert på analysen av overgangene, og å sammenligne de karakteristiske trekkene med data av fisk i en kunnskapsdatabase for klassifisering av fisken, ved hjelp av diskriminasjonsanalyse.
2. Fremgangsmåte i samsvar med krav 1, karakterisert ved at etter at fiskens omriss er detektert, beregnes fiskens lengdeakse, hvorpå objektet normeres slik at lengdeaksen blir tilnærmet horisontal og fiskens hode vender mot venstre.
3. Fremgangsmåte i samsvar med krav 2, karakterisert ved å generere et bilde av fisken, for fremvisning av overganger til objektet, og å beskrive nevnte overganger ved hjelp av styrke, så som mørkhetsgrad, og retning.
4. Fremgangsmåte i samsvar med krav 2-3, karakterisert ved at hver fisk deles i et antall like segmenter, uavhengig av fiskestørrelse og type, og å analysere overganger, som styrke og retning, innen hvert segment for dannelse av nevnte karakteristikk.
5. System for automatisk klassifisering av fisk under vann, omfattende et kamerasystem innrettet til å ta bilder av fisk som passerer, og en analyseenhet innrettet til å motta og å analysere hvert bilde for å finne omrisset av fisken, og å dele opp fiskens omriss i et antall segmenter for analyse av hvert segment, karakterisert ved at kamerasystemet er anordnet under vann, og at analyseenheten er innrettet til å analysere overganger i hvert segment uttrykt ved overgangenes styrke, så som mørkhetsgrad og retning, for deretter å angi karakteristiske trekk til fisken, så som finner, øyne, striper langs fisken, mønster, etc, basert på analysen av overgangene, og å sammenligne de karakteristiske trekkene med data av fisk i en kunnskapsdatabase for klassifisering av fisken, ved hjelp av diskriminasjonsanalyse, og å fremvise resultatet i et brukergrensesnitt.
6. System i samsvar med krav 5, karakterisert ved at kamerasystemet er anordnet i en trål eller lignende som trekkes av et fartøy, og at analyseenheten er anordnet om bord på fartøyet.
7. System i samsvar med krav 6, karakterisert ved at nevnte trål eller lignende omfatter midler for å lede fisken kontrollert forbi kameraet.
NO20065116A 2006-11-06 2006-11-06 Fremgangsmate og system for automatisk klassifisering av fisk under vann. NO325882B1 (no)

Priority Applications (2)

Application Number Priority Date Filing Date Title
NO20065116A NO325882B1 (no) 2006-11-06 2006-11-06 Fremgangsmate og system for automatisk klassifisering av fisk under vann.
PCT/NO2007/000388 WO2008056988A1 (en) 2006-11-06 2007-11-05 Method and system for automatic classification of fish under water

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
NO20065116A NO325882B1 (no) 2006-11-06 2006-11-06 Fremgangsmate og system for automatisk klassifisering av fisk under vann.

Publications (2)

Publication Number Publication Date
NO20065116L NO20065116L (no) 2008-05-07
NO325882B1 true NO325882B1 (no) 2008-08-11

Family

ID=39364737

Family Applications (1)

Application Number Title Priority Date Filing Date
NO20065116A NO325882B1 (no) 2006-11-06 2006-11-06 Fremgangsmate og system for automatisk klassifisering av fisk under vann.

Country Status (2)

Country Link
NO (1) NO325882B1 (no)
WO (1) WO2008056988A1 (no)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO341371B1 (no) * 2011-09-22 2017-10-23 Scantrawl As Sortering under fiske

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1020295A3 (nl) * 2011-11-16 2013-07-02 Acro Khlim Werkwijze voor het sorteren van voorwerpen en sorteerinrichting daarvoor.
BE1021380B1 (nl) * 2013-03-13 2015-11-12 Kalapa Bvba Vissorteersysteem voor het sorteren van vis in een gesleept visnet
NO342993B1 (no) * 2016-02-08 2018-09-17 Biosort As Anordning og fremgangsmåte for å registrere og overvåke helse og fysisk utvikling til levende fisk
NO20160880A1 (en) * 2016-05-24 2017-11-27 Itecsolutions Systems & Services As Arrangement and method for measuring the biological mass of fish and use of the arrangement
US20200296925A1 (en) * 2018-11-30 2020-09-24 Andrew Bennett Device for, system for, method of identifying and capturing information about items (fish tagging)
NO347510B1 (no) * 2022-02-08 2023-12-04 Scantrol Deep Vision As Undervannssensor til bruk i en trål

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1251863A (en) * 1988-02-29 1989-03-28 Kevin Mccarthy Fish sorting machine
DK19992A (da) * 1992-02-17 1993-08-18 Reson System As System og fremgangsmaade til maaling og/eller identifikation af objekter
GB9222338D0 (en) * 1992-10-23 1992-12-09 Mini Agriculture & Fisheries Fish sorting machine

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO341371B1 (no) * 2011-09-22 2017-10-23 Scantrawl As Sortering under fiske

Also Published As

Publication number Publication date
WO2008056988A1 (en) 2008-05-15
NO20065116L (no) 2008-05-07

Similar Documents

Publication Publication Date Title
NO325882B1 (no) Fremgangsmate og system for automatisk klassifisering av fisk under vann.
Zion et al. Real-time underwater sorting of edible fish species
US10055843B2 (en) System and methods for automatic polyp detection using convulutional neural networks
White et al. Automated measurement of species and length of fish by computer vision
KR100533291B1 (ko) 유정란의 성별을 감별하기 위한 방법 및 장치
CN104880412B (zh) 新鲜度信息输出方法和新鲜度信息输出装置
CN110057838B (zh) 用于确定甲壳动物物理属性的成像
Schmid et al. The LOKI underwater imaging system and an automatic identification model for the detection of zooplankton taxa in the Arctic Ocean
Zhou et al. PC‐based machine vision system for real‐time computer‐aided potato inspection
Boldt et al. Development of stereo camera methodologies to improve pelagic fish biomass estimates and inform ecosystem management in marine waters
CN105404884B (zh) 图像分析方法
EP2926716A1 (en) Image processing device, image processing method, and image processing program
JPWO2019151393A1 (ja) 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法
Liu et al. A shadow-based method to calculate the percentage of filled rice grains
CN108921099A (zh) 一种基于深度学习的航道内运动船舶目标检测方法
CN106132266A (zh) 图像处理装置、图像处理方法以及图像处理程序
JP3581149B2 (ja) 境界ピクセル・パラメータの規則正しいシーケンスを用いた物体を識別するための方法及び装置
US8260005B2 (en) Portable tool for determining meat quality
Breen et al. A review of possible mitigation measures for reducing mortality caused by slipping from purse-seine fisheries
RU2728231C1 (ru) Автоматический способ определения количества мяса, оставшегося на туше животного
Chao et al. Design of a dual-camera system for poultry carcasses inspection
Prados et al. Real-time fish detection in trawl nets
CN114494103A (zh) 缺陷检测方法及检测装置
Vilas et al. Use of computer vision onboard fishing vessels to quantify catches: The iObserver
Marrable et al. Generalised deep learning model for semi-automated length measurement of fish in stereo-BRUVS