KR20210112530A - Measuring System for Fish Based On Deep Learnin Using TOF camera - Google Patents

Measuring System for Fish Based On Deep Learnin Using TOF camera Download PDF

Info

Publication number
KR20210112530A
KR20210112530A KR1020200027621A KR20200027621A KR20210112530A KR 20210112530 A KR20210112530 A KR 20210112530A KR 1020200027621 A KR1020200027621 A KR 1020200027621A KR 20200027621 A KR20200027621 A KR 20200027621A KR 20210112530 A KR20210112530 A KR 20210112530A
Authority
KR
South Korea
Prior art keywords
fish
information
fish body
species
unit
Prior art date
Application number
KR1020200027621A
Other languages
Korean (ko)
Inventor
안희춘
허민아
편용범
이경훈
Original Assignee
주식회사 한국수산해양공학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한국수산해양공학연구소 filed Critical 주식회사 한국수산해양공학연구소
Priority to KR1020200027621A priority Critical patent/KR20210112530A/en
Publication of KR20210112530A publication Critical patent/KR20210112530A/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
    • G01B11/043—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving for measuring length
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/28—Measuring arrangements characterised by the use of optical techniques for measuring areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The present invention relates to a device for measuring a fish body and a method for measuring a fish body, and more specifically to a device for measuring a fish body, comprising: an optical unit (100) for irradiating light to a fish body of which information is needed, and receiving the light reflected from the fish body; a size calculation unit (200) for calculating the size of the fish body from the received light information; a fish species determination unit (300) for determining a fish species from the received light information; and a storage unit (400) for storing information of the optical unit (100), the size calculation unit (200), and the fish species determination unit (300). An objective of the present invention is to provide a system for measuring a fish body based on deep learning using a ToF camera, which can measure the exact appearance of a fish body including the length and volume.

Description

ToF 카메라를 이용한 딥러닝 기반의 어체 측정 시스템{Measuring System for Fish Based On Deep Learnin Using TOF camera} Measuring System for Fish Based On Deep Learnin Using TOF camera

본 발명은 ToF 카메라를 이용한 딥러닝 기반의 어체 측정 시스템에 관한 것으로, 보다 상세하게는 3D 형상의 구현이 가능한 ToF 카메라를 이용하여 특정 어체의 어종, 크기 등 각종 정보를 수득함으로써 양식장 관리 등 수산자원관리에 유용하게 활용될 수 있는 ToF 카메라를 이용한 딥러닝 기반의 어체 측정 시스템에 관한 것이다.The present invention relates to a deep-learning-based fish body measurement system using a ToF camera, and more specifically, by using a ToF camera that can implement a 3D shape to obtain various information such as the species and size of a specific fish, fishery resources such as farm management It relates to a deep learning-based body measurement system using a ToF camera that can be usefully used for management.

수산 자원관리의 중요성이 대두되면서 어획물이나 양식장 및 어구에 입망해 있는 수산생물 등의 크기와 어종 등을 파악해야 할 필요성이 높아지고 있다.As the importance of aquatic resource management rises, the need to understand the size and species of aquatic life in catches, farms, and fishing gear is increasing.

인간이 어체(魚體)를 육안으로 확인하고 어종을 판별하는 것이 일반적인 판별 방법이지만, 이는 포획한 어체에 국한될 뿐 물속에서 유영하고 있는 어체를 일일이 확인하는 것은 불가능할 뿐만 아니라 짧은 시간에 해당 어체의 외형을 정확히 알 수 없다.Although it is a general identification method for humans to visually check the fish body and identify the fish species, this is limited to the captured fish, and it is not possible to check every fish swimming in the water, and it is not only possible to identify the fish in a short time. The exact appearance is not known.

상기와 같은 문제점을 해결하기 위하여, 한국등록특허공보 제1057419호에는 수중에 설치되어 어류를 촬영하는 한 쌍의 카메라를 구비하는 촬영장치; 및 상기 각 카메라에서 촬영된 어류의 영상을 이용하여 어류의 크기를 측정하는 크기산출유닛과, 상기 카메라 중 하나에서 촬영된 영상을 이용하여 어류의 개체수를 산출하는 개체산출유닛을 포함하는 계측장치;를 포함하며, 상기 크기산출유닛은, 상기 한 쌍의 카메라로부터 촬영된 영상을 이용하여 상기 각 카메라의 위치를 결정하고, 촬영된 영상의 편위를 수정하는 카메라 정합부, 상기 카메라 정합부에서 편위 수정된 영상을 이용하여 상기 한 쌍의 카메라 간에 발생한 어류의 변위정보를 추출하고, 추출된 변위정보와 상기 카메라 정합부에서 결정된 카메라의 위치를 이용하여 어류와 상기 카메라 사이의 거리를 실시간으로 산출하는 거리 산출부, 상기 영상에서 상기 어류의 길이방향의 양끝인 입과 꼬리를 인식하고, 입의 말단과 꼬리의 말단을 각각 제1 및 제2 측정점으로 선택하는 측정점 선택부, 상기 거리 산출부에서 산출된 어류와 카메라 사이의 거리를 이용하여 측정점 선택부에 의해 선택된 제1 측정점과 제2 측정점 간의 길이를 산출하는 어류크기 산출부를 포함하는 것을 특징으로 하는 비접촉식 어류 개체수 측정 장치가 개시되어 있다.In order to solve the above problems, Korean Patent Publication No. 1057419 discloses a photographing device having a pair of cameras installed in the water to photograph fish; and a size calculating unit for measuring the size of the fish using the image of the fish captured by the respective cameras, and an individual calculating unit for calculating the number of the fish by using the image captured by one of the cameras; including, wherein the size calculation unit includes: a camera matching unit configured to determine a position of each camera using images captured by the pair of cameras, and correct the deviation of the captured image; and correction of deviation in the camera matching unit The distance between the fish and the camera is calculated in real time by extracting the displacement information of the fish generated between the pair of cameras using the captured image and using the extracted displacement information and the camera position determined by the camera matching unit. A calculation unit, a measurement point selection unit that recognizes the mouth and tail, which are both ends of the fish in the longitudinal direction, in the image, and selects the end of the mouth and the end of the tail as the first and second measurement points, respectively, and the distance calculated by the distance calculation unit Disclosed is a non-contact type fish population measuring device comprising a fish size calculator that calculates a length between the first and second measuring points selected by the measuring point selection unit by using the distance between the fish and the camera.

상기 선행문헌에 의하면, 가두리 망내의 어류 크기를 측정할 수 있다는 이점은 있으나, 카메라 2대를 이용하여 어류를 촬영하고 삼각 층량법을 이용하여 분석하는데 물체 또는 하나의 카메라에 모두 다 담기지 않을 때 오클루전(occlusion)이 발생하고, 이 경우 캡처된 이미지의 특징을 일치 시킬 수 없어 어류의 깊이를 계산할 수 없다는 문제점이 있다.According to the prior literature, although there is an advantage of being able to measure the size of the fish in the cage, when the fish are photographed using two cameras and analyzed using the triangulation method, when not all of them are included in an object or one camera Occlusion occurs, and in this case, there is a problem in that the depth of the fish cannot be calculated because the features of the captured image cannot be matched.

또한 촬영된 영상 프레임들로부터 어체의 크기와 개체수는 인식하지만 이러한 방법은 2D 이미지에 국한되기 때문에 어류의 볼륨(체적)이나 어종을 확인하기에는 한계가 있다.In addition, although the size and number of fish bodies are recognized from the captured image frames, this method is limited to 2D images, so there is a limit to confirm the volume (volume) or species of fish.

한국등록특허공보 제1057419호Korean Patent Publication No. 1057419

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 길이와 부피를 포함한 어체의 정확한 외형을 측정할 수 있는 ToF 카메라를 이용한 딥러닝 기반의 어체 측정 시스템을 제공하는 것을 목적으로 한다.The present invention has been devised to solve the above problems, and an object of the present invention is to provide a deep learning-based body measurement system using a ToF camera capable of measuring the exact appearance of a body including length and volume.

또한 본 발명에서는 어체의 어종을 정확하게 판단할 수 있는 ToF 카메라를 이용한 딥러닝 기반의 어체 측정 시스템을 제공하는 것을 목적으로 한다.Another object of the present invention is to provide a deep learning-based fish body measurement system using a ToF camera that can accurately determine the fish species.

상기 문제점을 해결하기 위한 본 발명의 어체 측정 장치는, 정보가 필요한 어체에 광을 조사하고, 어체로부터 반사된 광을 수신하는 광학부(100); 수신된 광 정보로부터 어체의 크기를 산출하는 크기 산출부(200); 수신된 광 정보로부터 어체의 어종을 판별하는 어종 판별부(300); 및 상기 광학부(100), 크기 산출부(200) 및 어종 판별부(300)의 정보를 저장하는 저장부(400);를 포함하는 것을 특징으로 한다.The fish body measurement apparatus of the present invention for solving the above problems, the optical unit 100 for irradiating light to the fish body that requires information, and receiving the light reflected from the fish body; a size calculation unit 200 for calculating the size of the fish body from the received light information; a fish species determination unit 300 for determining a fish species from the received light information; and a storage unit 400 for storing information of the optical unit 100 , the size calculation unit 200 and the fish species determination unit 300 .

또한 본 발명에 따른 어체 측정 장치에서, 상기 광학부(100)는 ToF(Time of Flight) 카메라인 것을 특징으로 한다.In addition, in the body measurement apparatus according to the present invention, the optical unit 100 is characterized in that the ToF (Time of Flight) camera.

또한 본 발명에 따른 어체 측정 장치에서, 상기 크기 산출부(200)는 어체의 길이, 어체의 체적 및 어체의 형상 중 어느 하나 이상으로부터 어체의 크기를 산출하는 것을 특징으로 한다.In addition, in the fish body measurement device according to the present invention, the size calculation unit 200 is characterized in that it calculates the size of the fish body from any one or more of the length of the fish body, the volume of the fish body, and the shape of the fish body.

또한 본 발명에 따른 어체 측정 장치에서, 상기 어종 판별부(300)에는 다종의 어종 정보가 저장된 어종 정보 DB(310), 및 딥러닝 기반 판별 처리부(320)를 포함하는 것을 특징으로 한다.In addition, in the apparatus for measuring a body according to the present invention, the fish species determination unit 300 includes a fish species information DB 310 storing information on various species of fish, and a deep learning-based determination processing unit 320 .

또한 본 발명의 어체 측정 방법은, 정보가 필요한 어체에 광을 조사하는 제1 단계; 어체로부터 반사된 광을 수신하는 제2 단계; 조사한 광과 수신된 광 정보로부터 어체의 크기를 산출하는 제3 단계; 및 수신된 광 정보로부터 어체의 어종을 판별하는 제4 단계;를 포함하는 것을 특징으로 한다.In addition, the fish body measurement method of the present invention, the first step of irradiating light to the fish body that requires information; a second step of receiving light reflected from the body; a third step of calculating the size of the body from the irradiated light and the received light information; and a fourth step of discriminating the fish species from the received light information.

또한 본 발명의 어체 측정 방법에서, 상기 제1 단계 내지 제4 단계에서 얻어진 정보를 저장하는 제5 단계를 더 포함하는 것을 특징으로 한다.In addition, in the fish body measurement method of the present invention, it is characterized in that it further comprises a fifth step of storing the information obtained in the first to fourth steps.

또한 본 발명의 어체 측정 방법에서, 상기 제3 단계에서는, 어체의 길이, 어체의 체적 및 어체의 형상 중 어느 하나 이상으로부터 어체의 크기를 산출하는 것을 특징으로 한다.In addition, in the fish body measurement method of the present invention, in the third step, the size of the fish body is calculated from any one or more of the length of the fish body, the volume of the fish body, and the shape of the fish body.

또한 본 발명의 어체 측정 방법에서, 상기 제4 단계에서는 다종의 어종 정보가 저장된 어종 정보 DB로부터 딥러닝 기반에 의해 어종을 판별하는 것을 특징으로 한다.In addition, in the fish body measurement method of the present invention, the fourth step is characterized in that the fish species are discriminated based on deep learning from the fish species information DB in which information about various species of fish is stored.

본 발명의 어체 측정 장치 및 어체 측정 방법에 의하면, ToF 카메라를 이용한 딥러닝 기반으로 이루어져 있어 구성이 비교적 간단할 뿐만 아니라 사용이 편리하다는 이점이 있다.According to the body measuring apparatus and body measuring method of the present invention, since it is made based on deep learning using a ToF camera, there is an advantage in that the configuration is relatively simple as well as convenient to use.

또 본 발명의 어체 측정 장치 및 어체 측정 방법에 의하면, 어체의 크기와 해당 어체가 어느 어종에 해당되는지를 판단함에 있어 높은 신뢰성을 담보할 수 있다는 장점이 있다.In addition, according to the fish body measuring device and the fish body measuring method of the present invention, there is an advantage that high reliability can be ensured in determining the size of the fish body and which fish the fish body belongs to.

또 본 발명의 어체 측정 장치 및 어체 측정 방법에 의하면, 같은 어종이라도 눈과 주둥이, 아가미 주변 등의 생김새가 다른 경우, 반사되어 수신한 광들의 분포 형태에 따라 개체별 구분이 가능하기 때문에 양식장에서 개체별 행동과 건강상태 등을 관리하는데도 기여할 수 있다는 이점이 있다.In addition, according to the fish body measuring device and the fish body measuring method of the present invention, even if the shape of the eyes, snout, gills, etc. are different from the same fish species, it is possible to distinguish each individual according to the distribution of the reflected and received light. It has the advantage of being able to contribute to managing specific behaviors and health conditions.

게다가 본 발명의 어체 측정 장치 및 어체 측정 방법에 의하면, 실시간으로 어류의 크기와 어종 데이터를 획득할 수 있어, 양식장 관리 등 수산자원관리에 매우 유용하게 활용될 수 있다는 장점이 있다.In addition, according to the fish body measuring apparatus and the fish body measuring method of the present invention, it is possible to acquire fish size and fish species data in real time, so it has an advantage that it can be very usefully used for fishery resource management such as farm management.

도 1은 본 발명의 바람직한 실시예에 따른 어체 측정 장치의 개념도이다.
도 2는 본 발명의 바람직한 실시예에 따른 어체 측정 방법을 설명하기 위한 흐름도이다.1 is a conceptual diagram of a body measurement device according to a preferred embodiment of the present invention.
Figure 2 is a flowchart for explaining a body measurement method according to a preferred embodiment of the present invention.

이하, 본 발명에 따른 ToF 카메라를 이용한 딥러닝 기반의 어체 측정 장치 및 방법에 관하여 첨부된 도면을 참조하여 설명하기로 한다.Hereinafter, an apparatus and method for measuring a body based on deep learning using a ToF camera according to the present invention will be described with reference to the accompanying drawings.

본 출원에서 “포함한다”, “가지다” 또는 “구비하다” 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, terms such as “comprises”, “have” or “have” are intended to designate the existence of features, numbers, steps, components, parts, or combinations thereof described in the specification, and one or more other It is to be understood that this does not preclude the possibility of the presence or addition of features or numbers, steps, operations, components, parts, or combinations thereof.

또한, 다르게 정의되지 않는 한 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

도 1은 본 발명의 바람직한 실시예에 따른 어체 측정 장치의 개념도이다. 도 1에 도시한 바와 같이, 본 발명에 따른 어체 측정 장치는, 광학부(100), 크기 산출부(200), 어종 판별부(300) 및 저장부(400)를 포함하여 구성된다.1 is a conceptual diagram of a body measurement device according to a preferred embodiment of the present invention. As shown in FIG. 1 , the fish body measurement apparatus according to the present invention is configured to include an optical unit 100 , a size calculation unit 200 , a fish species determination unit 300 and a storage unit 400 .

구체적으로 광학부(100)는 대상 어체의 크기와 어종을 확인함에 필요한 각종 정보를 수득할 목적으로 어체에 광을 조사하고, 어체로부터 반사된 광을 수신하는 장치이다. 상기와 같은 목적을 달성하기 위한 광학장치의 일예로는 광 조사부(110)와 광 수신부(120)를 포함하는 ToF(Time of Flight) 기능이 부가된 카메라일 수 있다.Specifically, the optical unit 100 is a device for irradiating light to the fish body for the purpose of obtaining various information necessary to confirm the size and species of the target fish body, and receiving the light reflected from the fish body. An example of the optical device for achieving the above object may be a camera to which a Time of Flight (ToF) function including a light emitting unit 110 and a light receiving unit 120 is added.

비행시간(Time of Flight)에 의한 거리측정법은 펄스가 발사된 기준 시점과 측정대상물에서 반사되어 되돌아온 펄스의 검출시점 사이의 시간차를 측정하여 거리를 측정하는 원리이다.The distance measurement method by time of flight is a principle of measuring the distance by measuring the time difference between the reference point at which the pulse is emitted and the point at which the pulse is reflected back from the measurement object.

예를 들어, 측정하고자 하는 어체를 대상으로 ToF 카메라에서 복수의 적외선 광을 조사하고, 어체에 부딪힌 후 되돌아오는 적외선 광들을 다시 수신하며, 이때 거리측정센서에는 수신된 광들이 돌아오는데 걸리는 시간을 측정하게 된다. For example, the ToF camera irradiates a plurality of infrared lights on the fish to be measured, and receives the infrared lights that come back after hitting the fish. At this time, the distance measuring sensor measures the time it takes for the received lights to return. will do

이러한 비행시간법 거리측정은 비교적 구현이 용이하기 때문에 항공 산업 등 각종 산업 분야에서 3차원 형상을 구현시킬 목적으로 적용되는 기술에 해당되므로 구체적인 설명은 생략하기로 한다.Since this time-of-flight method distance measurement is relatively easy to implement, it corresponds to a technology applied for the purpose of realizing a three-dimensional shape in various industrial fields such as the aviation industry, and thus a detailed description thereof will be omitted.

크기 산출부(200)는 대상 어체의 크기를 산출하기 위한 구성으로, 어체의 길이, 어체의 체적 및 어체의 형상 중 어느 하나 이상을 산출한다.The size calculation unit 200 is a configuration for calculating the size of the target fish body, and calculates any one or more of the length of the fish body, the volume of the fish body, and the shape of the fish body.

일예로, 광학부(100)에서 얻어진 자료와 계산 알고리즘을 활용하여 해당 어체의 길이와 체적을 계산할 수 있다.As an example, the length and volume of the corresponding fish can be calculated by using the data obtained from the optical unit 100 and the calculation algorithm.

광학부(100)의 비행시간(Time of Flight)에 의한 거리측정법에 의해 얻어진 결과로부터 대상의 어체의 길이, 어체의 체적 그리고 어체의 전체적인 형상을 산출한다.From the results obtained by the distance measurement method by the time of flight of the optical unit 100, the length of the object, the volume of the fish, and the overall shape of the fish are calculated.

계속해서, 어종 판별부(300)는 대상 어체의 어종을 판별하는 기능을 수행한다. 이러한 어종 판별부(300)는 국내외 해양이나 강 등에서 서식하는 각종 어종 정보가 저장된 어종 정보 DB(310)와, 해당 어체가 어느 어종에 해당되는지를 저장된 어종 정보 DB(310)에 기초하여 딥러닝 기반으로 판단하는 판별 처리부(320)를 처리부를 포함하여 구성된다.Subsequently, the fish species determination unit 300 performs a function of determining the fish species of the target fish. The fish species determination unit 300 is based on deep learning based on the fish species information DB 310 in which information on various kinds of fish inhabiting domestic and foreign oceans or rivers is stored, and the fish species information DB 310 that stores which fish the corresponding fish belongs to. The determination processing unit 320 to determine that is configured to include a processing unit.

즉, 광학부(100)에서 얻어진 자료와 계산 알고리즘에 의한 3D 이미지 데이터 정보를 수신 받은 후, 기 획득하여 저장하고 있는 어종 정보 DB의 3D 이미지로부터 학습된 어종 정보들과 비교하여 해당 어체의 어종을 판별한다.That is, after receiving the data obtained from the optical unit 100 and the 3D image data information by the calculation algorithm, the fish species of the corresponding fish are compared with the fish species information learned from the 3D image of the previously acquired and stored fish species information DB. to determine

비록 도면에는 도시하지 않았지만, 판별 처리부(320)에는 디스플레이가 구비될 수 있으며, 해당 디스플레이에는 해당 어체의 크기, 체적 및 외형과 함께 해당 어체와 관련되는 어종 정보 DB(310)에 저장된 어종이 함께 표현될 수 있다. 물론 유사 어종이 다수종인 경우에는 각 어종별 관련도가 동시에 표출될 수 있다.Although not shown in the drawing, the determination processing unit 320 may be provided with a display, and the display shows the fish species stored in the fish species information DB 310 related to the fish body together with the size, volume, and appearance of the fish body. can be Of course, when there are multiple similar fish species, the degree of relevance for each fish species may be simultaneously expressed.

저장부(400)는 각종 자료를 계속해서 저장하기 위한 곳이다. 구체적으로 광학부(100)에서 얻어진 광 조사와 광 수신 결과, 크기 산출부(200)에서 계산된 어체의 길이, 어체의 체적 및 어체의 형상, 그리고 어종 판별부(300)에서 판별된 어종 등 모든 자료가 실시간으로 전송 및 저장된다. 물론, 해당 어체를 포획한 지리적 위치와 시간 등도 함께 저장될 수 있다.The storage unit 400 is a place for continuously storing various data. Specifically, the light irradiation and light reception results obtained by the optical unit 100, the length of the fish calculated by the size calculation unit 200, the volume and shape of the fish body, and the fish species determined by the fish species determination unit 300 are all Data is transmitted and stored in real time. Of course, the geographic location and time of capturing the fish may also be stored.

이렇게 저장된 자료는 추후 어종 판별부(300)에서의 오류나, 어종 정보 DB(310)에 저장된 오류 등을 재검증할 수 있고, 또 해당 어체의 주 서식지 등 어체와 관련된 생태 특성 연구에도 활용될 수 있다.The data stored in this way can later re-verify errors in the fish species identification unit 300 or errors stored in the fish species information DB 310, and can also be used for research on ecological characteristics related to the fish such as the main habitat of the fish. .

다음은 어체 측정 방법에 관해 설명하기로 한다. 도 2는 본 발명의 바람직한 실시예에 따른 어체 측정 방법을 설명하기 위한 흐름도이다.Next, a method for measuring the body will be described. Figure 2 is a flowchart for explaining a body measurement method according to a preferred embodiment of the present invention.

도 2에 도시한 바와 같이, 본 발명에 따른 어체 측정 방법은 정보가 필요한 어체에 광을 조사하는 제1 단계, 어체로부터 반사된 광을 수신하는 제2 단계, 수신된 광 정보로부터 어체의 크기를 산출하는 제3 단계, 조사한 광과 수신된 광 정보로부터 어체의 어종을 판별하는 제4 단계, 및 제1 단계 내지 제4 단계에서 얻어진 정보를 저장하는 제5 단계를 포함하여 구성된다.As shown in Figure 2, the fish body measurement method according to the present invention is the first step of irradiating light to the fish body that requires information, the second step of receiving the light reflected from the fish body, the size of the fish body from the received light information A third step of calculating, a fourth step of discriminating the fish species from the irradiated light and the received light information, and a fifth step of storing the information obtained in the first to fourth steps are included.

먼저 제1 단계에서는 전술한 바와 같이, ToF(Time of Flight) 기능이 부가된 카메라에서 적외선 광을 조사하는 단계로서, 어체를 정확하게 측정할 수 있도록 다양한 각도에서 적외선 광을 조사하는 것이 바람직하다.First, as described above, in the first step, as a step of irradiating infrared light from a camera to which a Time of Flight (ToF) function is added, it is preferable to irradiate infrared light from various angles so that the body can be accurately measured.

제2 단계에서는 조사한 광이 어체에 부딪히고 이후 되돌아오는 적외선 광들을 다시 수신하는 단계인데, 이때 수신된 광들이 돌아오는데 걸리는 시간을 함께 측정한다.In the second step, the irradiated light collides with the body and then receives the returned infrared light again. At this time, the time it takes for the received light to return is also measured.

제3 단계에서는 조사한 광과 수신된 광 정보로부터 해당 어체의 길이, 어체의 체적 및 어체의 형상 등 어체와 관련된 외형 정보를 얻는 단계이다.In the third step, it is a step of obtaining external information related to the fish body, such as the length of the corresponding fish body, the volume of the fish body, and the shape of the fish body, from the irradiated light and the received light information.

제4 단계에서는 각종 어종 정보가 저장되어 있는 어종 정보 DB와 해당 어체의 외형적 정보를 비교하여 어느 어종에 해당되는지 어종을 판별하는 단계이다.In the fourth step, it is a step of determining which fish species corresponds to by comparing the fish species information DB, in which various fish species information is stored, with the external information of the corresponding fish body.

마지막 제5 단계에서는 전술한 제1 단계 내지 제4 단계에서 얻어지 각종 자료와 함께 해당 어체를 포획한 지리적 위치와 시간 등 관련된 모든 정보를 저장하는 단계이다.The final fifth step is a step of storing all related information, such as the geographic location and time at which the fish was captured, together with the various data obtained in the first to fourth steps.

이상에서와 같은 본 발명에 따른 어체 측정 장치 및 어체 측정 방법에 의하면, ToF 카메라를 이용한 딥러닝 기반으로 이루어져 있어 구성이 비교적 간단할 뿐만 아니라 사용이 편리하고, 또 어체의 크기와 해당 어체가 어느 어종에 해당되는지를 판단함에 있어 신뢰성이 높다.According to the fish body measurement device and the fish body measurement method according to the present invention as described above, it is made based on deep learning using a ToF camera, so the configuration is relatively simple and convenient to use, and the size of the fish body and the fish type It has high reliability in determining whether it is applicable to

특히, 어종의 판별뿐만 아니라, 같은 어종이라도 눈과 주둥이, 아가미 주변 등의 생김새가 다른 경우, 반사되어 수신한 광들의 분포 형태에 따라 개체별 구분이 가능하기 때문에 양식장에서 개체별 행동과 건강상태 등을 관리하는데도 기여할 수 있다.In particular, in case of not only the identification of fish species, but also the same fish species with different shapes such as eyes, snouts, and gills, it is possible to distinguish each individual according to the distribution of the reflected and received light. It can also help to manage

이상으로 본 발명 내용의 특정한 부분을 상세히 기술하였는바, 당업계의 통상의 지식을 가진 자에게, 이러한 구체적 기술은 단지 바람직한 실시양태일 뿐이며, 이에 의해 본 발명의 범위가 제한되는 것은 아니며, 본 발명의 범주 및 기술사상 범위 내에서 다양한 변경 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속하는 것도 당연하다.As described above in detail a specific part of the content of the present invention, to those of ordinary skill in the art, these specific descriptions are only preferred embodiments, and the scope of the present invention is not limited thereby, It is obvious to those skilled in the art that various changes and modifications can be made within the scope and spirit of the present invention, and it is natural that such variations and modifications fall within the scope of the appended claims.

100 : 광학부
110 : 광 조사부
120 : 광 수신부
200 : 크기 산출부
300 : 어종 판별부
310 : 어종 정보 DB
320 : 판별 처리부
400 : 저장부100: optical unit
110: light irradiation unit
120: light receiving unit
200: size calculation unit
300: fish species identification unit
310: fish species information DB
320: discrimination processing unit
400: storage

Claims (8)

정보가 필요한 어체에 광을 조사하고, 어체로부터 반사된 광을 수신하는 광학부(100);
수신된 광 정보로부터 어체의 크기를 산출하는 크기 산출부(200);
수신된 광 정보로부터 어체의 어종을 판별하는 어종 판별부(300); 및
상기 광학부(100), 크기 산출부(200) 및 어종 판별부(300)의 정보를 저장하는 저장부(400);를 포함하는 것을 특징으로 하는 어체 측정 장치.
An optical unit 100 for irradiating light to a body requiring information, and receiving the light reflected from the body;
a size calculation unit 200 for calculating the size of the fish body from the received light information;
a fish species determination unit 300 for determining a fish species from the received light information; and
The optical unit 100, the size calculation unit 200, and the storage unit 400 for storing information of the fish species determination unit 300; Fish body measurement device comprising a.
 제1항에 있어서,
상기 광학부(100)는 ToF(Time of Flight) 카메라인 것을 특징으로 하는 어체 측정 장치.
According to claim 1,
The optical unit 100 is a body measurement device, characterized in that the ToF (Time of Flight) camera.
 제2항에 있어서,
상기 크기 산출부(200)는 어체의 길이, 어체의 체적 및 어체의 형상 중 어느 하나 이상으로부터 어체의 크기를 산출하는 것을 특징으로 하는 어체 측정 장치.
3. The method of claim 2,
The size calculation unit 200 is a body measurement device, characterized in that for calculating the size of the fish body from any one or more of the length of the fish body, the volume of the fish body, and the shape of the fish body.
 제3항에 있어서,
상기 어종 판별부(300)에는 다종의 어종 정보가 저장된 어종 정보 DB(310), 및 딥러닝 기반 판별 처리부(320)를 포함하는 것을 특징으로 하는 어체 측정 장치.
4. The method of claim 3,
The fish species determination unit 300 includes a fish species information DB (310) in which information about various species of fish is stored, and a deep learning-based determination processing unit (320).
 정보가 필요한 어체에 광을 조사하는 제1 단계;
어체로부터 반사된 광을 수신하는 제2 단계;
조사한 광과 수신된 광 정보로부터 어체의 크기를 산출하는 제3 단계; 및
수신된 광 정보로부터 어체의 어종을 판별하는 제4 단계;를 포함하는 것을 특징으로 하는 어체 측정 방법.
A first step of irradiating light to the body that requires information;
a second step of receiving light reflected from the body;
a third step of calculating the size of the body from the irradiated light and the received light information; and
A fish body measurement method comprising: a fourth step of determining the fish species of the fish body from the received light information.
 제5항에 있어서,
상기 제1 단계 내지 제4 단계에서 얻어진 정보를 저장하는 제5 단계를 더 포함하는 것을 특징으로 하는 어체 측정 방법.
6. The method of claim 5,
Fish body measurement method, characterized in that it further comprises a fifth step of storing the information obtained in the first to fourth steps.
 제5항에 있어서,
상기 제3 단계에서는, 어체의 길이, 어체의 체적 및 어체의 형상 중 어느 하나 이상으로부터 어체의 크기를 산출하는 것을 특징으로 하는 어체 측정 방법.
6. The method of claim 5,
In the third step, the fish body measurement method, characterized in that the size of the fish body is calculated from any one or more of the length of the fish body, the volume of the fish body, and the shape of the fish body.
 제5항에 있어서,
상기 제4 단계에서는 다종의 어종 정보가 저장된 어종 정보 DB로부터 딥러닝 기반에 의해 어종을 판별하는 것을 특징으로 하는 어체 측정 방법.6. The method of claim 5,
In the fourth step, the fish body measurement method, characterized in that the fish species is determined based on deep learning from the fish species information DB in which the information of multiple species of fish is stored.
KR1020200027621A 2020-03-05 2020-03-05 Measuring System for Fish Based On Deep Learnin Using TOF camera KR20210112530A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200027621A KR20210112530A (en) 2020-03-05 2020-03-05 Measuring System for Fish Based On Deep Learnin Using TOF camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200027621A KR20210112530A (en) 2020-03-05 2020-03-05 Measuring System for Fish Based On Deep Learnin Using TOF camera

Publications (1)

Publication Number Publication Date
KR20210112530A true KR20210112530A (en) 2021-09-15

Family

ID=77793151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200027621A KR20210112530A (en) 2020-03-05 2020-03-05 Measuring System for Fish Based On Deep Learnin Using TOF camera

Country Status (1)

Country Link
KR (1) KR20210112530A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101057419B1 (en) 2010-12-14 2011-08-17 (주)인바이온이엔지 Non-contact type apparatus for measuring fish number and method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101057419B1 (en) 2010-12-14 2011-08-17 (주)인바이온이엔지 Non-contact type apparatus for measuring fish number and method thereof

Similar Documents

Publication Publication Date Title
CN110689577B (en) Active rigid body pose positioning method in single-camera environment and related equipment
CN111542222B (en) System and method for estimating the weight of livestock
Saberioon et al. Automated multiple fish tracking in three-dimension using a structured light sensor
KR20230005874A (en) Systems and methods for fish volume estimation, weight estimation, and generation of assay values
CN110689584A (en) Active rigid body pose positioning method in multi-camera environment and related equipment
CN109146947A (en) Marine fishes acquiring three-dimensional images and processing method, device, equipment and medium
US9536304B2 (en) Determining pathogens based on an image of somatic cells in a fluid sample
US10853631B2 (en) Face verification method and apparatus, server and readable storage medium
CN108495113B (en) Control method and device for binocular vision system
JPWO2019198701A1 (en) Analyzers, analytical methods, programs and aquatic organism monitoring systems
CN112107291A (en) Intelligent wound assessment method and diagnosis system thereof
CN112771575A (en) Distance determination method, movable platform and computer readable storage medium
Sanz et al. Depth estimation-an introduction
CN111739099A (en) Falling prevention method and device and electronic equipment
CN115229793A (en) Sampling method and device, equipment and storage medium
CN113099120B (en) Depth information acquisition method and device, readable storage medium and depth camera
CN110189372A (en) Depth map model training method and device
KR20210112530A (en) Measuring System for Fish Based On Deep Learnin Using TOF camera
CN115880428A (en) Animal detection data processing method, device and equipment based on three-dimensional technology
US11216966B2 (en) Systems and methods for automated product measurement
WO2022096127A1 (en) A device and method for image processing
CN113014899A (en) Binocular image parallax determination method, device and system
KR101696088B1 (en) Method for recognizing object by ultrasound and apparatus therefor
CN111191488B (en) Living body detection method, device, system and computer readable storage medium
CN115797995B (en) Face living body detection method, electronic equipment and storage medium