KR102290647B1 - Fish disease detecting apparatus and method thereof - Google Patents
Fish disease detecting apparatus and method thereof Download PDFInfo
- Publication number
- KR102290647B1 KR102290647B1 KR1020190123586A KR20190123586A KR102290647B1 KR 102290647 B1 KR102290647 B1 KR 102290647B1 KR 1020190123586 A KR1020190123586 A KR 1020190123586A KR 20190123586 A KR20190123586 A KR 20190123586A KR 102290647 B1 KR102290647 B1 KR 102290647B1
- Authority
- KR
- South Korea
- Prior art keywords
- fish
- movement pattern
- movement
- unit
- disease
- Prior art date
Links
- 208000010824 fish disease Diseases 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 19
- 241000251468 Actinopterygii Species 0.000 claims abstract description 222
- 230000033001 locomotion Effects 0.000 claims abstract description 166
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 201000010099 disease Diseases 0.000 claims abstract description 46
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 46
- 238000000605 extraction Methods 0.000 claims abstract description 20
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 8
- 230000001939 inductive effect Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 10
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000009360 aquaculture Methods 0.000 description 7
- 244000144974 aquaculture Species 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 208000015181 infectious disease Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000011534 incubation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 239000013535 sea water Substances 0.000 description 2
- 230000004622 sleep time Effects 0.000 description 2
- 230000036578 sleeping time Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K61/00—Culture of aquatic animals
- A01K61/90—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
- A01K61/95—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination specially adapted for fish
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K61/00—Culture of aquatic animals
- A01K61/10—Culture of aquatic animals of fish
- A01K61/13—Prevention or treatment of fish diseases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G06K9/6201—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Zoology (AREA)
- Engineering & Computer Science (AREA)
- Marine Sciences & Fisheries (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Farming Of Fish And Shellfish (AREA)
Abstract
어류질병 감지장치 및 그 감지방법이 개시된다. 본 발명에 따른 어류질병 감지장치는, 어류에 대한 질병의 종류와 각각의 질병에 대응하는 어류의 움직임패턴을 데이터베이스화하여 저장하는 움직임패턴 저장부; 가두리 양식장의 해수면 및 수중의 적어도 하나를 촬영하는 카메라로부터 영상신호를 수신하는 영상신호 수신부; 영상신호 수신부에 의해 수신되는 영상신호에 대하여 설정된 시간간격 동안의 각각의 어류의 움직임패턴을 분석하는 움직임패턴 분석부; 움직임 분석부에 의해 분석되는 각각의 어류의 움직임패턴에 기초하여 움직임의 범위가 설정된 값 이하인 어류를 추출하는 어류 추출부; 어류 추출부에 의해 추출된 어류에 대응하는 움직임패턴을 움직임패턴 저장부에 저장된 움직임패턴과 비교하는 움직임패턴 비교부; 및 움직임패턴 비교부에 의해 비교되는 결과에 따라 어류 추출부에 의해 추출된 어류에 대한 질병 여부를 판단하는 어류질병 판단부;를 포함하는 것을 특징으로 한다.Disclosed are an apparatus for detecting fish diseases and a method for detecting the same. A fish disease detection apparatus according to the present invention includes: a movement pattern storage unit for storing a database of fish disease types and movement patterns corresponding to each disease; an image signal receiving unit for receiving an image signal from a camera for photographing at least one of the sea level and the water of the cage farm; a movement pattern analysis unit for analyzing the movement pattern of each fish during a set time interval with respect to the image signal received by the image signal receiving unit; a fish extraction unit for extracting fish having a movement range of less than or equal to a set value based on the movement pattern of each fish analyzed by the movement analysis unit; a movement pattern comparison unit that compares the movement pattern corresponding to the fish extracted by the fish extraction unit with the movement pattern stored in the movement pattern storage unit; and a fish disease determination unit that determines whether the fish extracted by the fish extraction unit has a disease according to the result compared by the movement pattern comparison unit.
Description
본 발명은 어류질병 감지장치 및 그 감지방법에 관한 것으로서, 보다 상세하게는 양식장에서 양식되는 어류에 대하여 질병의 발생을 조기에 감지하고, 질병이 다른 어류에 전염되는 것을 방지할 수 있는 어류질병 감지장치 및 그 감지방법에 관한 것이다.The present invention relates to a fish disease detection device and a detection method therefor, and more particularly, to detect a fish disease capable of early detection of the occurrence of a disease in fish farmed in a farm and preventing the disease from being transmitted to other fish. It relates to an apparatus and a detection method therefor.
일반적으로 해수에 의한 어류의 양식은 크게 육상의 수조 양식과 해상의 가두리 양식으로 구분할 수 있다.In general, aquaculture of fish by seawater can be largely divided into aquaculture on land and cage culture in the sea.
육상의 수조 양식은 육상의 수조에 대상 어류를 옮겨 서식 환경을 인위적으로 조절하면서 양식하는 방식이며, 해상의 가두리 양식은 바다의 넓은 공간에 그물 등으로 어류를 가두어 양식하는 방식이다. 특히, 해상의 가두리 양식은 육상의 수조 양식과 달리 해수를 교환할 필요가 없으며 어류를 대량으로 양식할 수 있다는 장점을 갖는다. Onshore tank aquaculture involves moving target fish to a land tank and artificially controlling the habitation environment, while offshore cage aquaculture is a method of cultivating fish by trapping fish in a large space in the sea. In particular, marine cage aquaculture has the advantage of not needing to exchange seawater and cultivating fish in large quantities, unlike land tank aquaculture.
한편, 양식장 내의 어류들 중 질병에 감염된 감염어류가 발생할 경우, 양식장 내의 어류의 집단폐사를 방지하고 양식 어가의 수입을 증대시키기 위해서는 감염어류를 조기에 감지하고 감염어류를 다른 어류와 분리함으로써, 감염어류의 질병이 양식장 내의 다른 어류들에게 확산되는 것을 방지하는 것이 매우 중요하다.On the other hand, when an infected fish is infected with a disease among the fish in the farm, in order to prevent the mass death of the fish in the farm and increase the income of the farmed fish, it is necessary to detect the infected fish early and separate the infected fish from other fish. It is very important to prevent the spread of fish diseases to other fish in the farm.
그런데, 일반적인 감염어류의 감지방법은 수산질병관리사가 감염어류를 수집한 후, 현미경 관찰 및 서적 자료 등을 참고하여 감염어류의 질병을 진단한다. 이와 같은 어류의 질병 감지방법은 감염어류의 질병을 진단하기까지 수일이 소요되기 때문에 어류의 질병발생에 신속하게 대처하지 못하는 문제점이 있다.However, in a general method of detecting infected fish, a fisheries disease manager collects the infected fish and then diagnoses the disease of the infected fish by referring to microscopic observation and book data. Such a fish disease detection method has a problem in that it takes several days to diagnose the disease of an infected fish, and thus cannot promptly respond to the occurrence of a fish disease.
본 발명은 전술한 문제점을 해결하기 위하여 창안된 것으로서, 양식장에서 양식되는 어류에 대하여 질병의 발생을 조기에 감지하고, 질병이 다른 어류에 전염되는 것을 방지할 수 있는 어류질병 감지장치 및 그 감지방법을 제공하는 것을 목적으로 한다.The present invention was devised to solve the above problems, and a fish disease detection device and method capable of detecting the occurrence of a disease in fish farmed in a farm at an early stage and preventing the disease from being transmitted to other fish aims to provide
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 어류질병 감지장치는, 어류에 대한 질병의 종류와 각각의 상기 질병에 대응하는 어류의 움직임패턴을 데이터베이스화하여 저장하는 움직임패턴 저장부; 가두리 양식장의 해수면 및 수중의 적어도 하나를 촬영하는 카메라로부터 영상신호를 수신하는 영상신호 수신부; 상기 영상신호 수신부에 의해 수신되는 영상신호에 대하여 설정된 시간간격 동안의 각각의 어류의 움직임패턴을 분석하는 움직임패턴 분석부; 상기 움직임 분석부에 의해 분석되는 각각의 어류의 움직임패턴에 기초하여 움직임의 범위가 설정된 값 이하인 어류를 추출하는 어류 추출부; 상기 어류 추출부에 의해 추출된 어류에 대응하는 움직임패턴을 상기 움직임패턴 저장부에 저장된 움직임패턴과 비교하는 움직임패턴 비교부; 및 상기 움직임패턴 비교부에 의해 비교되는 결과에 따라 상기 어류 추출부에 의해 추출된 어류에 대한 질병 여부를 판단하는 어류질병 판단부;를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for detecting fish diseases, comprising: a movement pattern storage unit for storing in a database the types of diseases of fish and movement patterns of fish corresponding to each of the diseases; an image signal receiving unit for receiving an image signal from a camera for photographing at least one of the sea level and the water of the cage farm; a movement pattern analysis unit for analyzing the movement pattern of each fish during a set time interval with respect to the image signal received by the image signal receiving unit; a fish extraction unit for extracting fish having a range of movement equal to or less than a set value based on the movement pattern of each fish analyzed by the movement analysis unit; a movement pattern comparison unit for comparing the movement pattern corresponding to the fish extracted by the fish extraction unit with the movement pattern stored in the movement pattern storage unit; and a fish disease determination unit configured to determine whether the fish extracted by the fish extraction unit has a disease according to the result compared by the movement pattern comparison unit.
전술한 어류질병 감지장치는, 상기 어류 추출부에 의해 추출된 어류의 위치를 확인하는 어류위치 확인부;를 더 포함할 수 있다.The above-described fish disease detection device may further include a fish location check unit for checking the location of the fish extracted by the fish extraction unit.
전술한 어류질병 감지장치는, 상기 어류위치 확인부에 의해 확인되는 위치에 대응하여 어류의 움직임을 유도하는 움직임 유도부;를 더 포함할 수도 있다.The above-described fish disease detection device may further include a movement inducing unit for inducing the movement of the fish in response to the position identified by the fish position determining unit.
또한, 전술한 어류질병 감지장치는, 상기 어류위치 확인부에 의해 확인되는 위치에 대응하여 어류를 포획하는 어류 포획부;를 더 포함할 수도 있다.In addition, the above-described fish disease detection device may further include a fish catcher that captures the fish corresponding to the position identified by the fish location checker.
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 어류질병 감지방법은, 어류질병 감지장치에 의해 수행되는 어류질병 감지방법에 있어서, 어류에 대한 질병의 종류와 각각의 상기 질병에 대응하는 어류의 움직임패턴을 데이터베이스화하여 저장하는 단계; 가두리 양식장의 해수면 및 수중의 적어도 하나를 촬영하는 카메라로부터 영상신호를 수신하는 단계; 상기 카메라로부터 수신되는 영상신호에 대하여 설정된 시간간격 동안의 각각의 어류의 움직임패턴을 분석하는 단계; 분석되는 상기 움직임패턴에 기초하여 움직임의 범위가 설정된 값 이하인 어류를 추출하는 단계; 추출된 상기 어류에 대응하는 움직임패턴을 저장된 상기 움직임패턴과 비교하는 단계; 및 비교되는 결과에 따라 추출된 상기 어류에 대한 질병 여부를 판단하는 단계;를 포함하는 것을 특징으로 한다.A method for detecting a fish disease according to an aspect of the present invention for achieving the above object is a method for detecting a fish disease performed by a fish disease detecting device, the type of disease in the fish and the fish corresponding to each of the diseases Storing the movement pattern into a database; Receiving an image signal from a camera for photographing at least one of the sea level and the water of the cage farm; analyzing the movement pattern of each fish during a set time interval with respect to the video signal received from the camera; extracting a fish whose movement range is less than or equal to a set value based on the analyzed movement pattern; comparing the extracted movement pattern corresponding to the fish with the stored movement pattern; and determining whether the extracted fish has a disease according to the comparison result.
전술한 어류질병 감지방법은, 추출된 상기 어류의 위치를 확인하는 단계;를 더 포함할 수 있다.The method for detecting a fish disease described above may further include a step of confirming the location of the extracted fish.
전술한 어류질병 감지방법은, 확인되는 상기 위치에 대응하여 어류의 움직임을 유도하는 단계;를 더 포함할 수도 있다.The method for detecting a fish disease described above may further include a step of inducing movement of the fish in response to the identified position.
또한, 전술한 어류질병 감지방법은, 확인되는 상기 위치에 대응하여 어류를 포획하는 단계; 를 더 포함할 수도 있다.In addition, the method for detecting a fish disease described above includes the steps of catching a fish corresponding to the identified position; may further include.
본 발명에 따르면, 양식장에서 양식되는 어류에 대하여 질병의 발생을 조기에 감지하고, 질병이 다른 어류에 전염되는 것을 방지할 수 있게 된다.Advantageous Effects of Invention According to the present invention, it is possible to detect the occurrence of a disease in an early stage with respect to fish farmed in a farm, and prevent the disease from being transmitted to other fish.
도 1은 본 발명의 실시예에 따른 어류질병 감지장치가 적용되는 양식장 시스템의 예를 개략적으로 도시한 도면이다.
도 2는 도 1에 나타낸 어류질병 감지장치의 구성을 개략적으로 도시한 도면이다.
도 3은 영상신호에 대하여 어류의 움직임패턴을 분석하는 예를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 어류질병 감지방법을 나타낸 흐름도이다.1 is a diagram schematically illustrating an example of a farm system to which a fish disease detection device according to an embodiment of the present invention is applied.
FIG. 2 is a diagram schematically illustrating the configuration of the fish disease detection device shown in FIG. 1 .
3 is a diagram illustrating an example of analyzing a movement pattern of a fish with respect to an image signal.
4 is a flowchart illustrating a method for detecting a fish disease according to an embodiment of the present invention.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 설명한다. 각 도면의 구성요소들에 참조부호를 기재함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호로 표시한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. Hereinafter, some embodiments of the present invention will be described with reference to exemplary drawings. In describing the components of each drawing by reference numerals, the same components are denoted by the same reference numerals as much as possible even though they are shown in different drawings. In addition, in describing the embodiment of the present invention, if it is determined that a detailed description of a related known configuration or function interferes with the understanding of the embodiment of the present invention, the detailed description thereof will be omitted.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속될 수 있지만, 그 구성 요소와 그 다른 구성요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the components of the embodiment of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the components from other components, and the essence, order, or order of the components are not limited by the terms. When it is described that a component is “connected”, “coupled” or “connected” to another component, the component may be directly connected, coupled, or connected to the other component, but the component and the other component It should be understood that another element may be “connected”, “coupled” or “connected” between elements.
도 1은 본 발명의 실시예에 따른 어류질병 감지장치가 적용되는 양식장 시스템의 예를 개략적으로 도시한 도면이다.1 is a diagram schematically illustrating an example of a farm system to which a fish disease detection device according to an embodiment of the present invention is applied.
도 1을 참조하면, 양식장 시스템은 양식장(10)의 해수면 또는 수중을 촬영하는 카메라(20), 양식장 내의 해수면으로부터 설정된 깊이 이하의 어류의 분포를 측정하는 적어도 하나의 센서(30), 사료의 공급을 제어하는 사료공급 제어장치(40) 등을 포함할 수 있다. 또한, 본 발명의 실시예에 따른 어류질병 감지장치(100)는 양식장(10)의 카메라(20), 각종 센서(30) 및 사료공급 제어장치(40)와 유선 또는 무선으로 연결되며, 연결된 카메라(20), 센서(30) 및 사료공급 제어장치(40)와 데이터를 송수신한다.Referring to FIG. 1, the farm system includes a
도 2는 도 1에 나타낸 어류질병 감지장치의 구성을 개략적으로 도시한 도면이다.FIG. 2 is a diagram schematically illustrating the configuration of the fish disease detection device shown in FIG. 1 .
도 2를 참조하면, 어류질병 감지장치(100)는 움직임패턴 저장부(102), 영상신호 수신부(104), 움직임패턴 분석부(106), 어류 추출부(108), 움직임패턴 비교부(110), 어류질병 판단부(112), 어류위치 확인부(114), 움직임 유도부(116) 및 어류 포획부(118)를 포함할 수 있다.Referring to FIG. 2 , the fish
움직임패턴 저장부(102)는 어류에 대한 질병의 종류와 각각의 질병에 대응하는 어류의 움직임패턴을 데이터베이스로 저장한다. 질병에 감염된 어류는 일반적으로 움직임이 둔해지며, 그에 따라 감염어류의 움직임패턴도 시간 별로 정형화된 양상을 보인다. 이때, 특정의 어류 질병에 대응하여 잠복기의 어류의 움직임패턴, 감염 후의 시간의 경과에 따른 어류의 움직임패턴 등이 어류의 종류에 따라 모두 다를 수 있다. 따라서, 움직임패턴 저장부(102)는 질병의 종류, 어류의 종류 등에 각각 대응하여 질병에 감염된 어류의 감염시기별로 움직임패턴을 시간의 경과에 따라 저장하는 것이 바람직하다.The movement
영상신호 수신부(104)는 가두리 양식장의 해수면 및 수중의 적어도 하나를 촬영하는 카메라(20)로부터 영상신호를 수신한다. 이때, 카메라(20)는 적외선 카메라를 포함하며, 그에 따라 영상신호 수신부(104)는 야간에도 해수면 또는 수중의 어류의 움직임을 확인하기 위한 영상신호를 수신한다.The image
움직임패턴 분석부(106)는 영상신호 수신부(106)에 의해 수신되는 영상신호에 대하여 설정된 시간간격 동안의 각각의 어류의 움직임패턴을 분석한다. 이때, 움직임패턴 분석부(106)는 영상신호 수신부(106)를 통해 수신되는 영상신호의 각각의 프레임을 비교하여 각각의 어류에 대한 움직임벡터를 산출할 수 있으며, 그에 따라 시간의 변화에 따라 산출된 움직임벡터를 연결함으로써 도 3에 도시한 바와 같이 각각의 어류에 대한 움직임패턴을 분석할 수 있다.The movement
이때, 움직임패턴 분석부(106)는 현재시점 이전의 설정된 시간간격 동안에 분석된 어류의 움직임패턴에 기반하여 현재시점으로부터 설정된 시간간격 동안의 미래에 대한 어류의 움직임패턴을 예측할 수 있다. 이 경우, 움직임패턴 분석부(106)는 과거의 설정된 시간간격 동안의 데이터와 변수를 순환신경망(RNN: Recurrent Neural network) 또는 심층신경망(DNN: Deep Neural Network) 기반의 기계학습 모델에 입력하여 상관관계를 분석하며, 분석된 상관관계를 현재로부터 미래의 시간간격 동안에 적용하여 미래에 대한 어류의 움직임패턴을 예측할 수 있다.In this case, the movement
또한, 움직임패턴 분석부(106)는 분석된 움직임패턴 및 예측된 움직임패턴을 움직임패턴 저장부(102)에 데이터베이스로 저장하며, 이후의 영상신호에 대한 어류의 질병여부를 판단하기 위한 학습자료로 사용할 수 있다.In addition, the movement
어류 추출부(108)는 움직임 분석부(106)에 의해 분석되는 각각의 어류의 움직임패턴에 기초하여 움직임의 범위가 설정된 값 이하인 어류를 추출한다. 이때, 어류 추출부(108)는 어류의 수면시간, 어류에 대한 사료 공급시간 등에 따라 기준 값을 다양하게 설정하며, 설정된 기준 값에 따라 어류를 추출할 수 있다. 예를 들어, 특정 어류의 경우에 수면 중에 움직임이 거의 없을 수 있으며, 사료의 공급시간에는 움직임이 왕성할 수 있다. 따라서, 어류 추출부(108)는 해당 어류에 대하여 수면 시간에는 기준 값을 작은 값으로 설정하며, 사료의 공급시간에는 기준 값을 큰 값으로 설정하고, 각각의 시간대에 따라 서로 다른 값으로 어류를 추출할 수 있다. 이 경우, 어류 추출부(108)는 설정된 시간간격 동안의 특정 어류의 방향전환 횟수, 어류의 진행거리 등이 설정된 방향전환 횟수, 설정된 거리 이하인 경우에 해당 어류를 추출할 수 있다.The
또한, 어류 추출부(108)는 움직임패턴 분석부(106)가 미래의 설정된 시간간격 동안의 어류의 움직임패턴을 예측한 경우, 예측된 움직임패턴과 현재의 해당 어류의 움직임을 비교하고, 현재의 해당 어류의 움직임이 예측된 움직임패턴으로부터 설정된 범위 이내에 있는 어류 중에서 과거의 설정된 시간간격 동안의 움직임패턴의 움직임 값이 설정된 값 이하인 어류를 추출할 수도 있다.In addition, the
움직임패턴 비교부(110)는 어류 추출부(108)에 의해 추출된 어류에 대응하는 움직임패턴을 움직임패턴 저장부(102)에 저장된 움직임패턴과 비교한다. 이때, 움직임패턴 비교부(110)는 움직임패턴 저장부(102)에 저장된 각각의 질병 및 어류의 종류에 대한 감염시기별 어류의 움직임패턴들과 추출된 어류의 움직임패턴을 각각 비교하며, 추출된 어류의 움직임패턴이 저장된 움직임패턴과 동일 또는 유사한 범위에 있는지를 판단한다.The movement
어류질병 판단부(112)는 움직임패턴 비교부(110)에 의해 비교되는 결과에 따라 어류 추출부(108)에 의해 추출된 어류에 대한 질병 여부를 판단한다. 즉, 어류질병 판단부(112)는 움직임패턴 비교부(110)에 의해 추출된 어류에 대한 움직임패턴이 특정 질병에 감염된 어류의 움직임패턴과 동일하거나 유사한 것으로 판단되는 경우, 추출된 어류가 해당 특정 질병에 감염된 것으로 판단할 수 있다.The fish
어류위치 확인부(114)는 어류 추출부(108)에 의해 추출된 어류의 위치를 확인한다. 이때, 어류위치 확인부(114)는 어류질병 판단부(112)에 의해 추출된 어류가 특정의 질병에 감염된 것으로 판단되는 경우, 해당 추출된 어류가 양식장(10)에서 어느 위치에 있는지를 확인할 수 있다. 이 경우, 어류위치 확인부(114)는 영상신호 수신부(104)에 의해 수신되는 영상신호가 어느 위치에 설치된 카메라(20)로부터 수신된 영상신호인지, 그리고 해당 영상신호에서의 추출된 어류의 위치에 따라 추출된 어류가 양식장(10)에서 어느 위치에 있는지를 확인할 수 있다.The
움직임 유도부(116)는 어류위치 확인부(114)에 의해 확인되는 어류의 위치에 대응하여 어류의 움직임을 유도한다. 이때, 움직임 유도부(114)는 어류위치 확인부(114)에 의해 확인되는 어류의 위치에 먹이 또는 먹이모형을 위치시키고 해당 먹이 또는 먹이모형을 이동시킴으로써 어류위치 확인부(114)에 의해 확인된 위치에 있는 어류의 움직임을 유도할 수 있다. 그러나, 움직임 유도부(116)가 어류의 움직임을 유도하는 방법은 기재된 방법에 한정되는 것은 아니며, 다양한 방법으로 어류의 움직임을 유도할 수도 있다.The
이때, 움직임패턴 분석부(106)는 움직임 유도부(116)가 해당 어류의 움직임을 유도한 후의 설정된 시간간격 동안의 움직임패턴을 분석할 수 있으며, 그에 따라 해당 어류의 움직임패턴이 설정된 값 이상이 되면, 어류질병 판단부(112)는 해당 어류가 정상인 것으로 판단할 수 있다.At this time, the movement
어류 포획부(118)는 어류위치 확인부(114)에 의해 확인되는 어류의 위치에 대응하여 어류를 포획한다. 이때, 어류 포획부(118)는 양식장(10)의 상부에 전후 방향 및 좌우 방향으로 이동할 수 있으며, 양식장(10) 내에서의 수심을 조절할 수 있는 형태로 구현되며, 어류질병 판단부(112)에 의해 질병에 감염된 것으로 판단되는 어류의 위치로 이동하여 해당 어류를 포획한다. 이때, 어류 포획부(118)는 단위시간 동안의 움직임을 최대한 느리게 함으로써 이동 중에 질병에 감염된 것으로 판단되는 어류가 다른 위치로 이동하지 못하도록 하는 것이 바람직하다.The
도 4는 본 발명의 실시예에 따른 어류질병 감지방법을 나타낸 흐름도이다. 본 발명의 실시예에 따른 어류질병 감지방법은 도 2에 나타낸 어류질병 감지장치(100)에 의해 수행될 수 있다.4 is a flowchart illustrating a method for detecting a fish disease according to an embodiment of the present invention. The fish disease detection method according to the embodiment of the present invention may be performed by the fish
도 1 내지 도 4를 참조하면, 어류질병 감지장치(100)는 어류에 대한 질병의 종류와 각각의 질병에 대응하는 어류의 움직임패턴을 데이터베이스로 저장한다(S102). 질병에 감염된 어류는 일반적으로 움직임이 둔해지며, 그에 따라 감염어류의 움직임패턴도 시간 별로 정형화된 양상을 보인다. 이때, 특정의 어류 질병에 대응하여 잠복기의 어류의 움직임패턴, 감염 후의 시간의 경과에 따른 어류의 움직임패턴 등이 어류의 종류에 따라 모두 다를 수 있다. 따라서, 어류질병 감지장치(100)는 질병의 종류, 어류의 종류 등에 각각 대응하여 질병에 감염된 어류의 감염시기별로 움직임패턴을 시간의 경과에 따라 저장하는 것이 바람직하다.1 to 4 , the fish
어류질병 감지장치(100)는 가두리 양식장의 해수면 및 수중의 적어도 하나를 촬영하는 카메라(20)로부터 영상신호를 수신한다(S104). 이때, 카메라(20)는 적외선 카메라를 포함하며, 그에 따라 어류질병 감지장치(100)는 야간에도 해수면 또는 수중의 어류의 움직임을 확인하기 위한 영상신호를 수신할 수 있다.The fish
어류질병 감지장치(100)는 카메라(20)로부터 수신되는 영상신호에 대하여 설정된 시간간격 동안의 각각의 어류의 움직임패턴을 분석한다(S106). 이때, 어류질병 감지장치(100)는 카메라(20)로부터 수신되는 영상신호의 각각의 프레임을 비교하여 각각의 어류에 대한 움직임벡터를 산출할 수 있으며, 그에 따라 시간의 변화에 따라 산출된 움직임벡터를 연결함으로써 각각의 어류에 대한 움직임패턴을 분석할 수 있다.The fish
이때, 어류질병 감지장치(100)는 현재시점 이전의 설정된 시간간격 동안에 분석된 어류의 움직임패턴에 기반하여 현재시점으로부터 설정된 시간간격 동안의 미래에 대한 어류의 움직임패턴을 예측할 수도 있다. 이 경우, 어류질병 감지장치(100)는 과거의 설정된 시간간격 동안의 데이터와 변수를 순환신경망(RNN: Recurrent Neural network) 또는 심층신경망(DNN: Deep Neural Network) 기반의 기계학습 모델에 입력하여 상관관계를 분석하며, 분석된 상관관계를 현재로부터 미래의 시간간격 동안에 적용하여 미래에 대한 어류의 움직임패턴을 예측할 수 있다. 분석된 움직임패턴 또는 예측된 움직임패턴은 데이터베이스로 저장되며, 어류질병 감지장치(100)가 다음의 움직임패턴을 분석하는데 있어 학습자료로 활용될 수도 있다.In this case, the fish
어류질병 감지장치(100)는 분석되는 각각의 어류의 움직임패턴에 기초하여 움직임의 범위가 설정된 값 이하인 어류를 추출한다(S108). 이때, 어류질병 감지장치(100)는 어류의 수면시간, 어류에 대한 사료 공급시간 등에 따라 기준 값을 다양하게 설정하며, 설정된 기준 값에 따라 어류를 추출할 수 있다. 예를 들어, 특정 어류의 경우에 수면 중에 움직임이 거의 없을 수 있으며, 사료의 공급시간에는 움직임이 왕성할 수 있다. 따라서, 어류질병 감지장치(100)는 해당 어류에 대하여 수면 시간에는 기준 값을 작은 값으로 설정하며, 사료의 공급시간에는 기준 값을 큰 값으로 설정하고, 각각의 시간대에 따라 서로 다른 값으로 어류를 추출할 수 있다.The fish
또한, 어류질병 감지장치(100)는 미래의 설정된 시간간격 동안의 어류의 움직임패턴을 예측한 경우, 예측된 움직임패턴과 현재의 해당 어류의 움직임을 비교하고, 현재의 해당 어류의 움직임이 예측된 움직임패턴으로부터 설정된 범위 이내에 있는 어류 중에서 과거의 설정된 시간간격 동안의 움직임패턴의 움직임 값이 설정된 값 이하인 어류를 추출할 수도 있다.In addition, when the fish
어류질병 감지장치(100)는 추출된 어류에 대응하는 움직임패턴을 저장된 움직임패턴과 비교한다(S110). 이때, 어류질병 감지장치(100)는 저장된 각각의 질병 및 어류의 종류에 대한 감염시기별 어류의 움직임패턴들과 추출된 어류의 움직임패턴을 각각 비교하며, 추출된 어류의 움직임패턴이 저장된 움직임패턴과 동일 또는 유사한 범위에 있는지를 판단한다.The fish
어류질병 감지장치(100)는 비교되는 결과에 따라 추출된 어류에 대한 질병 여부를 판단한다(S112). 즉, 어류질병 감지장치(100)는 추출된 어류에 대한 움직임패턴이 특정 질병에 감염된 어류의 움직임패턴과 동일하거나 유사한 것으로 판단되는 경우, 추출된 어류가 해당 특정 질병에 감염된 것으로 판단할 수 있다.The fish
어류질병 감지장치(100)는 추출된 어류의 위치를 확인한다. 이때, 어류질병 감지장치(100)는 추출된 어류가 특정의 질병에 감염된 것으로 판단되는 경우, 해당 추출된 어류가 양식장(10)에서 어느 위치에 있는지를 확인할 수 있다(S114). 이 경우, 어류질병 감지장치(100)는 카메라(20)로부터 수신되는 영상신호가 어느 위치에 설치된 카메라(20)로부터 수신된 영상신호인지, 그리고 해당 영상신호에서의 추출된 어류의 위치에 따라 추출된 어류가 양식장(10)에서 어느 위치에 있는지를 확인할 수 있다.The fish
어류질병 감지장치(100)는 확인되는 어류의 위치에 대응하여 어류의 움직임을 유도한다(S116). 이때, 어류질병 감지장치(100)는 확인되는 어류의 위치에 먹이 또는 먹이모형을 위치시키고 해당 먹이 또는 먹이모형을 이동시킴으로써 확인된 위치에 있는 어류의 움직임을 유도할 수 있다. 그러나, 어류질병 감지장치(100)가 어류의 움직임을 유도하는 방법은 기재된 방법에 한정되는 것은 아니며, 다양한 방법으로 어류의 움직임을 유도할 수도 있다.The fish
이때, 어류질병 감지장치(100)가 해당 어류의 움직임을 유도한 후의 설정된 시간간격 동안의 움직임패턴이 설정된 값 이상이 되면, 어류질병 감지장치(100)는 해당 어류가 정상인 것으로 판단할 수 있다.At this time, when the movement pattern for the set time interval after the fish
어류질병 감지장치(100)는 확인되는 어류의 위치에 대응하여 어류를 포획한다(S118). 이때, 어류질병 감지장치(100)는 양식장(10)의 상부에 전후 방향, 좌우 방향, 및 상하 방향으로 어류 포획장치를 이동시킬 수 있으며, 질병에 감염된 것으로 판단되는 어류의 위치로 이동하여 해당 어류를 포획한다. 이때, 어류질병 감지장치(100)는 어류 포획장치의 단위시간 동안의 움직임을 최대한 느리게 함으로써 이동 중에 질병에 감염된 것으로 판단되는 어류가 다른 위치로 이동하지 못하도록 하는 것이 바람직하다.The fish
이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 보호 범위는 다음의 특허청구범위뿐만 아니라 이와 균등한 것들에 의해 정해져야 한다.Although the embodiments according to the present invention have been described above, these are merely exemplary, and those of ordinary skill in the art will understand that various modifications and equivalent ranges of embodiments are possible therefrom. Accordingly, the protection scope of the present invention should be defined by the following claims as well as their equivalents.
Claims (8)
가두리 양식장의 해수면 및 수중의 적어도 하나를 촬영하는 카메라로부터 영상신호를 수신하는 영상신호 수신부;
상기 영상신호 수신부에 의해 수신되는 영상신호에 대하여 설정된 시간간격 동안의 각각의 어류의 움직임패턴을 분석하는 움직임패턴 분석부;
상기 움직임패턴 분석부에 의해 분석되는 각각의 어류의 움직임패턴에 기초하여 움직임의 범위가 설정된 값 이하인 어류를 추출하는 어류 추출부;
상기 어류 추출부에 의해 추출된 어류에 대응하는 움직임패턴을 상기 움직임패턴 저장부에 저장된 움직임패턴과 비교하는 움직임패턴 비교부;
상기 움직임패턴 비교부에 의해 비교되는 결과에 따라 상기 어류 추출부에 의해 추출된 어류에 대한 질병 여부를 판단하는 어류질병 판단부; 및
상기 어류 추출부에 의해 추출된 어류의 위치를 확인하는 어류위치 확인부;
를 포함하는 것을 특징으로 하는 어류질병 감지장치.a movement pattern storage unit for storing the types of diseases of the fish and the movement patterns of the fish corresponding to each of the diseases into a database;
an image signal receiving unit for receiving an image signal from a camera for photographing at least one of the sea level and the water of the cage farm;
a movement pattern analysis unit for analyzing the movement pattern of each fish during a set time interval with respect to the image signal received by the image signal receiving unit;
a fish extraction unit for extracting fish whose movement range is less than or equal to a set value based on the movement pattern of each fish analyzed by the movement pattern analysis unit;
a movement pattern comparison unit for comparing the movement pattern corresponding to the fish extracted by the fish extraction unit with the movement pattern stored in the movement pattern storage unit;
a fish disease determination unit configured to determine whether the fish extracted by the fish extraction unit has a disease according to the result compared by the movement pattern comparison unit; and
a fish position confirmation unit for confirming the position of the fish extracted by the fish extraction unit;
Fish disease detection device comprising a.
상기 어류위치 확인부에 의해 확인되는 위치에 대응하여 어류의 움직임을 유도하는 움직임 유도부;
를 더 포함하는 것을 특징으로 하는 어류질병 감지장치.According to claim 1,
a movement inducing unit for inducing the movement of the fish in response to the position identified by the fish position determining unit;
Fish disease detection device, characterized in that it further comprises.
어류에 대한 질병의 종류와 각각의 상기 질병에 대응하는 어류의 움직임패턴을 데이터베이스화하여 저장하는 단계;
가두리 양식장의 해수면 및 수중의 적어도 하나를 촬영하는 카메라로부터 영상신호를 수신하는 단계;
상기 카메라로부터 수신되는 영상신호에 대하여 설정된 시간간격 동안의 각각의 어류의 움직임패턴을 분석하는 단계;
분석되는 상기 움직임패턴에 기초하여 움직임의 범위가 설정된 값 이하인 어류를 추출하는 단계;
추출된 상기 어류에 대응하는 움직임패턴을 저장된 상기 움직임패턴과 비교하는 단계;
비교되는 결과에 따라 추출된 상기 어류에 대한 질병 여부를 판단하는 단계; 및
추출된 상기 어류의 위치를 확인하는 단계;
를 포함하는 것을 특징으로 하는 어류질병 감지방법.A fish disease detection method performed by a fish disease detection device, the method comprising:
A method comprising: databaseizing and storing a type of disease for a fish and a movement pattern of a fish corresponding to each disease;
Receiving an image signal from a camera for photographing at least one of the sea level and the water of the cage farm;
analyzing the movement pattern of each fish during a set time interval with respect to the video signal received from the camera;
extracting a fish whose movement range is less than or equal to a set value based on the analyzed movement pattern;
comparing the extracted movement pattern corresponding to the fish with the stored movement pattern;
determining whether the extracted fish has a disease according to the comparison result; and
identifying the location of the extracted fish;
Fish disease detection method comprising a.
확인되는 상기 위치에 대응하여 어류의 움직임을 유도하는 단계;
를 더 포함하는 것을 특징으로 하는 어류질병 감지방법.6. The method of claim 5,
inducing movement of the fish in response to the identified position;
Fish disease detection method, characterized in that it further comprises.
확인되는 상기 위치에 대응하여 어류를 포획하는 단계;
를 더 포함하는 것을 특징으로 하는 어류질병 감지방법.
6. The method of claim 5,
catching fish corresponding to the identified location;
Fish disease detection method, characterized in that it further comprises.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190123586A KR102290647B1 (en) | 2019-10-07 | 2019-10-07 | Fish disease detecting apparatus and method thereof |
KR1020210067226A KR102305704B1 (en) | 2019-10-07 | 2021-05-25 | Fish disease detecting apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190123586A KR102290647B1 (en) | 2019-10-07 | 2019-10-07 | Fish disease detecting apparatus and method thereof |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210067226A Division KR102305704B1 (en) | 2019-10-07 | 2021-05-25 | Fish disease detecting apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210041207A KR20210041207A (en) | 2021-04-15 |
KR102290647B1 true KR102290647B1 (en) | 2021-08-18 |
Family
ID=75440739
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190123586A KR102290647B1 (en) | 2019-10-07 | 2019-10-07 | Fish disease detecting apparatus and method thereof |
KR1020210067226A KR102305704B1 (en) | 2019-10-07 | 2021-05-25 | Fish disease detecting apparatus |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210067226A KR102305704B1 (en) | 2019-10-07 | 2021-05-25 | Fish disease detecting apparatus |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR102290647B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102622793B1 (en) * | 2021-11-05 | 2024-01-09 | 주식회사 부상 | Real-time disease detection system and method of aquaculture fish |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101598898B1 (en) * | 2015-06-30 | 2016-03-03 | 주식회사 글로비트 | The system for precaution for paralichthys olivaceus disease using and an analysis of image and sound |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100216123B1 (en) * | 1997-02-20 | 1999-08-16 | 이내흔 | Monitoring system of water quality |
KR20120075883A (en) * | 2010-12-29 | 2012-07-09 | 전남대학교산학협력단 | Diagnosis system of fishes disease |
KR101676643B1 (en) * | 2014-10-16 | 2016-11-29 | 렉스젠(주) | Apparatus for managing livestock and method thereof |
KR20160149760A (en) | 2015-06-19 | 2016-12-28 | 부경대학교 산학협력단 | Method for preventing and curing the disease of fish using bule LED |
KR102004165B1 (en) * | 2018-01-15 | 2019-07-26 | 부산외국어대학교 산학협력단 | Artificial intelligence type integration automation system using big data and artificial intelligence machine learning |
-
2019
- 2019-10-07 KR KR1020190123586A patent/KR102290647B1/en active IP Right Grant
-
2021
- 2021-05-25 KR KR1020210067226A patent/KR102305704B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101598898B1 (en) * | 2015-06-30 | 2016-03-03 | 주식회사 글로비트 | The system for precaution for paralichthys olivaceus disease using and an analysis of image and sound |
Also Published As
Publication number | Publication date |
---|---|
KR102305704B1 (en) | 2021-09-28 |
KR20210064157A (en) | 2021-06-02 |
KR20210041207A (en) | 2021-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9984183B2 (en) | Method for automatic behavioral phenotyping | |
DK181498B1 (en) | System for external fish parasite monitoring in aquaculture | |
US11917981B2 (en) | Apparatus for identifying an animal | |
Subedi et al. | Tracking pecking behaviors and damages of cage-free laying hens with machine vision technologies | |
KR101598898B1 (en) | The system for precaution for paralichthys olivaceus disease using and an analysis of image and sound | |
KR102234697B1 (en) | Fish net surveillance apparatus using Remotely-Operated underwater Vehicle, controlling method of the same | |
KR20180057785A (en) | A system of measuring fish number for image analysis and that of measure method | |
KR20190037757A (en) | Smart system for detecting the estrus of livestock | |
KR102305704B1 (en) | Fish disease detecting apparatus | |
Kaixuan et al. | Target detection method for moving cows based on background subtraction | |
Lamping et al. | ChickenNet-an end-to-end approach for plumage condition assessment of laying hens in commercial farms using computer vision | |
KR102527058B1 (en) | Apparatus for detecting mounting behavior of cattle | |
RU2018143985A (en) | METHOD AND DEVICE FOR DIAGNOSTICS OF PAW PATHOLOGIES OF FOUR-LEGED ANIMALS | |
WO2022220692A1 (en) | Bird detection and species determination | |
EP3576523A1 (en) | Systems and methods for determining likelihood of states in cattle animal | |
KR101687787B1 (en) | Poor layer sorting system | |
KR102622793B1 (en) | Real-time disease detection system and method of aquaculture fish | |
KR102334566B1 (en) | Apparatus and method for measuring activity of bumblebee | |
KR20230011898A (en) | Behavioral anomaly detection system | |
CN114119662A (en) | Image processing method and system in fish detection visual system | |
Ahn et al. | Real-time cow action recognition based on motion history image feature | |
KR101556751B1 (en) | Cattle mounting detection system and method using Optical Flow and Gaussian Mixture Model in video surveillance system | |
KR101687782B1 (en) | Poor layer sorting method | |
Shreesha et al. | Behavioural Pattern Analysis of Fishes for Smart Aquaculture: An Object Centric Approach | |
Kaliappan et al. | Performance Analysis of YOLOv8, RCNN, and SSD Object Detection Models for Precision Poultry Farming Management |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
A107 | Divisional application of patent | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |