KR20200062890A - Abnormal behavior pattern analysis system using image recognition of aquarium fish and the method therof - Google Patents
Abnormal behavior pattern analysis system using image recognition of aquarium fish and the method therof Download PDFInfo
- Publication number
- KR20200062890A KR20200062890A KR1020180148830A KR20180148830A KR20200062890A KR 20200062890 A KR20200062890 A KR 20200062890A KR 1020180148830 A KR1020180148830 A KR 1020180148830A KR 20180148830 A KR20180148830 A KR 20180148830A KR 20200062890 A KR20200062890 A KR 20200062890A
- Authority
- KR
- South Korea
- Prior art keywords
- abnormal behavior
- organism
- fish
- ornamental
- data
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
Abstract
Description
본 발명은 관상어 영상인식을 통한 이상행동패턴 분석 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 영상데이터를 이용하여 수조속의 관상생물을 인식하고 딥러닝을 통해 이상행동을 감지하고 분석하는 시스템 및 그 방법에 관한 것이다.The present invention relates to a system and method for analyzing abnormal behavior patterns through image recognition of ornamental fish, and more specifically, a system for detecting and analyzing abnormal behavior through deep learning by recognizing tubular organisms in a water tank using image data, and It's about how.
강아지, 고양이 등을 비롯한 애완동물을 사육하거나, 관상어 등의 애완용 수생생물을 사육하는 것은 오래전부터 여러 사람들로부터 많은 관심을 받아왔다.Breeding pets, including dogs and cats, and pet aquatic life, such as ornamental fish, have long received a lot of attention from many people.
일반 가정뿐만 아니라 대형 아쿠아리움 등에서 열대어를 사육하면서 번식시키고 관상의 대상으로 삼는 산업이 크게 발전하고 있다. 열대어들의 원산지는 대체로 동남아시아, 중앙아메리카, 남아메리카, 아프리카 등이며 대부분 소형의 아름다운 담수어(淡水魚)이다.In addition to general households, the industry that breeds tropical fish in large aquariums, etc., and targets them as ornamentals has been greatly developed. The origin of tropical fish is mostly Southeast Asia, Central America, South America, and Africa. Most of them are small and beautiful freshwater fish.
근래에는 품종 개량의 결과, 색채·형태 모두 원종보다 훨씬 우미한 사육품종이 나오고 있으며, 아름답지는 않지만 유영동작 등 생태적으로 흥미를 끄는 대형종도 더해지고 있다. 또 사육방법의 진보에 따라 산호초에 사는 해수어도 사육되어 관상어의 외연은 점점 커져가고 있다.In recent years, as a result of the improvement of varieties, both breeds and varieties are more elegant than original ones in color and form, and large-sized species that are ecologically interesting, such as streamer movements, are also added. In addition, with the advancement of the breeding method, sea fish that live in coral reefs are also bred, and the appearance of ornamental fish is increasing.
오늘날 관상어로 사육되는 열대어는 담수어 400종 이상, 해수어 150종 이상에 이른다. 그 종류를 보면 네온테트라, 카디널테트라, 페레즈테트라, 키싱구라미 등은 성질이 온순하고 건강하여 초심자에게 적합한 관상어에 해당한다. 한편, 섬세하기 때문에 단독으로 사육하는 편이 좋은 디스커스, 수마트라, 베타, 주얼피시 또한 널리 사육되고 있다.Today, more than 400 species of freshwater fish and more than 150 species of saltwater fish are bred as ornamental fish. Looking at the type, Neon Tetra, Cardinal Tetra, Perez Tetra, Kisingurami, etc., are mild and healthy in nature and are suitable for beginners. On the other hand, because it is delicate, it is better to keep it alone, such as discus, sumatra, beta, and jewel fish.
관상어 특유의 아름다움으로 인해 많은 수의 동호인들이 관상어의 사육을 취미로 하고 있다. 관상어 사육의 기본원칙은 원 서식지의 환경에 최대한 가깝게 만들어주는 것인데, 관상어들마다 특성이 다르고 생존환경이 각각 상이한 까닭에 관상어 사육에는 전문적인 지식과 많은 정성이 필요하다.Due to the peculiar beauty of ornamental fish, a large number of fellow hobbyists make it a hobby. The basic principle of breeding ornamental fish is to make it as close as possible to the environment of the original habitat. Because the characteristics of each ornamental fish are different and the survival environment is different, professional breeding and a lot of devotion are required for breeding ornamental fish.
하지만, 종래에 개시된 기술은 어항의 생존 환경을 자동으로 조성하는 기술에 불과할 뿐, 수족관 내부의 관상어의 영상이나 움직임 등을 파악하여, 관상어의 현재 상태를 파악하고, 파악된 관상어의 현재 상태를 토대로 관상어의 건강상태를 확인하고 그 후속조치가 이루어지도록 하는 기술은 현재 전무한 실정이다.However, the technology disclosed in the prior art is only a technique for automatically creating a living environment of a fish tank, and grasping the current state of the ornamental fish by grasping images or movements of the ornamental fish inside the aquarium, and based on the identified current state of the ornamental fish. There is currently no technology to check the health status of ornamental fish and to take follow-up measures.
본 발명은 수조 속 관상생물 및 관상어를 영상인식하고, 딥러닝을 통해 관상어의 행동패턴을 파악함으로써, 관상어의 이상행동과 질병 현황을 보다 편리하게 모니터링할 수 있는 관상어 영상인식을 통한 이상행동패턴 분석 시스템 및 그 방법을 제공한다.The present invention analyzes abnormal behavior patterns through image recognition of ornamental fish that can more conveniently monitor the abnormal behavior and disease status of ornamental fish by visually recognizing the ornamental fish and ornamental fish in a tank and understanding the behavioral patterns of the ornamental fish through deep learning. Provides a system and method.
본 발명의 일실시예에 따른 관상어 영상인식을 통한 이상행동패턴 분석 시스템은, 수조 내에 존재하는 관상생물에 대한 촬영 영상을 수신하는 영상 데이터 수신부, 상시 수신된 영상으로부터 상기 관상생물에 대한 어종, 건강정보, 행동정보를 포함하는 관상생물 데이터를 추출하는 관상생물 데이터 추출부, 상기 관상생물 데이터로부터 상기 관상생물의 이상행동을 분석하여 질병여부를 판단하는 이상행동 분석부 및 상기 이상행동 분석부의 판단결과 질병이 존재하는 관상생물이 발견된 경우, 상기 질병에 대한 대응행동을 추출하고 표시하는 대응행동 제어부를 포함할 수 있다.An abnormal behavior pattern analysis system through image recognition of an ornamental fish according to an embodiment of the present invention includes an image data receiving unit for receiving an imaging image of an ornamental organism existing in a water tank, fish species, health for the ornamental organism from an always received image. Coronary data extracting unit for extracting coronary data including information and behavioral information, and abnormal behavior analysis unit and abnormal behavior analysis unit to determine whether the disease is analyzed by analyzing the abnormal behavior of the tubular organism from the tubular data When a coronary organism in which a disease is present is found, a response action control unit for extracting and displaying a response action for the disease may be included.
본 발명의 일측에 따르면, 상기 관상생물 데이터 추출부는, 텐서플로우 기반 물체인식(tensor flow object detection) API를 사용하여 상기 수신된 영상으로부터 상기 관상생물에 대한 관상생물 데이터를 추출할 수 있다.According to an aspect of the present invention, the coronary data extracting unit may extract coronary data for the coronary organism from the received image using a tensor flow object detection API.
본 발명의 일측에 따르면, 상기 이상행동 분석부는, 상기 관상생물의 이동거리 및 이동 속도에 대한 데이터를 누적 저장하여 상기 관상생물에 대한 딥러닝을 수행하여, 기설정된 행동패턴을 보이는지 여부를 판단할 수 있다.According to an aspect of the present invention, the abnormal behavior analysis unit accumulates and stores data on a moving distance and a moving speed of the tubular organism, performs deep learning on the tubular organism, and determines whether to display a predetermined behavior pattern. Can be.
본 발명의 일측에 따르면, 상기 이상행동 분석부는, 상기 관상생물 표피에 나타나는 흰색 반점의 개수와 점유 비율이 기설정된 개수 및 비율 이상인 경우, 백점병 발병을 진단할 수 있다.According to an aspect of the present invention, the abnormal behavior analysis unit may diagnose the onset of leukemia if the number and occupancy rate of the white spots appearing on the epidermis of the tubular organism is greater than or equal to a preset number and proportion.
본 발명의 일실시예에 따르면, 수조 속 관상생물 및 관상어를 영상인식하고, 딥러닝을 통해 관상어의 행동패턴을 파악함으로써, 관상어의 이상행동과 질병 현황을 보다 편리하게 모니터링할 수 있는 관상어 영상인식을 통한 이상행동패턴 분석 시스템 및 그 방법이 제공된다.According to an embodiment of the present invention, by recognizing an ornamental fish and an ornamental fish in a tank, and grasping the behavioral pattern of an ornamental fish through deep learning, it is possible to more conveniently monitor anomalous behavior and disease status of an ornamental fish. An abnormal behavior pattern analysis system and a method thereof are provided.
도 1은 본 발명의 실시예에 따른 관상어 영상인식을 통한 이상행동패턴 분석 시스템을 도시한 블록도이다.
도 2는 본 발명의 실시예에 따른 관상어 영상인식을 통한 이상행동패턴 분석 과정을 나타낸 개략도이다.
도 3은 본 발명의 실시예에 따라 관상어를 영상인식하는 화면을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따라 담수 어종의 3차원 좌표를 통한 이동 거리 계산 및 속도 계산을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따라 3D mapping 진행을 위한 calibration 작업을 진행하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따라 담수어종의 3차원 좌표를 통한 카메라와의 거리 측정과정을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따라 Depth를 위한 카메라 epipolar geometry를 구현하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따라 3차원 좌표 Data를 3D Mapping한 모습을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따라 관상생물의 백점병을 진단하기 위한 영상분석 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 이상행동 감지 알고리즘을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따라 어플리케이션을 통해 이상행동 감지를 알리는 과정을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따라 관상생물의 이상행동을 감지하기 위한 수조 내의 기설정된 영역을 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따라 관상생물의 반응에 따른 추정원인과 조치방법의 예시를 도시한 도면이다.1 is a block diagram illustrating an abnormal behavior pattern analysis system through image recognition of an ornamental fish according to an embodiment of the present invention.
2 is a schematic diagram showing an abnormal behavior pattern analysis process through image recognition of an ornamental fish according to an embodiment of the present invention.
3 is a view showing a screen for recognizing an ornamental fish according to an embodiment of the present invention.
4 is a view for explaining the movement distance calculation and speed calculation through the three-dimensional coordinates of freshwater fish according to an embodiment of the present invention.
5 is a diagram for explaining a process of performing a calibration operation for 3D mapping according to an embodiment of the present invention.
6 is a view for explaining a distance measurement process with a camera through three-dimensional coordinates of freshwater fish species according to an embodiment of the present invention.
7 is a view for explaining a process of implementing a camera epipolar geometry for depth according to an embodiment of the present invention.
8 is a view for explaining a state of 3D Mapping 3D coordinate data according to an embodiment of the present invention.
9 is a view for explaining an image analysis process for diagnosing leukemia of coronary organisms according to an embodiment of the present invention.
10 is a view for explaining an abnormal behavior detection algorithm according to an embodiment of the present invention.
11 is a view for explaining a process of informing an abnormal behavior detection through an application according to an embodiment of the present invention.
12 is a view for explaining a predetermined area in a water tank for detecting abnormal behavior of a tubular organism according to an embodiment of the present invention.
13 is a view showing an example of an estimated cause and a method of action according to the response of an ornamental organism according to an embodiment of the present invention.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의 실시예들을 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the contents described in the accompanying drawings. However, the present invention is not limited or limited by the embodiments. The same reference numerals in each drawing denote the same members.
도 1은 본 발명의 실시예에 따른 관상어 영상인식을 통한 이상행동패턴 분석 시스템을 도시한 블록도이다.1 is a block diagram illustrating an abnormal behavior pattern analysis system through image recognition of an ornamental fish according to an embodiment of the present invention.
도 1을 참고하면, 관상어 영상인식을 통한 이상행동패턴 분석 시스템(100)은 수조 내에 존재하는 관상생물에 대한 촬영 영상을 수신하는 영상 데이터 수신부(110), 상시 수신된 영상으로부터 상기 관상생물에 대한 어종, 건강정보, 행동정보를 포함하는 관상생물 데이터를 추출하는 관상생물 데이터 추출부(120), 상기 관상생물 데이터로부터 상기 관상생물의 이상행동을 분석하여 질병여부를 판단하는 이상행동 분석부(130) 및 상기 이상행동 분석부의 판단결과 질병이 존재하는 관상생물이 발견된 경우, 상기 질병에 대한 대응행동을 추출하고 표시하는 대응행동 제어부(140)를 포함할 수 있다.Referring to FIG. 1, the system for analyzing anomalous behavior through image recognition of an
여기서, 상기 관상생물 데이터 추출부는, 텐서플로우 기반 물체인식(tensor flow object detection) API를 사용하여 상기 수신된 영상으로부터 상기 관상생물에 대한 관상생물 데이터를 추출할 수 있다.Here, the tubular biological data extractor may extract tubular biological data for the tubular organism from the received image using a tensor flow object detection API.
또한, 상기 이상행동 분석부는, 상기 관상생물의 이동거리 및 이동 속도에 대한 데이터를 누적 저장하여 상기 관상생물에 대한 딥러닝을 수행하여, 기설정된 행동패턴을 보이는지 여부를 판단할 수 있다.In addition, the abnormal behavior analysis unit may accumulate and store data on a moving distance and a moving speed of the tubular organism, perform deep learning on the tubular organism, and determine whether to display a predetermined behavior pattern.
또한, 상기 이상행동 분석부는, 상기 관상생물 표피에 나타나는 흰색 반점의 개수와 점유 비율이 기설정된 개수 및 비율 이상인 경우, 백점병 발병을 진단할 수 있다.In addition, the abnormal behavior analysis unit may diagnose the onset of leukemia when the number and occupancy rate of the white spots appearing on the epidermis of the tubular organism is greater than or equal to a predetermined number and proportion.
이하에서는 도 2 내지 도 13을 참고하여 본 발명의 실시예를 보다 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in more detail with reference to FIGS. 2 to 13.
도 2는 본 발명의 실시예에 따른 관상어 영상인식을 통한 이상행동패턴 분석 과정을 나타낸 개략도이고, 도 3은 본 발명의 실시예에 따라 관상어를 영상인식하는 화면을 나타낸 도면이며, 도 4는 본 발명의 실시예에 따라 담수 어종의 3차원 좌표를 통한 이동 거리 계산 및 속도 계산을 설명하기 위한 도면이고, 도 5는 본 발명의 실시예에 따라 3D mapping 진행을 위한 calibration 작업을 진행하는 과정을 설명하기 위한 도면이며, 도 6은 본 발명의 실시예에 따라 담수어종의 3차원 좌표를 통한 카메라와의 거리 측정과정을 설명하기 위한 도면이고, 도 7은 본 발명의 실시예에 따라 Depth를 위한 카메라 epipolar geometry를 구현하는 과정을 설명하기 위한 도면이며, 도 8은 본 발명의 실시예에 따라 3차원 좌표 Data를 3D Mapping한 모습을 설명하기 위한 도면이고, 도 9는 본 발명의 실시예에 따라 관상생물의 백점병을 진단하기 위한 영상분석 과정을 설명하기 위한 도면이며, 도 10은 본 발명의 실시예에 따른 이상행동 감지 알고리즘을 설명하기 위한 도면이고, 도 11은 본 발명의 실시예에 따라 어플리케이션을 통해 이상행동 감지를 알리는 과정을 설명하기 위한 도면이고, 도 12는 본 발명의 실시예에 따라 관상생물의 이상행동을 감지하기 위한 수조 내의 기설정된 영역을 설명하기 위한 도면이며, 도 13은 본 발명의 실시예에 따라 관상생물의 반응에 따른 추정원인과 조치방법의 예시를 도시한 도면이다.2 is a schematic diagram showing an abnormal behavior pattern analysis process through image recognition of an ornamental fish according to an embodiment of the present invention, FIG. 3 is a diagram showing a screen for recognizing an ornamental fish according to an embodiment of the present invention, and FIG. It is a diagram for explaining the calculation of the moving distance and the speed calculation through 3D coordinates of a freshwater fish species according to an embodiment of the invention, and FIG. 5 illustrates a process of performing a calibration operation for 3D mapping according to an embodiment of the present invention 6 is a view for explaining a distance measurement process with a camera through three-dimensional coordinates of a freshwater fish species according to an embodiment of the present invention, and FIG. 7 is a camera for depth according to an embodiment of the
본 기술은 영상데이터를 이용한 수조 속 관상생물 및 관상어 인식기술과 영상인식을 바탕으로 딥러닝을 통한 관상어 이상행동 감지 알고리즘이다. This technology is an algorithm for detecting abnormal behavior of ornamental fish through deep learning based on image recognition technology and image recognition technology.
영상데이터는 모션 감지 카메라를 통해 서버로 전송되고, 서버에서는 영상데이터를 분석하여 어종 구별을 하고, 어종에 따른 행동 패턴 분석이 가능하다.The image data is transmitted to the server through the motion detection camera, and the server analyzes the image data to distinguish fish species and analyzes behavior patterns according to the fish species.
딥러닝 기술을 이용하여 또한 수조 내에 관상어가 어떤 질병에 걸렸으며, 걸린 시간은 언제인지 판단하여 그 결과를 토대로 어병에 대한 대응이 가능하여 체계적인 어병관리 시스템을 구축할 수 있다.Using deep learning technology, it is also possible to establish a systematic fish disease management system by judging what disease the ornamental fish got in the tank and when it took time to respond to the fish disease based on the result.
딥러닝 기반의 관상어 인식을 위해서는 관상생물 및 관상어의 영상데이터를 tensor flow object detection을 사용한 관상어 인식 알고리즘 사용할 수 있고, 영상데이터를 기반으로 하여 관상생물 및 관상어의 크기, 모양, 형태에 제한받지 않고 구별할 수 있도록 구현될 수 있다.For deep learning-based recognition of ornamental fish, image data of ornamental creatures and ornamental fish can be used for the recognition of ornamental fish using tensor flow object detection. Based on the image data, it is distinguished without being limited by the size, shape, and shape of ornamental fish and ornamental fish. Can be implemented.
또한, 도 3에 도시된 바와 같이 다양한 관상어에 대해 영상인식이 이루어질 수 있다.In addition, as illustrated in FIG. 3, image recognition may be performed for various ornamental fish.
한편, 딥러닝 기술을 이용한 관상생물의 패턴을 분석할 수 있는데, 일예로, 카메라를 이용한 3D 뎁스를 산출하고, 2개의 카메라 입력을 통해 실시간으로 calibration이 가능하도록 하며, 3차원 좌표(x, y, z)에서 물고기의 이동 거리 계산 및 속도 계산을 통한 움직임을 분석하고, 속도는 mm/s 단위로 물고기 이동속도 측정할 수 있으며, 이동 거리 및 속도는 관상어의 이상행동 척도로 사용할 수 있다.On the other hand, it is possible to analyze the pattern of coronary organisms using deep learning technology, for example, to calculate the 3D depth using the camera, to enable real-time calibration through two camera inputs, and three-dimensional coordinates (x, y , z) can analyze the movement through the calculation of the fish's moving distance and speed, the speed can measure the fish's moving speed in mm/s, and the moving distance and speed can be used as a measure of abnormal behavior of an ornamental fish.
예를 들어 이동속도가 50mm/s 이하로 10분 이상 측정될 경우 이상행동으로 간주할 수 있다.For example, it can be considered as abnormal behavior when the moving speed is measured for more than 10 minutes with 50 mm/s or less.
직사각형 수조 구조를 이용해 calibration 작업 제외하여 x, y, z축을 각 수조의 가로, 세로, 높이를 이용해 관상어의 위치를 실시간으로 파악한 후 3D Mapping 진행할 수 있고,Except for calibration work using a rectangular tank structure, the x, y, and z axes can be 3D mapped after real-time identification of the position of the ornamental fish using the horizontal, vertical, and height of each tank.
이동궤적 좌푯값을 3차원으로 mapping 하기 위해 두 개의 카메라를 이용하여 정면 영상데이터를 이용한 관상어 (x, y) 값으로 사용하고, 측변 영상데이터를 이용한 관상어 depth 값으로 사용할 수 있으며, 수조 속 관상어의 depth 값을 측정하기 위해 정면과 측면 2개의 카메라 교차점을 이용할 수 있다.To map the left sign value of the moving trajectory in three dimensions, two cameras can be used as the value of ornamental fish (x, y) using frontal image data, and can be used as the depth value of ornamental fish using side-view image data, and Two camera intersections, front and side, can be used to measure the depth value.
도 8에서 초록색 좌표는 처음부터 마지막까지의 데이터이며, 파란색 좌표는 최근 5분 동안의 데이터를 의미한다.In FIG. 8, the green coordinates are data from the first to the last, and the blue coordinates represent data for the last 5 minutes.
본 발명의 일실시예에서는 저가의 소형카메라 사용함으로써, 고가의 IR 카메라를 이용해 depth 값을 구하는 방식이 아닌, 저가의 소형 stereo type의 카메라를 이용해 따로 calibration을 사용하지 않고, 수조의 직사각형 구조를 이용해 x, y, z 값의 판단으로 관상어 위치를 구할 수 있다.In one embodiment of the present invention, by using a low-cost small-sized camera, rather than using a high-priced IR camera to obtain a depth value, a low-cost small stereo type camera is not used for calibration, and a water tank rectangular structure is used. The position of the ornamental fish can be obtained by determining the values of x, y, and z.
또한, 질병 판단 알고리즘 이용하여, 카메라를 사용해 관상어 개체를 구별하고, 각 관상어의 이상행동을 파악하며, 백점병과 같은 질병 유무도 판단할 수 있고, 영상 촬영을 통하여 모션 인식으로만 감지할 수 없는 피부의 변질, 피부, 입가, 지느러미 등의 출혈 등을 파악하고 신속한 조치가 가능해 질 수 있다.In addition, by using a disease determination algorithm, a camera can be used to distinguish ornamental fish objects, identify abnormal behavior of each ornamental fish, determine the presence or absence of diseases such as leukemia, and skin that cannot be detected only by motion recognition through video shooting It is possible to identify the deterioration of the skin, bleeding of the skin, mouth, and fins, and take prompt action.
또한, 이상행동 감지 알고리즘을 이용하되, 저가의 소형카메라를 사용해 관상어 개체를 구별하고, 각 관상어의 이상행동을 파악하며, 백점병과 같은 질병 유무도 판단할 수 있고, 영상 촬영을 통하여 모션 인식으로만 감지할 수 없는 피부의 변질, 피부, 입가, 지느러미 등의 출혈 등을 파악하고 신속한 조치가 가능해지며, 도 11과 같이 이상행동이 감지될 경우 어플리케이션을 통해 알람을 주며 초기 대응이 가능함으로 관상어 및 관상생물 생존율을 상승시키며 관리의 편리성을 제공할 수 있다.In addition, an abnormal behavior detection algorithm is used, but an inexpensive small camera is used to distinguish an ornamental fish object, to identify the abnormal behavior of each ornamental fish, and to determine the presence or absence of a disease such as leukemia, and only motion recognition through video shooting It is possible to quickly detect and detect the deterioration of the skin that cannot be detected, bleeding of the skin, mouth, fins, etc., and if abnormal behavior is detected as shown in FIG. 11, an alarm is given through the application and the initial response is possible to enable ornamental fish and ornamentals It can increase the biological survival rate and provide management convenience.
또한 본 발명의 일실시예에 따른, 관상어 영상인식을 통한 이상행동패턴 분석 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.In addition, according to an embodiment of the present invention, a method for analyzing an abnormal behavior pattern through image recognition of an ornamental fish may be recorded on a computer readable medium including program instructions for performing various computer-implemented operations. The computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination. The media may be program instructions specially designed and constructed for the present invention, or may be known and usable by those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks. -Hardware devices specifically configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 일실시예는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.As described above, although one embodiment of the present invention has been described by a limited embodiment and drawings, one embodiment of the present invention is not limited to the above-described embodiment, which is a general knowledge in the field to which the present invention pertains. Various modifications and variations can be made by those who have this description. Accordingly, one embodiment of the present invention should be understood only by the claims set forth below, and all equivalents or equivalent modifications thereof will be said to fall within the scope of the spirit of the present invention.
100: 관상어 영상인식을 통한 이상행동패턴 분석 시스템
110: 영상 데이터 수신부
120: 관상생물 데이터 추출부
130: 이상행동 분석부
140: 대응행동 제어부100: abnormal behavior pattern analysis system through image recognition of ornamental fish
110: image data receiving unit
120: tubular data extraction unit
130: abnormal behavior analysis department
140: response action control unit
Claims (4)
상시 수신된 영상으로부터 상기 관상생물에 대한 어종, 건강정보, 행동정보를 포함하는 관상생물 데이터를 추출하는 관상생물 데이터 추출부;
상기 관상생물 데이터로부터 상기 관상생물의 이상행동을 분석하여 질병여부를 판단하는 이상행동 분석부; 및
상기 이상행동 분석부의 판단결과 질병이 존재하는 관상생물이 발견된 경우, 상기 질병에 대한 대응행동을 추출하고 표시하는 대응행동 제어부
를 포함하는 관상어 영상인식을 통한 이상행동패턴 분석 시스템.An image data receiving unit that receives a photographed image of an ornamental organism existing in a water tank;
An ornamental organism data extracting unit that extracts ornamental organism data including fish species, health information, and behavior information for the ornamental organism from the always received image;
An abnormal behavior analysis unit configured to analyze the abnormal behavior of the tubular organism from the tubular biological data to determine whether or not a disease is present; And
As a result of the determination of the abnormal behavior analysis unit, when a coronary organism having a disease is found, a corresponding behavior control unit extracts and displays a corresponding behavior for the disease
Abnormal behavior pattern analysis system through image recognition of ornamental fish, including.
상기 관상생물 데이터 추출부는,
텐서플로우 기반 물체인식(tensor flow object detection) API를 사용하여 상기 수신된 영상으로부터 상기 관상생물에 대한 관상생물 데이터를 추출하는 것을 특징으로 하는 관상어 영상인식을 통한 이상행동패턴 분석 시스템.According to claim 1,
The tubular biological data extraction unit,
An abnormal behavior pattern analysis system through coronary image recognition, characterized in that by using a tensor flow based object recognition (tensor flow object detection) API to extract the coronary organism data for the coronary organisms.
상기 이상행동 분석부는,
상기 관상생물의 이동거리 및 이동 속도에 대한 데이터를 누적 저장하여 상기 관상생물에 대한 딥러닝을 수행하여, 기설정된 행동패턴을 보이는지 여부를 판단하는 것을 특징으로 하는 관상어 영상인식을 통한 이상행동패턴 분석 시스템.According to claim 1,
The abnormal behavior analysis unit,
Analyzing abnormal behavior patterns through image recognition of ornamental fish, characterized by determining whether or not to display a predetermined behavior pattern by performing cumulative storage of data on the moving distance and moving speed of the tubular organism to perform deep learning on the tubular organism. system.
상기 이상행동 분석부는,
상기 관상생물 표피에 나타나는 흰색 반점의 개수와 점유 비율이 기설정된 개수 및 비율 이상인 경우, 백점병 발병을 진단하는 것을 특징으로 하는 관상어 영상인식을 통한 이상행동패턴 분석 시스템.According to claim 1,
The abnormal behavior analysis unit,
If the number and occupancy rate of the white spots appearing on the epidermis of the tubular organism is greater than or equal to the preset number and ratio, an abnormal behavior pattern analysis system through image recognition of coronary fish characterized by diagnosing the onset of leukemia.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180148830A KR20200062890A (en) | 2018-11-27 | 2018-11-27 | Abnormal behavior pattern analysis system using image recognition of aquarium fish and the method therof |
| PCT/KR2019/015430 WO2020111593A1 (en) | 2018-11-27 | 2019-11-13 | System and method for analyzing abnormal behavior pattern through image recognition of aquarium fish |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180148830A KR20200062890A (en) | 2018-11-27 | 2018-11-27 | Abnormal behavior pattern analysis system using image recognition of aquarium fish and the method therof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200062890A true KR20200062890A (en) | 2020-06-04 |
Family
ID=70851822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180148830A KR20200062890A (en) | 2018-11-27 | 2018-11-27 | Abnormal behavior pattern analysis system using image recognition of aquarium fish and the method therof |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20200062890A (en) |
| WO (1) | WO2020111593A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230065673A (en) * | 2021-11-05 | 2023-05-12 | 주식회사 부상 | Real-time disease detection system and method of aquaculture fish |
| KR20230083421A (en) * | 2021-12-03 | 2023-06-12 | 한국전자기술연구원 | Method and apparatus for quarantine of imported ornamental fish through data preprocessing and deep neural network-based image detection and classification |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130118000A (en) | 2012-04-19 | 2013-10-29 | 김형근 | Remote management system of fishbowl |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7424867B2 (en) * | 2004-07-15 | 2008-09-16 | Lawrence Kates | Camera system for canines, felines, or other animals |
| JP2006262848A (en) * | 2005-03-25 | 2006-10-05 | Nec Engineering Ltd | Livestock-monitoring system |
| KR20150031390A (en) * | 2013-09-13 | 2015-03-24 | 남서울대학교 산학협력단 | A real-time monitoring based aquarium control system and the method thereof |
| CN105554482B (en) * | 2016-03-09 | 2018-12-21 | 北京宠小乐科技有限公司 | It is a kind of to reinforce the comprehensive management apparatus and method that owner contacts with pet |
| KR20180057785A (en) * | 2016-11-22 | 2018-05-31 | 주식회사 글로비트 | A system of measuring fish number for image analysis and that of measure method |
-
2018
- 2018-11-27 KR KR1020180148830A patent/KR20200062890A/en not_active Application Discontinuation
-
2019
- 2019-11-13 WO PCT/KR2019/015430 patent/WO2020111593A1/en active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130118000A (en) | 2012-04-19 | 2013-10-29 | 김형근 | Remote management system of fishbowl |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230065673A (en) * | 2021-11-05 | 2023-05-12 | 주식회사 부상 | Real-time disease detection system and method of aquaculture fish |
| KR20230083421A (en) * | 2021-12-03 | 2023-06-12 | 한국전자기술연구원 | Method and apparatus for quarantine of imported ornamental fish through data preprocessing and deep neural network-based image detection and classification |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020111593A1 (en) | 2020-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Saberioon et al. | Automated multiple fish tracking in three-dimension using a structured light sensor | |
| Delcourt et al. | Video multitracking of fish behaviour: a synthesis and future perspectives | |
| US10121064B2 (en) | Systems and methods for behavior detection using 3D tracking and machine learning | |
| Schramm et al. | A comparison of stereo-BRUV, diver operated and remote stereo-video transects for assessing reef fish assemblages | |
| Zion et al. | Real-time underwater sorting of edible fish species | |
| Santana-Garcon et al. | Development and validation of a mid-water baited stereo-video technique for investigating pelagic fish assemblages | |
| EP3146474B1 (en) | Non-invasive multimodal biometrical identification method of animals | |
| CN111723729B (en) | Intelligent identification method for dog posture and behavior of surveillance video based on knowledge graph | |
| Lyubchenko et al. | Digital image processing techniques for detection and diagnosis of fish diseases | |
| Delcourt et al. | A video multitracking system for quantification of individual behavior in a large fish shoal: advantages and limits | |
| Russello et al. | T-LEAP: Occlusion-robust pose estimation of walking cows using temporal information | |
| KR20200062890A (en) | Abnormal behavior pattern analysis system using image recognition of aquarium fish and the method therof | |
| Johnson et al. | Rebuilding ecosystem resilience: Assessment of management options to minimise formation of'barrens' habitat by the long-spined sea urchin (Centrostephanus rodgersii) in Tasmania | |
| Jia et al. | Segmentation of body parts of cows in RGB-depth images based on template matching | |
| KR20160037023A (en) | Apparatus and Method for supporting a Computer Aided Diagnosis | |
| Veen et al. | anyFish: an open-source software to generate animated fish models for behavioural studies | |
| Rodriguez et al. | Fish monitoring and sizing using computer vision | |
| Díaz-Calafat et al. | Individual unique colour patterns of the pronotum of Rhynchophorus ferrugineus (Coleoptera: Curculionidae) allow for photographic identification methods (PIM) | |
| Martí-Puig et al. | Quantitatively scoring behavior from video-recorded, long-lasting fish trajectories | |
| Delcourt et al. | Comparing the EthoVision 2.3 system and a new computerized multitracking prototype system to measure the swimming behavior in fry fish | |
| JP6088709B1 (en) | Individual identification method of zebrafish | |
| Elizondo et al. | Video monitoring of a mite in honeybee cells | |
| Rosiani et al. | Micro Expression: Comparison of Speed and Marking Accuracy in Facial Component Detection | |
| Raman et al. | Computer assisted counter system for larvae and juvenile fish in Malaysian fishing hatcheries by machine learning approach | |
| Dastidar et al. | Tracking human intrusion through a CCTV |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E601 | Decision to refuse application |