KR20240057753A - System for analyzing health status of pet using stool image - Google Patents

System for analyzing health status of pet using stool image Download PDF

Info

Publication number
KR20240057753A
KR20240057753A KR1020220138358A KR20220138358A KR20240057753A KR 20240057753 A KR20240057753 A KR 20240057753A KR 1020220138358 A KR1020220138358 A KR 1020220138358A KR 20220138358 A KR20220138358 A KR 20220138358A KR 20240057753 A KR20240057753 A KR 20240057753A
Authority
KR
South Korea
Prior art keywords
image
stool
unit
images
preset
Prior art date
Application number
KR1020220138358A
Other languages
Korean (ko)
Inventor
강희원
Original Assignee
강희원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강희원 filed Critical 강희원
Priority to KR1020220138358A priority Critical patent/KR20240057753A/en
Publication of KR20240057753A publication Critical patent/KR20240057753A/en

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 대변이미지를 이용한 반려동물 건강 상태 분석시스템에 관한 것이다. 이러한 본 발명의 일면에 따른 대변이미지를 이용한 반려동물 건강 상태 분석시스템은 반려동물의 대변을 촬영함에 따라 획득되고, 정상변, 혈변, 점액변 및 구충 중 적어도 하나에 대응되는 기설정된 객체의 위치영역에 대한 라벨링데이터가 포함된 학습이미지를 저장하는 데이터베이스; 반려동물의 대변을 촬영함에 따라 획득되는 이미지를 상기 사용자단말기로부터 입력받는 이미지입력부; 상기 데이터베이스에 저장된 학습이미지를 포함한 훈련데이터를 적용하여 이미지에서 정상변, 혈변, 점액변 및 구충 중 적어도 하나에 대응되는 객체를 검출하고, 객체가 검출되면 검출된 객체를 정상변, 혈변, 점액변 및 구충 중 적어도 하나로 분류할 수 있도록 기학습되는 학습모델; 상기 학습모델을 이용하여 상기 이미지입력부에 입력된 이미지로부터 객체를 검출하고, 객체가 검출되면 상기 학습모델을 이용하여 상기 객체를 정상변, 혈변, 점액변 및 구충 중 적어도 하나로 분류하는 객체검출분류부; 및 상기 객체검출분류부의 객체검출결과와 객체분류결과 중 적어도 하나에 기초하여 상기 사용자단말기에 기설정된 알림이 출력되도록 하는 알림제공부;를 포함하는 것을 기술적 요지로 한다. The present invention relates to a companion animal health status analysis system using feces images. The companion animal health status analysis system using stool images according to one aspect of the present invention is obtained by photographing the stool of the companion animal, and is located in the location area of a preset object corresponding to at least one of normal stool, bloody stool, mucous stool, and hookworm. A database that stores learning images containing labeling data for; An image input unit that receives images obtained by photographing the feces of a companion animal from the user terminal; Training data including learning images stored in the database are applied to detect objects corresponding to at least one of normal stool, bloody stool, mucous stool, and hookworm in the image. When an object is detected, the detected object is classified into normal stool, bloody stool, mucous stool, and hookworm. A learning model that is pre-trained so that it can be classified into at least one of the following; an object detection and classification unit that detects an object from an image input to the image input unit using the learning model and, when an object is detected, classifies the object into at least one of normal stool, bloody stool, mucous stool, and hookworm using the learning model; and a notification providing unit that outputs a preset notification to the user terminal based on at least one of the object detection result and the object classification result of the object detection and classification unit.

Description

대변이미지를 이용한 반려동물 건강 상태 분석시스템{SYSTEM FOR ANALYZING HEALTH STATUS OF PET USING STOOL IMAGE}Pet health status analysis system using stool images {SYSTEM FOR ANALYZING HEALTH STATUS OF PET USING STOOL IMAGE}

본 발명은 반려동물의 대변을 촬영함에 따라 획득되는 이미지를 이용하여 반려동물의 건강상태에 이상이 있는지 여부를 판단할 수 있는 대변이미지를 이용한 반려동물 건강 상태 분석시스템에 관한 것이다. The present invention relates to a companion animal health status analysis system using feces images that can determine whether there is an abnormality in the companion animal's health status using images obtained by photographing the companion animal's stool.

최근 반려동물을 키우는 인구가 늘어나고 있을 뿐만 아니라, 반려동물에 대한 애착심 및 관심도가 날로 높아지고 있고, 이에 따라, 반려동물의 건강에 대한 관심 역시 높아지고 있다.Recently, not only is the number of people raising companion animals increasing, but attachment to and interest in companion animals is increasing day by day, and accordingly, interest in the health of companion animals is also increasing.

반려동물은 건강에 이상이 생겼을 때 이에 대하여 반려동물을 키우는 사람에게 의사소통하여 전달할 수 없음에 따라, 반려동물의 건강 상태를 원활하게 확인하기 위해서는 의료시설에 방문하여 검사해야 하는 불편함이 있었다.When a pet has a health problem, it cannot communicate to the person who owns the pet. Therefore, in order to smoothly check the health of the pet, there is an inconvenience of having to visit a medical facility for an examination.

하지만 의료시설에 방문한다고 하더라도 반려동물의 검사비용이 부담될 수 있었고, 이에 따라, 반려동물이 건강에 이상이 발생하여 이상행동을 하고, 반려동물을 키우는 사람이 이를 인지하는 경우 반려동물의 건강검진이 이루어지는 경우가 빈번하였다.However, even if you visit a medical facility, the cost of examining your pet could be burdensome, and accordingly, if your pet develops a health problem and behaves abnormally, and the person raising the pet becomes aware of this, the pet's health checkup may be necessary. This happened frequently.

또한, 반려동물이 건강에 이상이 생겨 이상행동을 할 때는 대부분 질병이 이미 많이 진행된 상태로 발견되는 경우가 많아 이를 치료하기 위한 과도한 치료비용이 발생하는 문제가 있었다.In addition, when a companion animal exhibits abnormal behavior due to a health problem, the disease is often found to have already progressed to an advanced stage, resulting in excessive treatment costs.

전술한 문제를 해결하기 위해, 반려동물의 건강상태를 판단하고 관리할 수 있도록 하는 장치 및 시스템이 개발되었으나, 종래기술에 따른 장치 및 시스템의 경우 반려동물의 건강상태 확인을 위한 별도의 장치를 구비하여야 하는 불편함이 있었다.In order to solve the above-mentioned problems, devices and systems have been developed to determine and manage the health status of companion animals. However, devices and systems according to the prior art are equipped with a separate device to check the health status of companion animals. There was the inconvenience of having to do it.

KRKR 10-2330858 10-2330858 B1B1 KRKR 10-2021-0106773 10-2021-0106773 AA

본 발명은 상기한 문제점을 해소하기 위해 발명된 것으로서, 반려동물의 건강상태를 간편하게 확인할 수 있도록 반려동물의 대변을 촬영함에 따라 획득되는 이미지를 분석하여 반려동물의 건강상태를 분석할 수 있는 대변이미지를 이용한 반려동물 건강 상태 분석시스템을 제공하는데 그 목적이 있다. The present invention was invented to solve the above problems, and is a stool image that can analyze the health status of a companion animal by analyzing the image obtained by photographing the companion animal's stool so that the health status of the companion animal can be easily checked. The purpose is to provide a companion animal health status analysis system using .

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않고, 언급되지 않은 다른 목적들은 아래의 기재들로부터 명확하게 이해될 수 있으면서 본 발명의 목적에 충분히 포함될 수 있다. The object of the present invention is not limited to the object mentioned above, and other objects not mentioned can be clearly understood from the description below and can be fully included in the object of the present invention.

상기 목적을 달성하기 위한 본 발명의 일면에 대변이미지를 이용한 반려동물 건강 상태 분석시스템은 반려동물의 대변을 촬영함에 따라 획득되고, 정상변, 혈변, 점액변 및 구충 중 적어도 하나에 대응되는 기설정된 객체의 위치영역에 대한 라벨링데이터가 포함된 학습이미지를 저장하는 데이터베이스; 반려동물의 대변을 촬영함에 따라 획득되는 이미지를 상기 사용자단말기로부터 입력받는 이미지입력부; 상기 데이터베이스에 저장된 학습이미지를 포함한 훈련데이터를 적용하여 이미지에서 정상변, 혈변, 점액변 및 구충 중 적어도 하나에 대응되는 객체를 검출하고, 객체가 검출되면 검출된 객체를 정상변, 혈변, 점액변 및 구충 중 적어도 하나로 분류할 수 있도록 기학습되는 학습모델; 상기 학습모델을 이용하여 상기 이미지입력부에 입력된 이미지로부터 객체를 검출하고, 객체가 검출되면 상기 학습모델을 이용하여 상기 객체를 정상변, 혈변, 점액변 및 구충 중 적어도 하나로 분류하는 객체검출분류부; 및 상기 객체검출분류부의 객체검출결과와 객체분류결과 중 적어도 하나에 기초하여 상기 사용자단말기에 기설정된 알림이 출력되도록 하는 알림제공부;를 포함한다.In one aspect of the present invention to achieve the above object, the companion animal health status analysis system using feces images is obtained by photographing the feces of the companion animal, and a preset object corresponding to at least one of normal stool, bloody stool, mucous stool, and hookworm. A database that stores learning images containing labeling data for the location area; An image input unit that receives images obtained by photographing the feces of a companion animal from the user terminal; By applying training data including learning images stored in the database, an object corresponding to at least one of normal stool, bloody stool, mucous stool, and hookworm is detected in the image, and when an object is detected, the detected object is classified into normal stool, bloody stool, mucous stool, and hookworm. A learning model that is pre-trained so that it can be classified into at least one of the following; an object detection and classification unit that detects an object from an image input to the image input unit using the learning model and, when an object is detected, classifies the object into at least one of normal stool, bloody stool, mucous stool, and hookworm using the learning model; and a notification providing unit that outputs a preset notification to the user terminal based on at least one of the object detection result and the object classification result of the object detection and classification unit.

상기한 구성에 의한 본 발명은 아래와 같은 효과를 기대할 수 있다.The present invention with the above configuration can expect the following effects.

반려동물의 대변을 촬영함에 따라 획득되는 이미지를 입력받고, 입력된 이미지를 기학습된 학습모델에 적용하는 것을 통해 반려동물의 대변 상태를 판단함으로써, 반려동물의 건강상태를 판단할 수 있음에 따라, 별도의 장치를 구비할 필요없이 간단하게 반려동물의 건강상태를 분석할 수 있는 효과가 있다.By receiving the image obtained by photographing the pet's feces and determining the state of the pet's feces by applying the input image to a pre-trained learning model, the health status of the pet can be determined. , it has the effect of allowing you to simply analyze the health status of your pet without the need for a separate device.

특히, 학습모델이 반려동물의 대변에 존재하는 구충에 대응되는 객체를 효과적으로 검출할 수 있도록 학습이미지를 전처리할 수 있고, 전처리된 학습이미지를 이용하여 학습모델이 기학습됨에 따라, 학습모델이 입력된 이미지에서 구충에 대응되는 객체를 효과적으로 검출할 수 있어 구충 발생에 따른 반려동물의 건강 이상을 사용자가 보다 빠르게 인지할 수 있도록 하는데 도움을 줄 수 있다.In particular, learning images can be preprocessed so that the learning model can effectively detect objects corresponding to hookworms present in companion animal feces. As the learning model is pre-trained using the preprocessed learning images, the learning model is input. Objects corresponding to hookworm can be effectively detected in the image, which can help users more quickly recognize health problems in pets due to hookworm outbreaks.

도 1은 본 발명의 일 실시예에 따른 대변이미지를 이용한 반려동물 건강 상태 분석시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 대변이미지를 이용한 반려동물 건강 상태 분석시스템의 이미지추출부와 이미지전처리부의 알고리즘을 설명하기 위한 순서도이다.
Figure 1 is a block diagram illustrating a companion animal health status analysis system using feces images according to an embodiment of the present invention.
Figure 2 is a flowchart for explaining the algorithm of the image extraction unit and the image preprocessing unit of the companion animal health status analysis system using feces images according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and will be implemented in various different forms, but the present embodiments only serve to ensure that the disclosure of the present invention is complete, and those skilled in the art It is provided to fully inform the user of the scope of the invention. Meanwhile, the terms used in this specification are for describing embodiments and are not intended to limit the present invention. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context.

이하 본 발명의 일 실시예에 따른 대변이미지를 이용한 반려동물 건강 상태 분석시스템을 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다. Hereinafter, the pet health status analysis system using feces images according to an embodiment of the present invention will be described in detail with reference to the attached drawings.

본 발명의 일 실시예에 따른 대변이미지를 이용한 반려동물 건강 상태 분석시스템(10)은 데이터베이스(100), 이미지입력부(200), 학습모델(300), 객체검출분류부(400), 알림제공부(500) 및 통신부(600)를 포함한다.The companion animal health status analysis system 10 using feces images according to an embodiment of the present invention includes a database 100, an image input unit 200, a learning model 300, an object detection and classification unit 400, and a notification provision unit. It includes (500) and a communication unit (600).

본 발명의 일 실시예에 따른 대변이미지를 이용한 반려동물 건강 상태 분석시스템(10)은 사용자단말기(20)와 기설정된 통신연결 방식으로 통신하는 것일 수 있다. 이때, 대변이미지를 이용한 반려동물 건강 상태 분석시스템(10)과 사용자단말기(20)의 통신연결 방식은 외부 통신망을 이용해 통신하는 것일 수 있다.The companion animal health status analysis system 10 using feces images according to an embodiment of the present invention may communicate with the user terminal 20 using a preset communication connection method. At this time, the communication connection method between the pet health status analysis system 10 using the feces image and the user terminal 20 may be communication using an external communication network.

사용자단말기(20)는 사용자의 입력에 따른 입력값을 입력받는 입력부(21), 기설정된 문구와 인터페이스를 표시할 수 있는 화면부(22), 기설정된 소리를 외부로 출력할 수 있는 소리출력부(23) 및 외부 통신망을 이용해 대변이미지를 이용한 반려동물 건강 상태 분석시스템(10)과 통신하는 단말통신부(24)를 포함할 수 있다.The user terminal 20 includes an input unit 21 that receives input values according to the user's input, a screen unit 22 that can display preset text and an interface, and a sound output unit that can output preset sounds to the outside. (23) and a terminal communication unit 24 that communicates with the companion animal health status analysis system 10 using feces images using an external communication network.

사용자단말기(20)의 단말통신부(24)는 통신부(600)와 외부통신망을 통해 통신연결될 수 있다.The terminal communication unit 24 of the user terminal 20 may be connected to the communication unit 600 through an external communication network.

사용자단말기(20)는 전술한 입력부(21), 화면부(22), 소리출력부(23) 및 단말통신부(24)를 구비한 단말기이면 제한되지 않고, 예를 들어, 스마트폰, 태블릿PC, PDA, 개인용 컴퓨터(personal computer) 및 노트북 컴퓨터 중 어느 하나일 수 있다.The user terminal 20 is not limited as long as it is a terminal equipped with the above-described input unit 21, screen unit 22, sound output unit 23, and terminal communication unit 24. For example, a smartphone, tablet PC, It may be any one of a PDA, a personal computer, and a laptop computer.

사용자단말기(20)는 사용자의 입력에 따른 이미지를 입력받아 대변이미지를 이용한 반려동물 건강 상태 분석시스템(10)에 송출하는 것일 수 있다.The user terminal 20 may receive an image according to the user's input and transmit it to the companion animal health status analysis system 10 using the feces image.

사용자단말기(20)는 반려동물 건강 상태 분석시스템(10)과 연동하는 기설정된 소프트웨어가 기설치된 것일 수 있다.The user terminal 20 may have preset software that is linked to the companion animal health status analysis system 10.

데이터베이스(100)는 반려동물의 대변을 촬영함에 따라 획득되고, 정상변과 혈변과 점액변 및 구충 중 적어도 하나에 대응되는 기설정된 객체의 위치영역에 대한 라벨링데이터가 포함된 학습이미지를 기저장하는 것일 수 있다.The database 100 is obtained by photographing the stool of a companion animal, and stores learning images containing labeling data for the location area of a preset object corresponding to at least one of normal stool, bloody stool, mucous stool, and hookworm. You can.

데이터베이스(100)는 애완견의 대변을 촬영함에 따라 획득되고, 정상변, 혈변, 점액변 및 구충 중 적어도 하나에 대응되는 기설정된 객체의 위치영역과, 위치영역에 대응되는 주석(annotation)을 포함하는 라벨링데이터가 포함된 학습이미지를 기저장하는 것일 수 있다. 이때, 라벨링데이터에 대응되는 주석은 정상변, 혈변, 점액변 및 구충 중 적어도 하나에 대응되는 것일 수 있고, 바람직하게는 정상변, 혈변, 점액변 및 구충 중 어느 하나에 대응되는 것일 수 있다.The database 100 is obtained by photographing a pet dog's stool, and includes a location area of a preset object corresponding to at least one of normal stool, bloody stool, mucous stool, and hookworm, and labeling that includes an annotation corresponding to the location area. It may be a pre-stored learning image containing data. At this time, the annotation corresponding to the labeling data may correspond to at least one of normal stool, bloody stool, mucous stool, and hookworm, and may preferably correspond to any one of normal stool, bloody stool, mucous stool, and hookworm.

예를 들어, 데이터베이스(100)에 기저장된 학습이미지가 구충에 대응되는 기설정된 객체의 위치영역과, 위치영역에 대응되는 주석을 포함하는 라벨링데이터를 포함하는 경우, 라벨링데이터에 포함되는 주석은 구충에 대응되는 것일 수 있다.For example, if the learning image pre-stored in the database 100 includes labeling data including a location area of a preset object corresponding to hookworm and an annotation corresponding to the location area, the annotation included in the labeling data is related to hookworm. It may be a correspondence.

데이터베이스(100)에 기저장된 학습이미지는 후술할 학습모델(300)이 이미지에서 정상변, 혈변, 점액변 및 구충 중 적어도 하나에 대응되는 객체를 검출하고, 검출된 객체를 정상변, 혈변, 점액변 및 구충 중 적어도 하나로 분류할 수 있도록 하기 위한 훈련데이터에 포함되기 위한 것일 수 있다.As for the learning image pre-stored in the database 100, the learning model 300, which will be described later, detects an object corresponding to at least one of normal stool, bloody stool, mucous stool, and hookworm in the image, and classifies the detected object into normal stool, bloody stool, mucus stool, and It may be included in training data to classify it as at least one of hookworms.

데이터베이스(100)에 기저장된 학습이미지는 후술할 학습모델(300)이 이미지에서 구충에 대응되는 객체를 검출할 수 있도록 하기 위한 훈련데이터에 포함되기 위한 것일 수 있다.The learning image previously stored in the database 100 may be included in training data to enable the learning model 300, which will be described later, to detect an object corresponding to hookworm in the image.

이미지입력부(200)는 사용자의 입력에 따른 이미지를 입력받는 것일 수 있다.The image input unit 200 may receive an image according to a user's input.

이미지입력부(200)는 사용자단말기(20)에 입력되는 사용자의 입력에 따른 이미지를 사용자단말기(20)로부터 수신받음으로써 이미지를 입력받는 것일 수 있다.The image input unit 200 may receive an image from the user terminal 20 according to the user's input into the user terminal 20.

학습모델(300)은 데이터베이스(100)에 기저장된 학습이미지를 포함한 훈련데이터를 적용하여 이미지에서 정상변, 혈변, 점액변 및 구충 중 적어도 하나에 대응되는 객체를 검출하고, 객체가 검출되면 검출된 객체를 정상변, 혈변, 점액변 및 구충 중 적어도 하나로 분류할 수 있도록 기학습되는 것일 수 있다.The learning model 300 applies training data including learning images previously stored in the database 100 to detect an object corresponding to at least one of normal stool, bloody stool, mucus stool, and hookworm in the image, and when the object is detected, the detected object It may be previously learned so that it can be classified into at least one of normal stool, bloody stool, mucous stool, and hookworm.

학습모델(300)은 기설정된 딥러닝 모델을 이용하여 정상변, 혈변, 점액변 및 구충 중 적어도 하나에 대응되는 객체를 검출하고, 객체가 검출되면 검출된 객체를 정상변, 혈변, 점액변 및 구충 중 적어도 하나로 분류할 수 있도록 기학습되는 것일 수 있고, 이때, 기설정된 딥러닝 모델은 일반적으로 이미지에서 객체를 검출 및 분류할 수 있는 것이면 제한되지 않으며, 예를 들어, YOLO, v3, SSD 및 Faster RCCN 중 어느 하나일 수 있다.The learning model 300 uses a preset deep learning model to detect an object corresponding to at least one of normal stool, bloody stool, mucous stool, and hookworm. When an object is detected, the detected object is classified into one of normal stool, bloody stool, mucous stool, and hookworm. It may be pre-learned to be able to classify at least one thing, and in this case, the pre-set deep learning model is generally not limited as long as it can detect and classify objects in the image, for example, YOLO, v3, SSD, and Faster RCCN. It can be any one of them.

객체검출분류부(400)는 학습모델(300)을 이용하여 이미지입력부(200)에 입력된 이미지로부터 정상변, 혈변, 점액변 및 구충 중 적어도 하나에 대응되는 객체를 검출하고, 학습모델(300)의 객체 검출결과에 따라 객체가 검출되면 학습모델(300)을 이용하여 검출된 객체를 정상변, 혈변, 점액변 및 구충 중 적어도 하나로 분류하는 것일 수 있다.The object detection and classification unit 400 detects an object corresponding to at least one of normal stool, bloody stool, mucous stool, and hookworm from the image input to the image input unit 200 using the learning model 300, and the learning model 300 If an object is detected according to the object detection result, the detected object may be classified into at least one of normal stool, bloody stool, mucous stool, and hookworm using the learning model 300.

알림제공부(500)는 객체검출분류부(400)에서 이루어지는 학습모델(300)의 검출결과와 분류결과 중 적어도 하나에 기초하여 사용자단말기(20)에 기설정된 알림이 출력되도록 하는 것일 수 있다.The notification providing unit 500 may output a preset notification to the user terminal 20 based on at least one of the detection result and classification result of the learning model 300 performed by the object detection and classification unit 400.

알림제공부(500)가 사용자단말기(20)에 기설정된 알림을 제공하는 방식은 기설정된 문구와 인터페이스 중 적어도 하나가 사용자단말기(20)의 화면부(22)에 출력되도록 하거나 기설정된 알림음이 사용자단말기(20)의 소리출력부(23)를 통해 출력되도록 하는 것 중 적어도 하나일 수 있으나, 이에 제한되는 것은 아니다.The method by which the notification providing unit 500 provides a preset notification to the user terminal 20 is to output at least one of the preset text and interface on the screen unit 22 of the user terminal 20 or to emit a preset notification sound. It may be at least one of those output through the sound output unit 23 of the user terminal 20, but is not limited thereto.

알림제공부(500)는 사용자단말기(20)에 기설치된 소프트웨어와 연동하여 사용자단말기(20)의 화면부(22)와 소리출력부(23) 중 적어도 하나를 이용해 알림이 출력되도록 하는 것일 수 있다.The notification providing unit 500 may be configured to output a notification using at least one of the screen unit 22 and the sound output unit 23 of the user terminal 20 in conjunction with software already installed on the user terminal 20. .

알림제공부(500)는 객체검출분류부(400)에서 이루어지는 학습모델(300)의 판단결과에 따라, 이미지입력부(200)에 입력된 정상변, 혈변, 점액변 및 구충 중 적어도 하나에 대응되는 객체가 검출되고, 검출된 객체가 정상변, 혈변, 점액변 및 구충 중 적어도 하나로 분류되면 객체 분류결과에 대응되는 기설정된 알림이 사용자단말기(20)에 출력되도록 하는 것일 수 있다.The notification provider 500 selects an object corresponding to at least one of normal stool, bloody stool, mucous stool, and hookworm input to the image input unit 200, according to the judgment result of the learning model 300 made in the object detection and classification unit 400. is detected, and if the detected object is classified as at least one of normal stool, bloody stool, mucous stool, and hookworm, a preset notification corresponding to the object classification result may be output to the user terminal 20.

알림제공부(500)는 객체검출분류부(400)에서 이루어지는 학습모델(300)의 분류결과에 대응되는 기설정된 알림이 사용자단말기(20)에 출력될 수 있도록 정상변, 혈변, 점액변 및 구충 각각에 대응되는 알림을 저장하는 것일 수 있고, 이때, 알림은 기설정된 알림문구, 기설정된 알림음 및 기설정된 알림인터페이스 중 적어도 하나일 수 있다.The notification provider 500 provides normal stool, bloody stool, mucous stool, and hookworm, respectively, so that a preset notification corresponding to the classification result of the learning model 300 made in the object detection and classification unit 400 can be output to the user terminal 20. A notification corresponding to may be stored, and in this case, the notification may be at least one of a preset notification phrase, a preset notification sound, and a preset notification interface.

알림제공부(500)에 저장되는 기설정된 알림은 반려동물의 대변의 상태를 알리기 위한 것일 수 있다.The preset notification stored in the notification providing unit 500 may be for informing of the status of the companion animal's stool.

예를 들어, 알림제공부(500)는 객체검출분류부(400)에서 이루어지는 학습모델(300)의 분류결과에 따라, 이미지입력부(200)에 입력된 이미지에서 객체가 검출되고 검출된 객체가 구충인 경우 반려동물의 대변에 구충이 존재하는 것을 알리기 위한 기설정된 문구가 사용자단말기(20)에 출력되도록 할 수 있다.For example, the notification provider 500 detects an object in an image input to the image input unit 200 according to the classification result of the learning model 300 made in the object detection and classification unit 400, and the detected object is In this case, a preset phrase to notify that hookworms are present in the pet's stool can be output on the user terminal 20.

알림제공부(500)는 객체검출분류부(400)에서 이루어지는 학습모델(300)의 검출결과에 따라 복수 개의 객체가 검출되고, 검출된 복수 개의 객체가 각각 서로 다른 것으로 분류되는 경우 분류결과에 대응되는 복수 개의 알림이 사용자단말기(20)에 출력되도록 하는 것일 수 있다.The notification provider 500 detects a plurality of objects according to the detection result of the learning model 300 performed by the object detection and classification unit 400, and responds to the classification result when the plurality of detected objects are classified as different from each other. This may be such that a plurality of notifications are output to the user terminal 20.

예를 들어, 알림제공부(500)는 객체검출분류부(400)에서 이루어지는 학습모델(300)의 검출결과에 따라 2개의 객체가 검출되고, 검출된 2개의 객체가 각각 혈변과 점액변으로 분류되는 경우 사용자단말기(20)에 혈변에 대응되는 알림과 점액변으로 대응되는 알림이 함께 출력되도록 하는 것일 수 있다.For example, the notification provider 500 detects two objects according to the detection results of the learning model 300 performed by the object detection and classification unit 400, and the two detected objects are classified as bloody stool and mucous stool, respectively. In this case, a notification corresponding to bloody stool and a notification corresponding to mucous stool may be output together on the user terminal 20.

알림제공부(500)는 객체검출분류부(400)에서 이루어지는 학습모델(300)의 검출결과에 따라 객체가 검출되고, 검출된 객체가 혈변과 점액변 및 구충 중 적어도 2개에 대응되는 것로 분류되는 경우 분류결과에 대응되는 복수 개의 알림이 사용자단말기(20)에 출력되도록 하는 것일 수 있다.The notification provider 500 detects an object according to the detection result of the learning model 300 performed by the object detection and classification unit 400, and classifies the detected object as corresponding to at least two of bloody stool, mucous stool, and hookworm. If so, a plurality of notifications corresponding to the classification results may be output to the user terminal 20.

예를 들어, 알림제공부(500)는 객체검출분류부(400)에서 이루어지는 학습모델(300)의 검출결과에 따라 1개의 객체가 검출되고, 검출된 1개의 객체가 혈변과 점액변에 대응되는 것으로 분류되는 경우 사용자단말기(20)에 혈변에 대응되는 알림과 점액변으로 대응되는 알림이 함께 출력되도록 하는 것일 수 있다.For example, the notification provider 500 determines that one object is detected according to the detection result of the learning model 300 performed by the object detection and classification unit 400, and that the one detected object corresponds to bloody stool and mucous stool. When classified, a notification corresponding to bloody stool and a notification corresponding to mucous stool may be output together on the user terminal 20.

알림제공부(500)가 알림이 출력되도록 하는 사용자단말기(20)는 이미지입력부(200)에 이미지를 송출한 단말기일 수 있다.The user terminal 20 through which the notification provider 500 outputs a notification may be a terminal that transmits an image to the image input unit 200.

통신부(600)는 사용자단말기(20)의 단말통신부(24)와 외부통신망을 이용해 통신연결되는 것일 수 있다.The communication unit 600 may be connected to the terminal communication unit 24 of the user terminal 20 using an external communication network.

통신부(600)는 사용자단말기(20)의 단말통신부(24)와 통신연결되어 사용자의 입력에 따라 입력부(21)에 입력되는 이미지를 사용자단말기(20)로부터 수신할 수 있다.The communication unit 600 is connected to the terminal communication unit 24 of the user terminal 20 and can receive images input to the input unit 21 according to the user's input from the user terminal 20.

알림제공부(500)는 통신부(70)를 통해 사용자단말기(20)에 신호를 송출하여 사용자단말기(20)에 기설정된 알림이 출력되도록 할 수 있다.The notification providing unit 500 may transmit a signal to the user terminal 20 through the communication unit 70 so that a preset notification is output to the user terminal 20.

한편, 일반적으로 이미지에서 객체를 검출하기 위한 딥러닝 학습모델은 객체의 검출을 위해 대량의 이미지를 학습해야 함에 따라, 훈련용 데이터에 포함되는 이미지의 해상도에 제한이 있는 경우가 많았고, 예를 들어, 224x224, 640x480과 같이 상대적으로 저해상도를 갖는 이미지를 딥러닝 학습모델의 훈련용 데이터로 사용할 수 있다. 반려동물의 대변에 존재할 수 있는 구충의 경우 크기가 상대적으로 매우 작아 224x224, 640x480과 같이 상대적으로 저해상도를 갖는 이미지를 이용하여 구충에 대응되는 객체를 검출하기 위해 학습모델을 학습하는 경우 제한된 화소수로 인해 학습 및 검출 성능이 떨어질 수 있다.Meanwhile, in general, deep learning learning models for detecting objects in images require learning a large amount of images to detect objects, so the resolution of images included in the training data is often limited, for example. Images with relatively low resolution, such as 224x224 and 640x480, can be used as training data for deep learning models. In the case of hookworms, which can be present in the feces of companion animals, the size is relatively very small, so when learning a learning model to detect objects corresponding to hookworms using relatively low-resolution images such as 224x224 or 640x480, the number of pixels is limited. This may result in poor learning and detection performance.

전술한 구충에 대응되는 객체를 검출하기 위해 학습모델을 학습하는 경우 제한된 화소수로 인해 학습 및 검출 성능이 떨어지는 문제를 방지하기 위해 본 발명의 일 실시예에 따른 대변이미지를 이용한 반려동물 건강 상태 분석시스템은 이미지추출부(700) 및 이미지전처리부(800)을 더 포함할 수 있다.When learning a learning model to detect an object corresponding to the above-described hookworm, in order to prevent problems with poor learning and detection performance due to the limited number of pixels, pet health status analysis using feces images according to an embodiment of the present invention The system may further include an image extraction unit 700 and an image preprocessing unit 800.

데이터베이스(100)는 반려동물의 대변을 촬영함에 따라 획득되고, 구충에 대응되는 객체가 위치하는 기설정된 위치영역에 대한 라벨링데이터가 포함된 학습이미지를 기저장할 수 있다.The database 100 is obtained by photographing the feces of a companion animal, and can pre-store learning images containing labeling data for a preset location area where an object corresponding to hookworm is located.

데이터베이스(100)는 반려동물의 대변을 촬영함에 따라 획득되고, 구충에 대응되는 객체를 포함하는 영역이 내부에 위치하는 기설정된 좌표영역과, 좌표영역에 대응되는 주석(annotation)을 포함하는 라벨링데이터가 포함된 학습이미지를 기저장하는 것일 수 있고, 이때, 구충에 대응되는 객체를 포함하는 영역이 내부에 위치하는 기설정된 좌표영역에 대응되는 주석은 구충에 대응되는 것일 수 있다.The database 100 is acquired by photographing the feces of a companion animal, and includes a preset coordinate area within which an area containing objects corresponding to hookworms is located, and labeling data including annotations corresponding to the coordinate area. A learning image containing may be pre-stored, and in this case, the annotation corresponding to the preset coordinate area in which the area containing the object corresponding to the hookworm is located may correspond to the hookworm.

이미지추출부(700)는 데이터베이스(100)에 기저장된 학습이미지의 라벨링데이터에 기초하여 데이터베이스(100)에 저장된 학습이미지로부터 구충에 대응되는 기설정된 객체가 위치하는 기설정된 위치영역에 대응되는 패치이미지를 추출할 수 있다.The image extraction unit 700 extracts a patch image corresponding to a preset location area where a preset object corresponding to hookworm is located from the learning image stored in the database 100 based on the labeling data of the learning image previously stored in the database 100. can be extracted.

이미지추출부(700)는 데이터베이스(100)에 저장된 학습이미지 중 기설정된 객체가 위치하는 기설정된 위치영역과 구충에 대응되는 주석을 포함하는 라벨링데이터를 포함하는 학습이미지로부터 패치이미지를 추출할 수 있다.The image extraction unit 700 may extract a patch image from a learning image including labeling data including an annotation corresponding to a preset location area where a preset object is located and a hookworm among the learning images stored in the database 100. .

이미지추출부(700)는 기설정된 객체가 위치하는 기설정된 위치영역과 구충에 대응되는 주석을 포함하는 라벨링데이터를 포함하는 학습이미지의 기설정된 좌표영역을 패치이미지로 추출할 수 있고, 데이터베이스(100)에 저장된 학습이미지의 라벨링데이터에 포함된 좌표영역 내부에 대응되는 이미지를 패치이미지로 추출할 수 있다.The image extraction unit 700 can extract a preset coordinate area of the learning image including a preset location area where a preset object is located and labeling data including annotations corresponding to hookworms as a patch image, and extract a patch image from a database (100 ), the image corresponding to the inside of the coordinate area included in the labeling data of the learning image stored in can be extracted as a patch image.

이미지전처리부(800)는 패치이미지의 크기 및 선명도 중 적어도 하나에 기초하여 패치이미지의 크기에 대한 정규화 여부를 판단하고, 판단결과에 따라 크기에 대한 정규화가 필요한 것으로 판단되는 경우 패치이미지의 크기를 정규화하며, 정규화된 패치이미지를 데이터베이스(100)에 저장하는 것일 수 있다.The image pre-processing unit 800 determines whether to normalize the size of the patch image based on at least one of the size and clarity of the patch image, and if it is determined that normalization of the size is necessary according to the determination result, it adjusts the size of the patch image. It may be normalized and the normalized patch image may be stored in the database 100.

이미지전처리부(800)는 이미지추출부(700)에서 추출된 패치이미지의 크기와 기설정된 수학식에 기초하여 산출되는 크기파라미터와, 이미지추출부(700)에서 추출된 패치이미지의 선명도와 기설정된 수학식에 기초하여 산출되는 선명도파라미터 중 적어도 하나에 기초하여 이미지추출부(700)에서 추출된 패치이미지에 대한 크기에 대한 정규화 필요여부를 판단하고, 판단 결과에 따라 소정 패치이미지에 대해 크기에 대한 정규화가 필요한 것으로 판단되는 경우 소정 패치이미지의 크기를 정규화하며, 정규화된 소정 패치이미지를 데이터베이스(100)에 저장하는 것일 수 있다.The image pre-processing unit 800 includes the size of the patch image extracted from the image extraction unit 700, a size parameter calculated based on a preset mathematical equation, and the sharpness of the patch image extracted from the image extraction unit 700 and a preset Based on at least one of the clarity parameters calculated based on the equation, it is determined whether normalization of the size of the patch image extracted from the image extraction unit 700 is necessary, and the size of the predetermined patch image is determined according to the determination result. If it is determined that normalization is necessary, the size of a certain patch image may be normalized, and the normalized patch image may be stored in the database 100.

이미지전처리부(800)는 소정 패치이미지의 크기와 기설정된 수학식에 기초하여 크기파라미터를 산출하고, 산출된 크기파라미터가 기설정된 임계값보다 크면 소정 패치이미지의 크기에 대한 정규화가 필요한 것으로 판단하고, 소정 패치이미지의 크기를 정규화하여 정규화된 소정 패치이미지를 데이터베이스(100)에 저장하는 것일 수 있다.The image pre-processing unit 800 calculates a size parameter based on the size of a predetermined patch image and a preset mathematical equation, and if the calculated size parameter is greater than a preset threshold, it determines that normalization of the size of the predetermined patch image is necessary. , the size of the predetermined patch image may be normalized and the normalized predetermined patch image may be stored in the database 100.

이미지전처리부(800)는 이미지추출부(700)에서 추출된 패치이미지의 크기와 기설정된 수학식에 기초하여 산출된 크기파라미터가 기설정된 임계값보다 작되, 소정 패치이미지의 선명도와 기설정된 수학식에 기초하여 산출되는 선명도파라미터가 기설정된 임계값보다 작으면 소정 패치이미지의 크기에 대한 정규화가 필요한 것으로 판단하고, 소정 패치이미지에 대한 크기를 정규화하며, 정규화된 소정 패치이미지를 데이터베이스(100)에 저장하는 것일 수 있다.The image pre-processing unit 800 determines that the size of the patch image extracted from the image extraction unit 700 and the size parameter calculated based on the preset mathematical equation are smaller than the preset threshold value, and the sharpness of the predetermined patch image and the preset mathematical equation If the sharpness parameter calculated based on is smaller than the preset threshold, it is determined that normalization of the size of the predetermined patch image is necessary, the size of the predetermined patch image is normalized, and the normalized predetermined patch image is stored in the database 100. It may be to save it.

이미지전처리부(800)는 이미지분류부(810) 및 크기정규화부(820)를 포함할 수 있다.The image pre-processing unit 800 may include an image classification unit 810 and a size normalization unit 820.

이미지분류부(810)는 이미지추출부(700)에서 추출된 패치이미지의 크기와 기설정된 수학식에 기초하여 산출되는 크기파라미터와, 이미지추출부(700)에서 추출된 패치이미지의 선명도와 기설정된 수학식에 기초하여 산출되는 선명도파라미터 중 적어도 하나에 기초하여 이미지추출부(700)에서 추출된 패치이미지 중 크기에 대한 정규화가 필요한 패치이미지를 분류하는 것일 수 있다. 이미지분류부(810)가 크기파라미터를 산출할 때 기초하는 패치이미지의 크기는 패치이미지의 가로길이와 세로길이 중 적어도 하나일 수 있다.The image classification unit 810 includes the size of the patch image extracted from the image extraction unit 700, a size parameter calculated based on a preset mathematical equation, and the sharpness of the patch image extracted from the image extraction unit 700 and a preset Patch images that require normalization of size among patch images extracted from the image extraction unit 700 may be classified based on at least one of the sharpness parameters calculated based on a mathematical equation. When the image classification unit 810 calculates the size parameter, the size of the patch image based on it may be at least one of the horizontal length and vertical length of the patch image.

이미지분류부(810)는 이미지추출부(700)에서 추출된 패치이미지의 크기와 기설정된 수학식 1에 기초하여 크기파라미터를 산출하고, 기설정된 제1임계값보다 큰 크기파라미터를 갖는 패치이미지를 크기에 대한 정규화가 필요한 패치이미지로 분류하는 것일 수 있다.The image classification unit 810 calculates the size parameter based on the size of the patch image extracted from the image extraction unit 700 and the preset Equation 1, and selects a patch image with a size parameter greater than the preset first threshold. It may be classified as a patch image that requires normalization of size.

수학식 1에서 P1은 크기파라미터이고, min(Rpatch,Cpatch)는 이미지추출부(700)에서 추출된 패치이미지의 가로길이와 세로길이 중 작은 것일 수 있다.In Equation 1, P 1 is a size parameter, and min(R patch , C patch ) may be the smaller of the horizontal and vertical lengths of the patch image extracted from the image extraction unit 700.

한편, 크기정규화부(820)에서 패치이미지의 크기가 기설정된 크기로 정규화되게 되고, 수학식 1에서 min(Rresizer,Cresizer)는 정규화된 패치이미지의 가로길이와 세로길이 중 작은 것일 수 있다.Meanwhile, in the size normalization unit 820, the size of the patch image is normalized to a preset size, and in Equation 1, min(R resizer , C resizer ) may be the smaller of the horizontal and vertical lengths of the normalized patch image. .

즉, 이미지분류부(810)는 이미지추출부(700)에서 추출된 패치이미지 중 아래 수학식 2를 만족하는 패치이미지에 대해 크기에 대한 정규화가 필요한 것으로 판단하여 분류하는 것일 수 있다.In other words, the image classification unit 810 may determine that size normalization is necessary for patch images that satisfy Equation 2 below among the patch images extracted from the image extraction unit 700 and classify them.

수학식 2에서 min(Rpatch,Cpatch)는 이미지추출부(700)에서 추출된 패치이미지의 가로길이와 세로길이 중 작은 것이고, min(Rresizer,Cresizer)는 크기정규화부(820)에서 정규화된 패치이미지의 가로길이와 세로길이 중 작은 것이며, Th1은 기설정된 제1임계값이다.In Equation 2, min(R patch , C patch ) is the smaller of the horizontal and vertical lengths of the patch image extracted from the image extraction unit 700, and min(R resizer , C resizer ) is the smaller of the horizontal and vertical lengths of the patch image extracted from the image extraction unit 700. It is the smaller of the horizontal and vertical lengths of the normalized patch image, and Th 1 is the preset first threshold.

수학식 2를 만족하는 패치이미지의 가로길이와 세로길이 중 작은 것은 크기정규화부(820)에서 정규화된 패치이미지의 가로길이와 세로길이 중 작은 것보다 상대적으로 작을 수 있다.The smaller of the horizontal and vertical lengths of the patch image that satisfies Equation 2 may be relatively smaller than the smaller of the horizontal and vertical lengths of the patch image normalized in the size normalization unit 820.

즉, 패치이미지가 수학식 2를 만족한다는 것은 이미지추출부(700)가 수학식 2를 만족하는 패치이미지를 추출한 학습이미지를 이용하여 학습모델(300)의 학습시 학습이미지의 라벨링데이터에 포함된 좌표영역의 크기가 너무 작아 학습모델(300)의 학습효율이 떨어질 수 있는 것을 의미할 수 있다.In other words, that the patch image satisfies Equation 2 means that the image extraction unit 700 extracts the patch image that satisfies Equation 2 using the learning image that is included in the labeling data of the learning image when training the learning model 300. This may mean that the size of the coordinate area is too small and the learning efficiency of the learning model 300 may be reduced.

이미지분류부(810)는 학습모델(300)의 학습효율이 떨어지는 것을 방지하기 위해 수학식 2를 만족하는 패치이미지를 크기에 대한 정규화가 필요한 것으로 판단하여 분류할 수 있고, 크기정규화부(820)는 학습모델(300)의 학습이 효율적으로 이루어질 수 있도록 이미지분류부(810)에서 분류된 패치이미지의 크기를 기설정된 크기로 확대할 수 있다.In order to prevent the learning efficiency of the learning model 300 from decreasing, the image classification unit 810 determines that patch images that satisfy Equation 2 require size normalization and classifies them, and the size normalization unit 820 The size of the patch image classified by the image classification unit 810 can be enlarged to a preset size so that the learning model 300 can be efficiently learned.

이미지분류부(810)는 이미지추출부(700)에서 추출된 패치이미지의 기설정된 좌표영역에서의 평균밝기값과, 에지(edge) 추출을 위한 기설정된 라플라시안(Laplacian) 연산자에 기초하여 선명도파라미터를 산출하고, 기설정된 제2임계값보다 작은 선명도파라미터를 갖는 패치이미지를 크기에 대한 정규화가 필요한 패치이미지로 분류하는 것일 수 있다.The image classification unit 810 determines the sharpness parameter based on the average brightness value in the preset coordinate area of the patch image extracted from the image extraction unit 700 and a preset Laplacian operator for edge extraction. The patch image may be calculated and classified as a patch image that requires normalization for size, having a sharpness parameter smaller than the preset second threshold.

이미지분류부(810)는 이미지추출부(700)에서 추출된 패치이미지를 기설정된 XY 좌표계에 위치시키고, 수학식 3을 이용하여 선명도파라미터를 산출할 수 있다.The image classification unit 810 can position the patch image extracted from the image extraction unit 700 in a preset XY coordinate system and calculate the sharpness parameter using Equation 3.

수학식 3에서 SH는 선명도파라미터일 수 있고, LP(x,y)는 아래 수학식 4로 표현되는 에지(edge) 추출을 위한 기설정된 라플라시안(Laplacian) 필터를 이미지추출부(700)에서 추출된 패치이미지 상의 기설정된 좌표 위치인 (x,y)에 적용하여 컨볼루션(convolution) 연산하였을 때 산출되는 값일 수 있으며, uxy는 패치이미지 상의 기설정된 좌표 위치인 (x,y)에 위치한 픽셀로부터 기설정된 거리 이내에 위치한 픽셀의 평균밝기값일 수 있다.In Equation 3, SH may be a sharpness parameter, and LP(x,y) may be a preset Laplacian filter for edge extraction expressed in Equation 4 below, extracted from the image extraction unit 700. It may be a value calculated when a convolution is performed by applying it to (x,y), a preset coordinate position on the patch image, and u xy is obtained from the pixel located at (x,y), a preset coordinate position on the patch image. It may be the average brightness value of pixels located within a preset distance.

이미지분류부(810)는 수학식 4로 표현되는 라플라시안 필터를 이미지추출부(700)에서 추출된 패치이미지 상의 기설정된 좌표 위치인 (x,y)에 적용하여 컨솔루션(convolution) 연산을 수행할 수 있고, 컨볼루션 연산 수행에 따른 결과와 수학식 3에 기초하여 선명도파라미터를 산출할 수 있다.The image classification unit 810 performs a convolution operation by applying the Laplacian filter expressed in Equation 4 to (x, y), which is a preset coordinate position on the patch image extracted from the image extraction unit 700. The sharpness parameter can be calculated based on the results of performing the convolution operation and Equation 3.

수학식 4로 표현되는 라플라시안 필터를 기설정된 객체가 존재하는 이미지에 적용하여 컨솔루션(convolution) 연산을 수행하면 객체의 에지 추출이 이루어질 수 있고, 이미지의 해상도가 상대적으로 높아 이미지가 선명할수록 LP(x,y)가 높은 값으로 산출될 수 있으며, 이미지의 해상도가 상대적으로 낮아 이미지가 흐릿할수록 LP(x,y)가 낮은 값으로 산출될 수 있다.By applying the Laplacian filter expressed in Equation 4 to an image in which a preset object exists and performing a convolution operation, the edge of the object can be extracted. The resolution of the image is relatively high, so the clearer the image, the LP ( x,y) can be calculated as a high value, and LP(x,y) can be calculated as a low value as the resolution of the image is relatively low and the image is blurry.

이미지분류부(810)는 기설정된 알고리즘을 통하여 이미지추출부(700)에서 추출된 패치이미지 상의 기설정된 좌표 위치인 (x,y)에 위치한 픽셀로부터 기설정된 거리 이내에 위치한 픽셀의 평균밝기값을 산출할 수 있다.The image classification unit 810 calculates the average brightness value of pixels located within a preset distance from the pixel located at the preset coordinate position (x, y) on the patch image extracted from the image extraction unit 700 through a preset algorithm. can do.

이미지분류부(810)는 이미지추출부(700)에서 추출된 패치이미지 중 아래 수학식 5를 만족하는 패치이미지에 대해 크기에 대한 정규화가 필요한 것으로 판단하여 분류하는 것일 수 있다.The image classification unit 810 may determine that size normalization is required for patch images that satisfy Equation 5 below among the patch images extracted from the image extraction unit 700 and classify them.

Figure pat00005
Figure pat00005

수학식 5에서 SH는 수학식 3으로 산출되는 선명도파라미터이고, Th2는 기설정된 제2임계값이다.In Equation 5, SH is the sharpness parameter calculated by Equation 3, and Th2 is the preset second threshold.

수학식 5를 만족하는 패치이미지는 기설정된 제2임계값에 대응되는 선명도파라미터를 갖는 이미지보다 상대적으로 낮은 해상도를 가질 수 있다.A patch image that satisfies Equation 5 may have a relatively lower resolution than an image with a sharpness parameter corresponding to a preset second threshold.

즉, 패치이미지가 수학식 5를 만족한다는 것은 이미지추출부(700)가 수학식 5를 만족하는 패치이미지를 추출한 학습이미지를 이용하여 학습모델(300)의 학습시 학습이미지의 라벨링데이터에 포함된 좌표영역의 선명도가 낮음에 따라 해상도가 낮은 것을 의미할 수 있고, 학습모델(300)의 학습효율이 떨어질 수 있는 것을 의미할 수 있다.In other words, that the patch image satisfies Equation 5 means that the image extraction unit 700 extracts the patch image that satisfies Equation 5 using the learning image that is included in the labeling data of the learning image when training the learning model 300. As the clarity of the coordinate area is low, it may mean that the resolution is low and the learning efficiency of the learning model 300 may be reduced.

이미지분류부(810)는 학습모델(300)의 학습효율이 떨어지는 것을 방지하기 위해 수학식 5를 만족하는 패치이미지를 크기에 대한 정규화가 필요한 것으로 판단하여 분류할 수 있고, 크기정규화부(820)는 학습모델(300)의 학습이 효율적으로 이루어질 수 있도록 이미지분류부(810)에서 분류된 패치이미지의 크기를 조절할 수 있다.In order to prevent the learning efficiency of the learning model 300 from decreasing, the image classification unit 810 determines that patch images that satisfy Equation 5 require size normalization and classifies them, and the size normalization unit 820 The size of the patch image classified in the image classification unit 810 can be adjusted so that the learning model 300 can be learned efficiently.

크기정규화부(820)는 이미지분류부(810)에서 분류된 패치이미지의 크기가 기설정된 크기가 되도록 정규화하고, 정규화된 패치이미지를 데이터베이스(100)에 저장하는 것일 수 있다.The size normalization unit 820 may normalize the size of the patch images classified by the image classification unit 810 to a preset size and store the normalized patch images in the database 100.

크기정규화부(820)는 기설정된 이미지 이중선형보간(bilinear interpolation) 알고리즘을 이용하여 이미지분류부(810)에서 분류된 패치이미지의 크기를 기설정된 크기로 확대함으로써 이미지분류부(810)에서 분류된 패치이미지의 크기를 정규화하는 것일 수 있다.The size normalization unit 820 uses a preset image bilinear interpolation algorithm to enlarge the size of the patch image classified in the image classification unit 810 to a preset size, thereby classifying the patch image in the image classification unit 810. This may be normalizing the size of the patch image.

크기정규화부(820)가 이미지분류부(810)에서 분류된 패치이미지의 크기가 기설정된 크기로 확대되어 정규화하면 패치이미지가 학습모델(300)의 학습이 효율적으로 이루어지기에 충분한 크기를 가질 수 있다.When the size normalization unit 820 normalizes the size of the patch image classified by the image classification unit 810 by enlarging it to a preset size, the patch image can have a size sufficient for efficient learning of the learning model 300. there is.

학습모델(300)은 데이터베이스(100)에 저장된 학습이미지와 패치이미지를 포함한 훈련데이터를 적용하여 구충에 대응되는 기설정된 객체를 검출할 수 있도록 기학습되는 것일 수 있고, 객체검출분류부(400)는 학습모델(300)을 이용하여 이미지입력부(200)에 입력된 이미지에 구충에 대응되는 객체를 검출하는 것일 수 있다.The learning model 300 may be pre-trained to detect preset objects corresponding to hookworms by applying training data including learning images and patch images stored in the database 100, and the object detection and classification unit 400 may detect an object corresponding to a hookworm in an image input to the image input unit 200 using the learning model 300.

학습모델(300)은 기설정된 딥러닝 모델을 이용하여 이미지에서 구충에 대응되는 객체를 검출할 수 있도록 기학습되는 것일 수 있고, 이때, 기설정된 딥러닝 모델은 일반적으로 이미지에서 객체를 검출할 수 있는 것이면 제한되지 않으며, 예를 들어, YOLO, v3, SSD 및 Faster RCCN 중 어느 하나일 수 있다.The learning model 300 may be pre-trained to detect objects corresponding to hookworms in images using a pre-set deep learning model. At this time, the pre-set deep learning model can generally detect objects in images. There is no limitation as long as it exists, and for example, it can be any one of YOLO, v3, SSD, and Faster RCCN.

알림제공부(500)는 객체검출분류부(400)의 검출결과에 따라, 이미지입력부(200)에 입력된 이미지에서 구충에 대응되는 객체가 검출되면 사용자단말기(20)에 기설정된 알림이 출력되도록 하는 것일 수 있다.The notification provider 500 outputs a preset notification to the user terminal 20 when an object corresponding to hookworm is detected in the image input to the image input unit 200 according to the detection result of the object detection and classification unit 400. It may be.

알림제공부(500)는 객체검출분류부(400)의 검출결과에 따라, 이미지입력부(200)에 입력된 이미지에서 구충에 대응되는 객체가 검출되면 사용자단말기(20)에 반려동물의 대변에 구충이 존재하는 것을 알리기 위한 기설정된 알림을 출력하는 것일 수 있다.If an object corresponding to hookworm is detected in the image input to the image input unit 200 according to the detection result of the object detection and classification unit 400, the notification provider 500 sends a dewormer message to the user terminal 20 in the feces of the companion animal. This may be outputting a preset notification to notify of its existence.

알림제공부(500)는 반려동물의 대변에 구충이 존재하는 것을 알리기 위한 기설정된 알림이 저장된 것일 수 있고, 이때, 알림은 알림문구, 알림음 및 알림인터페이스 중 적어도 하나일 수 있다. The notification providing unit 500 may store a preset notification for notifying the presence of hookworms in the pet's stool. In this case, the notification may be at least one of a notification phrase, a notification sound, and a notification interface.

상기한 실시예는 예시적인 것에 불과한 것으로, 당해 기술분야에 대한 통상의 지식을 가진 자라면 이로부터 다양하게 변형된 다른 실시예가 가능하다. The above-described embodiments are merely illustrative, and various modifications thereof are possible for those skilled in the art.

따라서 본 발명의 진정한 기술적 보호범위에는 하기의 특허청구범위에 기재된 발명의 기술적 사상에 의해 상기의 실시예뿐만 아니라 다양하게 변형된 다른 실시예가 포함되어야 한다. Therefore, the true technical protection scope of the present invention should include not only the above embodiments but also other variously modified embodiments according to the technical spirit of the invention described in the claims below.

10: 반려동물 건강 상태 분석 시스템,
100: 데이터베이스,
200: 이미지입력부,
300: 학습모델,
400: 객체검출분류부,
500: 알림제공부,
600: 통신부,
700: 이미지추출부,
800: 이미지전처리부,
810: 이미지분류부, 820: 크기정규화부,
20: 사용자단말기,
21: 입력부, 22: 화면부, 23: 소리출력부, 24: 단말통신부.
10: Pet health status analysis system,
100: database,
200: Image input unit,
300: Learning model,
400: Object detection and classification unit,
500: Notification provision department,
600: Department of Communications;
700: Image extraction unit,
800: Image preprocessing unit,
810: image classification unit, 820: size normalization unit,
20: user terminal,
21: input unit, 22: screen unit, 23: sound output unit, 24: terminal communication unit.

Claims (4)

사용자의 입력에 따른 입력값을 입력받는 입력부와, 기설정된 문구와 인터페이스의 표시가 가능한 화면부와, 소리의 출력이 가능한 소리출력부를 포함하는 사용자단말기와 통신하는 것으로서,
반려동물의 대변을 촬영함에 따라 획득되고, 정상변, 혈변, 점액변 및 구충 중 적어도 하나에 대응되는 기설정된 객체의 위치영역에 대한 라벨링데이터가 포함된 학습이미지를 저장하는 데이터베이스;
반려동물의 대변을 촬영함에 따라 획득되는 이미지를 상기 사용자단말기로부터 입력받는 이미지입력부;
상기 데이터베이스에 저장된 학습이미지를 포함한 훈련데이터를 적용하여 이미지에서 정상변, 혈변, 점액변 및 구충 중 적어도 하나에 대응되는 객체를 검출하고, 객체가 검출되면 검출된 객체를 정상변, 혈변, 점액변 및 구충 중 적어도 하나로 분류할 수 있도록 기학습되는 학습모델;
상기 학습모델을 이용하여 상기 이미지입력부에 입력된 이미지로부터 객체를 검출하고, 객체가 검출되면 상기 학습모델을 이용하여 상기 객체를 정상변, 혈변, 점액변 및 구충 중 적어도 하나로 분류하는 객체검출분류부; 및
상기 객체검출분류부의 객체검출결과와 객체분류결과 중 적어도 하나에 기초하여 상기 사용자단말기에 기설정된 알림이 출력되도록 하는 알림제공부;를 포함하는 것
인 대변이미지를 이용한 반려동물 건강 상태 분석시스템.
By communicating with a user terminal that includes an input unit that receives input values according to the user's input, a screen unit that can display preset text and interfaces, and a sound output unit that can output sound,
A database that stores learning images obtained by photographing the stool of a companion animal and including labeling data for the location area of a preset object corresponding to at least one of normal stool, bloody stool, mucous stool, and hookworm;
An image input unit that receives images obtained by photographing the feces of a companion animal from the user terminal;
Training data including learning images stored in the database are applied to detect objects corresponding to at least one of normal stool, bloody stool, mucous stool, and hookworm in the image. When an object is detected, the detected object is classified into normal stool, bloody stool, mucous stool, and hookworm. A learning model that is pre-trained so that it can be classified into at least one of the following;
an object detection and classification unit that detects an object from an image input to the image input unit using the learning model and, when an object is detected, classifies the object into at least one of normal stool, bloody stool, mucous stool, and hookworm using the learning model; and
A notification providing unit configured to output a preset notification to the user terminal based on at least one of the object detection result and the object classification result of the object detection and classification unit.
Pet health status analysis system using human feces images.
제 1항에 있어서,
상기 데이터베이스에 저장된 학습이미지 중 구충에 대응되는 객체가 위치하는 기설정된 위치영역과, 위치영역에 대응되는 주석을 포함하는 라벨링데이터가 포함된 학습이미지의 라벨링데이터에 기초하여 상기 데이터베이스에 저장된 학습이미지로부터 구충에 대응되는 기설정된 객체의 위치영역에 대응되는 패치이미지를 추출하는 이미지추출부; 및
상기 패치이미지 크기와 선명도 중 적어도 하나에 기초하여 상기 패치이미지의 크기에 대한 정규화 필요여부를 판단하고, 판단결과에 따라 크기에 대한 정규화가 필요한 것으로 판단되는 경우 상기 패치이미지의 크기를 정규화하여 상기 데이터베이스에 저장하는 이미지전처리부;를 더 포함하는 것이고,
상기 학습모델은
상기 이미지전처리부에서 정규화되어 상기 데이터베이스에 저장된 패치이미지를 포함한 훈련데이터를 적용하여 구충에 대응되는 기설정된 객체를 검출할 수 있도록 기학습되는 것
인 대변이미지를 이용한 반려동물 건강 상태 분석시스템.
According to clause 1,
From the learning images stored in the database based on the preset location area where the object corresponding to the hookworm is located among the learning images stored in the database, and the labeling data of the learning image including labeling data including annotations corresponding to the location area. An image extraction unit that extracts a patch image corresponding to the location area of a preset object corresponding to hookworm; and
It is determined whether normalization of the size of the patch image is necessary based on at least one of the patch image size and clarity, and if it is determined that normalization of the size is necessary according to the determination result, the size of the patch image is normalized and stored in the database. It further includes an image pre-processing unit for storing in,
The learning model is
Pre-trained to detect preset objects corresponding to hookworms by applying training data including patch images normalized in the image pre-processing unit and stored in the database.
Pet health status analysis system using human feces images.
제 2항에 있어서,
상기 이미지전처리부는
상기 이미지추출부에서 추출된 패치이미지의 크기 및 선명도 중 적어도 하나에 기초하여 상기 이미지추출부에서 추출된 패치이미지 중 크기에 대한 정규화가 필요한 것을 판단하여 분류하는 이미지분류부; 및
상기 이미지분류부에서 분류된 패치이미지가 기설정된 크기를 갖도록 정규화하고, 정규화된 패치이미지를 상기 데이터베이스에 저장하는 크기정규화부;를 포함하는 것
인 대변이미지를 이용한 반려동물 건강 상태 분석시스템.
According to clause 2,
The image preprocessing unit
An image classification unit that determines and classifies the patch images extracted from the image extraction unit as requiring normalization of size based on at least one of the size and clarity of the patch images extracted from the image extraction unit; and
A size normalization unit that normalizes the patch images classified by the image classification unit to have a preset size and stores the normalized patch images in the database.
Pet health status analysis system using human feces images.
제 3항에 있어서,
상기 이미지분류부는
상기 이미지추출부에서 추출된 패치이미지의 크기와 기설정된 수학식에 기초
하여 크기파라미터를 산출하고, 산출된 크기파라미터가 기설정된 임계값보다 큰 패치이미지를 크기에 대한 정규화가 필요한 패치이미지로 분류하는 것
인 대변이미지를 이용한 반려동물 건강 상태 분석시스템.
According to clause 3,
The image classification unit
Based on the size of the patch image extracted from the image extraction unit and a preset mathematical equation
Calculate size parameters and classify patch images whose calculated size parameters are larger than a preset threshold as patch images that require size normalization.
Pet health status analysis system using human feces images.
KR1020220138358A 2022-10-25 2022-10-25 System for analyzing health status of pet using stool image KR20240057753A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220138358A KR20240057753A (en) 2022-10-25 2022-10-25 System for analyzing health status of pet using stool image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220138358A KR20240057753A (en) 2022-10-25 2022-10-25 System for analyzing health status of pet using stool image

Publications (1)

Publication Number Publication Date
KR20240057753A true KR20240057753A (en) 2024-05-03

Family

ID=91077143

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220138358A KR20240057753A (en) 2022-10-25 2022-10-25 System for analyzing health status of pet using stool image

Country Status (1)

Country Link
KR (1) KR20240057753A (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210106773A (en) 2020-02-21 2021-08-31 엘지전자 주식회사 Defecation device, server and system including the same
KR102330858B1 (en) 2021-08-03 2021-11-25 주식회사 넘버제로 Method, apparatus, and system for providing information on analysis of pet stool status using stool sheet stool images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210106773A (en) 2020-02-21 2021-08-31 엘지전자 주식회사 Defecation device, server and system including the same
KR102330858B1 (en) 2021-08-03 2021-11-25 주식회사 넘버제로 Method, apparatus, and system for providing information on analysis of pet stool status using stool sheet stool images

Similar Documents

Publication Publication Date Title
WO2022033150A1 (en) Image recognition method, apparatus, electronic device, and storage medium
JP6137425B2 (en) Image processing system, image processing apparatus, image processing method, and image processing program
US9818029B2 (en) Apparatus and method for computer aided diagnosis (CAD) based on eye movement
CN108446669B (en) Motion recognition method, motion recognition device and storage medium
US20040165784A1 (en) Systems and methods for enhanced image adaptation
KR102469720B1 (en) Electronic device and method for determining hyperemia grade of eye using the same
CN108090458A (en) Tumble detection method for human body and device
WO2021051547A1 (en) Violent behavior detection method and system
JP2020057111A (en) Facial expression determination system, program and facial expression determination method
WO2015040929A1 (en) Image processing system, image processing method, and program
US11423698B2 (en) Anomaly detector for detecting anomaly using complementary classifiers
KR102410286B1 (en) Method for detecting a falling accident based on deep learning and electronic device thereof
CN113080855B (en) Facial pain expression recognition method and system based on depth information
US11875898B2 (en) Automatic condition diagnosis using an attention-guided framework
CN110363114A (en) A kind of person works' condition detection method, device and terminal device
JP2004280376A (en) Method and system for recognition of subject's behavior
KR20220164097A (en) Apparatus, method and computer program for anayzing medical image using classification and segmentation
KR101791604B1 (en) Method and apparatus for estimating position of head, computer readable storage medium thereof
Yimyam et al. Home smart alarm system for the visually impaired
JPWO2020054604A1 (en) Information processing equipment, control methods, and programs
CN112257567B (en) Training of behavior recognition network, behavior recognition method and related equipment
KR20240057753A (en) System for analyzing health status of pet using stool image
CN113392779A (en) Crowd monitoring method, device, equipment and medium based on generation of confrontation network
JP7214437B2 (en) Information processing device, information processing method and program
CN111191499A (en) Fall detection method and device based on minimum center line