KR102451102B1 - Companion animal skin lesion classification system and method based on artificial intelligence using clinical and image information - Google Patents

Companion animal skin lesion classification system and method based on artificial intelligence using clinical and image information Download PDF

Info

Publication number
KR102451102B1
KR102451102B1 KR1020210000701A KR20210000701A KR102451102B1 KR 102451102 B1 KR102451102 B1 KR 102451102B1 KR 1020210000701 A KR1020210000701 A KR 1020210000701A KR 20210000701 A KR20210000701 A KR 20210000701A KR 102451102 B1 KR102451102 B1 KR 102451102B1
Authority
KR
South Korea
Prior art keywords
companion animal
skin lesion
animal skin
classification
image
Prior art date
Application number
KR1020210000701A
Other languages
Korean (ko)
Other versions
KR20220098869A (en
Inventor
박해광
Original Assignee
주식회사 오션라이트에이아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오션라이트에이아이 filed Critical 주식회사 오션라이트에이아이
Priority to KR1020210000701A priority Critical patent/KR102451102B1/en
Publication of KR20220098869A publication Critical patent/KR20220098869A/en
Application granted granted Critical
Publication of KR102451102B1 publication Critical patent/KR102451102B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/40—Animals

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Dermatology (AREA)
  • Fuzzy Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

개시되는 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템은 모바일 디바이스의 어플리케이션을 이용하는 반려동물 의료 플랫폼 접속부; 모바일 디바이스를 통해 반려동물 피부 병변 이미지 및 임상 정보를 얻을 수 있는 반려동물 의료 데이터 취득부; 모바일 디바이스를 통해 클라우드 서버와 통신할 수 있는 반려동물 의료 데이터 송수신부; 반려동물 의료 데이터 송수신부를 통해 클라우드 서버에 저장되는 반려동물 피부 병변 이미지, 임상 정보 및 사용자 정보를 관리할 수 있는 반려동물 의료 데이터베이스부; 클라우드 서버에 저장되는 반려동물 피부 병변 이미지 및 임상 정보를 기반으로 인공지능 기반 반려동물 피부 병변 분류 모델을 이용하여 체크포인트 파일을 생성할 수 있는 반려동물 피부 병변 분류 학습부; 반려동물 피부 병변 이미지 및 임상 정보를 체크포인트 파일과 인공지능 기반 반려동물 피부 병변 분류 모델을 이용하여 피부 병변 클래스 및 피부 병변 유무를 분류할 수 있는 반려동물 피부 병변 데이터 분류 추론부; 및 반려동물 피부 병변 데이터 분류 추론부에서 분류된 결과를 어플리케이션에 나타낼 수 있는 반려동물 피부 병변 분류 결과 시각화부를 포함할 수 있다.The disclosed artificial intelligence-based companion animal skin lesion classification system using clinical and image information includes: a companion animal medical platform connection unit using an application of a mobile device; a companion animal medical data acquisition unit capable of obtaining companion animal skin lesion images and clinical information through a mobile device; Companion animal medical data transceiver capable of communicating with the cloud server through the mobile device; a companion animal medical database unit capable of managing companion animal skin lesion images, clinical information, and user information stored in the cloud server through the companion animal medical data transceiver; a companion animal skin lesion classification learning unit capable of generating a checkpoint file using an artificial intelligence-based companion animal skin lesion classification model based on the companion animal skin lesion image and clinical information stored in the cloud server; Companion animal skin lesion data classification reasoning unit that can classify skin lesion class and presence of skin lesion using checkpoint file and artificial intelligence-based companion animal skin lesion classification model for companion animal skin lesion image and clinical information; and a companion animal skin lesion classification result visualization unit capable of displaying the results classified by the companion animal skin lesion data classification inference unit to the application.

Description

임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템 및 방법{Companion animal skin lesion classification system and method based on artificial intelligence using clinical and image information}Companion animal skin lesion classification system and method based on artificial intelligence using clinical and image information}

본 발명은 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템 및 방법에 관한 것으로, 보다 상세하게는, 모바일 디바이스의 어플리케이션을 통해 촬영된 반려동물 피부병변 이미지와 체크리스트 형식으로 작성된 임상 정보를 인공지능을 이용하여 학습하고, 사용자에게 반려동물 피부 병변의 유무 및 상세한 피부 병변의 종류에 대한 분류 결과를 알려줄 수 있는 시스템 및 방법에 관한 것이다.The present invention relates to an artificial intelligence-based companion animal skin lesion classification system and method using clinical and image information, and more particularly, to a companion animal skin lesion image taken through an application of a mobile device and a clinical trial written in the form of a checklist. It relates to a system and method that can learn information using artificial intelligence and inform a user of the presence or absence of a companion animal skin lesion and a classification result of the detailed skin lesion type.

최근 기계학습 중 한 방법인 딥러닝(Deep Learning)은 핵심 기술로 대두되면서 관련 기술 및 응용 분야에 대한 관심이 높아지고 있다. 딥러닝이란, 생물의 신경계를 모방한 인공신경망(Artificial Neural Network)의 모델로서, 기존의 인공신경망 모델이 얇은 층의 뉴런 모델들의 연결로 이루어져 있다면, 딥러닝 기법은 뉴런 모델의 층을 깊게 쌓아 올려 신경망의 학습 능력을 높이는 모델을 적용하는 기술이다. 인공신경망으로서의 딥러닝 개념은 1970년대에 등장하였으나, 그 당시 학습 계산의 복잡성, 컴퓨터 자원의 한계 등으로 인해 정체되었으나, 최근 하드웨어 성능 향상 등 여러 가지 연구를 통해 다양한 문제들이 대폭 개선되었다. 그 결과, 현재 딥러닝을 활용한 음성인식 및 영상인식 등의 분야에서 뛰어난 성능 결과를 나타냄에 따라, 다양한 응용 분야에서 딥러닝 기술이 적용되고 있다.Recently, as one of the machine learning methods, Deep Learning, has emerged as a core technology, interest in related technologies and applications is increasing. Deep learning is a model of an artificial neural network that mimics the nervous system of a living organism. If the existing artificial neural network model consists of thin-layered neuron models, deep learning techniques build deep layers of neuron models. It is a technology that applies a model to increase the learning ability of a neural network. The concept of deep learning as an artificial neural network appeared in the 1970s, but at that time it was stagnant due to the complexity of learning calculations and limitations of computer resources. As a result, as it shows excellent performance results in fields such as voice recognition and image recognition using deep learning, deep learning technology is being applied in various application fields.

최근 딥러닝을 활용한 기술은 대표적으로 제조, 국방, 의료 등 기존에 적용된 분야를 넘어 생활 밀접 서비스 및 어플리케이션에 탑재하는 등 다양한 분야로 활용되고 있다. 특히 인공지능 기술이 활용되는 대표적 분야 중 의료 분야에서는 사람에 대한 X-ray, CT, MRI 등 다양한 광학장비를 통해 취득된 이미지를 바탕으로 질병 혹은 병변 여부를 예측하고 분류하는 기술에 대하여 활발히 연구 및 개발되고 있으며, 이에 대한 예측 및 분류 성능은 이미 수많은 연구 및 논문을 통해 검증되었다. 그 예로서, 앞서 언급된 광학장비를 통해 취득된 의료 이미지 및 영상 데이터를 활용하여, 딥러닝 기법 중 하나인 합성곱 신경망(Convolution Neural Network, CNN)을 통한 폐암, 유방암, 코로나19에 대한 진단 예측 및 분류에 대한 연구가 진행되었으며, 이에 대한 예측정확도는 약 90% 이상으로 뛰어난 성능을 나타내었다. 합성곱 신경망의 경우, Input image가 합성곱 레이어를 통과하면서 특징을 추출하고, 여러 합성곱 신경망을 통해 추출된 특징을 통해 이미지 및 영상을 분류한다. 이처럼 합성곱 신경망은 컴퓨터 비전(Computer Vision) 분야에서 학계와 의료 산업 간의 적용을 통한 다양한 기술 및 연구가 이루어져 왔으나, 현재 수의학계 내 반려동물에 대한 피부 질병 혹은 병변 분류 및 예측 분야는 많은 개발 및 연구가 이루어지지 않았다. 또한, 현재 반려동물을 양육하고 있는 가구에서는 반려동물 진료비용에 대해 많은 관심이 기울어짐에 따라, 인공지능 기술을 활용한 반려동물 질병 혹은 병변 예측 분류 시스템에 대해 많은 관심과 필요성이 집중되고 있다.Recently, technologies using deep learning are typically used in various fields such as manufacturing, defense, medical, etc., and installing them in services and applications closely related to life beyond the existing fields. In particular, among the representative fields where artificial intelligence technology is used, in the medical field, active research and research on technologies for predicting and classifying diseases or lesions based on images acquired through various optical equipment such as X-ray, CT, and MRI of humans It is being developed, and its prediction and classification performance has already been verified through numerous studies and papers. As an example, using the medical images and image data acquired through the aforementioned optical equipment, diagnosis prediction for lung cancer, breast cancer, and Corona 19 through Convolution Neural Network (CNN), one of the deep learning techniques and classification were conducted, and the prediction accuracy for this was about 90% or more, indicating excellent performance. In the case of a convolutional neural network, features are extracted as the input image passes through the convolutional layer, and images and images are classified through the features extracted through several convolutional neural networks. As such, convolutional neural networks have been conducted in various technologies and studies through application between academia and the medical industry in the field of computer vision. has not been done In addition, as a lot of attention is paid to the cost of treating companion animals in households raising companion animals, a lot of attention and necessity are focused on the companion animal disease or lesion prediction classification system using artificial intelligence technology.

최근 국외 반려동물 관련 시장은 미국, 일본 유럽 등에서 총 600억 달러(약 60조원) 시장으로 연간 지속적으로 성장하고 있다. 또한, 국내 반려동물 관련 시장의 경우, 약 4조원 규모로 형성되어 있으며, 고령인구증가 및 1인 가구의 증가로 인해 반려동물 관련 시장 규모는 연평균 20% 이상으로 급속하게 성장하고 있다. 현재 국내 반려동물을 양육하는 인구는 약 1,000만에 달하는 것으로 집계됨에 따라, 반려동물 건강관리에 대해 많은 관심이 집중되고 있다. 조사된 자료에 의하면, 동물병원에 내원하는 반려동물 질병의 약 60% 이상은 반려동물 피부 관련 질병이며, 이의 경우 현재 수의사의 육안을 통해 뚜렷하게 나타나는 병변 현상과 반려동물의 다양한 임상 정보를 통해 최종 진단하는 과정으로 수행된다. 하지만, 반려동물을 양육하고 있는 보호자의 경우, 병원을 방문하는 공간적ㆍ시간적 제약과 비용적인 문제가 제기되고 있다.Recently, the overseas companion animal-related market has been continuously growing annually with a total of $60 billion (about 60 trillion won) in the US, Japan, and Europe. In addition, the domestic companion animal-related market is about 4 trillion won, and the size of the companion animal-related market is rapidly growing at an average annual rate of more than 20% due to the increase in the elderly population and the number of single-person households. Currently, as the number of domestic companion animals raising about 10 million is counted, much attention is paid to companion animal health care. According to the research data, more than 60% of companion animal diseases visiting veterinary hospitals are companion animal skin-related diseases. is carried out in the process of However, in the case of guardians raising companion animals, space and time constraints and cost issues to visit the hospital are raised.

대한민국공개특허 제10-2020-0101540호Republic of Korea Patent Publication No. 10-2020-0101540 대한민국공개특허 제10-2016-0054188호Republic of Korea Patent Publication No. 10-2016-0054188

A deep learning system for differential diagnosis of skin diseases(LIU, Yuan, et al. A deep learning system for differential diagnosis of skin diseases. Nature Medicine, 2020, 1-9.)A deep learning system for differential diagnosis of skin diseases (LIU, Yuan, et al. A deep learning system for differential diagnosis of skin diseases. Nature Medicine, 2020, 1-9.)

본 발명의 목적은 모바일 디바이스의 어플리케이션을 통해 촬영된 반려동물 피부병변 이미지와 체크리스트 형식으로 작성된 임상 정보를 인공지능을 이용하여 학습하고, 사용자에게 반려동물 피부 병변의 유무 및 상세한 피부 병변의 종류에 대한 분류 결과를 알려줄 수 있는 시스템 및 방법을 제공하는 것이다.It is an object of the present invention to learn by using artificial intelligence the companion animal skin lesion image taken through the application of the mobile device and the clinical information written in the checklist format, and to provide the user with the presence or absence of the companion animal skin lesion and the type of detailed skin lesion. It is to provide a system and method that can inform the classification result for

상기 목적은, 모바일 디바이스의 어플리케이션을 이용하는 반려동물 의료 플랫폼 접속부; 모바일 디바이스를 통해 반려동물 피부 병변 이미지 및 임상 정보를 얻을 수 있는 반려동물 의료 데이터 취득부; 모바일 디바이스를 통해 클라우드 서버와 통신할 수 있는 반려동물 의료 데이터 송수신부; 반려동물 의료 데이터 송수신부를 통해 클라우드 서버에 저장되는 반려동물 피부 병변 이미지, 임상 정보 및 사용자 정보를 관리할 수 있는 반려동물 의료 데이터베이스부; 클라우드 서버에 저장되는 반려동물 피부 병변 이미지 및 임상 정보를 기반으로 인공지능 기반 반려동물 피부 병변 분류 모델을 이용하여 체크포인트 파일을 생성할 수 있는 반려동물 피부 병변 분류 학습부; 반려동물 피부 병변 이미지 및 임상 정보를 체크포인트 파일과 인공지능 기반 반려동물 피부 병변 분류 모델을 이용하여 피부 병변 클래스 및 피부 병변 유무를 분류할 수 있는 반려동물 피부 병변 데이터 분류 추론부; 및 반려동물 피부 병변 데이터 분류 추론부에서 분류된 결과를 어플리케이션에 나타낼 수 있는 반려동물 피부 병변 분류 결과 시각화부를 포함할 수 있는 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템에 의해 달성될 수 있다.The object is to connect the companion animal medical platform using the application of the mobile device; a companion animal medical data acquisition unit capable of obtaining companion animal skin lesion images and clinical information through a mobile device; Companion animal medical data transceiver capable of communicating with the cloud server through the mobile device; a companion animal medical database unit capable of managing companion animal skin lesion images, clinical information, and user information stored in the cloud server through the companion animal medical data transceiver; a companion animal skin lesion classification learning unit capable of generating a checkpoint file using an artificial intelligence-based companion animal skin lesion classification model based on the companion animal skin lesion image and clinical information stored in the cloud server; Companion animal skin lesion data classification reasoning unit that can classify skin lesion class and presence of skin lesion using checkpoint file and artificial intelligence-based companion animal skin lesion classification model for companion animal skin lesion image and clinical information; and an artificial intelligence-based companion animal skin lesion classification system using clinical and image information that can include a companion animal skin lesion classification result visualization unit that can display the results classified by the companion animal skin lesion data classification inference unit to the application can be

또한, 상기 목적은, 반려동물 피부 병변 분류 학습부는, 클라우드 서버에 저장되는 반려동물 피부 병변 이미지 및 임상 정보를 수신할 수 있는 반려동물 피부 병변 학습 데이터 수신 모듈; 반려동물 피부 병변 이미지의 경계선을 돈독하게 하는 반려동물 피부 병변 학습 이미지 전처리 모듈; 및 인공지능 기반 반려동물 피부 병변 분류 모델을 통해 하이퍼 파라미터를 설정하는 인공지능 기반 반려동물 피부 병변 학습 모듈을 포함하고, 반려동물 피부 병변 학습 이미지 전처리 모듈에서 가공되는 반려동물 피부 병변 이미지 및 임상 정보를 인공지능 기반 반려동물 피부 병변 학습 모듈에서 학습을 반복 진행하여 체크포인트 파일을 생성할 수 있는 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템에 의해 달성될 수 있다.In addition, the object of the companion animal skin lesion classification learning unit, a companion animal skin lesion learning data receiving module capable of receiving the companion animal skin lesion image and clinical information stored in the cloud server; a companion animal skin lesion learning image preprocessing module that strengthens the boundaries of companion animal skin lesion images; and an artificial intelligence-based companion animal skin lesion learning module that sets hyper parameters through an artificial intelligence-based companion animal skin lesion classification model. This can be achieved by an AI-based companion animal skin lesion classification system using clinical and image information that can generate checkpoint files by repeating learning in the AI-based companion animal skin lesion learning module.

또한, 상기 목적은, 반려동물 피부 병변 데이터 분류 추론부는, 반려동물 피부 병변 이미지 및 임상 정보를 수신할 수 있는 반려동물 피부 병변 추론 데이터 수신 모듈; 반려동물 피부 병변 이미지의 경계선을 돈독하게 하는 반려동물 피부 병변 추론 이미지 전처리 모듈; 인공지능 기반 반려동물 피부 병변 분류 모델을 통해 정해진 클래스 유형별 분류 결과를 도출할 수 있는 인공지능 기반 반려동물 피부 병변 추론 모듈; 클래스 유형별 분류 결과를 반려동물 피부 병변의 유무를 나타내는 이진 분류 결과로 도출할 수 있는 인공지능 기반 반려동물 피부 병변 이진 분류 모듈; 및 클래스 유형별 분류 결과 및 이진 분류 결과를 송신하는 인공지능 기반 반려동물 피부 병변 추론 결과 송신 모듈을 포함할 수 있는 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템에 의해 달성될 수 있다.In addition, the object of the companion animal skin lesion data classification inference unit may include: a companion animal skin lesion inference data receiving module capable of receiving a companion animal skin lesion image and clinical information; a companion animal skin lesion inference image pre-processing module that strengthens the boundary of the companion animal skin lesion image; an artificial intelligence-based companion animal skin lesion inference module capable of deriving classification results by class type through an artificial intelligence-based companion animal skin lesion classification model; An artificial intelligence-based companion animal skin lesion binary classification module that can derive classification results by class type as binary classification results indicating the presence or absence of companion animal skin lesions; and an AI-based companion animal skin lesion classification system using clinical and image information that may include an AI-based companion animal skin lesion inference result transmission module that transmits classification results and binary classification results by class type. .

또한, 상기 목적은, 인공지능 기반 반려동물 피부 병변 분류 모델은, 반려동물 피부 병변 이미지가 투입되는 합성곱 신경망과 임상 정보가 투입되는 인공신경망이 결합되는 2단계 네트워크를 포함할 수 있는 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템에 의해 달성될 수 있다.In addition, the above object is that the artificial intelligence-based companion animal skin lesion classification model may include a two-step network in which a convolutional neural network to which a companion animal skin lesion image is input and an artificial neural network to which clinical information is input are combined. It can be achieved by an artificial intelligence-based companion animal skin lesion classification system using information.

또한, 상기 목적은, 사용자의 모바일 디바이스에 설치되는 어플리케이션을 이용하는 반려동물 의료 플랫폼 접속부를 통해 사용자를 인증하는 제1단계; 모바일 디바이스의 반려동물 의료 데이터 취득부를 통해 반려동물 피부 병변 이미지 및 임상 정보를 얻는 제2단계; 모바일 디바이스의 반려동물 의료 데이터 송수신부를 통해 반려동물 피부 병변 이미지 및 임상 정보를 클라우드 서버에 저장하는 제3단계; 클라우드 서버에 저장되는 반려동물 피부 병변 이미지 및 임상 정보를 기반으로 인공지능 기반 반려동물 피부 병변 분류 모델을 이용하는 반려동물 피부 병변 분류 학습부를 통해 체크포인트 파일을 생성하는 제4단계; 반려동물 피부 병변 이미지 및 임상 정보를 체크포인트 파일과 인공지능 기반 반려동물 피부 병변 분류 모델을 이용하는 반려동물 피부 병변 데이터 분류 추론부를 통해 피부 병변 클래스 및 피부 병변 유무를 분류하는 제5단계; 및 모바일 디바이스의 반려동물 피부 병변 분류 결과 시각화부를 통해 제5단계에서 분류된 결과를 어플리케이션에 나타내는 제6단계를 포함할 수 있는 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 방법에 의해 달성될 수 있다.In addition, the above object may include: a first step of authenticating a user through a companion animal medical platform connection unit using an application installed on the user's mobile device; A second step of obtaining a companion animal skin lesion image and clinical information through the companion animal medical data acquisition unit of the mobile device; a third step of storing the companion animal skin lesion image and clinical information in the cloud server through the companion animal medical data transceiver of the mobile device; a fourth step of generating a checkpoint file through a companion animal skin lesion classification learning unit using an artificial intelligence-based companion animal skin lesion classification model based on the companion animal skin lesion image and clinical information stored in the cloud server; a fifth step of classifying the skin lesion class and the presence of skin lesions through the companion animal skin lesion data classification inference unit using the companion animal skin lesion image and clinical information with the checkpoint file and the artificial intelligence-based companion animal skin lesion classification model; and a sixth step of displaying the classified result in the fifth step to the application through the companion animal skin lesion classification result visualization unit of the mobile device by an artificial intelligence-based companion animal skin lesion classification method using clinical and image information can be achieved.

또한, 상기 목적은, 제4단계에서, 반려동물 피부 병변 분류 학습부는, 클라우드 서버에 저장되는 반려동물 피부 병변 이미지 및 임상 정보를 수신할 수 있는 반려동물 피부 병변 학습 데이터 수신 모듈; 반려동물 피부 병변 이미지의 경계선을 돈독하게 하는 반려동물 피부 병변 학습 이미지 전처리 모듈; 및 인공지능 기반 반려동물 피부 병변 분류 모델을 통해 하이퍼 파라미터를 설정하는 인공지능 기반 반려동물 피부 병변 학습 모듈을 포함하고, 반려동물 피부 병변 학습 이미지 전처리 모듈에서 가공되는 반려동물 피부 병변 이미지 및 임상 정보를 인공지능 기반 반려동물 피부 병변 학습 모듈에서 학습을 반복 진행하여 체크포인트 파일을 생성할 수 있는 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 방법에 의해 달성될 수 있다.In addition, in the fourth step, the companion animal skin lesion classification learning unit includes: a companion animal skin lesion learning data receiving module capable of receiving the companion animal skin lesion image and clinical information stored in the cloud server; a companion animal skin lesion learning image preprocessing module that strengthens the boundaries of companion animal skin lesion images; and an artificial intelligence-based companion animal skin lesion learning module that sets hyper parameters through an artificial intelligence-based companion animal skin lesion classification model. This can be achieved by an AI-based companion animal skin lesion classification method using clinical and image information that can generate a checkpoint file by repeating learning in the AI-based companion animal skin lesion learning module.

또한, 상기 목적은, 제5단계에서, 반려동물 피부 병변 데이터 분류 추론부는, 반려동물 피부 병변 이미지 및 임상 정보를 수신할 수 있는 반려동물 피부 병변 추론 데이터 수신 모듈; 반려동물 피부 병변 이미지의 경계선을 돈독하게 하는 반려동물 피부 병변 추론 이미지 전처리 모듈; 인공지능 기반 반려동물 피부 병변 분류 모델을 통해 정해진 클래스 유형별 분류 결과를 도출할 수 있는 인공지능 기반 반려동물 피부 병변 추론 모듈; 클래스 유형별 분류 결과를 반려동물 피부 병변의 유무를 나타내는 이진 분류 결과로 도출할 수 있는 인공지능 기반 반려동물 피부 병변 이진 분류 모듈; 및 클래스 유형별 분류 결과 및 이진 분류 결과를 송신하는 인공지능 기반 반려동물 피부 병변 추론 결과 송신 모듈을 포함할 수 있는 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 방법에 의해 달성될 수 있다.In addition, in the fifth step, the companion animal skin lesion data classification inference unit includes: a companion animal skin lesion inference data receiving module capable of receiving the companion animal skin lesion image and clinical information; a companion animal skin lesion inference image pre-processing module that strengthens the boundary of the companion animal skin lesion image; an artificial intelligence-based companion animal skin lesion inference module capable of deriving classification results by class type through an artificial intelligence-based companion animal skin lesion classification model; An artificial intelligence-based companion animal skin lesion binary classification module that can derive classification results by class type as binary classification results indicating the presence or absence of companion animal skin lesions; and an AI-based companion animal skin lesion classification method using clinical and image information that may include an AI-based companion animal skin lesion inference result transmission module that transmits classification results and binary classification results by class type. .

본 발명에 따른 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 병변 분류 시스템 및 방법에 의하면, 모바일 디바이스를 이용해서 반려동물의 피부 병변 클래스 및 피부 병변 유무 분류 결과를 알 수 있으므로, 병원을 직접 방문하지 않아도 반려동물의 피부 병변을 진단할 수 있다.According to the artificial intelligence-based companion animal lesion classification system and method using clinical and image information according to the present invention, it is possible to know the skin lesion class and the skin lesion classification result of the companion animal using a mobile device, so a direct visit to the hospital It is possible to diagnose skin lesions in pets without doing so.

또한, 본 발명에 따른 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 병변 분류 시스템에 의하면, 피부 병변 분류 모델의 재학습이 가능하므로, 피부 병변 분류 성능을 고도화할 수 있다.In addition, according to the AI-based companion animal lesion classification system using clinical and image information according to the present invention, re-learning of the skin lesion classification model is possible, so that the skin lesion classification performance can be advanced.

또한, 본 발명에 따른 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 병변 분류 시스템에 의하면, 피부 병변 분류 모델의 재학습이 가능하므로, 피부 병변 분류 정확도 및 신뢰도를 향상시킬 수 있다.In addition, according to the AI-based companion animal lesion classification system using clinical and image information according to the present invention, re-learning of the skin lesion classification model is possible, so that the skin lesion classification accuracy and reliability can be improved.

또한, 본 발명에 따른 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 병변 분류 시스템에 의하면, 현대 사회에서 흔히 사용되는 스마트폰 내장 광학 카메라를 통해 취득된 이미지 및 사용자 반려동물의 체크리스트 즉, 임상 정보를 바탕으로 학습된 인공지능 기반 분류 모델을 구축하고, 구축된 반려동물 피부 병변 분류기는 모델 경량화 및 최적화하여, 클라우드 서버에 탑재한 후, 실제 사용자 스마트폰으로 취득된 이미지 및 임상 정보가 클라우드 서버로 전송되어, 클라우드 서버에 탑재된 인공지능 기반 반려동물 피부 병변 분류 모델을 통해 반려동물의 피부 병변에 대한 Multi-classification(병변의 종류) 결과를 추론하고, 추론된 결과를 수식을 통해 Binary-classification(병변의 유무) 산출하고, 그 결과 사용자에게 Binary-classification(병변의 유무) 및 Multi-classification(병변의 종류)의 두 가지 정보를 사용자 스마트폰 어플리케이션에 시각화할 수 있다.In addition, according to the AI-based companion animal lesion classification system using clinical and image information according to the present invention, images acquired through a smart phone built-in optical camera commonly used in modern society and a checklist of user companion animals, that is, clinical The artificial intelligence-based classification model learned based on the information is built, and the built companion animal skin lesion classifier is lightweight and optimized, mounted on the cloud server, and then images and clinical information acquired by the actual user's smartphone are stored on the cloud server. Inferred multi-classification (type of lesion) result for companion animal’s skin lesion through artificial intelligence-based companion animal skin lesion classification model that is transmitted to (presence of lesion) is calculated, and as a result, two pieces of information, binary-classification (existence of lesion) and multi-classification (type of lesion) can be visualized in the user's smartphone application.

도 1은 본 발명의 바람직한 실시예에 따른 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템의 구성을 개념적으로 나타낸 것이다.
도 2는 도 1의 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템에서 클라우드 서버의 구성을 개념적으로 나타낸 것이다.
도 3은 도 1의 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템에서 모바일 디바이스의 어플리케이션을 나타낸 것이다.
도 4는 도 1의 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템에서 반려동물 의료 데이터 취득부를 나타낸 것이다.
도 5는 도 1의 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템에서 반려동물 의료 데이터 송수신부를 나타낸 것이다.
도 6은 도 1의 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템에서 반려동물 피부 병변 분류 학습부를 나타낸 것이다.
도 7은 도 1의 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템에서 반려동물 피부 병변 데이터 분류 추론부를 나타낸 것이다.
도 8은 도 7의 반려동물 피부 병변 데이터 분류 추론부에서 인공지능 기반 반려동물 피부 병변 추론 모듈의 구성을 개념적으로 나타낸 것이다.
도 9는 도 7의 반려동물 피부 병변 데이터 분류 추론부에서 인공지능 기반 반려동물 피부 병변 이진 분류 모듈에서 사용되는 수식을 나타낸 것이다.
도 10은 도 1의 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템에서 반려동물 피부 병변 분류 결과 시각화부에 나타나는 화면의 예를 나타낸 것이다.
도 11은 도 4의 반려동물 의료 데이터 취득부에서 얻은 반려동물 피부 병변 이미지의 예를 나타낸 것이다.
도 12는 도 6의 반려동물 피부 병변 분류 학습부 및 도 7의 반려동물 피부 병변 데이터 분류 추론부에서 이용되는 인공지능 기반 반려동물 피부 병변 분류 모델을 나타낸 것이다.
도 13은 도 6의 반려동물 피부 병변 분류 학습부 및 도 7의 반려동물 피부 병변 데이터 분류 추론부에서 이미지 전처리 모듈에 이용되는 Image enhancement 기법으로 가공되는 반려동물 피부 병변 이미지의 전후를 나타낸 것이다.
도 14는 본 발명의 바람직한 실시예에 따른 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 방법의 흐름을 개념적으로 나타낸 것이다.1 conceptually shows the configuration of an artificial intelligence-based companion animal skin lesion classification system using clinical and image information according to a preferred embodiment of the present invention.
FIG. 2 conceptually shows the configuration of a cloud server in the AI-based companion animal skin lesion classification system using clinical and image information of FIG. 1 .
FIG. 3 shows an application of a mobile device in the AI-based companion animal skin lesion classification system using clinical and image information of FIG. 1 .
4 is a diagram illustrating a companion animal medical data acquisition unit in the artificial intelligence-based companion animal skin lesion classification system using clinical and image information of FIG. 1 .
5 is a diagram illustrating a companion animal medical data transceiver in the AI-based companion animal skin lesion classification system using clinical and image information of FIG. 1 .
6 is a diagram illustrating a companion animal skin lesion classification learning unit in the artificial intelligence-based companion animal skin lesion classification system using clinical and image information of FIG. 1 .
7 is a diagram illustrating a companion animal skin lesion data classification reasoning unit in the artificial intelligence-based companion animal skin lesion classification system using clinical and image information of FIG. 1 .
8 is a conceptual diagram illustrating the configuration of an artificial intelligence-based companion animal skin lesion inference module in the companion animal skin lesion data classification inference unit of FIG. 7 .
9 is a diagram illustrating a formula used in the artificial intelligence-based companion animal skin lesion binary classification module in the companion animal skin lesion data classification inference unit of FIG. 7 .
FIG. 10 shows an example of a screen displayed in the visualization unit of the companion animal skin lesion classification result in the artificial intelligence-based companion animal skin lesion classification system using clinical and image information of FIG. 1 .
11 shows an example of a companion animal skin lesion image obtained by the companion animal medical data acquisition unit of FIG. 4 .
12 shows an artificial intelligence-based companion animal skin lesion classification model used in the companion animal skin lesion classification learning unit of FIG. 6 and the companion animal skin lesion data classification inference unit of FIG. 7 .
FIG. 13 shows before and after images of companion animal skin lesions processed by the image enhancement technique used in the image preprocessing module in the companion animal skin lesion classification learning unit of FIG. 6 and the companion animal skin lesion data classification inference unit of FIG. 7 .
14 is a conceptual diagram illustrating a flow of an AI-based companion animal skin lesion classification method using clinical and image information according to a preferred embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세하게 설명하면 다음과 같다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

다만, 본 발명을 설명함에 있어서, 이미 공지된 기능 혹은 구성에 대한 설명은, 본 발명의 요지를 명료하게 하기 위하여 생략하기로 한다.However, in describing the present invention, descriptions of already known functions or configurations will be omitted in order to clarify the gist of the present invention.

도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템은, Referring to FIG. 1 , an artificial intelligence-based companion animal skin lesion classification system using clinical and image information according to a preferred embodiment of the present invention,

모바일 디바이스의 어플리케이션(220)을 이용하는 반려동물 의료 플랫폼 접속부(200);Companion animal medical platform connection unit 200 using the application 220 of the mobile device;

상기 모바일 디바이스를 통해 반려동물 피부 병변 이미지 및 임상 정보를 얻을 수 있는 반려동물 의료 데이터 취득부(300);a companion animal medical data acquisition unit 300 capable of obtaining a companion animal skin lesion image and clinical information through the mobile device;

상기 모바일 디바이스를 통해 클라우드 서버(500)와 통신할 수 있는 반려동물 의료 데이터 송수신부(400);a companion animal medical data transceiver 400 capable of communicating with the cloud server 500 through the mobile device;

상기 반려동물 의료 데이터 송수신부(400)를 통해 상기 클라우드 서버(500)에 저장되는 반려동물 피부 병변 이미지, 임상 정보 및 사용자 정보를 관리할 수 있는 반려동물 의료 데이터베이스부(600);a companion animal medical database unit 600 capable of managing companion animal skin lesion images, clinical information, and user information stored in the cloud server 500 through the companion animal medical data transmission and reception unit 400;

상기 클라우드 서버(500)에 저장되는 반려동물 피부 병변 이미지 및 임상 정보를 기반으로 인공지능 기반 반려동물 피부 병변 분류 모델을 이용하여 체크포인트 파일(Checkpoint file)(831)을 생성할 수 있는 반려동물 피부 병변 분류 학습부(700); Companion animal skin capable of generating a checkpoint file 831 using an artificial intelligence-based companion animal skin lesion classification model based on the companion animal skin lesion image and clinical information stored in the cloud server 500 lesion classification learning unit 700;

반려동물 피부 병변 이미지 및 임상 정보를 상기 체크포인트 파일(Checkpoint file)(831)과 인공지능 기반 반려동물 피부 병변 분류 모델을 이용하여 피부 병변 클래스 및 피부 병변 유무를 분류할 수 있는 반려동물 피부 병변 데이터 분류 추론부; 및Companion animal skin lesion data that can classify skin lesion class and presence of skin lesions using the checkpoint file 831 and artificial intelligence-based companion animal skin lesion classification model for companion animal skin lesion images and clinical information classification reasoning unit; and

상기 반려동물 피부 병변 데이터 분류 추론부에서 분류된 결과를 상기 어플리케이션(220)에 나타낼 수 있는 반려동물 피부 병변 분류 결과 시각화부(100)를 포함할 수 있다.The companion animal skin lesion data classification inference unit may include a companion animal skin lesion classification result visualization unit 100 that can display the results classified by the companion animal skin lesion data classification inference unit on the application 220 .

도 1에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템은, 반려동물 피부 병변 분류 결과 시각화부(100), 반려동물 의료 플랫폼 접속부(200), 반려동물 의료 데이터 취득부(300), 반려동물 의료 데이터 송수신부(400), 반려동물 의료 데이터베이스부(600), 클라우드 서버(500), 반려동물 피부 병변 분류 학습부(700), 반려동물 피부 병변 데이터 분류 추론부 및 반려동물 피부 병변 분류 결과 시각화부(100)를 포함할 수 있다.As shown in FIG. 1 , the artificial intelligence-based companion animal skin lesion classification system using clinical and image information according to a preferred embodiment of the present invention includes a companion animal skin lesion classification result visualization unit 100 and a companion animal medical platform. Connection unit 200, companion animal medical data acquisition unit 300, companion animal medical data transceiver 400, companion animal medical database unit 600, cloud server 500, companion animal skin lesion classification learning unit 700 , a companion animal skin lesion data classification inference unit and a companion animal skin lesion classification result visualization unit 100 .

도 3을 참조하면, 반려동물 의료 플랫폼 접속부(200)는 사용자가 모바일 디바이스의 어플리케이션(220)을 이용해서 반려동물 의료 플랫폼에 접속할 수 있는 구성이다.Referring to FIG. 3 , the companion animal medical platform connection unit 200 is a configuration that allows a user to access the companion animal medical platform by using the application 220 of the mobile device.

모바일 디바이스(Mobile Device)는 휴대할 수 있는 컴퓨터 장치로서, 스마트폰, 태블릿이나 노트북 등을 포함할 수 있다.A mobile device is a portable computer device, and may include a smart phone, a tablet, or a notebook computer.

이하, 모바일 디바이스는 스마트폰을 기준으로 설명한다.Hereinafter, a mobile device will be described with reference to a smart phone.

반려동물 의료 플랫폼 접속부(200)는 스마트폰(210)에 설치되는 어플리케이션(220)을 포함할 수 있다.The companion animal medical platform connection unit 200 may include an application 220 installed on the smartphone 210 .

반려동물 의료 플랫폼 접속부(200)는 반려동물 의료 데이터 송수신부(400)를 통해서 반려동물 의료 플랫폼에 접속할 수 있다.The companion animal medical platform connection unit 200 may access the companion animal medical platform through the companion animal medical data transceiver 400 .

사용자는 반려동물 의료 플랫폼에 회원가입 후 로그인할 수 있다.Users can log in after registering as a member of the companion animal medical platform.

사용자는 아이디 등의 개인 정보와 반려동물에 대한 품종, 나이, 성별, 체중 등의 기본 정보를 입력하고 반려동물 의료 플랫폼에 회원가입할 수 있다.Users can enter personal information such as ID and basic information such as breed, age, gender, and weight for companion animals and sign up for membership in the companion animal medical platform.

사용자는 반려동물 의료 플랫폼에 인증 절차를 수행하여 로그인할 수 있다.The user can log in by performing an authentication procedure on the companion animal medical platform.

반려동물 의료 플랫폼은 반려동물 피부 병변 분류 기능을 제공할 수 있다.The companion animal medical platform can provide a companion animal skin lesion classification function.

도 4 및 11을 참조하면, 반려동물 의료 데이터 취득부(300)는 사용자가 모바일 디바이스를 통해 반려동물 피부 병변 이미지 및 임상 정보를 얻을 수 있는 구성이다.4 and 11 , the companion animal medical data acquisition unit 300 is configured to allow a user to obtain a companion animal skin lesion image and clinical information through a mobile device.

반려동물 의료 데이터 취득부(300)는 스마트폰 광학카메라 기반 이미지 취득 모듈(310) 및 체크리스트 형식의 임상 정보 취득 모듈(320)을 포함할 수 있다.The companion animal medical data acquisition unit 300 may include a smartphone optical camera-based image acquisition module 310 and a checklist-type clinical information acquisition module 320 .

사용자는 반려동물 의료 플랫폼에 로그인한 후에 스마트폰(210)의 광학카메라를 이용해서 반려동물 피부 병변으로 의심되는 부위를 촬영할 수 있다.After logging in to the companion animal medical platform, the user may use the optical camera of the smartphone 210 to photograph a region suspected of being a companion animal skin lesion.

사용자는 반려동물 의료 플랫폼에 로그인한 후에 스마트폰(210)에 저장된 반려동물 피부 병변으로 의심되는 부위의 이미지를 불러올 수도 있다.After logging in to the companion animal medical platform, the user may call an image of a region suspected of being a companion animal skin lesion stored in the smartphone 210 .

스마트폰(210)으로 촬영하거나 불러온 반려동물 피부 병변 이미지는 RGB의 3채널 정보를 포함할 수 있다.The companion animal skin lesion image photographed or called by the smartphone 210 may include RGB 3-channel information.

스마트폰 광학카메라 기반 이미지 취득 모듈(310)은 스마트폰(210)으로 반려동물 피부 병변 이미지를 얻는 과정을 의미할 수 있다.The smartphone optical camera-based image acquisition module 310 may refer to a process of acquiring a companion animal skin lesion image with the smartphone 210 .

사용자는 체크리스트 형식의 임상 정보 취득 모듈을 이용해서 반려동물의 임상 정보를 입력할 수 있다.A user can input clinical information of a companion animal by using the clinical information acquisition module in the form of a checklist.

사용자는 반려동물의 임상 정보를 입력할 때 반려동물 의료 플랫폼에 회원가입 시 입력한 반려동물에 대한 기본 정보를 활용할 수 있다.When a user enters clinical information of a companion animal, the user can utilize the basic information about the companion animal entered when signing up for a membership in the companion animal medical platform.

체크리스트 형식의 임상 정보는 1채널 벡터 정보를 포함할 수 있다.The clinical information in the checklist format may include 1-channel vector information.

체크리스트 형식의 임상 정보는 관리자에 의해 미리 만들어진 다문항 양식일 수 있다.The clinical information in the form of a checklist may be in a multi-question form pre-made by the administrator.

예를 들어, 다문항 양식인 체크리스트 형식의 임상 정보는 문항별 매우 발생, 자주 발생, 보통, 가끔 발생 및 발생 없음의 총 5개의 발생 정도를 나타내는 지표 답안을 포함할 수 있다.For example, clinical information in the form of a checklist, which is a multi-item form, may include an index answer indicating a total of five occurrences of each item: very occurrence, frequent occurrence, moderate, infrequent occurrence, and no occurrence.

체크리스트 형식의 임상 정보에 포함되는 문항의 수와 문항별 답안의 수는 필요에 따라 변경할 수 있다.The number of questions included in the checklist-type clinical information and the number of answers for each question can be changed as needed.

체크리스트 형식의 임상 정보 취득 모듈(320)은 스마트폰(210)으로 반려동물의 임상 정보를 얻는 과정을 의미할 수 있다.The checklist type clinical information acquisition module 320 may refer to a process of acquiring clinical information of a companion animal with the smart phone 210 .

도 5를 참조하면, 반려동물 의료 데이터 송수신부(400)는 사용자가 반려동물 의료 플랫폼 접속부(200)를 통해 의료 플랫폼에 접속할 수 있도록 하는 구성이다.Referring to FIG. 5 , the companion animal medical data transceiver 400 is configured to allow a user to access the medical platform through the companion animal medical platform connection unit 200 .

반려동물 의료 데이터 송수신부(400)는 스마트폰 내장 통신 모듈(410) 및 네트워크 접속 모듈(420)을 포함할 수 있다.The companion animal medical data transceiver 400 may include a smartphone built-in communication module 410 and a network connection module 420 .

사용자는 반려동물 의료 데이터 송수신부(400)를 통해서 반려동물 의료 데이터 취득부(300)에서 얻은 반려동물 피부 병변 이미지 및 임상 정보를 의료 플랫폼에 전송할 수 있다.The user may transmit the companion animal skin lesion image and clinical information obtained from the companion animal medical data acquisition unit 300 to the medical platform through the companion animal medical data transceiver 400 .

사용자는 반려동물 의료 데이터 송수신부(400)를 통해서 반려동물 피부 병변 데이터 분류 추론부에서 분류된 결과를 스마트폰(210)으로 수신할 수 있다.The user may receive the result classified by the companion animal skin lesion data classification inference unit to the smart phone 210 through the companion animal medical data transceiver 400 .

도 2를 참조하면, 클라우드 서버(500)는 네트워크(Network)(510)를 통해서 스마트폰(210)과 연결되고, 스테이징 서버(Staging server)(520), 게이트웨이 서버(Gateway server)(530), 로드 밸런싱 서버(Load balancing server)(540), 데이터베이스 서버(Database server)(550), 웹 어플리케이션 서버 1(Web application server 1)(560) 및 웹 어플리케이션 서버 2(Web application server 2)(570)를 포함할 수 있다.2, the cloud server 500 is connected to the smartphone 210 through a network 510, a staging server 520, a gateway server 530, Load balancing server (Load balancing server) 540, database server (Database server) 550, web application server 1 (Web application server 1) (560) and web application server 2 (Web application server 2) (570) may include

스테이징 서버(Staging server)(520)는 반려동물 의료 플랫폼에 대하여 실제 개발 환경과 동일한 조건 하에 테스트하기 위한 서버이다.The staging server 520 is a server for testing the companion animal medical platform under the same conditions as the actual development environment.

게이트웨이 서버(Gateway server)(530)는 반려동물 의료 데이터 송수신부(400)에서 네트워크를 거쳐 전달 받은 반려동물 피부 병변 이미지 및 임상 정보 데이터가 투입될 수 있고, 사용자 인증에 대한 보안 및 방화벽이 설치되어 무분별한 서버 접근을 제한할 수 있다.In the gateway server 530, the companion animal skin lesion image and clinical information data transmitted through the network from the companion animal medical data transceiver 400 can be input, and security and firewall for user authentication are installed. Reckless server access can be restricted.

로드 밸런싱 서버(Load balancing server)(540)는 웹 어플리케이션 서버 1(Web application server 1)(560) 및 웹 어플리케이션 서버 2(Web application server 2)(570)에 대해 최적화된 트래픽 관리를 할 수 있다.The load balancing server 540 may manage traffic optimized for the web application server 1 560 and the web application server 2 570 .

데이터베이스 서버(Database server)(550)는 게이트웨이 서버(Gateway server)(560, 570) 및 로드 밸런싱 서버(Load balancing server)(540)를 거친 반려동물 피부 병변 이미지 및 임상 정보 데이터를 지속적으로 저장·축척·관리할 수 있다.The database server 550 continuously stores and accumulates the companion animal skin lesion image and clinical information data through the gateway servers 560 and 570 and the load balancing server 540 . · Can be managed.

웹 어플리케이션 서버 1(Web application server 1)(560) 및 웹 어플리케이션 서버 2(Web application server 2)(570)는 반려동물 피부 병변 분류 추론부(800) 역할을 수행할 수 있다.The web application server 1 (Web application server 1) 560 and the web application server 2 (Web application server 2) 570 may serve as the companion animal skin lesion classification inference unit 800 .

도 1을 참조하면, 반려동물 의료 데이터베이스부(600)는 스마트폰(210)에서 전송되는 반려동물 피부 병변 이미지, 반려동물의 임상 정보 및 사용자 정보 등을 클라우드 서버(500) 내 데이터베이스 서버(Database server)(550)에 저장하고 관리하기 위한 구성이다.Referring to FIG. 1 , the companion animal medical database unit 600 stores the companion animal skin lesion image transmitted from the smartphone 210 , clinical information of the companion animal, and user information, and the like, in the cloud server 500 . ) is a configuration for storing and managing in 550 .

데이터베이스 서버(Database server)(550)는 정형화 데이터베이스와 비정형화 데이터베이스를 포함할 수 있다.The database server 550 may include a formal database and an unstructured database.

정형화 데이터베이스는 아이디 등의 개인 정보, 반려동물에 대한 품종, 나이, 성별, 체중 등의 기본 정보 및 반려동물의 임상 정보를 저장하고 관리할 수 있다.The standardized database can store and manage personal information such as ID, basic information such as breed, age, gender, and weight of companion animals, and clinical information of companion animals.

비정형화 데이터베이스는 반려동물 피부 병변 이미지를 저장하고 관리할 수 있다.The atypical database can store and manage companion animal skin lesion images.

관리자는 반려동물 의료 데이터베이스부(600)를 클라우드 서버(500)와 연동되는 웹 기반 관리자 페이지에서 확인하고 관리할 수 있고, 필요한 정보를 다운로드할 수 있다.The administrator may check and manage the companion animal medical database unit 600 on the web-based administrator page interlocked with the cloud server 500 , and may download necessary information.

반려동물 의료 데이터베이스부(600)는 양질의 데이터를 확보하기 위해서 데이터베이스 서버에 저장된 데이터를 시각화하여 정제하고 관리할 수 있다.The companion animal medical database unit 600 may visualize, refine, and manage data stored in the database server in order to secure high-quality data.

시각화된 반려동물 피부 병변 이미지 데이터는 반려동물의 피부 병변 이미지가 아니거나 확인이 불가능한 경우에 신뢰성 없는 데이터로 간주하여 사용하지 않는 데이터로 분류될 수 있다.If the visualized companion animal skin lesion image data is not an image of a companion animal skin lesion or cannot be confirmed, it may be regarded as unreliable data and classified as unused data.

시각화된 반려동물의 임상 정보 데이터는 체크리스트 형식의 답안이 일정한 패턴으로 마킹되는 경우에 신뢰성 없는 데이터로 간주하여 사용하지 않는 데이터로 분류될 수 있다.Visualized clinical information data of companion animals may be regarded as unreliable data and classified as unused data when the checklist-type answer is marked in a certain pattern.

도 6 및 12를 참조하면, 반려동물 피부 병변 분류 학습부(700)는, 클라우드 서버(500)에 저장되는 반려동물 피부 병변 이미지 및 임상 정보를 수신할 수 있는 반려동물 피부 병변 학습 데이터 수신 모듈(710); 반려동물 피부 병변 이미지의 경계선을 돈독하게 하는 반려동물 피부 병변 학습 이미지 전처리 모듈(720); 및 인공지능 기반 반려동물 피부 병변 분류 모델을 통해 하이퍼 파라미터를 설정하는 인공지능 기반 반려동물 피부 병변 학습 모듈(730)을 포함할 수 있다.6 and 12 , the companion animal skin lesion classification learning unit 700 includes a companion animal skin lesion learning data receiving module capable of receiving the companion animal skin lesion image and clinical information stored in the cloud server 500 ( 710); a companion animal skin lesion learning image preprocessing module 720 that strengthens the boundary of the companion animal skin lesion image; and an AI-based companion animal skin lesion learning module 730 that sets hyper parameters through an AI-based companion animal skin lesion classification model.

반려동물 피부 병변 분류 학습부(700)는, 반려동물 피부 병변 학습 이미지 전처리 모듈(720)에서 가공되는 반려동물 피부 병변 이미지 및 임상 정보를 인공지능 기반 반려동물 피부 병변 학습 모듈(730)에서 학습을 반복 진행하여 체크포인트 파일(Checkpoint file)(831)을 생성할 수 있다.The companion animal skin lesion classification learning unit 700 learns the companion animal skin lesion image and clinical information processed in the companion animal skin lesion learning image preprocessing module 720 in the AI-based companion animal skin lesion learning module 730 Iteratively proceeds to generate a checkpoint file (Checkpoint file) (831).

반려동물 피부 병변 분류 학습부(700)는 클라우드 서버(500)에 저장되는 반려동물 피부 병변 이미지 및 임상 정보를 기반으로 인공지능 기반 반려동물 피부 병변 분류 모델을 이용하여 학습하기 위한 구성이다.The companion animal skin lesion classification learning unit 700 is configured to learn using an artificial intelligence-based companion animal skin lesion classification model based on the companion animal skin lesion image and clinical information stored in the cloud server 500 .

반려동물 피부 병변 분류 학습부(700)는 학습을 완료한 후에 체크포인트 파일(Checkpoint file)(831)을 생성할 수 있다.The companion animal skin lesion classification learning unit 700 may generate a checkpoint file 831 after completing learning.

반려동물 피부 병변 분류 학습부(700)는 반려동물 피부 병변 학습 데이터 수신 모듈(710), 반려동물 피부 병변 학습 이미지 전처리 모듈(720), 인공지능 기반 반려동물 피부 병변 학습 모듈(730) 및 인공지능 기반 반려동물 피부 병변 학습 결과 저장 모듈(740)을 포함할 수 있다.The companion animal skin lesion classification learning unit 700 includes a companion animal skin lesion learning data receiving module 710, a companion animal skin lesion learning image preprocessing module 720, an artificial intelligence-based companion animal skin lesion learning module 730, and artificial intelligence. The base companion animal skin lesion learning result storage module 740 may be included.

반려동물 피부 병변 학습 데이터 수신 모듈(710)은 반려동물 의료 데이터베이스부(600)에서 확보한 양질의 반려동물 피부 병변 이미지 및 임상 정보를 수신할 수 있다.The companion animal skin lesion learning data receiving module 710 may receive high-quality companion animal skin lesion images and clinical information obtained from the companion animal medical database unit 600 .

도 13을 참조하면, 반려동물 피부 병변 학습 이미지 전처리 모듈(720)은 반려동물 피부 병변 이미지를 Image enhancement 기법을 사용하여 경계선(Edge)을 돈독하게 할 수 있다.Referring to FIG. 13 , the companion animal skin lesion learning image preprocessing module 720 may strengthen the edge of the companion animal skin lesion image by using an image enhancement technique.

인공지능 기반 반려동물 피부 병변 학습 모듈(730)은 서버에 탑재된 GPU 혹은 개인 GPU 자원을 사용할 수 있다.The artificial intelligence-based companion animal skin lesion learning module 730 may use a GPU or personal GPU resource mounted on a server.

인공지능 기반 반려동물 피부 병변 학습 모듈(730)은 인공지능 기반 반려동물 피부 병변 분류 모델을 포함할 수 있다.The AI-based companion animal skin lesion learning module 730 may include an AI-based companion animal skin lesion classification model.

인공지능 기반 반려동물 피부 병변 분류 모델은 반려동물 피부 병변 이미지가 투입되는 합성곱 신경망과 임상 정보가 투입되는 인공신경망이 결합되는 2단계 네트워크를 포함할 수 있다.The artificial intelligence-based companion animal skin lesion classification model may include a two-step network in which a convolutional neural network to which a companion animal skin lesion image is input and an artificial neural network to which clinical information is input are combined.

인공지능 기반 반려동물 피부 병변 분류 모델은 2 Stage Network로 구성될 수 있다.The AI-based companion animal skin lesion classification model can be composed of a two-stage network.

2 Stage Network에서 첫 번째 Stage Network는 반려동물 피부 병변 이미지 데이터가 투입되는 3D 합성곱 신경망의 형태로 구성될 수 있다.In the 2 stage network, the first stage network can be configured in the form of a 3D convolutional neural network into which companion animal skin lesion image data is input.

2 Stage Network에서 두 번째 Stage Network는 반려동물 임상 정보 데이터가 투입되는 1D 신경망 형태로 구성될 수 있다.In the 2nd Stage Network, the 2nd Stage Network can be configured in the form of a 1D neural network to which clinical information data of companion animals is input.

각 구성된 3D 합성곱 신경망과 1D 신경망 Backbone network 구조는 VGG, Resnet, moblienet 등 오픈소스 Backbone network 혹은 Customize network로 구성 가능하며, 구성된 각 신경망의 최종 양 끝단인 Fully connected layer를 결합하여 2 Stage Network로 구축될 수 있다. Each configured 3D convolutional neural network and 1D neural network Backbone network structure can be configured as an open source Backbone network or Customize network such as VGG, Resnet, and moblienet. can be

결합된 2 Stage Network는 새로운 Fully connected layer를 구축하고, 가장 끝단의 Fully connect layer는 n(임의의 크기) x m(클래스의 수)의 크기로 만들어지며, 이는 최종 분류 결과를 도출하기 위해 softmax 함수를 이용하여 사전에 설정된 클래스의 결과값에 대한 합이 1이 되도록 할 수 있다. The combined 2 stage network builds a new fully connected layer, and the most end fully connected layer is made with a size of n (arbitrary size) x m (number of classes), which uses the softmax function to derive the final classification result. can be used so that the sum of the result values of the class set in advance becomes 1.

최종적으로 구축된 2 Stage Network 인공지능 기반 반려동물 피부 병변 분류 모델은 반려동물 의료 데이터베이스부(600)에서 확보한 양질의 반려동물 피부 병변 이미지 및 임상 정보 데이터를 투입하여 최적의 하이퍼 파라미터(Hyper parameter)를 통해 학습이 진행될 수 있다. The finally constructed 2 Stage Network artificial intelligence-based companion animal skin lesion classification model uses the high-quality companion animal skin lesion image and clinical information data obtained from the companion animal medical database unit 600 to provide an optimal hyper parameter. learning can proceed.

학습 진행 과정은 하이퍼 파라미터(Hyper parameter)의 한 요소인 Batch size를 통해 각 stage별 Network에 일정 투입량이 결정되고, 투입된 학습 데이터는 활성화 함수를 거쳐 라벨링된 결과에 대한 손실 함수에 대한 최적화 알고리즘을 통해 반려동물 피부 병변을 분류하는 기준이 되는 특징점(Feature)에 대한 가중치(Weight)를 저장하게 된다. In the learning process, a certain amount of input to the network for each stage is determined through the batch size, which is one element of the hyper parameter, and the input training data goes through an activation function through an optimization algorithm for the loss function for the labeled result. A weight for a feature that is a criterion for classifying a companion animal skin lesion is stored.

상세하게는 최적의 가중치(Weight)를 도출하기 위해, 사용된 최적화 알고리즘은 경사하강법(Step gradient descent)으로 손실함수(Loss function)를 최소화하여, 각 노드별 활성화 함수 내 가중치(Weight), 편향(bias)을 최적화 할 수 있다.In detail, in order to derive the optimal weight, the optimization algorithm used minimizes the loss function with step gradient descent, so that the weight and bias in the activation function for each node are minimized. (bias) can be optimized.

결과적으로 이와 같은 방법을 통해 설정된 에폭(epoch) 수만큼 학습을 반복 진행할 수 있다.As a result, learning can be repeated as many as the number of epochs set through this method.

학습이 완료될 경우, 체크포인트 파일(Checkpoint file)(831) 형태로 저장되며, 여기에 모델 구조(graph)와 학습된 가중치인 가중치(weight), 편향(bias)이 저장될 수 있다.When the learning is completed, it is stored in the form of a checkpoint file 831, and a model structure (graph) and a weight and a bias that are learned weights may be stored therein.

추가적으로 필요 시, 기구축된 모델에서 Pruning, Quantization, Distillation 등 다양한 방법을 사용하여 경량화된 모델 구축이 가능하다. Additionally, if necessary, it is possible to build a lightweight model by using various methods such as pruning, quantization, and distillation from a conventional model.

인공지능 기반 반려동물 피부 병변 학습 결과 저장 모듈(740)은 학습 완료 후에 생성되는 체크포인트 파일(Checkpoint file)(831)을 저장할 수 있다.The artificial intelligence-based companion animal skin lesion learning result storage module 740 may store a checkpoint file 831 generated after completion of learning.

도 7 및 12를 참조하면, 반려동물 피부 병변 데이터 분류 추론부는, 반려동물 피부 병변 이미지 및 임상 정보를 수신할 수 있는 반려동물 피부 병변 추론 데이터 수신 모듈(810); 반려동물 피부 병변 이미지의 경계선을 돈독하게 하는 반려동물 피부 병변 추론 이미지 전처리 모듈(820); 인공지능 기반 반려동물 피부 병변 분류 모델을 통해 정해진 클래스 유형별 분류 결과를 도출할 수 있는 인공지능 기반 반려동물 피부 병변 추론 모듈(830); 클래스 유형별 분류 결과를 반려동물 피부 병변의 유무를 나타내는 이진 분류 결과로 도출할 수 있는 인공지능 기반 반려동물 피부 병변 이진 분류 모듈(840); 및 클래스 유형별 분류 결과 및 이진 분류 결과를 송신하는 인공지능 기반 반려동물 피부 병변 추론 결과 송신 모듈(850)을 포함할 수 있다.7 and 12 , the companion animal skin lesion data classification inference unit includes: a companion animal skin lesion inference data receiving module 810 capable of receiving a companion animal skin lesion image and clinical information; a companion animal skin lesion inference image pre-processing module 820 that strengthens the boundary of the companion animal skin lesion image; an artificial intelligence-based companion animal skin lesion inference module 830 capable of deriving classification results for each class type determined through an artificial intelligence-based companion animal skin lesion classification model; an artificial intelligence-based companion animal skin lesion binary classification module 840 capable of deriving a classification result for each class type as a binary classification result indicating the presence or absence of a companion animal skin lesion; and an artificial intelligence-based companion animal skin lesion inference result transmission module 850 that transmits classification results for each class type and binary classification results.

반려동물 피부 병변 분류 추론부(800)는 사용자가 확인을 원하는 반려동물 피부 병변 이미지 및 임상 정보를 상기 체크포인트 파일(Checkpoint file)(831)과 인공지능 기반 반려동물 피부 병변 분류 모델을 이용하여 피부 병변 클래스 및 피부 병변 유무를 분류하기 위한 구성이다.The companion animal skin lesion classification reasoning unit 800 uses the checkpoint file 831 and the artificial intelligence-based companion animal skin lesion classification model to obtain the companion animal skin lesion image and clinical information that the user wants to check. It is a configuration for classifying the lesion class and the presence or absence of skin lesions.

반려동물 피부 병변 분류 추론부(800)는 반려동물 피부 병변 추론 데이터 수신 모듈(810), 반려동물 피부 병변 추론 이미지 전처리 모듈(820), 인공지능 기반 반려동물 피부 병변 추론 모듈(830), 인공지능 기반 반려동물 피부 병변 이진 분류 모듈(840) 및 인공지능 기반 반려동물 피부 병변 추론 결과 송신 모듈(850)을 포함할 수 있다.The companion animal skin lesion classification inference unit 800 includes a companion animal skin lesion inference data receiving module 810, a companion animal skin lesion inference image preprocessing module 820, an artificial intelligence-based companion animal skin lesion inference module 830, and artificial intelligence. It may include a companion animal skin lesion binary classification module 840 and an AI-based companion animal skin lesion inference result transmission module 850 .

반려동물 피부 병변 추론 데이터 수신 모듈(810)은 사용자 모바일 어플리케이션(220)을 통해 분류 요청할 경우, 반려동물 의료 데이터 취득부(300)에서 취득된 반려동물 피부 병변 이미지와 체크리스트 형식의 임상 정보 데이터를 수신할 수 있다. The companion animal skin lesion inference data receiving module 810 receives the companion animal skin lesion image and checklist-type clinical information data obtained from the companion animal medical data acquisition unit 300 when a classification request is made through the user mobile application 220 . can receive

반려동물 피부 병변 추론 이미지 전처리 모듈(820)은 반려동물 피부 병변 추론 데이터 수신 모듈(810)에서 수신한 반려동물 피부 병변 이미지에 대하여 반려동물 피부 병변 학습 이미지 전처리 모듈(720)에서 사용된 Image enhancement 방법과 동일한 방법으로 이미지 전처리를 실시할 수 있다.The companion animal skin lesion inference image preprocessing module 820 is an image enhancement method used in the companion animal skin lesion learning image preprocessing module 720 for the companion animal skin lesion image received from the companion animal skin lesion inference data receiving module 810 . Image preprocessing can be performed in the same way as described above.

인공지능 기반 반려동물 피부 병변 추론 모듈(830)은 인공지능 기반 반려동물 피부 병변 추론 모델을 포함할 수 있다.The AI-based companion animal skin lesion inference module 830 may include an AI-based companion animal skin lesion inference model.

인공지능 기반 반려동물 피부 병변 추론 모델은 반려동물 피부 병변 분류 학습부(700)의 인공지능 기반 반려동물 피부 병변 분류 모델과 동일하게 구성될 수 있다.The artificial intelligence-based companion animal skin lesion inference model may have the same configuration as the artificial intelligence-based companion animal skin lesion classification model of the companion animal skin lesion classification learning unit 700 .

인공지능 기반 반려동물 피부 병변 추론 모델은 2 stage neural network로 구성될 수 있다.The artificial intelligence-based companion animal skin lesion inference model can be composed of a two-stage neural network.

인공지능 기반 반려동물 피부 병변 추론 모듈(830)은 반려동물 피부 병변 추론 이미지 전처리 모듈(820)에서 통과된 반려동물 피부 병변 이미지(832), 체크리스트 파일 형식의 임상정보(833) 및 반려동물 피부 병변 분류 학습부(700)에서 생성된 체크포인트 파일(Checkpoint file)(831)을 호출할 수 있다.The AI-based companion animal skin lesion inference module 830 includes the companion animal skin lesion image 832 passed in the companion animal skin lesion inference image preprocessing module 820, clinical information 833 in checklist file format, and companion animal skin The checkpoint file 831 generated by the lesion classification learning unit 700 may be called.

반려동물 피부 병변 이미지(Input image)(832)와 체크리스트 형식의 임상정보(Check list score)(833)는 호출된 체크포인트 파일(Checkpoint file)(831)과 함께 인공지능 기반 반려동물 피부 병변 추론 모듈(830)(830) 내 2 stage neural network 반려동물 피부 병변 분류 모델(Deep learning based classification model)(834)을 통해 특징점(Feature)을 바탕으로 추론하여, 최종 분류 결과 값(835, 836)을 도출할 수 있다.Companion animal skin lesion image (Input image) (832) and clinical information (Check list score) (833) in the form of a checklist are artificial intelligence-based companion animal skin lesion inference together with the called Checkpoint file (831) The final classification result values 835 and 836 are inferred based on the feature points through the 2 stage neural network deep learning based classification model 834 in the modules 830 and 830. can be derived

상세하게는 각 stage 별로 반려동물 피부 병변 이미지 데이터(832)와 체크리스트 형식의 임상정보 데이터(833)가 투입되어, 각 모델의 마지막 레이어에 있는 특징 벡터를 합쳐 사전에 설정된 반려동물 피부 병변 클래스인 종양, 알러지, 핥음육아종, 정상 등으로 분류 결과 값(835, 836)을 도출할 수 있다. In detail, companion animal skin lesion image data 832 and checklist-type clinical information data 833 are input for each stage, and feature vectors in the last layer of each model are combined to form a preset companion animal skin lesion class. Classification result values (835, 836) can be derived as tumor, allergy, granuloma licking, normal, and the like.

이후 인공지능 기반 반려동물 피부 병변 이진 분류 모듈(840)의 수식(도 9 참조)을 이용한 연산을 통해 정상 피부와 비정상 피부에 대한 이진 분류 결과를 동시에 도출하고, 이를 기존에 도출된 반려동물 피부 병변 다분류 클래스 결과와 함께 인공지능 기반 반려동물 피부 병변 추론 결과 송신 모듈(850)을 통해 클라우드 서버(500)로 전송할 수 있다.Thereafter, binary classification results for normal skin and abnormal skin are simultaneously derived through calculation using the formula (see FIG. 9 ) of the artificial intelligence-based companion animal skin lesion binary classification module 840, and the previously derived companion animal skin lesion The AI-based companion animal skin lesion inference result transmission module 850 together with the multi-classification class result may be transmitted to the cloud server 500 .

도 10을 참조하면, 반려동물 피부 병변 분류 결과 시각화부(100)는 반려동물 피부 병변 분류 추론부(800)를 통해 분류된 반려동물 피부 병변의 유무에 대한 결과 값, 상세한 피부 병변 종류에 대한 결과 값을 반려동물 의료 데이터 송수신부(400)을 거쳐 사용자 모바일 어플리케이션(220) 내 수치화된 정보로 시각화하여 제공할 수 있다.Referring to FIG. 10 , the companion animal skin lesion classification result visualization unit 100 provides a result value for the presence or absence of a companion animal skin lesion classified through the companion animal skin lesion classification inference unit 800 , and a detailed skin lesion type result. The value may be visualized and provided as digitized information in the user mobile application 220 through the companion animal medical data transceiver 400 .

우선적으로 시각화되는 화면 구성은 반려동물 피부 병변 유무에 해당하는 클래스와 결과 수치 값을 나타내는 이진 분류 시각화부(110), 반려동물 피부 병변이 있다고 분류될 경우, 화면 하단에 상세보기 단추(130)를 통해 세부적인 반려동물 피부 병변 종류에 대한 클래스와 결과 수치 값을 나타내는 다분류 시각화부(120)로써 정보를 제공한다. The screen configuration to be visualized preferentially consists of a binary classification visualization unit 110 indicating a class corresponding to the presence or absence of a companion animal skin lesion and a numerical value of the result, and a detailed view button 130 at the bottom of the screen when classified as having a companion animal skin lesion. It provides information as a multi-class visualization unit 120 that displays a class and a result numerical value for a detailed companion animal skin lesion type.

도 14를 참조하면, 본 발명의 바람직한 실시예에 따른 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 방법은,Referring to Figure 14, the AI-based companion animal skin lesion classification method using clinical and image information according to a preferred embodiment of the present invention,

사용자의 모바일 디바이스에 설치되는 어플리케이션(220)을 이용하는 반려동물 의료 플랫폼 접속부(200)를 통해 사용자를 인증하는 제1단계(S1);A first step (S1) of authenticating the user through the companion animal medical platform connection unit 200 using the application 220 installed on the user's mobile device (S1);

상기 모바일 디바이스의 반려동물 의료 데이터 취득부(300)를 통해 반려동물 피부 병변 이미지 및 임상 정보를 얻는 제2단계(S2);a second step (S2) of obtaining a companion animal skin lesion image and clinical information through the companion animal medical data acquisition unit 300 of the mobile device;

상기 모바일 디바이스의 반려동물 의료 데이터 송수신부(400)를 통해 상기 반려동물 피부 병변 이미지 및 임상 정보를 클라우드 서버(500)에 저장하는 제3단계(S3);a third step (S3) of storing the companion animal skin lesion image and clinical information in the cloud server 500 through the companion animal medical data transceiver 400 of the mobile device;

상기 클라우드 서버(500)에 저장되는 반려동물 피부 병변 이미지 및 임상 정보를 기반으로 인공지능 기반 반려동물 피부 병변 분류 모델을 이용하는 반려동물 피부 병변 분류 학습부(700)를 통해 체크포인트 파일(Checkpoint file)(831)을 생성하는 제4단계(S4);Checkpoint file through the companion animal skin lesion classification learning unit 700 using an artificial intelligence-based companion animal skin lesion classification model based on the companion animal skin lesion image and clinical information stored in the cloud server 500 a fourth step (S4) of generating (831);

반려동물 피부 병변 이미지 및 임상 정보를 상기 체크포인트 파일(Checkpoint file)(831)과 인공지능 기반 반려동물 피부 병변 분류 모델을 이용하는 반려동물 피부 병변 데이터 분류 추론부를 통해 피부 병변 클래스 및 피부 병변 유무를 분류하는 제5단계(S5); 및Classify the skin lesion class and the presence of skin lesions using the companion animal skin lesion image and clinical information through the checkpoint file 831 and the companion animal skin lesion data classification inference unit using the artificial intelligence-based companion animal skin lesion classification model a fifth step (S5); and

상기 모바일 디바이스의 반려동물 피부 병변 분류 결과 시각화부(100)를 통해 상기 제5단계에서 분류된 결과를 상기 어플리케이션(220)에 나타내는 제6단계(S6)를 포함할 수 있다.A sixth step (S6) of displaying the result classified in the fifth step on the application 220 through the companion animal skin lesion classification result visualization unit 100 of the mobile device may be included.

제4단계(S4)에서, 반려동물 피부 병변 분류 학습부(700)는, 클라우드 서버(500)에 저장되는 반려동물 피부 병변 이미지 및 임상 정보를 수신할 수 있는 반려동물 피부 병변 학습 데이터 수신 모듈(710); 반려동물 피부 병변 이미지의 경계선을 돈독하게 하는 반려동물 피부 병변 학습 이미지 전처리 모듈(720); 및 인공지능 기반 반려동물 피부 병변 분류 모델을 통해 하이퍼 파라미터를 설정하는 인공지능 기반 반려동물 피부 병변 학습 모듈(730)을 포함하고, 반려동물 피부 병변 학습 이미지 전처리 모듈(720)에서 가공되는 반려동물 피부 병변 이미지 및 임상 정보를 인공지능 기반 반려동물 피부 병변 학습 모듈(730)에서 학습을 반복 진행하여 체크포인트 파일(Checkpoint file)(831)을 생성할 수 있다.In the fourth step (S4), the companion animal skin lesion classification learning unit 700, the companion animal skin lesion learning data receiving module ( 710); a companion animal skin lesion learning image preprocessing module 720 that strengthens the boundary of the companion animal skin lesion image; and an artificial intelligence-based companion animal skin lesion learning module 730 that sets hyper parameters through an artificial intelligence-based companion animal skin lesion classification model, and companion animal skin processed in the companion animal skin lesion learning image preprocessing module 720 By repeatedly learning the lesion image and clinical information in the AI-based companion animal skin lesion learning module 730, a checkpoint file 831 may be generated.

제5단계(S5)에서, 반려동물 피부 병변 데이터 분류 추론부는, 반려동물 피부 병변 이미지 및 임상 정보를 수신할 수 있는 반려동물 피부 병변 추론 데이터 수신 모듈(810); 반려동물 피부 병변 이미지의 경계선을 돈독하게 하는 반려동물 피부 병변 추론 이미지 전처리 모듈(820); 인공지능 기반 반려동물 피부 병변 분류 모델을 통해 정해진 클래스 유형별 분류 결과를 도출할 수 있는 인공지능 기반 반려동물 피부 병변 추론 모듈(830); 클래스 유형별 분류 결과를 반려동물 피부 병변의 유무를 나타내는 이진 분류 결과로 도출할 수 있는 인공지능 기반 반려동물 피부 병변 이진 분류 모듈(840); 및 클래스 유형별 분류 결과 및 이진 분류 결과를 송신하는 인공지능 기반 반려동물 피부 병변 추론 결과 송신 모듈(850)을 포함할 수 있다.In a fifth step (S5), the companion animal skin lesion data classification inference unit includes: a companion animal skin lesion inference data receiving module 810 capable of receiving the companion animal skin lesion image and clinical information; a companion animal skin lesion inference image pre-processing module 820 that strengthens the boundary of the companion animal skin lesion image; an artificial intelligence-based companion animal skin lesion inference module 830 capable of deriving classification results for each class type determined through an artificial intelligence-based companion animal skin lesion classification model; an artificial intelligence-based companion animal skin lesion binary classification module 840 capable of deriving a classification result for each class type as a binary classification result indicating the presence or absence of a companion animal skin lesion; and an artificial intelligence-based companion animal skin lesion inference result transmission module 850 that transmits classification results for each class type and binary classification results.

여기서 인공 지능(artificial intelligence, AI)은, 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미할 수 있다. Here, artificial intelligence (AI) is a field of computer engineering and information technology that studies how computers can do the thinking, learning, and self-development that can be done with human intelligence. It could mean making it possible to imitate intelligent behavior.

또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.Also, AI does not exist by itself, but has many direct and indirect connections with other fields of computer science. In particular, in modern times, attempts are being made to introduce artificial intelligence elements in various fields of information technology and use them to solve problems in that field.

머신 러닝(machine learning)은 인공지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야를 포함할 수 있다. 구체적으로 머신 러닝은, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취할 수 있다.Machine learning is a branch of artificial intelligence, which can include fields of study that give computers the ability to learn without explicit programming. Specifically, machine learning can be said to be a technology that studies and builds a system and an algorithm for learning based on empirical data, making predictions, and improving its own performance. Algorithms in machine learning can take the approach of building specific models to make predictions or decisions based on input data, rather than executing strictly fixed, static program instructions.

이러한 인공신경망의 머신 러닝 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다.As a machine learning method of such an artificial neural network, both unsupervised learning and supervised learning may be used.

앞에서, 본 발명의 특정한 실시예가 설명되고 도시되었지만 본 발명은 기재된 실시예에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형할 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명한 일이다. In the foregoing, specific embodiments of the present invention have been described and illustrated, but it is common knowledge in the art that the present invention is not limited to the described embodiments, and that various modifications and variations can be made without departing from the spirit and scope of the present invention. It is self-evident to those who have

따라서 그러한 수정예 또는 변형예들은 본 발명의 기술적 사상이나 관점으로부터 개별적으로 이해되어서는 안 되며, 변형된 실시예들은 본 발명의 청구범위에 속한다고 하여야 할 것이다.Accordingly, such modifications or variations should not be individually understood from the technical spirit or point of view of the present invention, and it should be said that modified embodiments fall within the scope of the claims of the present invention.

100: 반려동물 피부 병변 분류 결과 시각화부
110: 이진 분류 시각화
120: 다분류 시각화
200: 반려동물 의료 플랫폼 접속부
210: 스마트폰
220: 어플리케이션
300: 반려동물 의료 데이터 취득부
310: 스마트폰 광학카메라 기반 이미지 취득 모듈
320: 체크리스트 형식의 임상정보 취득 모듈
400: 반려동물 의료 데이터 송수신부
410: 스마트폰 내장 통신 모듈
420: 네트워크 접속 모듈
500: 클라우드 서버
510: Network
520: Staging server
530: Gateway server
540: Load balancing server
550: Database server
560: Web application server 1
570: Web application server 2
600: 반려동물 의료 데이터베이스부
700: 반려동물 피부 병변 분류 학습부
710: 반려동물 피부 병변 학습 데이터 수신 모듈
720: 반려동물 피부 병변 학습 이미지 전처리 모듈
730: 인공지능 기반 반려동물 피부 병변 학습 모듈
740: 인공지능 기반 반려동물 피부 병변 학습 결과 저장 모듈
800: 반려동물 피부 병변 분류 추론부
810: 반려동물 피부 병변 추론 데이터 수신 모듈
820: 반려동물 피부 병변 추론 이미지 전처리 모듈
830: 인공지능 기반 반려동물 피부 병변 추론 모듈
840: 인공지능 기반 반려동물 피부 병변 이진 분류 모듈
850: 인공지능 기반 반려동물 피부 병변 추론 결과 송신 모듈
831: Checkpoint file
832: Input image
833: Check list score
834: Deep learning based classification model
835: Output image of classification result
836: Total score of classification result
S1: 제1단계
S2: 제2단계
S3: 제3단계
S4: 제4단계
S5: 제5단계
S6: 제6단계100: Companion animal skin lesion classification result visualization unit
110: Binary Classification Visualization
120: Multiclass Visualization
200: Companion animal medical platform connection unit
210: smartphone
220: application
300: Companion animal medical data acquisition unit
310: smartphone optical camera-based image acquisition module
320: checklist format clinical information acquisition module
400: Companion animal medical data transceiver
410: smartphone built-in communication module
420: network access module
500: cloud server
510: Network
520: Staging server
530: Gateway server
540: Load balancing server
550: Database server
560: Web application server 1
570: Web application server 2
600: Companion animal medical database unit
700: Companion animal skin lesion classification learning unit
710: Companion animal skin lesion learning data receiving module
720: companion animal skin lesion learning image preprocessing module
730: AI-based companion animal skin lesion learning module
740: AI-based companion animal skin lesion learning result storage module
800: Companion animal skin lesion classification reasoning unit
810: Companion animal skin lesion inference data receiving module
820: Companion animal skin lesion inference image preprocessing module
830: AI-based companion animal skin lesion inference module
840: AI-based companion animal skin lesion binary classification module
850: AI-based companion animal skin lesion inference result transmission module
831: checkpoint file
832: Input image
833: Check list score
834: Deep learning based classification model
835: Output image of classification result
836: Total score of classification result
S1: Step 1
S2: Step 2
S3: Step 3
S4: Step 4
S5: Step 5
S6: Step 6

Claims (7)

모바일 디바이스의 어플리케이션을 이용하는 반려동물 의료 플랫폼 접속부;
상기 모바일 디바이스를 통해 반려동물 피부 병변 이미지 및 임상 정보를 얻을 수 있는 반려동물 의료 데이터 취득부;
상기 모바일 디바이스를 통해 클라우드 서버와 통신할 수 있는 반려동물 의료 데이터 송수신부;
상기 반려동물 의료 데이터 송수신부를 통해 상기 클라우드 서버에 저장되는 반려동물 피부 병변 이미지, 임상 정보 및 사용자 정보를 관리할 수 있는 반려동물 의료 데이터베이스부;
상기 클라우드 서버에 저장되는 반려동물 피부 병변 이미지 및 임상 정보를 기반으로 인공지능 기반 반려동물 피부 병변 분류 모델을 이용하여 체크포인트 파일을 생성할 수 있는 반려동물 피부 병변 분류 학습부;
반려동물 피부 병변 이미지 및 임상 정보를 상기 체크포인트 파일과 인공지능 기반 반려동물 피부 병변 분류 모델을 이용하여 피부 병변 클래스 및 피부 병변 유무를 분류할 수 있는 반려동물 피부 병변 데이터 분류 추론부; 및
상기 반려동물 피부 병변 데이터 분류 추론부에서 분류된 결과를 상기 어플리케이션에 나타낼 수 있는 반려동물 피부 병변 분류 결과 시각화부를 포함하되,
상기 반려동물 의료 데이터베이스부는 상기 클라우드 서버에 축적되는 반려동물 피부 병변 이미지 및 임상 정보를 시각화된 데이터로 만들 수 있고, 상기 데이터가 반려동물 피부 병변 이미지가 아니거나 확인이 불가능하거나 소정의 패턴으로 마킹된 체크리스트 임상 정보인 경우에는 사용하지 않는 데이터로 분류할 수 있는 것을 특징으로 하는 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템.Companion animal medical platform connection unit using an application of a mobile device;
a companion animal medical data acquisition unit capable of obtaining a companion animal skin lesion image and clinical information through the mobile device;
a companion animal medical data transceiver capable of communicating with a cloud server through the mobile device;
a companion animal medical database unit capable of managing companion animal skin lesion images, clinical information, and user information stored in the cloud server through the companion animal medical data transmission and reception unit;
a companion animal skin lesion classification learning unit capable of generating a checkpoint file using an artificial intelligence-based companion animal skin lesion classification model based on the companion animal skin lesion image and clinical information stored in the cloud server;
a companion animal skin lesion data classification inference unit capable of classifying a skin lesion class and presence or absence of a skin lesion using the checkpoint file and an artificial intelligence-based companion animal skin lesion classification model using the companion animal skin lesion image and clinical information; and
Comprising a companion animal skin lesion classification result visualization unit capable of displaying the results classified by the companion animal skin lesion data classification inference unit to the application,
The companion animal medical database unit can make the companion animal skin lesion image and clinical information accumulated in the cloud server into visualized data, and the data is not a companion animal skin lesion image, cannot be confirmed, or is marked with a predetermined pattern. AI-based companion animal skin lesion classification system using clinical and image information, characterized in that in case of checklist clinical information, it can be classified as unused data. 제1항에 있어서,
상기 반려동물 피부 병변 분류 학습부는,
상기 클라우드 서버에 저장되는 반려동물 피부 병변 이미지 및 임상 정보를 수신할 수 있는 반려동물 피부 병변 학습 데이터 수신 모듈;
상기 반려동물 피부 병변 이미지의 경계선을 돈독하게 하는 반려동물 피부 병변 학습 이미지 전처리 모듈; 및
상기 인공지능 기반 반려동물 피부 병변 분류 모델을 통해 하이퍼 파라미터를 설정하는 인공지능 기반 반려동물 피부 병변 학습 모듈을 포함하고,
상기 반려동물 피부 병변 학습 이미지 전처리 모듈에서 가공되는 반려동물 피부 병변 이미지 및 임상 정보를 상기 인공지능 기반 반려동물 피부 병변 학습 모듈에서 학습을 반복 진행하여 체크포인트 파일을 생성하는 것을 특징으로 하는 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템.According to claim 1,
The companion animal skin lesion classification learning unit,
a companion animal skin lesion learning data receiving module capable of receiving the companion animal skin lesion image and clinical information stored in the cloud server;
a companion animal skin lesion learning image preprocessing module that strengthens the boundary of the companion animal skin lesion image; and
and an artificial intelligence-based companion animal skin lesion learning module that sets hyper parameters through the artificial intelligence-based companion animal skin lesion classification model,
Clinical and image, characterized in that the companion animal skin lesion image and clinical information processed in the companion animal skin lesion learning image preprocessing module are repeatedly learned in the artificial intelligence-based companion animal skin lesion learning module to generate a checkpoint file Artificial intelligence-based companion animal skin lesion classification system using information. 제1항에 있어서,
상기 반려동물 피부 병변 데이터 분류 추론부는,
반려동물 피부 병변 이미지 및 임상 정보를 수신할 수 있는 반려동물 피부 병변 추론 데이터 수신 모듈;
상기 반려동물 피부 병변 이미지의 경계선을 돈독하게 하는 반려동물 피부 병변 추론 이미지 전처리 모듈;
상기 인공지능 기반 반려동물 피부 병변 분류 모델을 통해 정해진 클래스 유형별 분류 결과를 도출할 수 있는 인공지능 기반 반려동물 피부 병변 추론 모듈;
상기 클래스 유형별 분류 결과를 반려동물 피부 병변의 유무를 나타내는 이진 분류 결과로 도출할 수 있는 인공지능 기반 반려동물 피부 병변 이진 분류 모듈; 및
상기 클래스 유형별 분류 결과 및 이진 분류 결과를 송신하는 인공지능 기반 반려동물 피부 병변 추론 결과 송신 모듈을 포함하는 것을 특징으로 하는 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템.According to claim 1,
The companion animal skin lesion data classification inference unit,
a companion animal skin lesion inference data receiving module capable of receiving the companion animal skin lesion image and clinical information;
a companion animal skin lesion inference image preprocessing module for tightening the boundary of the companion animal skin lesion image;
an artificial intelligence-based companion animal skin lesion inference module capable of deriving classification results for each class type determined through the artificial intelligence-based companion animal skin lesion classification model;
an artificial intelligence-based companion animal skin lesion binary classification module capable of deriving the classification result for each class type as a binary classification result indicating the presence or absence of a companion animal skin lesion; and
An artificial intelligence-based companion animal skin lesion classification system using clinical and image information, characterized in that it includes an artificial intelligence-based companion animal skin lesion inference result transmission module that transmits the classification result for each class type and the binary classification result. 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 인공지능 기반 반려동물 피부 병변 분류 모델은,
반려동물 피부 병변 이미지가 투입되는 합성곱 신경망과 임상 정보가 투입되는 인공신경망이 결합되는 2단계 네트워크를 포함하는 것을 특징으로 하는 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템.4. The method according to any one of claims 1 to 3,
The artificial intelligence-based companion animal skin lesion classification model is,
An artificial intelligence-based companion animal skin lesion classification system using clinical and image information, characterized in that it includes a two-step network in which a convolutional neural network to which images of companion animal skin lesions are input and an artificial neural network to which clinical information is input. 사용자의 모바일 디바이스에 설치되는 어플리케이션을 이용하는 반려동물 의료 플랫폼 접속부를 통해 사용자를 인증하는 제1단계;
상기 모바일 디바이스의 반려동물 의료 데이터 취득부를 통해 반려동물 피부 병변 이미지 및 임상 정보를 얻는 제2단계;
상기 모바일 디바이스의 반려동물 의료 데이터 송수신부를 통해 상기 반려동물 피부 병변 이미지 및 임상 정보를 클라우드 서버에 저장하는 제3단계;
상기 클라우드 서버에 저장되는 반려동물 피부 병변 이미지 및 임상 정보를 기반으로 인공지능 기반 반려동물 피부 병변 분류 모델을 이용하는 반려동물 피부 병변 분류 학습부를 통해 체크포인트 파일을 생성하는 제4단계;
반려동물 피부 병변 이미지 및 임상 정보를 상기 체크포인트 파일과 인공지능 기반 반려동물 피부 병변 분류 모델을 이용하는 반려동물 피부 병변 데이터 분류 추론부를 통해 피부 병변 클래스 및 피부 병변 유무를 분류하는 제5단계; 및
상기 모바일 디바이스의 반려동물 피부 병변 분류 결과 시각화부를 통해 상기 제5단계에서 분류된 결과를 상기 어플리케이션에 나타내는 제6단계를 포함하되,
반려동물 의료 데이터베이스부는 상기 클라우드 서버에 축적되는 반려동물 피부 병변 이미지 및 임상 정보를 시각화된 데이터로 만들 수 있고, 상기 데이터가 반려동물 피부 병변 이미지가 아니거나 확인이 불가능하거나 소정의 패턴으로 마킹된 체크리스트 임상 정보인 경우에는 사용하지 않는 데이터로 분류할 수 있는 것을 특징으로 하는 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 방법.A first step of authenticating the user through the companion animal medical platform connection using an application installed on the user's mobile device;
a second step of obtaining a companion animal skin lesion image and clinical information through the companion animal medical data acquisition unit of the mobile device;
a third step of storing the companion animal skin lesion image and clinical information in a cloud server through the companion animal medical data transceiver of the mobile device;
a fourth step of generating a checkpoint file through a companion animal skin lesion classification learning unit using an artificial intelligence-based companion animal skin lesion classification model based on the companion animal skin lesion image and clinical information stored in the cloud server;
a fifth step of classifying the skin lesion class and the presence of skin lesions using the companion animal skin lesion image and clinical information through the companion animal skin lesion data classification inference unit using the checkpoint file and the artificial intelligence-based companion animal skin lesion classification model; and
A sixth step of displaying the result classified in the fifth step to the application through the companion animal skin lesion classification result visualization unit of the mobile device,
The companion animal medical database unit can make the companion animal skin lesion image and clinical information accumulated in the cloud server into visualized data, and the data is not an image of a companion animal skin lesion, or it is impossible to check, or a check mark marked with a predetermined pattern An AI-based companion animal skin lesion classification method using clinical and image information, characterized in that list clinical information can be classified as unused data. 제5항에 있어서,
상기 제4단계에서,
상기 반려동물 피부 병변 분류 학습부는,
상기 클라우드 서버에 저장되는 반려동물 피부 병변 이미지 및 임상 정보를 수신할 수 있는 반려동물 피부 병변 학습 데이터 수신 모듈;
상기 반려동물 피부 병변 이미지의 경계선을 돈독하게 하는 반려동물 피부 병변 학습 이미지 전처리 모듈; 및
상기 인공지능 기반 반려동물 피부 병변 분류 모델을 통해 하이퍼 파라미터를 설정하는 인공지능 기반 반려동물 피부 병변 학습 모듈을 포함하고,
상기 반려동물 피부 병변 학습 이미지 전처리 모듈에서 가공되는 반려동물 피부 병변 이미지 및 임상 정보를 상기 인공지능 기반 반려동물 피부 병변 학습 모듈에서 학습을 반복 진행하여 체크포인트 파일을 생성하는 것을 특징으로 하는 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 방법.6. The method of claim 5,
In the fourth step,
The companion animal skin lesion classification learning unit,
a companion animal skin lesion learning data receiving module capable of receiving the companion animal skin lesion image and clinical information stored in the cloud server;
a companion animal skin lesion learning image preprocessing module that strengthens the boundary of the companion animal skin lesion image; and
and an artificial intelligence-based companion animal skin lesion learning module that sets hyper parameters through the artificial intelligence-based companion animal skin lesion classification model,
Clinical and image, characterized in that the companion animal skin lesion image and clinical information processed in the companion animal skin lesion learning image preprocessing module are repeatedly learned in the artificial intelligence-based companion animal skin lesion learning module to generate a checkpoint file A method of classifying skin lesions in companion animals based on artificial intelligence using information. 제5항에 있어서,
상기 제5단계에서,
상기 반려동물 피부 병변 데이터 분류 추론부는,
반려동물 피부 병변 이미지 및 임상 정보를 수신할 수 있는 반려동물 피부 병변 추론 데이터 수신 모듈;
상기 반려동물 피부 병변 이미지의 경계선을 돈독하게 하는 반려동물 피부 병변 추론 이미지 전처리 모듈;
상기 인공지능 기반 반려동물 피부 병변 분류 모델을 통해 정해진 클래스 유형별 분류 결과를 도출할 수 있는 인공지능 기반 반려동물 피부 병변 추론 모듈;
상기 클래스 유형별 분류 결과를 반려동물 피부 병변의 유무를 나타내는 이진 분류 결과로 도출할 수 있는 인공지능 기반 반려동물 피부 병변 이진 분류 모듈; 및
상기 클래스 유형별 분류 결과 및 이진 분류 결과를 송신하는 인공지능 기반 반려동물 피부 병변 추론 결과 송신 모듈을 포함하는 것을 특징으로 하는 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 방법.6. The method of claim 5,
In the fifth step,
The companion animal skin lesion data classification inference unit,
a companion animal skin lesion inference data receiving module capable of receiving the companion animal skin lesion image and clinical information;
a companion animal skin lesion inference image preprocessing module for tightening the boundary of the companion animal skin lesion image;
an artificial intelligence-based companion animal skin lesion inference module capable of deriving classification results for each class type determined through the artificial intelligence-based companion animal skin lesion classification model;
an artificial intelligence-based companion animal skin lesion binary classification module capable of deriving the classification result for each class type as a binary classification result indicating the presence or absence of a companion animal skin lesion; and
An AI-based companion animal skin lesion classification method using clinical and image information, characterized in that it includes an AI-based companion animal skin lesion inference result transmission module that transmits the classification result for each class type and the binary classification result.
KR1020210000701A 2021-01-05 2021-01-05 Companion animal skin lesion classification system and method based on artificial intelligence using clinical and image information KR102451102B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210000701A KR102451102B1 (en) 2021-01-05 2021-01-05 Companion animal skin lesion classification system and method based on artificial intelligence using clinical and image information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210000701A KR102451102B1 (en) 2021-01-05 2021-01-05 Companion animal skin lesion classification system and method based on artificial intelligence using clinical and image information

Publications (2)

Publication Number Publication Date
KR20220098869A KR20220098869A (en) 2022-07-12
KR102451102B1 true KR102451102B1 (en) 2022-10-06

Family

ID=82419957

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210000701A KR102451102B1 (en) 2021-01-05 2021-01-05 Companion animal skin lesion classification system and method based on artificial intelligence using clinical and image information

Country Status (1)

Country Link
KR (1) KR102451102B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102634477B1 (en) * 2022-11-21 2024-02-27 주식회사 인코클럽 Diagnosis system for using machine learning-based 2d skin image information and method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014223063A (en) * 2013-04-23 2014-12-04 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Pet health check apparatus, pet health check method, and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160054188A (en) 2014-11-06 2016-05-16 차상훈 Apparatus for measuring body composition for an animal
KR101812406B1 (en) * 2016-03-16 2017-12-27 동국대학교 산학협력단 The method and system for diagnosing skin disease
KR20200056674A (en) * 2018-11-15 2020-05-25 주식회사 유니메오 Integrated system, server and method for managing chronic disease of pet
KR102311654B1 (en) 2019-02-01 2021-10-08 장현재 Smart skin disease discrimination platform system constituting API engine for discrimination of skin disease using artificial intelligence deep run based on skin image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014223063A (en) * 2013-04-23 2014-12-04 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Pet health check apparatus, pet health check method, and program

Also Published As

Publication number Publication date
KR20220098869A (en) 2022-07-12

Similar Documents

Publication Publication Date Title
US11823106B2 (en) Location-based medical scan analysis system
Morshed et al. Deep osmosis: Holistic distributed deep learning in osmotic computing
CN110192252A (en) For assessing development condition and providing the method and apparatus of coverage and Control for Dependability
Srinivasagopalan et al. A deep learning approach for diagnosing schizophrenic patients
Alharbi et al. Using genetic algorithm and ELM neural networks for feature extraction and classification of type 2-diabetes mellitus
KR20200063299A (en) Method for providing skin care cosmetics recommendation serivce using bigdata based ai machine learning
US20220115135A1 (en) Machine Learning Systems and Methods for Assessing Medical Interventions for Utilization Review
US20190370387A1 (en) Automatic Processing of Ambiguously Labeled Data
US20230351204A1 (en) Selecting a training dataset with which to train a model
Kaur et al. IC-SMART: IoTCloud enabled seamless monitoring for Alzheimer diagnosis and rehabilitation system
KR102451102B1 (en) Companion animal skin lesion classification system and method based on artificial intelligence using clinical and image information
KR102494380B1 (en) Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image
Khan et al. Incorporating deep learning methodologies into the creation of healthcare systems
Rafay et al. EyeCNN: exploring the potential of convolutional neural networks for identification of multiple eye diseases through retinal imagery
Murad et al. AI powered asthma prediction towards treatment formulation: An android app approach
Lamia et al. Detection of pneumonia infection by using deep learning on a mobile platform
Omara et al. A field-based recommender system for crop disease detection using machine learning
CN111382807A (en) Image processing method, image processing device, computer equipment and storage medium
Songram et al. A study of features affecting on stroke prediction using machine learning
EP3477652A1 (en) Matching a subject to resources
Murphy et al. A guide to optometrists for appraising and using artificial intelligence in clinical practice
VeerasekharReddy et al. Diet Recommendation System for Human Health Using Machine Learning
Nogales et al. How Do Thermography Colors Influence Breast Cancer Diagnosis? A Hybrid Model of Convolutional Networks with a Weighted Average Evolutionary Algorithm
JP2020190913A (en) Image-reading supporting device and method for supporting image-reading
Ramesh et al. A remote health monitoring framework for heart disease and diabetes prediction using advanced artificial intelligence model

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant