KR102494384B1 - Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image - Google Patents

Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image Download PDF

Info

Publication number
KR102494384B1
KR102494384B1 KR1020210102116A KR20210102116A KR102494384B1 KR 102494384 B1 KR102494384 B1 KR 102494384B1 KR 1020210102116 A KR1020210102116 A KR 1020210102116A KR 20210102116 A KR20210102116 A KR 20210102116A KR 102494384 B1 KR102494384 B1 KR 102494384B1
Authority
KR
South Korea
Prior art keywords
stool
information
diaper
training
color
Prior art date
Application number
KR1020210102116A
Other languages
Korean (ko)
Other versions
KR20220121152A (en
Inventor
전정욱
정윤석
Original Assignee
주식회사 넘버제로
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넘버제로 filed Critical 주식회사 넘버제로
Priority to KR1020210102116A priority Critical patent/KR102494384B1/en
Publication of KR20220121152A publication Critical patent/KR20220121152A/en
Application granted granted Critical
Publication of KR102494384B1 publication Critical patent/KR102494384B1/en

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

기저귀 대변 이미지를 활용한 아기 건강 진단 솔루션 제공 방법, 장치 및 시스템이 개시된다. 일실시예에 따른 기저귀 대변 이미지를 활용한 아기 건강 진단 솔루션 제공 방법은, 식별자의 기저귀 대변 이미지를 획득하고, 기저귀 대변 이미지로부터 대변 객체 및 색상 코드를 검출하며, 색상 코드에 기초하여, 대변 객체를 전처리하고, 전처리된 대변 객체를 처리하여 식별자의 대변 상태 판단 결과를 생성한다.A method, apparatus, and system for providing a baby health diagnosis solution using diaper feces images are disclosed. A method for providing a baby health diagnosis solution using a diaper stool image according to an embodiment includes acquiring a diaper stool image of an identifier, detecting a stool object and a color code from the diaper stool image, and based on the color code, a stool object. Preprocessing is performed, and the preprocessed credit object is processed to generate the result of determining the credit status of the identifier.

Description

기저귀 대변 이미지를 활용한 아기 건강 진단 솔루션 제공 방법, 장치 및 시스템{METHOD, APPARATUS AND SYSTEM FOR PROVIDING BABY HEALTH DIAGNOSIS SOLUTION BY USING DIAPERSTOOL IMAGE}Method, apparatus and system for providing baby health diagnosis solution using diaper feces image

아래 실시예들은 기저귀 대변 이미지를 활용한 아기 건강 진단 솔루션 제공 방법, 장치 및 시스템에 관한 것이다.The following embodiments relate to a method, apparatus, and system for providing a baby health diagnosis solution using a diaper feces image.

실시예들과 관련된 배경기술로, 대한민국 공개특허공보 KR 10-2020-0141776 A는 대변 이미지를 이용한 영유아 건강 관리 방법 및 장치를 개시한다.  구체적으로, 선행문헌은 대변 이미지와 더불어 바이탈 사인 데이터 및 병원 기록 데이터 중 적어도 하나 이상의 데이터를 기 설정된 시간 동안 시계열적으로 수집하는 단계와, 수집한 대변 이미지 각각의 분석을 통해 대변 상태 정보를 도출하는 단계와, 대변 상태 정보와 획득한 데이터를 기반으로 정상 상태, 질환 상태 및 건강 상태별 판단용 대변 상태 정보를 생성하여 사용자 데이터베이스에 저장하는 단계와, 이후, 영유아의 대변 이미지를 획득하는 단계와, 이후 획득한 대변 이미지에 대한 분석을 통해 대변 상태 정보를 생성하는 단계와, 대변 상태 정보와 사용자 데이터베이스에 저장된 정상 상태, 질환 상태 및 건강 상태별 판단용 대변 상태 변화 정보간의 비교를 통해 대변 상태 정보와 기 설정된 임계 범위 내에서 일치한 판단용 대변 상태 정보가 사용자 데이터베이스에 존재하는지를 판단하는 단계와, 판단 결과, 일치한 판단용 대변 상태 정보가 존재할 경우 영유아의 상태 판단 정보를 생성하는 단계와, 생성한 상태 판단 정보를 기 등록된  사용자측 단말에 전송하는 단계를 포함하는 대변 이미지 기반의 영유아 건강 관리 방법을 개시한다.As background art related to the embodiments,  Korean Patent Laid-Open Publication  KR 10-2020-0141776 A discloses a method and apparatus for managing health of infants and young children using stool images. Specifically, in the preceding literature, time-sequentially collecting at least one or more of vital sign data and hospital record data along with stool images for a predetermined time period, and deriving stool condition information through analysis of each collected stool image The step of generating and storing stool condition information for determination by normal state, disease state, and health state in a user database based on stool state information and acquired data, and then, obtaining stool images of infants, Thereafter, the step of generating stool condition information through analysis of the acquired stool image, and the stool state information and stool state information and Determining whether feces condition information matched within a predetermined threshold range exists in the user database, and, as a result of the determination, if there is matched stool condition information, generating infant condition determination information; Disclosed is a stool image-based health management method for infants and young children, which includes transmitting state determination information to pre-registered user-side terminals.

이를 통해, 선행문헌은 영유아의 대변 이미지와 더불어 병원 기록 데이터, 섭식 기록 데이터 및 바이탈 사인 데이터 중 적어도 하나 이상을 이용하여 영유아의 상태별 판단용 대변 상태 정보를 생성한 후 이를 기반으로 대변 이미지를 이용하여 영유아의 상태를 판단함으로써, 영유아의 건강 관리에 도움을 줄 수 있다.Through this, the preceding literature uses at least one or more of hospital record data, feeding record data, and vital sign data along with stool images of infants to generate stool condition information for determining each condition of infants, and then use the stool image based on this. By determining the condition of infants and young children, it is possible to help in health management of infants and young children.

또한, 대한민국 공개특허공보 KR 10-2020-0119135 A는 신경망 모듈을 이용한 대변상태 분석방법 및 이를 위한 시스템을 개시한다. 구체적으로, 선행문헌은 환자의 신체에 장착되는 자동 배설물 처리장치의 장착구에 설치된 온도센서, 습도센서, 자이로센서, 가스센서, 및 이미지센서로부터 각각, 미리 결정된 시구간 동안의 온도정보, 습도정보, 상기 환자의 자세정보, 가스정보, 및 이미지정보를 수집하여 상기 수집된 정보들에 대한 전처리 단계를 수행하도록 되어 있는, 처리부 및 상기 전처리 단계가 수행되어 상기 처리부로부터 출력된 입력정보인 온도값, 습도값, 자세값, 가스농도값, 가스발생횟수, 및 이미지값을 입력받아 상기 환자의 대변상태값을 출력하는 신경망 모듈을 포함하는, 서버를 개시한다.In addition, Korean Patent Laid-Open Publication No. KR 10-2020-0119135 A discloses a stool condition analysis method using a neural network module and a system therefor. Specifically, the prior literature provides temperature information and humidity information for a predetermined time period, respectively, from a temperature sensor, a humidity sensor, a gyro sensor, a gas sensor, and an image sensor installed at a mounting hole of an automatic excreta disposal device mounted on a patient's body. , a processing unit configured to collect the patient's posture information, gas information, and image information and perform a pre-processing step on the collected information, and a temperature value that is input information output from the processing unit after the pre-processing step is performed; Disclosed is a server including a neural network module that receives a humidity value, a posture value, a gas concentration value, a gas generation frequency, and an image value and outputs a stool condition value of the patient.

이를 통해, 선행문헌은 신경망 모듈을 이용하여 환자의 대변상태를 분석하는 방법 및 이를 위한 서버를 제공할 수 있다.Through this, the prior literature can provide a method for analyzing a patient's stool condition using a neural network module and a server therefor.

그러나 선행문헌들은 식별자의 기저귀 대변 이미지를 획득하고, 기저귀 대변 이미지로부터 대변 객체 및 색상 코드를 검출하며, 색상 코드에 기초하여, 대변 객체를 전처리하고, 전처리된 대변 객체를 처리하여 식별자의 대변 상태 판단 결과를 생성하는 기술적 특징을 개시하지 않는다.However, prior literatures obtain a diaper stool image of an identifier, detect a stool object and color code from the diaper stool image, preprocess the stool object based on the color code, and process the preprocessed stool object to determine the stool status of the identifier. It does not disclose the technical features that produce the result.

대한민국 공개특허공보 KR 10-2020-0141776 ARepublic of Korea Patent Publication KR 10-2020-0141776 A 대한민국 공개특허공보 KR 10-2020-0119135 ARepublic of Korea Patent Publication KR 10-2020-0119135 A

실시예들은 기저귀 대변 이미지를 이용하여 식별자의 대변 상태 판단 결과를 생성하고자 한다.Embodiments attempt to generate a stool state determination result of an identifier using a diaper stool image.

실시예들은 기저귀 대변 이미지에 포함된 색상 코드를 이용하여 대변 객체를 전처리 하고자 한다.Embodiments attempt to pre-process a stool object using a color code included in a diaper stool image.

실시예들은 뉴럴 네트워크를 이용하여 대변 객체들의 상태를 학습하고자 한다.Embodiments attempt to learn the state of fecal objects using a neural network.

본 발명의 실시예에 따른 아기 건강 진단 솔루션 제공 방법은, 식별자의 기저귀 대변 이미지를 획득하는 단계; 상기 기저귀 대변 이미지로부터 대변 객체 및 색상 코드를 검출하는 단계; 상기 색상 코드에 기초하여, 상기 대변 객체를 전처리하는 단계; 및 상기 전처리된 대변 객체를 처리하여 상기 식별자의 대변 상태 판단 결과를 생성하는 단계를 포함할 수 있다.A method for providing a baby health diagnosis solution according to an embodiment of the present invention includes acquiring a diaper feces image of an identifier; detecting a stool object and a color code from the diaper stool image; pre-processing the feces object based on the color code; and processing the pre-processed feces object to generate a feces condition determination result of the identifier.

일 실시예로서, 상기 색상 코드를 검출하는 단계는, 트레이닝 기저귀 대변 이미지들을 획득하는 단계; 상기 트레이닝 기저귀 대변 이미지들로부터 트레이닝 색상 코드들을 추출하는 단계; 상기 트레이닝 색상 코드들에 대해서 미리 정의된 색 정보를 나타내는 제1 레이블들을 획득하는 단계; 상기 트레이닝 색상 코드들을 미리 학습된 제1 뉴럴 네트워크로 적용하여, 상기 트레이닝 색상 코드들에 대응하는 트레이닝 출력들을 생성하는 단계; 및 상기 트레이닝 출력들 및 상기 제1 레이블들에 기초하여, 상기 제1 뉴럴 네트워크를 학습시키는 단계를 포함할 수 있다.As an embodiment, the detecting of the color code may include obtaining training diaper stool images; extracting training color codes from the training diaper stool images; obtaining first labels indicating predefined color information for the training color codes; generating training outputs corresponding to the training color codes by applying the training color codes to a pretrained first neural network; and training the first neural network based on the training outputs and the first labels.

일 실시예로서, 상기 대변 객체를 전처리하는 단계는 상기 색상 코드의 굴곡을 평탄화하는 단계; 상기 색상 코드의 색상들을 검출하는 단계; 상기 색상 코드의 색상들에 대해서 미리 정의된 색 정보와 상기 검출된 색상들을 비교하여 색상 보정값을 생성하는 단계; 및 상기 색상 보정값을 이용하여 상기 대변 객체의 색상을 보정하는 단계를 포함할 수 있다.As an embodiment, the pre-processing of the feces object may include flattening a curve of the color code; detecting colors of the color code; generating a color correction value by comparing predefined color information for the colors of the color code with the detected colors; and correcting the color of the stool object using the color correction value.

일 실시예로서, 상기 대변 객체를 전처리하는 단계는 상기 색상 코드의 미리 정의된 크기 정보를 이용하여 상기 대변 객체의 크기를 산출하는 단계를 포함할 수 있다.As an embodiment, the pre-processing of the feces object may include calculating the size of the feces object using predefined size information of the color code.

일 실시예로서, 상기 대변 상태 판단 결과를 생성하는 단계는 상기 전처리된 대변 객체를 이용하여 대변의 상태 - 상기 대변의 상태는 설사 변비, 정상, 매우됨, 됨, 약간됨, 보통, 약간 묽음, 묽음, 및 매우 묽음 중 적어도 하나의 상태를 포함함 - 를 분류하는 단계; 및 상기 분류된 대변 상태에 따라서 상기 식별자의 건강 상태 정보를 생성하는 단계를 포함할 수 있다.As an embodiment, the step of generating the stool state determination result is the state of stool using the preprocessed stool object - the state of the stool is diarrhea constipation, normal, very, very, slightly, normal, slightly watery, classifying - including at least one of thin and very thin; and generating health state information of the identifier according to the classified stool condition.

일 실시예로서, 상기 식별자의 개인 정보 - 상기 개인 정보는 상기 식별자의 나이, 성별 및 알레르기 정보 중 적어도 하나를 포함함 - 및 섭취 음식 정보 - 상기 섭취 음식 정보는 모유 수유 여부, 이유식 종류 및 먹는 음식 중 적어도 하나를 포함함 - 를 수신하는 단계; 트레이닝 기저귀 대변 이미지들을 획득하는 단계; 상기 트레이닝 기저귀 대변 이미지들로부터 트레이닝 대변 객체들을 추출하는 단계; 상기 식별자의 개인 정보 및 섭취 음식 정보에 따른 상기 트레이닝 대변 객체들의 상태를 나타내는 제1 레이블들을 획득하는 단계; 상기 트레이닝 대변 객체들을 미리 학습된 제1 뉴럴 네트워크로 적용하여, 상기 트레이닝 대변 객체들에 대응하는 트레이닝 출력들을 생성하는 단계; 및 상기 트레이닝 출력들 및 상기 제1 레이블들에 기초하여, 상기 제1 뉴럴 네트워크를 학습시키는 단계를 더 포함할 수 있다.As an embodiment, personal information of the identifier - the personal information includes at least one of age, gender, and allergy information of the identifier - and food intake information - the food intake information includes breastfeeding status, type of baby food, and food to be eaten including at least one of: receiving; obtaining training diaper stool images; extracting training stool objects from the training diaper stool images; acquiring first labels representing states of the training fecal objects according to the personal information and food information of the identifier; generating training outputs corresponding to the training stool objects by applying the training stool objects to a pretrained first neural network; and training the first neural network based on the training outputs and the first labels.

일 실시예로서, 상기 전처리된 대변 객체를 전문가 단말로 전송하는 단계; 및 상기 전문가 단말로부터 상기 전처리된 대변 객체에 대한 피드백 정보를 수신하는 단계를 더 포함할 수 있다.As an embodiment, transmitting the preprocessed stool object to an expert terminal; and receiving feedback information on the preprocessed stool object from the expert terminal.

일 실시예로서, 상기 피드백 정보에 따라서 병원 내원이 필요한 경우 병원 예약 요청을 전송하는 단계; 및 상기 병원 예약 요청에 기초하여 병원 예약을 수행하는 단계를 더 포함할 수 있다.As an embodiment, transmitting a hospital reservation request when a visit to the hospital is required according to the feedback information; and making a hospital reservation based on the hospital reservation request.

일 실시예로서, 상기 분류된 대변의 상태 각각에 가중치를 부여하는 단계; 상기 식별자에 대하여 미리 설정된 기간 동안의 제1 기저귀 대변 이미지들 획득하는 단계; 상기 제1 기저귀 대변 이미지들 각각으로부터 대변의 상태들을 추출하는 단계; 상기 추출된 대변의 상대들 각각에 대하여 상기 부여된 가중치를 곱하고 합산하여 소화력 지수를 산출하는 단계; 및 상기 소화력 지수에 기초하여 상기 식별자의 소화력 순위를 산출하는 단계를 더 포함할 수 있다.As an embodiment, assigning a weight to each state of the classified feces; obtaining first diaper stool images for a period preset for the identifier; extracting stool conditions from each of the first diaper stool images; Calculating a digestibility index by multiplying and summing the assigned weights for each of the opponents of the extracted feces; and calculating a ranking of digestibility of the identifier based on the digestibility index.

일 실시예로서, 상기 생성된 대변 상태 판단 결과에 기초하여 상기 식별자의 제1 신체나이 지수를 산출하는 단계; 상기 개인 정보를 이용하여 상기 식별자의 제2 신체나이 지수를 산출하는 단계; 상기 섭취 음식 정보를 이용하여 상기 식별자의 제3 신체나이 지수를 산출하는 단계; 상기 제1 내지 제3 신체나이 지수 각각에 가중치를 부여하는 단계; 상기 제1 내지 제3 신체나이 지수와 상기 제1 내지 제3 신체나이 지수 각각에 부여된 가중치를 곱한 값의 평균을 산출하는 단계; 및 산출된 평균을 최종 신체나이 지수로 생성하는 단계를 더 포함할 수 있다.As an embodiment, calculating a first body age index of the identifier based on the generated stool condition determination result; calculating a second body age index of the identifier using the personal information; calculating a third body age index of the identifier by using the food intake information; assigning a weight to each of the first to third body age indices; calculating an average of values obtained by multiplying the first to third body age indices by weights assigned to the first to third body age indices; and generating the calculated average as a final body age index.

일 실시예로서, 상기 기저귀 대변 이미지를 획득하는 단계는, 제1 사용자 단말로부터 제1 파트 기저귀 대변 이미지를 수신하는 단계; 제2 사용자 계정이 로그인된 제2 사용자 단말로부터 제2 파트 기저귀 대변 이미지를 수신하는 단계; 상기 제1 파트 기저귀 대변 이미지 및 상기 제2 파트 기저귀 대변 이미지를 결합하여 제1 기저귀 대변 이미지를 생성하는 단계; 상기 제1 기저귀 대변 이미지에서 상기 제1 파트 기저귀 대변 이미지가 차지하는 비율인 제1 비율을 획득하고, 상기 제1 기저귀 대변 이미지에서 상기 제2 파트 기저귀 대변 이미지가 차지하는 비율인 제2 비율을 획득하는 단계; 상기 제1 비율이 상기 제2 비율 보다 큰 것으로 확인되면, 상기 제1 사용자 계정의 정보를 상기 제1 기저귀 대변 이미지의 제1 저작자 정보로 등록하고, 상기 제2 사용자 계정의 정보를 상기 제1 기저귀 대변 이미지의 제2 저작자 정보로 등록하는 단계; 상기 제1 비율이 상기 제2 비율 보다 작은 것으로 확인되면, 상기 제2 사용자 계정의 정보를 상기 제1 기저귀 대변 이미지의 제1 저작자 정보로 등록하고, 상기 제1 사용자 계정의 정보를 상기 제1 기저귀 대변 이미지의 제2 저작자 정보로 등록하는 단계; 상기 제1 기저귀 대변 이미지의 원저작자 정보와 상기 제1 사용자 계정의 정보 및 상기 제2 사용자 계정의 정보 중 어느 하나가 일치하는지 여부를 확인하는 단계; 상기 제1 기저귀 대변 이미지의 원저작자 정보와 상기 제1 사용자 계정의 정보 및 상기 제2 사용자 계정의 정보가 모두 일치하지 않는 것으로 확인되면, 상기 제1 기저귀 대변 이미지를 상기 제2 기저귀 대변 이미지의 수정으로 생성된 2차 저작물로 판정하는 단계; 상기 제1 비율이 상기 제2 비율 보다 큰 것으로 확인되면, 상기 제1 사용자 계정의 정보를 상기 제1 기저귀 대변 이미지의 제1 저작자 정보로 등록하고, 상기 제2 사용자 계정의 정보를 상기 제1 기저귀 대변 이미지의 제2 저작자 정보로 등록하고, 상기 제1 기저귀 대변 이미지의 원저작자로 등록된 제3 사용자 계정의 정보를 상기 제1 기저귀 대변 이미지의 제3 저작자를 나타내는 제3 저작자 정보로 등록하는 단계; 및 상기 제1 비율이 상기 제2 비율 보다 작은 것으로 확인되면, 상기 제2 사용자 계정의 정보를 상기 제1 기저귀 대변 이미지의 제1 저작자 정보로 등록하고, 상기 제1 사용자 계정의 정보를 상기 제1 기저귀 대변 이미지의 제2 저작자 정보로 등록하고, 상기 제3 사용자 계정의 정보를 상기 제1 기저귀 대변 이미지의 제3 저작자 정보로 등록하는 단계를 포함할 수 있다.As an embodiment, the obtaining of the diaper feces image may include receiving a first part diaper feces image from a first user terminal; Receiving a second part diaper stool image from a second user terminal to which a second user account is logged in; generating a first diaper feces image by combining the first part diaper feces image and the second part diaper feces image; Obtaining a first ratio, which is a ratio occupied by the first part diaper stool image in the first diaper stool image, and obtaining a second ratio, which is a ratio occupied by the second part diaper stool image in the first diaper stool image ; When it is determined that the first ratio is greater than the second ratio, information of the first user account is registered as first author information of the first diaper feces image, and information of the second user account is registered as information of the first diaper feces image. registering the feces image as second author information; If it is confirmed that the first ratio is smaller than the second ratio, the information of the second user account is registered as the first author information of the first diaper feces image, and the information of the first user account is registered as the first diaper feces image. registering the feces image as second author information; confirming whether information about the original author of the first diaper feces image matches any one of information of the first user account and information of the second user account; If it is determined that the original author information of the first diaper feces image, the information of the first user account, and the information of the second user account do not all match, the first diaper stool image is modified to the second diaper stool image. Step of judging the generated secondary work; When it is determined that the first ratio is greater than the second ratio, information of the first user account is registered as first author information of the first diaper feces image, and information of the second user account is registered as information of the first diaper feces image. Registering information of a third user account registered as the original author of the first diaper stool image and registering information of a third user account registered as the original author of the first diaper stool image as second author information of the stool image as third author information indicating a third author of the first diaper stool image; and if it is determined that the first ratio is smaller than the second ratio, register information of the second user account as first author information of the first diaper stool image, and register information of the first user account as information of the first diaper feces image. and registering information of the third user account as second author information of the diaper feces image, and registering information of the third user account as third author information of the first diaper feces image.

본 발명의 실시예에 따른 컴퓨터 프로그램은, 상기한 아기 건강 진단 솔루션 제공 방법을 컴퓨터에서 실행하기 위하여 컴퓨터 판독 가능한 기록 매체에 저장될 수 있다.A computer program according to an embodiment of the present invention may be stored in a computer readable recording medium in order to execute the method for providing a baby health diagnosis solution on a computer.

본 발명의 실시예에 따른 아기 건강 진단 솔루션 제공 장치는, 식별자에 대응하는 기저귀 대변 이미지들을 획득하여 저장하는 메모리; 및 상기 기저귀 대변 이미지로부터 대변 객체 및 색상 코드를 검출하고, 상기 색상 코드에 기초하여, 상기 대변 객체를 전처리하며, 상기 전처리된 대변 객체를 처리하여 상기 식별자의 대변 상태 판단 결과를 생성하는 프로세서를 포함할 수 있다.An apparatus for providing a baby health diagnosis solution according to an embodiment of the present invention includes a memory for obtaining and storing diaper stool images corresponding to identifiers; And a processor for detecting a stool object and a color code from the diaper stool image, preprocessing the stool object based on the color code, and generating a stool state determination result of the identifier by processing the preprocessed stool object. can do.

실시예들은 색상 코드를 포함하는 기저귀 대변 이미지를 학습 모델 기반으로 분석하여 기저귀 촬영 환경과 카메라 사양에 따라 변화하는 기저귀 대변 이미지를 표준화하고, 대변 이미지의 분석 왜곡을 방지할 수 있다. 이로 인해서, 기저귀 대변 이미지를 분석하여 아기의 대변으로부터 색깔과 모양에 따른 보다 정확하고 신속하게 건강 상태 정보를 제공할 수 있다.Embodiments analyze diaper feces images including color codes based on a learning model to standardize diaper feces images that change according to diaper photographing environments and camera specifications, and prevent analysis distortion of feces images. Due to this, it is possible to more accurately and quickly provide health status information according to color and shape from the baby's feces by analyzing the diaper feces image.

도 1은 일실시예에 따른 기저귀 대변 이미지를 활용한 아기 건강 진단 솔루션 제공 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 아기 건강 진단 솔루션 제공 장치를 설명하기 위한 도면이다.
도 4는 일실시예에 따른 필요 아기 건강 진단 솔루션 제공 방법의 흐름도이다.
도 5는 일실시예에 따른 장치의 구성의 예시도이다.
도 6 내지 도 14는 일실시예에 따른 아기 건강 진단 솔루션의 어플리케이션 구현예이다.
1 is a diagram for explaining a system for providing a baby health diagnosis solution using a diaper feces image according to an embodiment.
2 is a diagram for explaining learning of a neural network according to an embodiment of the present invention.
3 is a diagram for explaining an apparatus for providing a baby health diagnosis solution according to an embodiment.
4 is a flowchart of a method for providing a necessary baby health diagnosis solution according to an embodiment.
5 is an exemplary diagram of a configuration of a device according to an embodiment.
6 to 14 are application implementation examples of a baby health diagnosis solution according to an embodiment.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes can be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all changes, equivalents or substitutes to the embodiments are included within the scope of rights.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for illustrative purposes only, and may be modified and implemented in various forms. Therefore, the embodiments are not limited to the specific disclosed form, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical spirit.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various components, such terms should only be construed for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It should be understood that when an element is referred to as being “connected” to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in the examples are used only for descriptive purposes and should not be construed as limiting. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "include" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are given to the same components regardless of reference numerals, and overlapping descriptions thereof will be omitted. In describing the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description will be omitted.

실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. The embodiments may be implemented in various types of products such as personal computers, laptop computers, tablet computers, smart phones, televisions, smart home appliances, intelligent vehicles, kiosks, and wearable devices.

인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 규칙(Rule) 기반의 스마트 시스템과 달리 기계가 스스로 학습하고 판단하는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반의 스마트 시스템은 점차 심층 학습(Deep Learning) 기반 인공지능 시스템으로 대체되고 있다.An artificial intelligence (AI) system is a computer system that implements human-level intelligence, and unlike existing rule-based smart systems, machines learn and judge on their own. The more AI systems are used, the higher the recognition rate and the more accurate understanding of user preferences. Conventional rule-based smart systems are gradually being replaced by deep learning-based AI systems.

인공지능 기술은 기계 학습 및 기계 학습을 활용한 요소기술들로 구성된다. 기계 학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 심층 학습 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.Artificial intelligence technology consists of machine learning and element technologies using machine learning. Machine learning is an algorithm technology that classifies/learns the characteristics of input data by itself, and element technology is a technology that uses machine learning algorithms such as deep learning to mimic functions such as recognition and judgment of the human brain. It consists of technical fields such as understanding, inference/prediction, knowledge expression, and motion control.

인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.The various fields where artificial intelligence technology is applied are as follows. Linguistic understanding is a technology for recognizing and applying/processing human language/characters, including natural language processing, machine translation, dialogue systems, question and answering, voice recognition/synthesis, and the like. Visual understanding is a technology for recognizing and processing objects like human vision, and includes object recognition, object tracking, image search, person recognition, scene understanding, space understanding, image improvement, and the like. Inference prediction is a technique of reasoning and predicting logically by judging information, and includes knowledge/probability-based reasoning, optimization prediction, preference-based planning, and recommendation. Knowledge expression is a technology that automatically processes human experience information into knowledge data, and includes knowledge construction (data creation/classification) and knowledge management (data utilization). Motion control is a technology for controlling the autonomous driving of a vehicle and the movement of a robot, and includes motion control (navigation, collision, driving), manipulation control (action control), and the like.

일반적으로 기계 학습 알고리즘을 실생활에 적용하기 위해서는 기계 학습의 기본 방법론의 특성상 Trial and Error 방식으로 학습을 수행하게 된다. 특히, 심층 학습의 경우 수십만 번의 반복 실행을 필요로 한다. 이를 실제 물리적인 외부 환경에서 실행하기는 불가능하여 대신 실제 물리적인 외부 환경을 컴퓨터상에서 가상으로 구현하여 시뮬레이션을 통해 학습을 수행한다.In general, in order to apply machine learning algorithms to real life, learning is performed in a trial and error method due to the nature of the basic methodology of machine learning. In particular, deep learning requires hundreds of thousands of iterations. It is impossible to execute this in an actual physical external environment, so instead, the actual physical external environment is virtually implemented on a computer and learning is performed through simulation.

도 1은 일실시예에 따른 기저귀 대변 이미지를 활용한 아기 건강 진단 솔루션 제공 시스템을 설명하기 위한 도면이다.1 is a diagram for explaining a system for providing a baby health diagnosis solution using a diaper feces image according to an embodiment.

도 1에 도시한 바와 같이, 기저귀 대변 이미지를 활용한 아기 건강 진단 솔루션 제공 시스템(100)은, 다수의 사용자 단말(110-1, 110-2, … , 110-n), 아기 건강 진단 솔루션 제공 장치(120), 데이터베이스(130) 및 네트워크(N)를 포함할 수 있다. 일 실시예에 따르면, 데이터베이스(130)는 아기 건강 진단 솔루션 제공 장치(120)와 별도로 구성된 것으로 도시되었지만 이에 한정되지 않고, 데이터베이스(130)가 아기 건강 진단 솔루션 제공 장치(120)내에 구비될 수도 있다. 예를 들어, 아기 건강 진단 솔루션 제공 장치(120)는, 기계 학습 알고리즘의 수행을 위한 다수의 뉴럴 네트워크를 포함할 수 있다.As shown in FIG. 1, the system 100 for providing a baby health diagnosis solution using a diaper feces image includes a plurality of user terminals 110-1, 110-2, ..., 110-n, and a baby health diagnosis solution. It may include a device 120, a database 130 and a network N. According to one embodiment, the database 130 is illustrated as being configured separately from the device for providing a baby health diagnosis solution 120, but is not limited thereto, and the database 130 may be included in the device for providing a baby health diagnosis solution 120. . For example, the apparatus 120 for providing a baby health diagnosis solution may include a plurality of neural networks for performing a machine learning algorithm.

아기 건강 진단 솔루션 제공 장치(120)는, 다수의 사용자 단말(110-1, 110-2, … , 110-n) 중 어느 하나의 사용자 단말(예를 들어, 110-1)로부터 식별자(예를 들어, 유아)의 기저귀 대변 이미지를 획득할 수 있다. 일 실시예에 따르면, 아기 건강 진단 솔루션 제공 장치(120)는, 미리 설정된 기간(예를 들어, 3일, 1주일, 1개월 등) 동안의 기저귀 대변 이미지들을 획득할 수 있다.The apparatus 120 for providing a baby health diagnosis solution is an identifier (eg, 110-1) from any one of the plurality of user terminals 110-1, 110-2, ..., 110-n. For example, an image of feces in a diaper of an infant) may be acquired. According to an embodiment, the apparatus 120 for providing a baby health diagnosis solution may acquire diaper feces images for a preset period of time (eg, 3 days, 1 week, 1 month, etc.).

아기 건강 진단 솔루션 제공 장치(120)는, 획득한 기저귀 대변 이미지로부터 대변 객체 및 색상 코드를 검출할 수 있다. 일 실시예에 따르면, 색상 코드(color patch)는 기저귀의 다양한 위치에 부착될 수 있고, 기저귀와는 별도로 기저귀 주변에 위치할 수도 있다.The apparatus 120 for providing a baby health diagnosis solution may detect a stool object and a color code from the acquired diaper stool image. According to one embodiment, color patches may be attached to various locations on the diaper, and may be located around the diaper separately from the diaper.

아기 건강 진단 솔루션 제공 장치(120)는, 검출된 색상 코드에 기초하여 검출된 대변 객체의 전처리를 수행할 수 있다. 일 실시예에 따르면, 아기 건강 진단 솔루션 제공 장치(120)는, 색상 코드의 굴곡을 평탄화하고, 색상 코드의 색상들을 검출하며, 색상 코드의 색상들에 대해서 미리 정의된 색 정보와 검출된 색상들을 비교하여 색상 보정값을 생성하고, 색상 보정값을 이용하여 대변 객체의 색상을 보정할 수 있다. 다른 실시예에 따르면, 아기 건강 진단 솔루션 제공 장치(120)는, 색상 코드의 미리 정의된 크기 정보를 이용하여 대변 객체의 크기를 산출할 수 있다.The apparatus 120 for providing a baby health diagnosis solution may perform pre-processing of the detected stool object based on the detected color code. According to an embodiment, the baby health diagnosis solution providing device 120 flattens the curve of the color code, detects colors of the color code, and provides predefined color information and detected colors for the colors of the color code. A color correction value may be generated by comparison, and the color of the feces object may be corrected using the color correction value. According to another embodiment, the apparatus 120 for providing a baby health diagnosis solution may calculate the size of a feces object using predefined size information of a color code.

아기 건강 진단 솔루션 제공 장치(120)는, 전처리된 대변 객체를 처리하여 식별자의 대변 상태 판단 결과를 생성할 수 있다. 일 실시예에 따르면, 아기 건강 진단 솔루션 제공 장치(120)는, 전처리된 대변 객체를 이용하여 대변의 상태를 분류하고, 분류된 대변 상태에 따라서 식별자의 건강 상태 정보를 생성할 수 있다. 여기서, 대변의 상태는 설사 변비, 정상, 매우됨, 됨, 약간됨, 보통, 약간 묽음, 묽음, 및 매우 묽음 중 적어도 하나의 상태를 포함할 수 있지만, 이에 한정되지 않는다.The apparatus 120 for providing a baby health diagnosis solution may process the pre-processed stool object to generate a stool condition determination result of an identifier. According to an embodiment, the apparatus 120 for providing a baby health diagnosis solution may classify the state of feces using the pre-processed stool object, and generate health state information of an identifier according to the classified stool state. Here, the condition of stool may include at least one of diarrhea constipation, normal, very good, good, little, normal, slightly watery, watery, and very watery, but is not limited thereto.

아기 건강 진단 솔루션 제공 장치(120)는, 전처리된 대변 객체를 전문가 단말로 전송하고, 전문가 단말로부터 전처리된 대변 객체에 대한 피드백 정보를 수신할 수 있다. 또한, 아기 건강 진단 솔루션 제공 장치(120)는, 피드백 정보에 따라서 병원 내원이 필요한 경우 병원 예약 요청을 병원 서버로 전송하고, 병원 서버는 병원 예약 요청에 기초하여 병원 예약을 수행할 수 있다.The apparatus 120 for providing a baby health diagnosis solution may transmit the preprocessed stool object to the expert terminal and receive feedback information on the preprocessed stool object from the expert terminal. In addition, if a visit to the hospital is required according to the feedback information, the device 120 for providing a baby health diagnosis solution may transmit a hospital reservation request to the hospital server, and the hospital server may make a hospital reservation based on the hospital reservation request.

아기 건강 진단 솔루션 제공 장치(120)는, 분류된 대변의 상태 각각에 가중치를 부여하고, 식별자에 대하여 미리 설정된 기간 동안의 제1 기저귀 대변 이미지들 획득하며, 제1 기저귀 대변 이미지들 각각으로부터 대변의 상태들을 추출하고, 추출된 대변의 상대들 각각에 대하여 부여된 가중치를 곱하고 합산하여 소화력 지수를 산출하며, 산출된 소화력 지수에 기초하여 식별자의 소화력 순위를 산출할 수 있다.The baby health diagnosis solution providing device 120 assigns a weight to each of the classified stool states, obtains first diaper feces images for a preset period of time with respect to the identifier, and obtains feces from each of the first diaper stool images. The digestibility index is calculated by extracting the states, multiplying and summing the weights assigned to each of the opponents of the extracted feces, and calculating the digestibility ranking of the identifier based on the calculated digestibility index.

아기 건강 진단 솔루션 제공 장치(120)는, 생성된 대변 상태 판단 결과에 기초하여 식별자의 제1 신체나이 지수를 산출하고, 개인 정보를 이용하여 식별자의 제2 신체나이 지수를 산출하며, 섭취 음식 정보를 이용하여 식별자의 제3 신체나이 지수를 산출하고, 제1 내지 제3 신체나이 지수 각각에 제1 가중치를 부여하고, 제1 내지 제3 신체나이 지수와 제1 내지 제3 신체나이 지수 각각에 부여된 제1 가중치를 곱한 값의 평균을 산출하며, 산출된 평균을 최종 신체나이 지수로 생성할 수 있다.The apparatus 120 for providing a baby health diagnosis solution calculates a first body age index of the identifier based on the generated stool condition determination result, calculates a second body age index of the identifier using personal information, and consumes food information. A third body age index of the identifier is calculated using , a first weight is assigned to each of the first to third body age indexes, and each of the first to third body age indexes and the first to third body age indexes are weighted. An average of values multiplied by the assigned first weight may be calculated, and the calculated average may be generated as a final body age index.

아기 건강 진단 솔루션 제공 장치(120)는, 제1 사용자 단말(110-1)로부터 제1 파트 기저귀 대변 이미지를 수신하고, 제2 사용자 계정이 로그인된 제2 사용자 단말로부터 제2 파트 기저귀 대변 이미지를 수신하며, 제1 파트 기저귀 대변 이미지 및 제2 파트 기저귀 대변 이미지를 결합하여 제1 기저귀 대변 이미지를 생성하고, 제1 기저귀 대변 이미지에서 제1 파트 기저귀 대변 이미지가 차지하는 비율인 제1 비율을 획득하고, 제1 기저귀 대변 이미지에서 제2 파트 기저귀 대변 이미지가 차지하는 비율인 제2 비율을 획득하며, 제1 비율이 제2 비율 보다 큰 것으로 확인되면, 제1 사용자 계정의 정보를 제1 기저귀 대변 이미지의 제1 저작자 정보로 등록하고, 제2 사용자 계정의 정보를 제1 기저귀 대변 이미지의 제2 저작자 정보로 등록하며, 제1 비율이 제2 비율 보다 작은 것으로 확인되면, 제2 사용자 계정의 정보를 제1 기저귀 대변 이미지의 제1 저작자 정보로 등록하고, 제1 사용자 계정의 정보를 제1 기저귀 대변 이미지의 제2 저작자 정보로 등록하며, 제1 기저귀 대변 이미지의 원저작자 정보와 제1 사용자 계정의 정보 및 제2 사용자 계정의 정보 중 어느 하나가 일치하는지 여부를 확인하고, 제1 기저귀 대변 이미지의 원저작자 정보와 제1 사용자 계정의 정보 및 제2 사용자 계정의 정보가 모두 일치하지 않는 것으로 확인되면, 제1 기저귀 대변 이미지를 제2 기저귀 대변 이미지의 수정으로 생성된 2차 저작물로 판정하며, 제1 비율이 제2 비율 보다 큰 것으로 확인되면, 제1 사용자 계정의 정보를 제1 기저귀 대변 이미지의 제1 저작자 정보로 등록하고, 제2 사용자 계정의 정보를 제1 기저귀 대변 이미지의 제2 저작자 정보로 등록하고, 제1 기저귀 대변 이미지의 원저작자로 등록된 제3 사용자 계정의 정보를 제1 기저귀 대변 이미지의 제3 저작자를 나타내는 제3 저작자 정보로 등록하고, 제1 비율이 제2 비율 보다 작은 것으로 확인되면, 제2 사용자 계정의 정보를 제1 기저귀 대변 이미지의 제1 저작자 정보로 등록하고, 제1 사용자 계정의 정보를 제1 기저귀 대변 이미지의 제2 저작자 정보로 등록하고, 제3 사용자 계정의 정보를 제1 기저귀 대변 이미지의 제3 저작자 정보로 등록할 수 있다.The apparatus 120 for providing a baby health diagnosis solution receives a first part diaper stool image from the first user terminal 110-1 and receives a second part diaper stool image from the second user terminal to which the second user account is logged in. Receiving, combining the first part diaper stool image and the second part diaper stool image to generate a first diaper stool image, and obtaining a first ratio, which is a ratio occupied by the first part diaper stool image in the first diaper stool image, , Obtaining a second ratio, which is a ratio occupied by the second part diaper feces image in the first diaper feces image, and when it is confirmed that the first ratio is greater than the second ratio, the information of the first user account of the first diaper feces image Register as the first author information, register the information of the second user account as the second author information of the first diaper feces image, and if it is confirmed that the first ratio is smaller than the second ratio, the information of the second user account is registered as the second author information. 1 registers as the first author information of the diaper feces image, registers the information of the first user account as the second author information of the first diaper feces image, and registers the original author information of the first diaper feces image and the information of the first user account, and It is checked whether any one of the information of the second user account matches, and if it is determined that the original author information of the first diaper feces image, the information of the first user account, and the information of the second user account do not all match, the first It is determined that the diaper stool image is a secondary work created by modifying the second diaper stool image, and if it is confirmed that the first ratio is greater than the second ratio, the information of the first user account is changed to the first author of the first diaper stool image. information, the information of the second user account is registered as the second author information of the first diaper stool image, and the information of the third user account registered as the original author of the first diaper stool image is registered as the first diaper stool image. 3 Register as third author information indicating the author, and if the first ratio is smaller than the second ratio, the information of the second user account is registered as the first author information of the first diaper stool image, the information of the first user account is registered as the second author information of the first diaper stool image, and the information of the third user account is registered as the author information of the first diaper stool image. 3 Author information can be registered.

아기 건강 진단 솔루션 제공 장치(120)는, 식별자의 개인 정보 및 섭취 음식 정보를 수신하고, 트레이닝 기저귀 대변 이미지들을 획득하며, 트레이닝 기저귀 대변 이미지들로부터 트레이닝 대변 객체들을 추출하고, 식별자의 개인 정보 및 섭취 음식 정보에 따른 트레이닝 대변 객체들의 상태를 나타내는 제1 레이블들을 획득하며, 트레이닝 대변 객체들을 미리 학습된 제1 뉴럴 네트워크로 적용하여, 트레이닝 대변 객체들에 대응하는 트레이닝 출력들을 생성하고, 트레이닝 출력들 및 제1 레이블들에 기초하여, 제1 뉴럴 네트워크를 학습시킬 수 있다. 여기서, 개인 정보는 식별자의 나이, 성별 및 알레르기 정보 중 적어도 하나를 포함하고, 섭취 음식 정보는 모유 수유 여부, 이유식 종류 및 먹는 음식 중 적어도 하나를 포함할 수 있지만, 이에 한정되지 않는다. 대변 객체의 전처리를 위한 학습 방법에 대해서는 후술하도록 한다.The baby health diagnosis solution providing device 120 receives the identifier's personal information and intake food information, acquires training diaper stool images, extracts training stool objects from the training diaper stool images, and identifies the identifier's personal information and intake. Obtaining first labels representing states of training stool objects according to food information, applying the training stool objects to a pre-learned first neural network, generating training outputs corresponding to the training stool objects, training outputs and Based on the first labels, a first neural network may be trained. Here, the personal information may include at least one of age, gender, and allergy information of the identifier, and the food intake information may include at least one of breastfeeding status, type of baby food, and food to be eaten, but is not limited thereto. A learning method for pre-processing of feces objects will be described later.

네트워크(N)는, 다수의 사용자 단말(110-1, 110-2, … , 110-n), 아기 건강 진단 솔루션 제공 장치(120), 데이터베이스(130), 등 간의 무선 또는 유선 통신을 수행하도록 할 수 있다. 예를 들어, 네트워크는 LTE(long-term evolution), LTE-A(LTE Advanced), CDMA(code division multiple access), WCDMA(wideband CDMA), WiBro(Wireless BroadBand), WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), GPS(Global Positioning System) 또는 GNSS(global navigation satellite system) 등의 방식에 따른 무선 통신을 수행하도록 할 수 있다. 예를 들어, 네트워크는 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 등의 방식에 따른 유선 통신을 수행하도록 할 수도 있다.The network N is configured to perform wireless or wired communication between the plurality of user terminals 110-1, 110-2, ..., 110-n, the baby health diagnosis solution providing device 120, the database 130, and the like. can do. For example, the network may include long-term evolution (LTE), LTE Advanced (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), wireless broadband (WiBro), wireless fidelity (WiFi), Bluetooth ( Bluetooth), near field communication (NFC), global positioning system (GPS), or global navigation satellite system (GNSS). For example, the network may perform wired communication according to a method such as universal serial bus (USB), high definition multimedia interface (HDMI), recommended standard 232 (RS-232), or plain old telephone service (POTS). .

데이터베이스(130)는, 다양한 데이터를 저장할 수 있다. 데이터베이스(130)에 저장되는 데이터는, 다수의 사용자 단말(110-1, 110-2, … , 110-n), 아기 건강 진단 솔루션 제공 장치(120)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예를 들어: 프로그램)를 포함할 수 있다. 데이터베이스(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 일 실시예로서, 데이터베이스(130)는, 다수의 사용자 단말(110-1, 110-2, … , 110-n)로부터 획득된 기저귀 대변 이미지들, 아기 건강 진단 솔루션 제공 장치(120)에서 형성된 대변 객체, 색상 코드, 대변 상태 판단 결과 등을 저장할 수 있다. The database 130 may store various data. The data stored in the database 130 is obtained by at least one component of the plurality of user terminals 110-1, 110-2, ..., 110-n and the device for providing a baby health diagnosis solution 120, As data to be processed or used, it may include software (eg: a program). Database 130 may include volatile and/or non-volatile memory. As an embodiment, the database 130 includes diaper feces images obtained from a plurality of user terminals 110-1, 110-2, ..., 110-n, and feces formed in the baby health diagnosis solution providing device 120. Objects, color codes, stool condition determination results, etc. can be stored.

본 발명에서, 인공지능(Artificial Intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력 등을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직(Symbolic Logic) 등의 개념을 포함할 수 있다. 기계 학습(Machine Learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술이다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터를 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야가 포함될 수 있다.In the present invention, artificial intelligence (AI) means a technology that imitates human learning ability, reasoning ability, perception ability, etc., and implements it with a computer, and concepts such as machine learning and symbolic logic can include Machine learning (ML) is an algorithm technology that classifies or learns the characteristics of input data by itself. Artificial intelligence technology is a machine learning algorithm that analyzes input data, learns the result of the analysis, and can make judgments or predictions based on the result of the learning. In addition, technologies that mimic the functions of the human brain, such as recognition and judgment, using machine learning algorithms, can also be understood as artificial intelligence. For example, technical fields such as linguistic understanding, visual understanding, inference/prediction, knowledge expression, and motion control may be included.

기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화해 나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는, 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.Machine learning may refer to processing that trains a neural network model using experience of processing data. Through machine learning, computer software could mean improving its own data processing capabilities. A neural network model is constructed by modeling a correlation between data, and the correlation may be expressed by a plurality of parameters. The neural network model derives a correlation between data by extracting and analyzing features from given data, and optimizing the parameters of the neural network model by repeating this process can be referred to as machine learning. For example, a neural network model may learn a mapping (correlation) between an input and an output with respect to data given as an input/output pair. Alternatively, even when only input data is given, the neural network model may learn the relationship by deriving a regularity between given data.

인공지능 학습모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공지능 학습모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 인공지능 학습모델은, 예를 들어, 인공 신경망 모델(Artificial Neural Network), 컨볼루션 신경망 모델(Convolution Neural Network: CNN) 등일 수 있다. 일 실시예로서, 인공지능 학습모델은, 지도학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 등의 방식에 따라 기계 학습될 수 있다. 기계 학습을 수행하기 위한 기계 학습 알고리즘에는, 의사결정트리(Decision Tree), 베이지안 망(Bayesian Network), 서포트 벡터 머신(Support Vector Machine), 인공 신경망(Artificial Neural Network), 에이다부스트(Ada-boost), 퍼셉트론(Perceptron), 유전자 프로그래밍(Genetic Programming), 군집화(Clustering) 등이 사용될 수 있다.An artificial intelligence learning model or a neural network model may be designed to implement a human brain structure on a computer, and may include a plurality of network nodes having weights while simulating neurons of a human neural network. A plurality of network nodes may have a connection relationship between them by simulating synaptic activities of neurons that transmit and receive signals through synapses. In the artificial intelligence learning model, a plurality of network nodes can send and receive data according to a convolutional connection relationship while being located in layers of different depths. The artificial intelligence learning model may be, for example, an artificial neural network model, a convolutional neural network model (CNN), and the like. As an embodiment, the artificial intelligence learning model may be machine-learned according to methods such as supervised learning, unsupervised learning, and reinforcement learning. Machine learning algorithms for performing machine learning include Decision Tree, Bayesian Network, Support Vector Machine, Artificial Neural Network, Ada-boost , Perceptron, Genetic Programming, Clustering, etc. may be used.

이중, CNN은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.Of these, CNNs are a type of multilayer perceptrons designed to use minimal preprocessing. A CNN consists of one or several convolution layers and general artificial neural network layers on top, and additionally utilizes weights and pooling layers. Thanks to this structure, CNN can fully utilize the input data with a two-dimensional structure. Compared to other deep learning structures, CNN shows good performance in both video and audio fields. CNNs can also be trained via standard back-propagation. CNNs are easier to train than other feedforward artificial neural network techniques and have the advantage of using fewer parameters.

컨볼루션 네트워크는 묶인 파라미터들을 가지는 노드들의 집합들을 포함하는 신경 네트워크들이다. 사용 가능한 트레이닝 데이터의 크기 증가와 연산 능력의 가용성이, 구분적 선형 단위 및 드롭아웃 트레이닝과 같은 알고리즘 발전과 결합되어, 많은 컴퓨터 비전 작업들이 크게 개선되었다. 오늘날 많은 작업에 사용할 수 있는 데이터 세트들과 같은 엄청난 양의 데이터 세트에서는 초과 맞춤(outfitting)이 중요하지 않으며, 네트워크의 크기를 늘리면 테스트 정확도가 향상된다. 컴퓨팅 리소스들의 최적 사용은 제한 요소가 된다. 이를 위해, 심층 신경 네트워크들의 분산된, 확장 가능한 구현예가 사용될 수 있다.Convolutional networks are neural networks that contain sets of nodes with bound parameters. The increasing size of available training data and the availability of computational power, combined with algorithmic advances such as piecewise linear unit and dropout training, have greatly improved many computer vision tasks. With huge data sets, such as those available for many tasks today, overfitting is not critical, and increasing the size of the network improves test accuracy. Optimal use of computing resources becomes a limiting factor. To this end, a distributed, scalable implementation of deep neural networks can be used.

사용자 단말(110-1)의 스마트폰 어플리케이션을 활용하여 기저귀를 촬영하면, 아기 건강 진단 솔루션 제공 장치(120)는 기저귀 이미지를 분석하여 아기의 대변으로부터 색깔과 모양에 따른 건강 상태 정보를 제공할 수 있다.When a diaper is photographed using a smartphone application of the user terminal 110-1, the baby health diagnosis solution providing device 120 may analyze the diaper image and provide health condition information according to color and shape from the baby's feces. there is.

사용자 단말(110-1)에 접속한 부모가 아기의 출생일, 성별, 모유수유 여부와 같은 기본 정보를 어플리케이션을 통해 입력하면, 아기 건강 진단 솔루션 제공 장치(120)가 기저귀를 촬영한 이미지를 기반으로 분석된 변의 상태, 변의 상태에 따른 건강 진단 결과와 원인, 소아과 방문의 필요성, 생후 일수에 따른 맞춤형 대변 상태 가이드 정보를 제공할 수 있다.When a parent accessing the user terminal 110-1 inputs basic information such as the baby's birth date, gender, and breastfeeding status through the application, the device for providing a baby health diagnosis solution 120 detects a diaper based on the image taken. It is possible to provide customized stool condition guide information according to the analyzed stool condition, medical examination result and cause according to the stool condition, necessity of visiting a pediatrician, and number of days after birth.

소아과에서는 이미 아기 대변으로부터 건강 상태를 진단하고 있고, 기저귀를 전문의에 가져가는 것이 소아과 진단에서 권장되고 있다. CT/MRI 등 영상 기반 의료진단 기술도 CNN 알고리즘 등이 적용되어 발전하고 있는데, 머신러닝 기반 영상처리기술을 활용한다면 기저귀 대변 이미지에 대한 전문의 진단 결과를 트레이닝 시킬 수 있다.In pediatrics, health conditions are already diagnosed from baby feces, and taking diapers to a specialist is recommended in pediatric diagnosis. Image-based medical diagnosis technologies, such as CT/MRI, are also developing with the application of CNN algorithms. If machine learning-based image processing technology is used, it is possible to train specialist diagnosis results for diaper stool images.

출산율이 떨어지는 것에 비해, 유아용품, 영유아식, 아기 건강 관련 시장은 부유층의 육아에 대한 관심도가 높아짐에 따라 가파르게 증가하고 있다. 현재까지 아기 건강 진단에 관해서 ECG, 산소량, 근처 미세먼지, 체온 등 신체정보의 센싱 기반 서비스가 제공되고 있다.While the birth rate is declining, the market for baby products, infant food, and baby health is growing rapidly as the rich are more interested in childrearing. Until now, sensing-based services of body information such as ECG, oxygen content, nearby fine dust, and body temperature have been provided for baby health diagnosis.

“색상 코드” 기반 기저귀 대변 진단 솔루션으로 기저귀 업체로부터 투자를 유치하고, 소아과와의 협업을 통해 비즈니스 모델을 창출할 수 있다.A “color code”-based diaper stool diagnosis solution can attract investment from diaper manufacturers and create a business model through collaboration with pediatricians.

아기 건강 진단 솔루션 제공 장치(120)는 이미지 왜곡을 보정하기 위해, 기저귀 한쪽 면에 색상 코드를 부착하고, 색상 코드가 포함된 이미지를 미리 학습된 SegNet 모델과 ResNet 모델에 적용하여 대변 상태를 분류하고, 신속한 소아과 진단을 위한 예비적인 정보를 제공할 수 있다. In order to correct image distortion, the baby health diagnosis solution providing device 120 attaches a color code to one side of the diaper, applies the image containing the color code to a pre-learned SegNet model and a ResNet model to classify stool conditions, However, it can provide preliminary information for rapid pediatric diagnosis.

기저귀 대변 이미지 진단 솔루션 개발 후 사용자 확보를 위해 촬영에 대한 인센티브로 기저귀 구입 쿠폰을 제시할 수 있다. 기저귀 업체 입장에서, 비용이 들더라도 아기 건강 진단 정보 제공을 통해 기저귀에 대한 고객 충성도를 높일 수 있고, 이렇게 확보된 대변 이미지를 트레이닝에 추가적으로 활용하여 솔루션 정확도를 높일 수 있다.After developing a diaper feces image diagnosis solution, a diaper purchase coupon can be presented as an incentive for taking pictures to secure users. From the diaper manufacturer's point of view, customer loyalty to diapers can be increased by providing baby health diagnosis information even if it costs money, and solution accuracy can be increased by additionally using the stool image obtained in this way for training.

현재, 기저귀 센서를 이용하여 대소변 여부 알람을 제공하는데 추가적인 서비스로 아기 건강 진단 솔루션을 제시하여 사용자를 확보하고 매출을 높일 수 있다. 사용자의 구독 서비스 옵션을 1) 기저귀 + 2) 대소변 여부 알람 + 3) 아기 건강 상태 진단으로 제시하여, 기저귀를 아이템으로 하는 구독 서비스를 확장할 수 있다.Currently, it is possible to secure users and increase sales by presenting a baby health diagnosis solution as an additional service to provide a bowel movement alarm using a diaper sensor. By presenting the user's subscription service options as 1) diaper + 2) bowel movement alarm + 3) baby's health condition diagnosis, the subscription service using diapers as an item can be expanded.

아기의 건강 상태 진단에 대한 예비적인 결과물을 기초로 근처 소아과를 추천하고, 소아과 진단에 대변 이미지를 활용하는데 수익 모델을 창출할 수 있고, 사용자 확보 수가 늘어난다면 아기 관련 용품, 건강 식품 등 육아 관련 광고 비즈니스 정착이 가능할 수 있다.Based on the preliminary results of the baby's health condition diagnosis, a nearby pediatrician is recommended, and a revenue model can be created to use stool images for pediatric diagnosis. A business settlement may be possible.

의사소통에 한계가 있는 아기의 건강 상태는 대변의 색깔과 모양으로부터 진단이 가능할 수 있다. 아기의 대변 상태로부터 이상 증상이 발견된다면 신속하게 병원 진료를 받아 정확한 진단이 필요할 수 있다. The health of a baby with limited communication can be diagnosed from the color and shape of the stool. If abnormal symptoms are found from the condition of the baby's stool, you may need an accurate diagnosis by promptly seeking treatment at the hospital.

부모는 정확한 진단을 위해 아기의 대변 사진을 소아과 전문의에 보여주거나 기저귀를 진료 시 가져가는데, 이는 생후 일수에 따라 상태가 달라지는 아기 대변이 건강 상태의 척도이기 때문이다.Parents show a picture of the baby's stool to the pediatrician or take the diaper to the doctor for an accurate diagnosis, because the condition of the baby's stool, which varies depending on the number of days after birth, is a measure of health.

예를 들어, 생후 첫 일주일 간은 변 상태가 매일 달라지고, 태어난 지 5일이 지나면 모유 때문에 황금색 변이 배출되고, 일주일이 지나면 변 상태가 모유 수유 여부에 따라 노란색이나 갈색을 띄게 되는데, 흑색변이나 회색 변일 경우 변이 묻은 기저귀를 가지고 전문의를 찾아가야 할 수 있다. 그러나, 많은 건강 정보를 담고 있는 변의 상태를 보고 부모가 병원을 찾아가야 할지를 판단하는데 어려움이 있고, 기저귀를 병원에 지참하는 것도 불편할 수 있다.For example, in the first week after birth, the stool condition changes every day, after 5 days after birth, golden stool is excreted because of breast milk, and after a week, the stool condition becomes yellow or brown depending on whether or not breastfeeding. If the stool is gray, you may need to see a specialist with the soiled diaper. However, it is difficult for parents to determine whether to visit a hospital by looking at the state of feces containing a lot of health information, and it may be inconvenient to bring a diaper to the hospital.

아기 건강 진단 시장은 인공지능 기술의 발달로 가파르게 커지고 있는데, 현재까지는 센서를 활용하여 수집된 정보로 진단하는 서비스가 대부분이다(ECG, 산소량, 근처 미세먼지, 체온 등).The baby health diagnosis market is growing rapidly with the development of artificial intelligence technology. Until now, most of the services are diagnostic services using information collected using sensors (ECG, oxygen level, nearby fine dust, body temperature, etc.).

CNN 등 인공 신경망의 활용도가 높아지면서, 이미지를 통해 의료 정보를 분석하는 기술도 고도화되고 있다. 영상의학 전문의가 머신 러닝 기반 MRI/CT 분석 기술을 통해 진단하는 활용예가 늘어나고 있고, 의료 진단 서비스의 대중화가 가속화되고 있다.As the use of artificial neural networks such as CNN increases, the technology for analyzing medical information through images is also being advanced. The use cases of diagnosis by radiologists through machine learning-based MRI/CT analysis technology are increasing, and the popularization of medical diagnosis services is accelerating.

아기 건강 진단 솔루션 제공 장치(120)는 아기 건강 진단 정보를 담고 있는 대변을 촬영하고, 촬영된 이미지를 딥 러닝 기술로 분석하여 전문의 판단 전에 예비적이고 보조적인 아기 건강 관련 정보를 제공할 수 있다.The device for providing a baby health diagnosis solution 120 may photograph feces containing baby health diagnosis information and analyze the photographed image with deep learning technology to provide preliminary and auxiliary baby health-related information prior to expert judgment.

스마트 기저귀 시장도 확대되고 있고, 전통적인 기저귀에 창의적인 IT기술을 결합한 서비스도 속속 출시되고 있는 상황에서, 아기 건강과 직접적으로 관련된 대변으로부터 별도 센서 탑재 없이 아기 건강 진단 서비스를 출시한다면 진료가 필요한 적절한 시점에 부모와 소아과를 연결할 수 있다.In a situation where the smart diaper market is also expanding and services that combine traditional diapers with creative IT technology are being launched one after another, if a baby health diagnosis service is launched without a separate sensor installed from feces directly related to baby health, it can be used at the appropriate time when medical care is needed. You can connect parents and pediatricians.

성인 대변의 모양과 색상을 통해 만성 위장병 등 건강 상태를 진단하는 Bristol stool scale라는 의료 분류 체계가 있다. 아래는 Bristol Stool Chart를 나타낸다.There is a medical classification system called the Bristol stool scale that diagnoses health conditions such as chronic gastrointestinal diseases through the shape and color of adult stool. Below is the Bristol Stool Chart.

아기의 대변은 출생 일수, 모유 수유 여부에 따라 그 모양과 색깔이 달라지고, 치아와 소화기관이 형성되는 과정에서 소화 능력이 불완전한 상태이므로, 아기 대변을 보고 건강 상태를 파악하기 위한 분류 체계 정보를 부모에게 제공하는 것이 중요할 수 있다.The shape and color of a baby's feces change depending on the number of days of birth and breastfeeding, and the digestion ability is incomplete in the process of forming teeth and digestive organs. It can be important to provide parents.

아기 건강 진단 솔루션의 완성도가 높아짐에 따라 다량의 이미지 확보를 통해 딥 러닝 기반 영상 처리 기술에 적합한 분류 체계 구축이 가능할 수 있다.As the maturity of baby health diagnosis solutions increases, it may be possible to build a classification system suitable for deep learning-based image processing technology by acquiring a large amount of images.

아기 건강 진단 솔루션 제공 장치(120)는 아기 대변 정보로부터 건강 상태를 예비 진단하는 솔루션을 구현하여 아기 건강 시장에서 새로운 시장을 확보할 수 있다.The device for providing a baby health diagnosis solution 120 may secure a new market in the baby health market by implementing a solution for preliminary diagnosis of a health condition based on baby feces information.

아기 건강 진단 솔루션 제공 장치(120)는 기저귀의 대변 이미지 분석뿐만 아니라 생후 개 월수와 같은 아기에 대한 정보를 바탕으로 육아에 필요한 정보를 해당 아기에 적합한 형태로 제공할 수 있다. 예를 들어, 해당 개월 수에 적합한 음식, 배변 습관 훈련 방법, 감각을 익히는 방법 등 정보를 제공할 수 있다.The device for providing a baby health diagnosis solution 120 may provide information necessary for childcare in a form suitable for the baby based on information about the baby, such as the number of months after birth, as well as analysis of the feces image of the diaper. For example, information such as food suitable for the number of months, bowel habit training method, and sensory training method may be provided.

아기 건강 진단 솔루션 제공 장치(120)는 아기 대변 이미지를 확보하고, 히스토리를 추적하여 아기 건강 상태를 지속적으로 모니터링할 수 있다.The device for providing a baby health diagnosis solution 120 may obtain an image of the baby's stool and continuously monitor the health status of the baby by tracking the history.

아기 대변 이미지 분석을 통해 소아과 진료가 필요한 상태인지 여부를 부모가 파악하고, 진료가 필요하다면 아기 건강 진단 솔루션 제공 장치(120)는 주변 병원 예약 서비스와 연결하여 신속한 진료를 도모할 수 있다.Parents can determine whether a pediatric treatment is required through analysis of the baby's feces image, and if treatment is required, the device 120 for providing a baby health diagnosis solution can promote prompt treatment by connecting to a nearby hospital reservation service.

아기 건강 진단 솔루션 제공 장치(120)는 병원 진단 시 기저귀 대변 촬영 결과를 제공하여 정확한 진단에 필요한 정보를 제공할 수 있다.The apparatus 120 for providing a baby health diagnosis solution may provide information necessary for an accurate diagnosis by providing a diaper stool photographing result during a hospital diagnosis.

아기 건강 진단 결과 솔루션을 고도화하기 위하여 기저귀 대변 이미지를 촬영하면 트레이닝이 가능한 규격으로 전처리를 하기 위한 어플리케이션을 구현할 수 있다.In order to improve the baby health diagnosis result solution, an application for preprocessing can be implemented in a standard that can be trained by taking a diaper feces image.

대변 이미지 분류 관련 2019년 논문(Augmenting Gastrointestinal Health: A Deep Learning Approach to Human Stool Recognition and Characterization in Macroscopic Images, https://arxiv.org/ftp/arxiv/papers/1903/1903.10578.pdf)에 따르면, 650 여개의 이미지 트레이닝 시 식별 및 분류 모델의 정확도가 대략 70 % 이상이고, 25200 개 이미지 트레이닝 시 99.4 %의 정확도가 확보될 수 있다고 기재되어 있다.According to a 2019 paper on stool image classification (Augmenting Gastrointestinal Health: A Deep Learning Approach to Human Stool Recognition and Characterization in Macroscopic Images, https://arxiv.org/ftp/arxiv/papers/1903/1903.10578.pdf), 650 It is stated that the accuracy of the identification and classification model is approximately 70% or higher when training about 10 images, and an accuracy of 99.4% can be secured when training 25200 images.

소아과 전문의 2인을 섭외하여 확보된 기저귀 대변 이미지의 레이블링을 수행하고, 우선적으로 변비/정상/설사의 3개 분류 모델을 구축할 수 있다.It is possible to employ two pediatricians to perform labeling of the obtained diaper feces images, and to construct three classification models of constipation/normal/diarrhea first.

우선적으로 500개의 트레이닝 이미지를 레이블링하고, 레이블링 된 트레이닝 이미지를 바탕으로, SegNet으로 대변 모양을 식별하는 모델을 학습시킬 수 있다.First, we label 500 training images, and based on the labeled training images, we can train a model to identify stool shapes with SegNet.

아기 건강 진단 솔루션 제공 장치(120)는 SegNet을 기반으로 식별된 대변을 ResNet으로 색깔 기반 분류를 수행하는 모델을 학습시킬 수 있다.The apparatus 120 for providing a baby health diagnosis solution may train a model for performing color-based classification using ResNet on feces identified based on SegNet.

아기 건강 진단 솔루션 제공 장치(120)는 레이블링 된 이미지를 학습한 SegNet 및 ResNet을 활용하여 기저귀 대변 이미지 분석 솔루션을 구현할 수 있다.The apparatus 120 for providing a baby health diagnosis solution may implement a diaper feces image analysis solution by utilizing SegNet and ResNet learned from labeled images.

아기 건강 진단 솔루션 제공 장치(120)는 "색상 코드"가 부착된 기저귀 대변 이미지를 활용하여 이미지 왜곡 보정 기능이 탑재된 어플리케이션을 구현할 수 있다.The apparatus 120 for providing a baby health diagnosis solution may implement an application equipped with an image distortion correction function by utilizing a diaper feces image to which a “color code” is attached.

기저귀 대변 이미지의 촬영 환경이나 이미지 센서의 사양에 따라 변하는 이미지 상태로 인해 왜곡 문제가 발생할 수 있는데, 이를 해결하기 위해 기저귀 한쪽 면에 "색상 코드"를 부착하고, "색상 코드"와 같이 촬영된 이미지 분석 결과를 통해 진단의 정확성을 높일 수 있다.Distortion may occur due to image conditions that change depending on the imaging environment of the diaper feces image or the specifications of the image sensor. Analysis results can improve the accuracy of diagnosis.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, the devices, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic units (PLUs), microprocessors, or any other device capable of executing and responding to instructions. A processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.

도 2는 본 발명의 실시예에 따른 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.2 is a diagram for explaining learning of a neural network according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 학습 장치는 기저귀 대변 이미지가 포함하는 대변 객체의 전처리를 위하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 일 실시예에 따르면, 학습 장치는 아기 건강 진단 솔루션 제공 장치(120)와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니다.As shown in FIG. 2 , the learning device may train the neural network 124 for pre-processing of a stool object included in a diaper stool image. According to one embodiment, the learning device may be a separate subject different from the baby health diagnosis solution providing device 120, but is not limited thereto.

뉴럴 네트워크(124)는 트레이닝 샘플들이 입력되는 입력 레이어(122)와 트레이닝 출력들을 출력하는 출력 레이어(126)를 포함하고, 트레이닝 출력들과 레이블들 사이의 차이에 기초하여 학습될 수 있다. 여기서, 레이블들은 색상 코드 및 색상 코드에 대응하는 식별 정보에 기초하여 정의될 수 있다. 뉴럴 네트워크(124)는 복수의 노드들의 그룹으로 연결되어 있고, 연결된 노드들 사이의 가중치들과 노드들을 활성화시키는 활성화 함수에 의해 정의된다. The neural network 124 includes an input layer 122 into which training samples are input and an output layer 126 which outputs training outputs, and may be learned based on differences between the training outputs and labels. Here, the labels may be defined based on color codes and identification information corresponding to the color codes. The neural network 124 is connected to a group of a plurality of nodes, and is defined by weights between connected nodes and an activation function that activates the nodes.

학습 장치는 GD(Gradient Decent) 기법 또는 SGD(Stochastic Gradient Descent) 기법을 이용하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 학습 장치는 뉴럴 네트워크의 출력들 및 레이블들 의해 설계된 손실 함수(Loss Function)를 이용할 수 있다.The learning device may train the neural network 124 using a gradient descent (GD) technique or a stochastic gradient descent (SGD) technique. The learning device may use a loss function designed by outputs and labels of the neural network.

학습 장치는 미리 정의된 손실 함수를 이용하여 트레이닝 에러를 계산할 수 있다. 손실 함수는 레이블, 출력 및 파라미터를 입력 변수로 미리 정의될 수 있고, 여기서 파라미터는 뉴럴 네트워크(124) 내 가중치들에 의해 설정될 수 있다. 예를 들어, 손실 함수는 MSE(Mean Square Error) 형태, 엔트로피(entropy) 형태 등으로 설계될 수 있는데, 손실 함수가 설계되는 실시예에는 다양한 기법 또는 방식이 채용될 수 있다.The learning device may calculate a training error using a predefined loss function. The loss function may be predefined with labels, outputs and parameters as input variables, where the parameters may be set by weights in the neural network 124. For example, the loss function may be designed in a mean square error (MSE) form, an entropy form, and the like, and various techniques or methods may be employed in an embodiment in which the loss function is designed.

학습 장치는 역전파(Backpropagation) 기법을 이용하여 트레이닝 에러에 영향을 주는 가중치들을 찾아낼 수 있다. 여기서, 가중치들은 뉴럴 네트워크(124) 내 노드들 사이의 관계들이다. 학습 장치는 역전파 기법을 통해 찾아낸 가중치들을 최적화시키기 위해 레이블들 및 출력들을 이용한 SGD 기법을 이용할 수 있다. 예를 들어, 학습 장치는 레이블들, 출력들 및 가중치들에 기초하여 정의된 손실 함수의 가중치들을 SGD 기법을 이용하여 갱신할 수 있다.The learning device may find weights affecting the training error using a backpropagation technique. Here, weights are relationships between nodes in neural network 124 . The learning device may use the SGD technique using labels and outputs to optimize the weights found through the backpropagation technique. For example, the learning device may update weights of a loss function defined based on labels, outputs, and weights using the SGD technique.

일 실시예에 따르면, 학습 장치는 트레이닝 기저귀 대변 이미지들을 획득하고, 트레이닝 기저귀 대변 이미지들로부터 트레이닝 색상 코드들을 추출할 수 있다. 학습 장치는 트레이닝 색상 코드들에 대해서 각각 미리 레이블링 된 정보(제1 레이블들)를 획득할 수 있는데, 트레이닝 색상 코드들에 미리 정의된 색 정보를 나타내는 제1 레이블들을 획득할 수 있다. According to an embodiment, the learning device may obtain training diaper stool images and extract training color codes from the training diaper stool images. The learning device may obtain prelabeled information (first labels) for each of the training color codes, and may obtain first labels indicating color information predefined in the training color codes.

일 실시예에 따르면, 학습 장치는 트레이닝 색상 코드들의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제1 트레이닝 특징 벡터들을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.According to an embodiment, the learning device may generate first training feature vectors based on appearance features, pattern features, and color features of training color codes. Various methods may be employed to extract features.

일 실시예에 따르면, 학습 장치는 제1 트레이닝 특징 벡터들을 뉴럴 네트워크(124)에 적용하여 트레이닝 출력들을 획득할 수 있다. 학습 장치는 트레이닝 출력들과 제1 레이블들에 기초하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 학습 장치는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 뉴럴 네트워크(124) 내 노드들의 연결 관계를 최적화하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 아기 건강 진단 솔루션 제공 장치(120)는 학습이 완료된 뉴럴 네트워크(124)를 이용하여 기저귀 대변 이미지로부터 색상 코드를 추출할 수 있다.According to an embodiment, the learning device may obtain training outputs by applying the first training feature vectors to the neural network 124 . The learning device may train the neural network 124 based on the training outputs and the first labels. The learning device may train the neural network 124 by calculating training errors corresponding to training outputs and optimizing a connection relationship of nodes in the neural network 124 to minimize the training errors. The apparatus 120 for providing a baby health diagnosis solution may extract a color code from a diaper feces image using the neural network 124 that has been trained.

다른 실시예에 따르면, 학습 장치는 트레이닝 기저귀 대변 이미지들을 획득하고, 트레이닝 기저귀 대변 이미지들로부터 트레이닝 색상 코드들을 추출할 수 있다. 학습 장치는 트레이닝 색상 코드들에 대해서 각각 미리 레이블링 된 정보(제2 레이블들)를 획득할 수 있는데, 트레이닝 색상 코드들에 대해서 미리 정의된 직사각형 정보를 나타내는 제2 레이블들을 획득할 수 있다.According to another embodiment, the learning device may obtain training diaper stool images and extract training color codes from the training diaper stool images. The learning device may obtain pre-labeled information (second labels) for each of the training color codes, and obtain second labels indicating predefined rectangular information for the training color codes.

다른 실시예에 따르면, 학습 장치는 트레이닝 색상 코드들의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제2 트레이닝 특징 벡터들을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.According to another embodiment, the learning device may generate second training feature vectors based on appearance features, pattern features, and color features of the training color codes. Various methods may be employed to extract features.

다른 실시예에 따르면, 학습 장치는 제2 트레이닝 특징 벡터들을 뉴럴 네트워크(124)에 적용하여 트레이닝 출력들을 획득할 수 있다. 학습 장치는 트레이닝 출력들과 제2 레이블들에 기초하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 학습 장치는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 뉴럴 네트워크(124) 내 노드들의 연결 관계를 최적화하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 아기 건강 진단 솔루션 제공 장치(120)는 학습이 완료된 뉴럴 네트워크(124)를 이용하여 기저귀 대변 이미지로부터 추출된 색상 코드의 굴곡을 평탄화 할 수 있다.According to another embodiment, the learning device may obtain training outputs by applying the second training feature vectors to the neural network 124 . The learning device may train the neural network 124 based on the training outputs and the second labels. The learning device may train the neural network 124 by calculating training errors corresponding to training outputs and optimizing a connection relationship of nodes in the neural network 124 to minimize the training errors. The apparatus 120 for providing a baby health diagnosis solution may flatten the curvature of the color code extracted from the diaper feces image by using the neural network 124 that has been trained.

또 다른 실시예에 따르면, 학습 장치는 식별자의 개인 정보 및 섭취 음식 정보를 수신할 수 있다. 예를 들어, 개인 정보는 식별자의 나이, 성별 및 알레르기 정보 중 적어도 하나를 포함할 수 있고, 섭취 음식 정보는 모유 수유 여부, 이유식 종류 및 먹는 음식 중 적어도 하나를 포함할 수 있지만, 이에 한정되지 않는다.According to another embodiment, the learning device may receive the identifier's personal information and food intake information. For example, the personal information may include at least one of age, gender, and allergy information of the identifier, and the food intake information may include at least one of breastfeeding status, type of baby food, and food eaten, but is not limited thereto. .

또 다른 실시예에 따르면, 학습 장치는 트레이닝 기저귀 대변 이미지들을 획득하고, 트레이닝 기저귀 대변 이미지들로부터 트레이닝 대변 객체들을 추출할 수 있다. 학습 장치는 트레이닝 대변 객체들에 대해서 각각 미리 레이블링 된 정보(제3 레이블들)를 획득할 수 있는데, 식별자의 개인 정보 및 섭취 음식 정보에 따른 트레이닝 대변 객체들의 상태를 나타내는 제3 레이블들을 획득할 수 있다.According to another embodiment, the learning device may obtain training diaper stool images and extract training stool objects from the training diaper stool images. The learning device may obtain pre-labeled information (third labels) for the training stool objects, respectively, and may obtain third labels indicating the status of the training stool objects according to the personal information of the identifier and the food information consumed. there is.

또 다른 실시예에 따르면, 학습 장치는 트레이닝 대변 객체들의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제3 트레이닝 특징 벡터들을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.According to another embodiment, the learning device may generate third training feature vectors based on appearance features, pattern features and color features of the training fecal objects. Various methods may be employed to extract features.

또 다른 실시예에 따르면, 학습 장치는 제3 트레이닝 특징 벡터들을 뉴럴 네트워크(124)에 적용하여 트레이닝 출력들을 획득할 수 있다. 학습 장치는 트레이닝 출력들과 제3 레이블들에 기초하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 학습 장치는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 뉴럴 네트워크(124) 내 노드들의 연결 관계를 최적화하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 아기 건강 진단 솔루션 제공 장치(120)는 학습이 완료된 뉴럴 네트워크(124)를 이용하여 기저귀 대변 이미지로부터 식별자의 대변 상태 판단 결과를 생성할 수 있다.According to another embodiment, the learning device may obtain training outputs by applying the third training feature vectors to the neural network 124 . The learning device may train the neural network 124 based on the training outputs and the third labels. The learning device may train the neural network 124 by calculating training errors corresponding to training outputs and optimizing a connection relationship of nodes in the neural network 124 to minimize the training errors. The apparatus 120 for providing a baby health diagnosis solution may generate a stool state determination result of an identifier from a diaper stool image using the neural network 124 after learning has been completed.

도 3은 일실시예에 따른 아기 건강 진단 솔루션 제공 장치를 설명하기 위한 도면이다.3 is a diagram for explaining an apparatus for providing a baby health diagnosis solution according to an embodiment.

도 3에 도시한 바와 같이, 아기 건강 진단 솔루션 제공 장치(120)는 하나 이상의 프로세서(122), 하나 이상의 메모리(124) 및/또는 송수신기(126)를 포함할 수 있다. 일 실시예로서, 아기 건강 진단 솔루션 제공 장치(120)의 이 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 아기 건강 진단 솔루션 제공 장치(120)에 추가될 수 있다. 추가적으로(additionally) 또는 대체적으로(alternatively), 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 아기 건강 진단 솔루션 제공 장치(120) 내, 외부의 구성요소들 중 적어도 일부의 구성요소들은 버스, GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고받을 수 있다.As shown in FIG. 3 , the apparatus 120 for providing a baby health diagnosis solution may include one or more processors 122 , one or more memories 124 , and/or a transceiver 126 . As an example, at least one of these components of the device for providing a health diagnosis solution for baby 120 may be omitted or another component may be added to the device for providing a health diagnosis solution for baby 120 . Additionally or alternatively, some of the components may be integrated and implemented, or implemented as a singular or plural entity. At least some of the internal and external components of the baby health diagnosis solution providing device 120 use a bus, general purpose input/output (GPIO), serial peripheral interface (SPI) or mobile industry processor interface (MIPI). They are connected to each other through and can exchange data and/or signals.

하나 이상의 프로세서(122)는 소프트웨어(예: 명령, 프로그램 등)를 구동하여 프로세서(122)에 연결된 아기 건강 진단 솔루션 제공 장치(120)의 적어도 하나의 구성요소를 제어할 수 있다. 또한, 프로세서(122)는 본 발명과 관련된 다양한 연산, 처리, 데이터 생성, 가공 등의 동작을 수행할 수 있다. 또한, 프로세서(122)는 데이터 등을 하나 이상의 메모리(124)로부터 로드하거나, 하나 이상의 메모리(124)에 저장할 수 있다.One or more processors 122 may control at least one component of the apparatus 120 for providing a baby's health diagnosis solution connected to the processor 122 by driving software (eg, commands, programs, etc.). In addition, the processor 122 may perform operations such as various calculations, processing, data generation, and processing related to the present invention. In addition, the processor 122 may load data or the like from one or more memories 124 or store data in one or more memories 124 .

전술한 바와 같이, 하나 이상의 프로세서(122)는, 송수신기(126)를 통하여 다수의 사용자 단말(110-1, 110-2, … , 110-n) 중 어느 하나의 사용자 단말(예를 들어, 110-1)로부터 미리 설정된 기간 동안의 기저귀 대변 이미지들을 디지털 패킷의 형태로 실시간 또는 비실시간으로 수신할 수 있다.As described above, the one or more processors 122, via the transceiver 126, a plurality of user terminals (110-1, 110-2, ..., 110-n) of any one of the user terminal (eg, 110 Diaper stool images for a preset period from -1) may be received in real time or non-real time in the form of digital packets.

하나 이상의 프로세서(122)는, 송수신기(126)를 통해서 사용자 단말(110-1)로부터 수신된 기저귀 대변 이미지들을 이용하여 대변 객체 및 색상 코드를 검출할 수 있다. 일 실시예에 따르면, 하나 이상의 프로세서(122)는, 딥러닝과 같은 기계 학습 알고리즘을 이용하여 기저귀 대변 이미지들로부터 대변 객체 및 색상 코드를 검출할 수 있다.One or more processors 122 may detect stool objects and color codes using diaper stool images received from the user terminal 110 - 1 through the transceiver 126 . According to one embodiment, one or more processors 122 may detect stool objects and color codes from diaper stool images using a machine learning algorithm, such as deep learning.

하나 이상의 프로세서(122)는, 검출된 색상 코드에 기초하여, 대변 객체의 전처리를 수행할 수 있다. 일 실시예에 따르면, 검출된 색상 코드의 굴곡을 평탄화하고, 색상 코드의 색상들을 검출하며, 색상 코드의 색상들에 대해서 미리 정의된 색 정보와 검출된 색상들을 비교하여 색상 보정값을 생성하고, 색상 보정값을 이용하여 대변 객체의 색상을 보정할 수 있다.One or more processors 122 may pre-process the feces object based on the detected color code. According to an embodiment, a curvature of the detected color code is flattened, colors of the color code are detected, predefined color information for the colors of the color code is compared with the detected colors to generate a color correction value, The color of the feces object may be corrected using the color correction value.

하나 이상의 프로세서(122)는, 전처리된 대변 객체를 처리하여 식별자의 대변 상태 판단 결과를 생성할 수 있다. 일 실시예에 따르면, 프로세서(122)는, 식별자의 대변 상태 판단 결과를 설사, 변비, 정상, 매우 됨, 됨, 약간 됨, 보통, 약간 묽음, 묽음, 매우 묽음 등으로 생성할 수 있지만, 이에 한정되지 않는다.One or more processors 122 may process the pre-processed stool object to generate a stool status determination result of the identifier. According to one embodiment, the processor 122 may generate the stool condition determination result of the identifier as diarrhea, constipation, normal, very good, good, little, normal, slightly weak, weak, very weak, etc. Not limited.

하나 이상의 메모리(124)는 다양한 데이터를 저장할 수 있다. 메모리(124)에 저장되는 데이터는, 아기 건강 진단 솔루션 제공 장치(120)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예: 명령, 프로그램 등)를 포함할 수 있다. 메모리(124)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 본 발명에서, 명령 내지 프로그램은 메모리(124)에 저장되는 소프트웨어로서, 아기 건강 진단 솔루션 제공 장치(120)의 리소스를 제어하기 위한 운영체제, 어플리케이션 및/또는 어플리케이션이 아기 건강 진단 솔루션 제공 장치(120)의 리소스들을 활용할 수 있도록 다양한 기능을 어플리케이션에 제공하는 미들 웨어 등을 포함할 수 있다.One or more memories 124 may store various data. Data stored in the memory 124 is data acquired, processed, or used by at least one component of the device for providing a baby health diagnosis solution 120, and may include software (eg, commands, programs, etc.) can Memory 124 may include volatile and/or non-volatile memory. In the present invention, commands or programs are software stored in the memory 124, and the operating system, application and/or application for controlling resources of the device for providing a health diagnosis solution for baby 120 is the device for providing a health diagnosis solution for baby 120 It can include middleware that provides various functions to applications so that they can utilize the resources of the system.

하나 이상의 메모리(124)는 상술한 다수의 사용자 단말(110-1, 110-2, … , 110-n)로부터 네트워크(N)를 통하여 수신한 기저귀 대변 이미지들, 하나 이상의 프로세서(122)에서 형성된 대변 객체들, 색상 코드들, 대변 상태 판단 결과 등을 저장할 수 있다. 또한, 하나 이상의 메모리(124)는, 하나 이상의 프로세서(122)에 의한 실행 시, 하나 이상의 프로세서(122)가 연산을 수행하도록 하는 명령들을 저장할 수 있다.The one or more memories 124 store diaper stool images received from the above-described plurality of user terminals 110-1, 110-2, ..., 110-n through the network N, and are formed by the one or more processors 122. Feces objects, color codes, feces state determination results, etc. may be stored. Additionally, the one or more memories 124 may store instructions that, when executed by the one or more processors 122, cause the one or more processors 122 to perform operations.

일 실시예로서, 아기 건강 진단 솔루션 제공 장치(120)는 송수신기(126)를 더 포함할 수 있다. 송수신기(126)는, 다수의 사용자 단말(110-1, 110-2, … , 110-n), 아기 건강 진단 솔루션 제공 장치(120), 데이터베이스(130) 및/또는 기타 다른 장치 간의 무선 또는 유선 통신을 수행할 수 있다. 예를 들어, 송수신기(126)는 eMBB(enhanced Mobile Broadband), URLLC(Ultra Reliable Low-Latency Communications), MMTC(Massive Machine Type Communications), LTE(long-term evolution), LTE-A(LTE Advance), UMTS(Universal Mobile Telecommunications System), GSM(Global System for Mobile communications), CDMA(code division multiple access), WCDMA(wideband CDMA), WiBro(Wireless Broadband), WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), GPS(Global Positioning System) 또는 GNSS(global navigation satellite system) 등의 방식에 따른 무선 통신을 수행할 수 있다. 예를 들어, 송수신기(126)는 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232) 또는 POTS(plain old telephone service) 등의 방식에 따른 유선 통신을 수행할 수 있다.As an embodiment, the baby health diagnosis solution providing device 120 may further include a transceiver 126 . The transceiver 126 is wireless or wired between a plurality of user terminals 110-1, 110-2, ..., 110-n, the baby health diagnosis solution providing device 120, the database 130, and/or other devices. communication can be performed. For example, the transceiver 126 may transmit eMBB (enhanced mobile broadband), URLLC (Ultra Reliable Low-Latency Communications), MMTC (Massive Machine Type Communications), LTE (long-term evolution), LTE-A (LTE Advance), UMTS (Universal Mobile Telecommunications System), GSM (Global System for Mobile communications), CDMA (code division multiple access), WCDMA (wideband CDMA), WiBro (Wireless Broadband), WiFi (wireless fidelity), Bluetooth (Bluetooth), NFC ( Wireless communication may be performed according to a method such as near field communication (GPS), global positioning system (GPS), or global navigation satellite system (GNSS). For example, the transceiver 126 may perform wired communication according to a method such as universal serial bus (USB), high definition multimedia interface (HDMI), recommended standard 232 (RS-232), or plain old telephone service (POTS). there is.

일 실시예로서, 하나 이상의 프로세서(122)는 송수신기(126)를 제어하여 다수의 사용자 단말(110-1, 110-2, … , 110-n), 아기 건강 진단 솔루션 제공 장치(120)로부터 정보를 획득할 수 있다. 다수의 사용자 단말(110-1, 110-2, … , 110-n), 아기 건강 진단 솔루션 제공 장치(120)로부터 획득된 정보는 하나 이상의 메모리(124)에 저장될 수 있다.As an embodiment, one or more processors 122 control the transceiver 126 to receive information from a plurality of user terminals 110-1, 110-2, ..., 110-n and the device for providing a baby health diagnosis solution 120. can be obtained. Information acquired from the plurality of user terminals 110 - 1 , 110 - 2 , ... , 110 - n and the apparatus 120 for providing a baby health diagnosis solution may be stored in one or more memories 124 .

일 실시예로서, 아기 건강 진단 솔루션 제공 장치(120)는 다양한 형태의 장치가 될 수 있다. 예를 들어, 아기 건강 진단 솔루션 제공 장치(120)는 휴대용 통신 장치, 컴퓨터 장치, 또는 상술한 장치들 중 하나 또는 그 이상의 조합에 따른 장치일 수 있다. 본 발명의 아기 건강 진단 솔루션 제공 장치(120)는 전술한 장치들에 한정되지 않는다.As an example, the baby health diagnosis solution providing device 120 may be various types of devices. For example, the baby health diagnosis solution providing device 120 may be a portable communication device, a computer device, or a device according to one or more combinations of the above devices. The device 120 for providing a baby health diagnosis solution of the present invention is not limited to the devices described above.

본 발명에 따른 아기 건강 진단 솔루션 제공 장치(120)의 다양한 실시예들은 서로 조합될 수 있다. 각 실시예들은 경우의 수에 따라 조합될 수 있으며, 조합되어 만들어진 아기 건강 진단 솔루션 제공 장치(120)의 실시예 역시 본 발명의 범위에 속한다. 또한 전술한 본 발명에 따른 아기 건강 진단 솔루션 제공 장치(120)의 내/외부 구성 요소들은 실시예에 따라 추가, 변경, 대체 또는 삭제될 수 있다. 또한 전술한 아기 건강 진단 솔루션 제공 장치(120)의 내/외부 구성 요소들은 하드웨어 컴포넌트로 구현될 수 있다.Various embodiments of the baby health diagnosis solution providing device 120 according to the present invention may be combined with each other. Each embodiment may be combined according to the number of cases, and the embodiments of the device 120 for providing a baby health diagnosis solution made in combination also fall within the scope of the present invention. In addition, internal/external components of the apparatus 120 for providing a baby health diagnosis solution according to the present invention described above may be added, changed, replaced, or deleted according to embodiments. In addition, internal/external components of the above-described device for providing a baby health diagnosis solution 120 may be implemented as hardware components.

도 4는 일실시예에 따른 필요 아기 건강 진단 솔루션 제공 방법의 흐름도이다.4 is a flowchart of a method for providing a necessary baby health diagnosis solution according to an embodiment.

도 4의 흐름도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동하도록 구성될 수 있다. 다시 말하면, 본 발명의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 발명에서 기술된 순서로 수행될 필요는 없다. 또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 발명의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지 않는다.Although process steps, method steps, algorithms, etc. are described in a sequential order in the flowchart of FIG. 4, such processes, methods and algorithms may be configured to operate in any suitable order. In other words, the steps of the processes, methods and algorithms described in the various embodiments of the invention need not be performed in the order described herein. Also, although some steps are described as being performed asynchronously, in other embodiments some of these steps may be performed concurrently. Further, illustration of a process by depiction in the drawings does not mean that the illustrated process is exclusive of other changes and modifications thereto, and that any of the illustrated process or steps thereof may be one of various embodiments of the present invention. It is not meant to be essential to one or more, and it does not imply that the illustrated process is preferred.

도 4에 도시한 바와 같이, 단계(S410)에서, 식별자의 기저귀 대변 이미지가 획득된다. 예를 들어, 도 1 내지 도 3을 참조하면, 아기 건강 진단 솔루션 제공 장치(120)는, 다수의 사용자 단말(110-1, 110-2, … , 110-n) 중 어느 하나의 사용자 단말(예를 들어, 110-1)로부터 네트워크(N)를 통하여 기저귀 대변 이미지를 획득할 수 있다.As shown in Fig. 4, in step S410, the diaper feces image of the identifier is obtained. For example, referring to FIGS. 1 to 3 , the apparatus 120 for providing a baby health diagnosis solution is any one of a plurality of user terminals 110-1, 110-2, ..., 110-n For example, a diaper stool image may be obtained from 110-1) through the network N.

단계(S420)에서, 기저귀 대변 이미지로부터 대변 객체 및 색상 코드가 검출된다. 예를 들어, 도 1 내지 도 3을 참조하면, 아기 건강 진단 솔루션 제공 장치(120)는, 단계 S410에서 획득된 기저귀 대변 이미지로부터 대변 객체 및 색상 코드를 검출할 수 있다.In step S420, a feces object and a color code are detected from the diaper feces image. For example, referring to FIGS. 1 to 3 , the apparatus 120 for providing a baby health diagnosis solution may detect a stool object and a color code from the diaper stool image obtained in step S410.

단계(S430)에서, 색상 코드에 기초하여, 대변 객체가 전처리 된다. 예를 들어, 도 1 내지 도 3을 참조하면, 아기 건강 진단 솔루션 제공 장치(120)는, 단계 S410에서 검출된 색상 코드에 기초하여, 단계 S410에서 검출된 대변 객체의 전처리를 수행할 수 있다. 일 실시예에 따르면, 아기 건강 진단 솔루션 제공 장치(120)는, 검출된 색상 코드의 굴곡을 평탄화하고, 색상 코드의 색상들을 검출하며, 색상 코드의 색상들에 대해서 미리 정의된 색 정보와 검출된 색상들을 비교하여 색상 보정값을 생성하고, 색상 보정값을 이용하여 대변 객체의 색상을 보정하여 대변 객체의 전처리를 수행할 수 있다.In step S430, the stool object is pre-processed based on the color code. For example, referring to FIGS. 1 to 3 , the apparatus 120 for providing a baby health diagnosis solution may pre-process the stool object detected in step S410 based on the color code detected in step S410. According to an embodiment, the baby health diagnosis solution providing device 120 flattens the curve of the detected color code, detects the colors of the color code, and provides predefined color information and detected color information about the colors of the color code. It is possible to perform preprocessing of the feces object by comparing the colors to generate a color correction value and correcting the color of the feces object using the color correction value.

단계(S440)에서, 전처리된 대변 객체를 처리하여 식별자의 대변 상태 판단 결과가 생성된다. 예를 들어, 도 1 내지 도 3을 참조하면, 아기 건강 진단 솔루션 제공 장치(120)는, 단계 S430에서 전처리된 대변 객체를 처리하여 식별자의 대변 상태 판단 결과를 생성할 수 있다. 일 실시예에 따르면, 아기 건강 진단 솔루션 제공 장치(120)는, 식별자의 대변 상태 판단 결과를 설사, 변비, 정상, 매우 됨, 됨, 약간 됨, 보통, 약간 묽음, 묽음, 매우 묽음 등으로 생성할 수 있다.In step S440, the pre-processed feces object is processed to generate a stool status determination result of the identifier. For example, referring to FIGS. 1 to 3 , the apparatus 120 for providing a baby health diagnosis solution may process the feces object preprocessed in step S430 to generate a stool condition determination result of an identifier. According to one embodiment, the baby health diagnosis solution providing device 120 generates diarrhea, constipation, normal, very good, little, normal, slightly thin, thin, very thin, etc. as the stool condition determination result of the identifier can do.

도 5는 일실시예에 따른 장치의 구성의 예시도이다.5 is an exemplary diagram of a configuration of a device according to an embodiment.

일실시예에 따른 장치(401)는 프로세서(402) 및 메모리(403)를 포함한다. 일실시예에 따른 장치(401)는 상술한 서버 또는 단말일 수 있다. 프로세서는 도 1 내지 도 4를 통하여 전술한 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 4를 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(403)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(403)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다. Device 401 according to an embodiment includes a processor 402 and a memory 403 . The device 401 according to an embodiment may be the above-described server or terminal. The processor may include at least one device described above with reference to FIGS. 1 to 4 or may perform at least one method described above with reference to FIGS. 1 to 4 . The memory 403 may store information related to the above method or store a program in which the above method is implemented. Memory 403 may be volatile memory or non-volatile memory.

프로세서(402)는 프로그램을 실행하고, 장치(401)를 제어할 수 있다. 프로세서(402)에 의하여 실행되는 프로그램의 코드는 메모리(403)에 저장될 수 있다. 장치(401)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.The processor 402 may execute a program and control the device 401 . Codes of programs executed by the processor 402 may be stored in the memory 403 . The device 401 may be connected to an external device (eg, a personal computer or network) through an input/output device (not shown) and exchange data.

도 6 내지 도 14는 일실시예에 따른 아기 건강 진단 솔루션의 어플리케이션 구현예이다.6 to 14 are application implementation examples of a baby health diagnosis solution according to an embodiment.

다수의 사용자 단말(110-1, 110-2, … , 110-n) 중 어느 하나의 사용자 단말(예를 들어, 110-1)에서 아기 건강 진단 솔루션의 구현을 위한 어플리케이션을 구동시키면 도 6과 같은 초기 화면이 사용자 단말(110-1)의 디스플레이에 표시될 수 있다. 초기 화면에는 아이디 및 비밀번호 입력란(①), SNS(Social Network Service) 로그인 버튼(②), 입력 버튼(③)이 표시될 수 있다. 아이디 및/또는 비밀번호를 입력하지 하고 입력 버튼(③)을 선택할 경우 “아이디 비밀번호를 입력해주세요.”라는 메시지가 표시되고, 미리 설정된 아이디 및/또는 비밀번호와 일치하지 않는 아이디 및/또는 비밀번호를 입력하고 입력 버튼(③)을 선택할 경우 “아이디 또는 비밀번호를 확인하세요.”라는 메시지가 표시될 수 있다.6 The same initial screen may be displayed on the display of the user terminal 110-1. An ID and password input field (①), a social network service (SNS) login button (②), and an input button (③) may be displayed on the initial screen. If you do not enter an ID and/or password and select the input button (③), the message “Please enter your ID and password” is displayed, and you enter an ID and/or password that does not match the preset ID and/or password. If you select the input button (③), the message “Please check your ID or password” may be displayed.

최초로 어플리케이션을 구동 시킬 경우 서비스 가입을 위한 회원 정보 입력 화면이 표시될 수 있다. 서비스 가입 시 회원 유형을 선택하여, 의사 회원(소아 배변 전문의)의 경우 소견등록, 배변 정보 확인 등의 메뉴를 이용할 수 있고, 아기 회원(아기의 실제 보호자)의 경우 정보입력, 소견 확인 등의 메뉴를 이용할 수 있다. 아이디, 비밀번호, 주소 등의 정보를 입력하여 서비스 가입을 완료할 경우 어플리케이션의 이용이 가능하게 된다.When the application is run for the first time, a member information input screen for service subscription may be displayed. When signing up for the service, you can select a member type, and in the case of a doctor member (a pediatric bowel specialist), you can use menus such as opinion registration and bowel information check. menu is available. When the service subscription is completed by entering information such as ID, password, and address, the application can be used.

도 7에 도시한 바와 같이, 기저귀 대변 이미지를 촬영하는 화면이 표시될 수 있다. 촬영 화면(①)에는 사용자 단말(110-1)에 구비된 기본 카메라와 연동되어 촬영 버튼이 표시되고, “색상 코드와 기저귀가 보이게 촬영해 주세요”라는 문구가 표시될 수 있다. 상단에 위치한 아기 모양의 버튼(②)을 선택할 경우 소견 내역 화면이 표시될 수 있다.As shown in FIG. 7 , a screen for capturing a diaper feces image may be displayed. On the photographing screen ①, a photographing button may be displayed in conjunction with the basic camera provided in the user terminal 110-1, and the phrase "Please photograph the color code and diaper visible" may be displayed. If you select the baby-shaped button (②) located at the top, the findings history screen may be displayed.

도 8에 도시한 바와 같이, 소견 내역 화면에는 카메라를 통해 촬영된 기저귀 대변 이미지(①)가 표시되는데, 이미지 가공이 이루어지지 않은 이미지가 표시될 수 있다. 촬영된 기저귀 대변 이미지의 정보 입력란(②)에는 배변횟수, 배변시기, 건강상태, 직전식단, 아기체중, 특이사항 등의 정보를 입력할 수 있다. 예를 들어, 건강상태는 별도의 화면이 표시되어 매우좋음, 좋음, 보통, 나쁨, 매우나쁨 등으로 선택할 수 있다. 직전식단은 별도의 화면이 표시되어 분유, 이유식, 밥 등으로 선택할 수 있다. 모든 정보를 입력하고 전송 버튼을 선택할 경우 카메라를 통해 촬영된 기저귀 대변 이미지가 서버로 전송되어 서버에 존재하는 뉴럴 네트워크를 이용하여 색 보정 등의 이미지 가공을 수행할 수 있다. 서버에서 가공된 이미지는 아기 건강 진단 솔루션 제공 장치(120)로 전송되어 결과 이미지로 제공될 수 있다.As shown in FIG. 8, a diaper feces image (①) photographed by a camera is displayed on the findings detail screen, but an image without image processing may be displayed. Information such as the number of defecation, the time of defecation, health condition, previous diet, baby's weight, and special matters can be entered in the information input box (②) of the captured diaper feces image. For example, a separate screen is displayed for the state of health, and it is selectable as very good, good, average, bad, or very bad. The previous meal is displayed on a separate screen, so you can select powdered milk, baby food, or rice. When all information is entered and the transmit button is selected, the diaper stool image captured by the camera is transmitted to the server, and image processing such as color correction can be performed using the neural network existing in the server. The image processed by the server may be transmitted to the baby health diagnosis solution providing device 120 and provided as a resultant image.

도 9에 도시한 바와 같이, 소견 내역 화면에는 해당 회원의 과거 소견 내역들(①)이 표시되고, 상단 오른쪽에는 촬영 화면으로 이동하기 위한 버튼(②)이 상단 왼쪽에는 로그아웃을 위한 버튼(③)이 표시될 수 있다.As shown in FIG. 9, the view detail screen displays past view details (①) of the member, and a button (②) to move to the shooting screen is displayed on the upper right, and a logout button (③) is displayed on the upper left. ) can be displayed.

도 10에 도시한 바와 같이, 소견 확인 화면에는 배변 상태 표시란(①)에 배변 상태(매우 됨, 됨, 약간 됨, 보통, 약간 묽음, 묽음, 매우 묽음)에 따른 타입별 아이콘 및 넘버(배변타입A~G)가 표시되고, 의사 소견란(②)에는 의사간 작성한 소견 문구가 표시될 수 있다.As shown in FIG. 10, on the finding confirmation screen, an icon and number (defecation) for each type according to the defecation status (very, very, slightly, normal, slightly thin, thin, very thin) in the defecation status display box (①) Types A to G) may be displayed, and opinions written between doctors may be displayed in the doctor's opinion section (②).

도 11에 도시한 바와 같이, 의사정보 및 예약 화면에는 의사 정보란(①)에 의사 회원의 가입 정보로서 병원명, 주소, 전화번호 등이 표시되고, 병원 예약란(②)에는 날짜 선택란, 시간 선택란 등이 표시될 수 있다.As shown in FIG. 11, on the doctor information and reservation screen, the hospital name, address, phone number, etc. are displayed as subscription information of the doctor member in the doctor information field (①), and the date selection field and time selection field are displayed in the hospital reservation field (②). etc. can be displayed.

도 12에 도시한 바와 같이, 배변 정보 확인 화면에는 요약정보 확인란(①)이 표시되어 의사 회원이 아기 회원의 정보를 확인할 수 있다.As shown in FIG. 12, a summary information check box (①) is displayed on the defecation information confirmation screen, so that the doctor member can check the information of the baby member.

도 13에 도시한 바와 같이, 소견등록 화면에는 사용자 단말(110-1)에서 촬영되어 서버에서 가공된 기저귀 대변 이미지(①)가 표시될 수 있다. 기저귀 대변 이미지는 배변횟수, 배변시기, 건강상태, 직전식단, 아기체중, 특이사항 등의 정보 등과 함께 표시될 수 있다. 의사 소견란(②)에는 배변타입 선택 버튼 및 의사의 소견을 자유롭게 입력할 수 있는 소견 입력란이 함께 표시될 수 있다.As shown in FIG. 13, a diaper feces image (①) photographed by the user terminal 110-1 and processed by the server may be displayed on the opinion registration screen. The diaper feces image may be displayed together with information such as the number of bowel movements, the time of bowel movements, health condition, previous diet, baby weight, and special matters. In the doctor's opinion field (②), a defecation type selection button and an opinion input field in which the doctor's opinion can be freely entered may be displayed together.

도 14에 도시한 바와 같이, 과거이력내역 화면에는 사용자 단말(110-1)에서 촬영되어 서버에서 가공된 기저귀 대변 이미지(①)가 표시될 수 있다. 기저귀 대변 이미지는 배변횟수, 배변시기, 건강상태, 직전식단, 아기체중, 특이사항 등의 정보 등과 함께 표시될 수 있다.As shown in FIG. 14, a diaper feces image (①) photographed by the user terminal 110-1 and processed by the server may be displayed on the past history details screen. The diaper feces image may be displayed together with information such as the number of bowel movements, the time of bowel movements, health condition, previous diet, baby weight, and special matters.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, the devices, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic units (PLUs), microprocessors, or any other device capable of executing and responding to instructions. A processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. The device can be commanded. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited drawings, those skilled in the art can apply various technical modifications and variations based on the above. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

Claims (1)

식별자의 기저귀 대변 이미지를 획득하는 단계;
상기 식별자의 개인 정보-상기 개인 정보는 상기 식별자의 나이, 성별 및 알레르기 정보 중 적어도 하나를 포함함- 및 섭취 음식 정보-상기 섭취 음식 정보는 모유 수유 여부, 이유식 종류 및 먹는 음식 중 적어도 하나를 포함함-를 수신하는 단계;
트레이닝 기저귀 대변 이미지들로부터 미리 정의된 색 정보에 기초하여 트레이닝 대변 객체들 및 트레이닝 색상 코드들을 검출하도록 미리 학습된 인공지능 모델을 이용하여, 상기 기저귀 대변 이미지로부터 대변 객체 및 색상 코드를 검출하는 단계;
상기 색상 코드에 기초하여 상기 대변 객체를 전처리하는 단계;
상기 전처리된 대변 객체를 전문가 단말로 전송하는 단계;
상기 전문가 단말로부터 상기 전처리된 대변 객체의 대변 상태에 대한 피드백 정보를 수신하는 단계;
상기 대변 상태 각각에 가중치를 부여하는 단계;
상기 식별자에 대하여 미리 설정된 기간 동안의 제1 기저귀 대변 이미지들 획득하는 단계;
상기 대변의 상태들 각각에 대하여 상기 부여된 가중치를 곱하고 합산하여 소화력 지수를 산출하는 단계;
상기 소화력 지수에 기초하여 상기 식별자의 소화력 순위를 산출하는 단계;
상기 대변 상태에 기초하여 상기 식별자의 제1 신체나이 지수를 산출하는 단계;
상기 개인 정보를 이용하여 상기 식별자의 제2 신체나이 지수를 산출하는 단계;
상기 섭취 음식 정보를 이용하여 상기 식별자의 제3 신체나이 지수를 산출하는 단계;
상기 제1 내지 제3 신체나이 지수 각각에 제1 가중치를 부여하는 단계;
상기 제1 내지 제3 신체나이 지수와 상기 제1 내지 제3 신체나이 지수 각각에 부여된 제1 가중치를 곱한 값의 평균을 산출하는 단계; 및
상기 산출된 평균을 최종 신체나이 지수로 생성하는 단계
를 포함하고,
상기 색상 코드를 검출하는 단계는
상기 트레이닝 기저귀 대변 이미지들을 획득하는 단계;
상기 트레이닝 기저귀 대변 이미지들로부터 상기 트레이닝 색상 코드들을 추출하는 단계;
상기 트레이닝 색상 코드들에 대해서 미리 정의된 색 정보를 나타내는 제1 레이블들을 획득하는 단계;
상기 트레이닝 색상 코드들을 미리 학습된 제1 뉴럴 네트워크로 적용하여, 상기 트레이닝 색상 코드들에 대응하는 트레이닝 출력들을 생성하는 단계; 및
상기 트레이닝 출력들 및 상기 제1 레이블들에 기초하여, 상기 제1 뉴럴 네트워크를 학습시키는 단계
를 포함하고,
상기 대변 객체를 전처리하는 단계는
상기 색상 코드의 굴곡을 평탄화하는 단계;
상기 색상 코드의 색상들을 검출하는 단계;
상기 색상 코드의 색상들에 대해서 미리 정의된 색 정보와 상기 검출된 색상들을 비교하여 색상 보정값을 생성하는 단계; 및
상기 색상 보정값을 이용하여 상기 대변 객체의 색상을 보정하는 단계
를 포함하는,
아기 건강 진단 솔루션 제공 방법.
obtaining a diaper feces image of the identifier;
Personal information of the identifier—the personal information includes at least one of age, gender, and allergy information of the identifier—and food information consumed—the food information includes at least one of breastfeeding status, type of baby food, and food eaten receiving a ham-;
Detecting stool objects and color codes from training diaper stool images by using an artificial intelligence model pretrained to detect training stool objects and training color codes based on predefined color information from the training diaper stool images;
pre-processing the feces object based on the color code;
Transmitting the preprocessed feces object to an expert terminal;
Receiving feedback information about a stool state of the preprocessed stool object from the expert terminal;
assigning a weight to each of the stool conditions;
obtaining first diaper stool images for a period preset for the identifier;
Calculating a digestibility index by multiplying and summing the assigned weights for each of the stool conditions;
Calculating an digestibility ranking of the identifier based on the digestibility index;
calculating a first body age index of the identifier based on the stool condition;
calculating a second body age index of the identifier using the personal information;
calculating a third body age index of the identifier by using the food intake information;
assigning a first weight to each of the first to third body age indices;
calculating an average of values obtained by multiplying the first to third body age indices by a first weight assigned to each of the first to third body age indices; and
Generating the calculated average as a final body age index
including,
Detecting the color code
acquiring stool images of the training diaper;
extracting the training color codes from the training diaper stool images;
obtaining first labels indicating predefined color information for the training color codes;
generating training outputs corresponding to the training color codes by applying the training color codes to a pretrained first neural network; and
training the first neural network based on the training outputs and the first labels;
including,
The step of preprocessing the stool object is
flattening the curvature of the color code;
detecting colors of the color code;
generating a color correction value by comparing predefined color information for the colors of the color code with the detected colors; and
Correcting the color of the stool object using the color correction value
including,
How to provide baby health diagnosis solution.
KR1020210102116A 2021-02-24 2021-08-03 Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image KR102494384B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210102116A KR102494384B1 (en) 2021-02-24 2021-08-03 Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210024663A KR102440827B1 (en) 2021-02-24 2021-02-24 Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image
KR1020210102116A KR102494384B1 (en) 2021-02-24 2021-08-03 Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210024663A Division KR102440827B1 (en) 2021-02-24 2021-02-24 Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image

Publications (2)

Publication Number Publication Date
KR20220121152A KR20220121152A (en) 2022-08-31
KR102494384B1 true KR102494384B1 (en) 2023-02-06

Family

ID=77782526

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020210024663A KR102440827B1 (en) 2021-02-24 2021-02-24 Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image
KR1020210102115A KR102494380B1 (en) 2021-02-24 2021-08-03 Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image
KR1020210102110A KR102494264B1 (en) 2021-02-24 2021-08-03 Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image
KR1020210102114A KR102494373B1 (en) 2021-02-24 2021-08-03 Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image
KR1020210102116A KR102494384B1 (en) 2021-02-24 2021-08-03 Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image
KR1020210102113A KR102494360B1 (en) 2021-02-24 2021-08-03 Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020210024663A KR102440827B1 (en) 2021-02-24 2021-02-24 Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image
KR1020210102115A KR102494380B1 (en) 2021-02-24 2021-08-03 Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image
KR1020210102110A KR102494264B1 (en) 2021-02-24 2021-08-03 Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image
KR1020210102114A KR102494373B1 (en) 2021-02-24 2021-08-03 Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210102113A KR102494360B1 (en) 2021-02-24 2021-08-03 Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image

Country Status (1)

Country Link
KR (6) KR102440827B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024055283A1 (en) * 2022-09-16 2024-03-21 N.V. Nutricia Nutrition digestive efficacy assistant and computer implemented algorithm thereof
CN116936133B (en) * 2023-09-18 2023-12-08 四川互慧软件有限公司 Nutrient condition monitoring method and system based on nursing morning shift data

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101559798B1 (en) * 2009-12-22 2015-10-13 엘지전자 주식회사 method for normalizing image in digital pathology

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101200269B1 (en) * 2010-10-15 2012-11-13 매일유업주식회사 Method and system for providing information on diagnosis of baby poo, and computer-readable recorded medium
KR101781996B1 (en) * 2015-11-03 2017-09-26 임대환 Method for analyzing personal health based on smart bidet and smart bidet performing the same
KR101863227B1 (en) * 2016-07-12 2018-05-31 주식회사 인피니트헬스케어 Method of determining patient case identity in digital pathology system
KR20200119135A (en) 2019-04-09 2020-10-19 주식회사 큐라코 Method of determining excrement information using neural network and system for the same
KR102268304B1 (en) 2019-06-11 2021-06-22 김민후 Method and apparatus for managing a health of infant using excrement image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101559798B1 (en) * 2009-12-22 2015-10-13 엘지전자 주식회사 method for normalizing image in digital pathology

Also Published As

Publication number Publication date
KR102494373B1 (en) 2023-02-06
KR20220121150A (en) 2022-08-31
KR102494264B1 (en) 2023-02-06
KR20220121151A (en) 2022-08-31
KR20220121148A (en) 2022-08-31
KR102494380B1 (en) 2023-02-06
KR102440827B1 (en) 2022-09-06
KR102494360B1 (en) 2023-02-06
KR20220121152A (en) 2022-08-31
KR20220121149A (en) 2022-08-31
KR20210109460A (en) 2021-09-06

Similar Documents

Publication Publication Date Title
KR102330858B1 (en) Method, apparatus, and system for providing information on analysis of pet stool status using stool sheet stool images
Zhu et al. Human identification for activities of daily living: A deep transfer learning approach
US11270565B2 (en) Electronic device and control method therefor
KR102494384B1 (en) Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image
KR20200036680A (en) An electronic device and method for obtaining emotional information
KR102506472B1 (en) Method, device and system for providing hyper-personalized customized food purchase recommendation service based on artificial intelligence
KR20220085445A (en) Method and system for providing information on posture calibration application
KR102564996B1 (en) Method, device and system for providing user customized health functional food curation service based on artificial intelligence
KR102546807B1 (en) Method, apparatus and system for providing nutritional information based on fecal image analysis
KR102297111B1 (en) Anomalies Classification System and Method Based on Deep Neural Network Algorithm
KR102451102B1 (en) Companion animal skin lesion classification system and method based on artificial intelligence using clinical and image information
KR102330859B1 (en) Method, apparatus and system for providing pet fecal image analysis information
KR102593868B1 (en) Methods and systems for providing nail and toenail care information and operating expert matching platform services
KR102615747B1 (en) Method, device and system for providing food calorie estimation and user customized body change information visualization service using artificial intelligence model
KR102530527B1 (en) Method, device and system for providing restaurant recommendation service based on health information
KR102615749B1 (en) Method, device and system for providing diet management service and mental health care service using it and automated processing of user customized diet management consulting information creation using artificial intelligence model
KR102603914B1 (en) Method, apparatus and system for providing of yoga exercise guide and curriculum using user-costomized anatomy based on image analysis
KR102520597B1 (en) Product matching method considering market analysis and company needs
KR20220097836A (en) Method for providing hospital appointment service through image analysis of defecation pad
KR20220097033A (en) Defecation pad with color code attached
KR20220097835A (en) Method for providing hospital appointment service through image analysis of diaper stool
KR20220097031A (en) Diaper with color code attached
JALAN Understanding and Building Generative Adversarial Networks HARSH JALAN and DAKSHATA PANCHAL Student, Department of Computer Engineering, St. Francis Institute of Technology, Mumbai, Maharashtra, India, E-mails: harshjalan27@ yahoo. com; dakshatapanchal@ sfit. ac. in
KR20230019553A (en) Electronic apparatus and method for providing home appliance repair services, and program stored in computer readable medium performing the same
WO2024072813A1 (en) Cooperative longitudinal skin care monitoring

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right