KR102546353B1 - Method, apparatus and system for providing nutritional information based on fecal image analysis - Google Patents
Method, apparatus and system for providing nutritional information based on fecal image analysis Download PDFInfo
- Publication number
- KR102546353B1 KR102546353B1 KR1020210102143A KR20210102143A KR102546353B1 KR 102546353 B1 KR102546353 B1 KR 102546353B1 KR 1020210102143 A KR1020210102143 A KR 1020210102143A KR 20210102143 A KR20210102143 A KR 20210102143A KR 102546353 B1 KR102546353 B1 KR 102546353B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- training
- objects
- stool
- neural network
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Nutrition Science (AREA)
- Geometry (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Computational Linguistics (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
대변 이미지 분석 기반 필요 영양 정보 제공 방법, 장치 및 시스템이 개시된다. 일실시예에 따른 대변 이미지 분석 기반 필요 영양 정보 제공 방법은, 식별자에 대응하는 대변 이미지들을 획득하고, 대변 이미지들로부터 소화가 완전히 이루어지지 않은 객체들인 덩어리 객체들을 추출하며, 제1 트레이닝 덩어리 객체들 및 제1 레이블들-제1 레이블들은 트레이닝 덩어리 객체들에 대응하는 식품들의 정보임-에 기초하여 미리 학습된 제1 뉴럴 네트워크를 이용하여, 덩어리 객체들을 불완전 소화 식품 정보들로 분류하고, 덩어리 객체들에 대응하는 불완전 소화 식품 정보들에 기초하여 식별자에 대응하는 필요 영양분 정보를 생성한다.Disclosed are a method, apparatus, and system for providing necessary nutritional information based on stool image analysis. A method for providing necessary nutrition information based on stool image analysis according to an embodiment includes acquiring stool images corresponding to identifiers, extracting chunk objects, which are objects that are not fully digested, from the stool images, and first training chunk objects. and classifying chunk objects into incompletely digested food information using a first neural network pre-learned based on the first labels, wherein the first labels are information on foods corresponding to the training chunk objects, and Required nutrient information corresponding to the identifier is generated based on the incompletely digested food information corresponding to the .
Description
아래 실시예들은 대변 이미지 분석에 기반한 영양 정보 제공 방법, 장치 및 시스템에 관한 것이다.The following embodiments relate to a method, device, and system for providing nutrition information based on stool image analysis.
실시예들과 관련된 배경기술로, 대한민국 공개특허공보 KR 10-2020-0141776 A는 대변 이미지를 이용한 영유아 건강 관리 방법 및 장치를 개시한다. 구체적으로, 선행문헌은 대변 이미지와 더불어 바이탈 사인 데이터 및 병원 기록 데이터 중 적어도 하나 이상의 데이터를 기 설정된 시간 동안 시계열적으로 수집하는 단계와, 수집한 대변 이미지 각각의 분석을 통해 대변 상태 정보를 도출하는 단계와, 대변 상태 정보와 획득한 데이터를 기반으로 정상 상태, 질환 상태 및 건강 상태별 판단용 대변 상태 정보를 생성하여 사용자 데이터베이스에 저장하는 단계와, 이후, 영유아의 대변 이미지를 획득하는 단계와, 이후 획득한 대변 이미지에 대한 분석을 통해 대변 상태 정보를 생성하는 단계와, 대변 상태 정보와 사용자 데이터베이스에 저장된 정상 상태, 질환 상태 및 건강 상태별 판단용 대변 상태 변화 정보간의 비교를 통해 대변 상태 정보와 기 설정된 임계 범위 내에서 일치한 판단용 대변 상태 정보가 사용자 데이터베이스에 존재하는지를 판단하는 단계와, 판단 결과, 일치한 판단용 대변 상태 정보가 존재할 경우 영유아의 상태 판단 정보를 생성하는 단계와, 생성한 상태 판단 정보를 기 등록된 사용자측 단말에 전송하는 단계를 포함하는 대변 이미지 기반의 영유아 건강 관리 방법을 개시한다.As background art related to the embodiments, Korean Patent Laid-Open Publication KR 10-2020-0141776 A discloses a method and apparatus for managing health of infants and young children using stool images. Specifically, in the preceding literature, time-sequentially collecting at least one or more of vital sign data and hospital record data along with stool images for a predetermined time period, and deriving stool condition information through analysis of each collected stool image The step of generating and storing stool condition information for determination by normal state, disease state, and health state in a user database based on stool state information and acquired data, and then, obtaining stool images of infants, Thereafter, the step of generating stool condition information through analysis of the acquired stool image, and the stool state information and stool state information and Determining whether feces condition information matched within a predetermined threshold range exists in the user database, and, as a result of the determination, if there is matched stool condition information, generating infant condition determination information; Disclosed is a stool image-based health management method for infants and young children, which includes transmitting state determination information to pre-registered user-side terminals.
이를 통해, 선행문헌은 영유아의 대변 이미지와 더불어 병원 기록 데이터, 섭식 기록 데이터 및 바이탈 사인 데이터 중 적어도 하나 이상을 이용하여 영유아의 상태별 판단용 대변 상태 정보를 생성한 후 이를 기반으로 대변 이미지를 이용하여 영유아의 상태를 판단함으로써, 영유아의 건강 관리에 도움을 줄 수 있다.Through this, the preceding literature uses at least one or more of hospital record data, feeding record data, and vital sign data along with stool images of infants to generate stool condition information for determining each condition of infants, and then use the stool image based on this. By determining the condition of infants and young children, it is possible to help in health management of infants and young children.
또한, 대한민국 공개특허공보 KR 10-2020-0119135 A는 신경망 모듈을 이용한 대변상태 분석방법 및 이를 위한 시스템을 개시한다. 구체적으로, 선행문헌은 환자의 신체에 장착되는 자동 배설물 처리장치의 장착구에 설치된 온도센서, 습도센서, 자이로센서, 가스센서, 및 이미지센서로부터 각각, 미리 결정된 시구간 동안의 온도정보, 습도정보, 상기 환자의 자세정보, 가스정보, 및 이미지정보를 수집하여 상기 수집된 정보들에 대한 전처리 단계를 수행하도록 되어 있는, 처리부 및 상기 전처리 단계가 수행되어 상기 처리부로부터 출력된 입력정보인 온도값, 습도값, 자세값, 가스농도값, 가스발생횟수, 및 이미지값을 입력받아 상기 환자의 대변상태값을 출력하는 신경망 모듈을 포함하는, 서버를 개시한다.In addition, Korean Patent Laid-Open Publication No. KR 10-2020-0119135 A discloses a stool condition analysis method using a neural network module and a system therefor. Specifically, the prior literature provides temperature information and humidity information for a predetermined time period, respectively, from a temperature sensor, a humidity sensor, a gyro sensor, a gas sensor, and an image sensor installed at a mounting hole of an automatic excreta disposal device mounted on a patient's body. , a processing unit configured to collect the patient's posture information, gas information, and image information and perform a pre-processing step on the collected information, and a temperature value that is input information output from the processing unit after the pre-processing step is performed; Disclosed is a server including a neural network module that receives a humidity value, a posture value, a gas concentration value, a gas generation frequency, and an image value and outputs a stool condition value of the patient.
이를 통해, 선행문헌은 신경망 모듈을 이용하여 환자의 대변상태를 분석하는 방법 및 이를 위한 서버를 제공할 수 있다.Through this, the prior literature can provide a method for analyzing a patient's stool condition using a neural network module and a server therefor.
그러나 선행문헌들은 식별자에 대응하는 대변 이미지들을 획득하고, 대변 이미지들로부터 소화가 완전히 이루어지지 않은 객체들인 덩어리 객체들을 추출하며, 덩어리 객체들을 불완전 소화 식품 정보들로 분류하고, 불완전 소화 식품 정보들에 기초하여 식별자에 대응하는 필요 영양분 정보를 생성하는 기술적 특징을 개시하지 않는다.However, prior literatures acquire stool images corresponding to identifiers, extract chunk objects, which are objects that are not completely digested, from stool images, classify chunk objects into incompletely digested food information, and classify chunk objects into incompletely digested food information. It does not disclose technical features for generating the necessary nutrient information corresponding to the identifier based on.
실시예들은 대변 이미지 분석 기반 필요 영양 정보를 제공하고자 한다.Embodiments are intended to provide necessary nutritional information based on stool image analysis.
실시예들은 필요 영양 정보에 기초하여 추천 식품 정보를 제공하고자 한다.Embodiments attempt to provide recommended food information based on necessary nutritional information.
실시예들은 추천 식품 정보에 따른 식품 섭취 후의 소화 상태에 대한 피드백을 제공하고자 한다.Embodiments are intended to provide feedback on a digestive state after eating food according to recommended food information.
본 발명의 실시예에 따른 대변 이미지 분석 기반 영양 정보 제공 방법은, 식별자에 대응하는 대변 이미지들을 획득하는 단계; 상기 대변 이미지들로부터 소화가 완전히 이루어지지 않은 객체들인 덩어리 객체들을 추출하는 단계; 제1 트레이닝 덩어리 객체들 및 제1 레이블들 - 상기 제1 레이블들은 상기 트레이닝 덩어리 객체들에 대응하는 식품들의 정보임 - 에 기초하여 미리 학습된 제1 뉴럴 네트워크를 이용하여, 상기 덩어리 객체들을 불완전 소화 식품 정보들로 분류하는 단계; 및 상기 덩어리 객체들에 대응하는 불완전 소화 식품 정보들에 기초하여 상기 식별자에 대응하는 필요 영양분 정보를 생성하는 단계를 포함한다.A method for providing nutrition information based on stool image analysis according to an embodiment of the present invention includes acquiring stool images corresponding to identifiers; extracting lump objects, which are objects that are not fully digested, from the stool images; Incomplete digestion of the chunk objects by using a first neural network trained in advance based on first training chunk objects and first labels, wherein the first labels are information on foods corresponding to the training chunk objects. classifying into food information; and generating necessary nutrient information corresponding to the identifier based on incompletely digested food information corresponding to the chunk objects.
일 실시예로서, 상기 필요 영양분 정보에 기초하여, 상기 식별자에 대응하는 추천 식품 정보를 생성하는 단계를 더 포함할 수 있다.As an embodiment, the method may further include generating recommended food information corresponding to the identifier based on the necessary nutrient information.
일 실시예로서, 상기 추천 식품 정보에 따른 식품을 섭취하고 난 후의 적어도 하나의 제2 대변 이미지를 획득하는 단계; 상기 제2 대변 이미지를 이용하여 상기 추천 식품 정보에 따른 식품의 소화 상태를 판단하는 단계; 상기 식품의 소화 상태에 기초하여 상기 추천 식품 정보에 따른 식품에 대한 피드백 정보를 생성하는 단계; 및 상기 피드백 정보를 상기 식별자에 대응하는 사용자에게 제공하는 단계를 더 포함할 수 있다.As an example, acquiring at least one second stool image after eating food according to the recommended food information; determining a digestion state of food according to the recommended food information by using the second stool image; generating feedback information about food according to the recommended food information based on a digestion state of the food; and providing the feedback information to a user corresponding to the identifier.
일 실시예로서, 상기 대변 이미지들을 획득하는 단계는, 상기 식별자에 대응하는 대변 이미지들을 획득하기 위한 소정 기간 및 대변 이미지 개수에 기초하여, 상기 대변 이미지들을 획득하는 단계를 포함하고, 상기 소정 기간 및 상기 대변 이미지 개수는 상기 식별자에 대응하는 나이, 성별, 모유수유 여부 및 몸무게 중 적어도 하나에 기초하여 미리 정의될 수 있다.As an embodiment, the obtaining of the feces images includes obtaining the feces images based on a predetermined period for obtaining feces images corresponding to the identifier and the number of feces images, and the predetermined period and The number of stool images may be predefined based on at least one of age, gender, breastfeeding status, and weight corresponding to the identifier.
일 실시예로서, 상기 덩어리 객체들을 추출하는 단계는 상기 대변 이미지들로부터 특정 패턴을 갖는 후보 객체들을 검출하는 단계; 상기 후보 객체들을 미리 학습된 제2 뉴럴 네트워크를 이용하여 음식물 또는 이물질로 분류하는 단계; 및 상기 음식물로 분류된 후보 객체를 덩어리 객체로 분류하는 단계를 포함할 수 있다.As an embodiment, the extracting of the chunk objects may include detecting candidate objects having a specific pattern from the stool images; classifying the candidate objects as food or foreign substances using a pre-learned second neural network; and classifying the candidate objects classified as food into lump objects.
일 실시예로서, 제1 트레이닝 대변 이미지들을 획득하는 단계; 상기 제1 트레이닝 대변 이미지들로부터 상기 제1 트레이닝 덩어리 객체들을 추출하는 단계; 상기 제1 트레이닝 덩어리 객체들에 대응하는 식품들의 정보인 상기 제1 레이블들을 획득하는 단계; 상기 제1 트레이닝 덩어리 객체들을 상기 제1 뉴럴 네트워크로 적용하여, 상기 제1 트레이닝 덩어리 객체들에 대응하는 트레이닝 출력들을 생성하는 단계; 및 상기 트레이닝 출력들 및 상기 제1 레이블들에 기초하여, 상기 제1 뉴럴 네트워크를 학습시키는 단계를 더 포함할 수 있다.In one embodiment, obtaining first training stool images; extracting the first training chunk objects from the first training stool images; acquiring the first labels that are information of foods corresponding to the first training chunk objects; applying the first training chunk objects to the first neural network to generate training outputs corresponding to the first training chunk objects; and training the first neural network based on the training outputs and the first labels.
일 실시예로서, 상기 불완전 소화 식품 정보들로 분류하는 단계는 상기 대변 이미지들에 포함된 상기 덩어리 객체들의 크기들 및 개수들을 획득하는 단계; 및 상기 획득된 크기들 및 개수들의 분포 정보를 미리 학습된 제3 뉴럴 네트워크로 적용하여 상기 대변 이미지들에 대응하는 불완전 소화 식품 정보들을 생성하는 단계를 포함할 수 있다.As an embodiment, the classifying of the incompletely digested food information may include acquiring sizes and numbers of the mass objects included in the stool images; and generating incompletely digested food information corresponding to the feces images by applying the obtained distribution information of sizes and numbers to a pretrained third neural network.
일 실시예로서, 트레이닝 대변 이미지들을 획득하는 단계; 상기 트레이닝 대변 이미지들로부터 상기 제1 트레이닝 덩어리 객체들을 추출하는 단계; 상기 제1 트레이닝 덩어리 객체들로부터 상기 제1 트레이닝 덩어리 객체들의 크기들 및 개수들의 분포 정보인 제1 트레이닝 분포 정보를 추출하는 단계; 상기 제1 트레이닝 분포 정보에 대응하는 불완전 소화 식품 정보들인 제2 레이블들을 획득하는 단계; 상기 제1 트레이닝 분포 정보를 상기 제3 뉴럴 네트워크로 적용하여, 상기 제1 트레이닝 분포 정보에 대응하는 트레이닝 출력들을 생성하는 단계; 및 상기 트레이닝 출력들 및 상기 제2 레이블들에 기초하여, 상기 제3 뉴럴 네트워크를 학습시키는 단계를 더 포함할 수 있다.As one embodiment, obtaining training stool images; extracting the first training chunk objects from the training stool images; extracting first training distribution information, which is distribution information of sizes and numbers of the first training chunk objects, from the first training chunk objects; obtaining second labels that are incompletely digested food information corresponding to the first training distribution information; generating training outputs corresponding to the first training distribution information by applying the first training distribution information to the third neural network; and training the third neural network based on the training outputs and the second labels.
일 실시예로서, 상기 식별자에 대응하는 필요 영양분 정보를 형성하는 단계는, 상기 대변 이미지들에 포함된 상기 덩어리 객체들의 크기들 및 개수들을 고려하여 상기 덩어리 객체들 각각에 대하여 가중치를 부여하는 단계; 상기 덩어리 객체들 각각에 대응하는 필요 영양분별로 상기 부여된 가중치를 합산하여 소화력 지수를 산출하는 단계; 및 상기 소화력 지수에 기초하여 상기 식별자의 소화력 순위를 산출하는 단계를 포함할 수 있다.As an embodiment, the forming of the necessary nutrient information corresponding to the identifier may include assigning a weight to each of the chunk objects in consideration of sizes and numbers of the chunk objects included in the stool images; Calculating a digestibility index by summing up the assigned weights for each necessary nutrient corresponding to each of the chunk objects; and calculating a ranking of digestibility of the identifier based on the digestibility index.
본 발명의 실시예에 따른 컴퓨터 프로그램은, 상기한 대변 이미지 분석 기반 필요 영양 정보 제공 방법을 컴퓨터에서 실행하기 위하여 컴퓨터 판독 가능한 기록 매체에 저장될 수 있다.The computer program according to an embodiment of the present invention may be stored in a computer readable recording medium to execute the method for providing necessary nutritional information based on feces image analysis on a computer.
본 발명의 실시예에 따른 대변 이미지 분석 기반 필요 영양 정보 제공 장치는, 식별자에 대응하는 대변 이미지들을 획득하여 저장하는 메모리; 및 상기 대변 이미지들로부터 소화가 완전히 이루어지지 않은 객체들인 덩어리 객체들을 추출하고, 제1 트레이닝 덩어리 객체들 및 제1 레이블들 - 상기 제1 레이블들은 상기 트레이닝 덩어리 객체들에 대응하는 식품들의 정보임 - 에 기초하여 미리 학습된 제1 뉴럴 네트워크를 이용하여, 상기 덩어리 객체들을 불완전 소화 식품 정보들로 분류하며, 상기 덩어리 객체들에 대응하는 불완전 소화 식품 정보들에 기초하여 상기 식별자에 대응하는 필요 영양분 정보를 생성하는 프로세서를 포함할 수 있다.An apparatus for providing required nutrition information based on stool image analysis according to an embodiment of the present invention includes: a memory for obtaining and storing stool images corresponding to identifiers; and extracting chunk objects, which are objects that are not fully digested, from the feces images, and first training chunk objects and first labels, wherein the first labels are information on foods corresponding to the training chunk objects. The chunk objects are classified into incompletely digested food information using a first neural network pre-learned based on , and necessary nutrient information corresponding to the identifier based on the incompletely digested food information corresponding to the chunk objects. It may include a processor that generates.
실시예들은 다수의 사용자들의 대변 이미지 분석 결과에 기초하여 필요 영양 정보를 제공하고, 필요 영양 정보에 기초하여 추천 식품 정보를 제공하여 사용자별로 적합한 식품을 섭취할 수 있도록 도움을 줄 수 있다. 또한, 사용자가 추천 받은 식품을 섭취한 이후의 대변 이미지 분석 결과를 이용하여 피드백 정보를 제공하여 식품 추천에 있어서의 효율성을 향상시킬 수 있다.Embodiments provide necessary nutritional information based on stool image analysis results of multiple users, and provide recommended food information based on the necessary nutritional information, so that each user can consume appropriate foods. In addition, it is possible to improve the efficiency of food recommendation by providing feedback information using a stool image analysis result after the user consumes the recommended food.
도 1은 일실시예에 따른 대변 이미지 분석 기반 영양 정보 제공 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 대변 이미지의 예시도이다.
도 4는 일실시예에 따른 영양 정보 제공 장치를 설명하기 위한 도면이다.
도 5는 일실시예에 따른 필요 영양 정보 제공 방법의 흐름도이다.
도 6은 일실시예에 따른 장치의 구성의 예시도이다.1 is a diagram for explaining a stool image analysis-based nutrition information providing system according to an embodiment.
2 is a diagram for explaining learning of a neural network according to an embodiment of the present invention.
3 is an exemplary view of a stool image according to an embodiment of the present invention.
4 is a diagram for explaining a nutrition information providing device according to an embodiment.
5 is a flowchart of a method for providing necessary nutritional information according to an embodiment.
6 is an exemplary diagram of a configuration of a device according to an embodiment.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes can be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all changes, equivalents or substitutes to the embodiments are included within the scope of rights.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for illustrative purposes only, and may be modified and implemented in various forms. Therefore, the embodiments are not limited to the specific disclosed form, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical spirit.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various components, such terms should only be construed for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It should be understood that when an element is referred to as being “connected” to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in the examples are used only for descriptive purposes and should not be construed as limiting. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "include" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are given to the same components regardless of reference numerals, and overlapping descriptions thereof will be omitted. In describing the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description will be omitted.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. The embodiments may be implemented in various types of products such as personal computers, laptop computers, tablet computers, smart phones, televisions, smart home appliances, intelligent vehicles, kiosks, and wearable devices.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 규칙(Rule) 기반의 스마트 시스템과 달리 기계가 스스로 학습하고 판단하는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반의 스마트 시스템은 점차 심층 학습(Deep Learning) 기반 인공지능 시스템으로 대체되고 있다.An artificial intelligence (AI) system is a computer system that implements human-level intelligence, and unlike existing rule-based smart systems, machines learn and judge on their own. The more AI systems are used, the higher the recognition rate and the more accurate understanding of user preferences. Conventional rule-based smart systems are gradually being replaced by deep learning-based AI systems.
인공지능 기술은 기계 학습 및 기계 학습을 활용한 요소기술들로 구성된다. 기계 학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 심층 학습 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.Artificial intelligence technology consists of machine learning and element technologies using machine learning. Machine learning is an algorithm technology that classifies/learns the characteristics of input data by itself, and element technology is a technology that uses machine learning algorithms such as deep learning to mimic functions such as recognition and judgment of the human brain. It consists of technical fields such as understanding, inference/prediction, knowledge expression, and motion control.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.The various fields where artificial intelligence technology is applied are as follows. Linguistic understanding is a technology for recognizing and applying/processing human language/characters, including natural language processing, machine translation, dialogue systems, question and answering, voice recognition/synthesis, and the like. Visual understanding is a technology for recognizing and processing objects like human vision, and includes object recognition, object tracking, image search, person recognition, scene understanding, space understanding, image improvement, and the like. Inference prediction is a technique of reasoning and predicting logically by judging information, and includes knowledge/probability-based reasoning, optimization prediction, preference-based planning, and recommendation. Knowledge expression is a technology that automatically processes human experience information into knowledge data, and includes knowledge construction (data creation/classification) and knowledge management (data utilization). Motion control is a technology for controlling the autonomous driving of a vehicle and the movement of a robot, and includes motion control (navigation, collision, driving), manipulation control (action control), and the like.
일반적으로 기계 학습 알고리즘을 실생활에 적용하기 위해서는 기계 학습의 기본 방법론의 특성상 Trial and Error 방식으로 학습을 수행하게 된다. 특히, 심층 학습의 경우 수십만 번의 반복 실행을 필요로 한다. 이를 실제 물리적인 외부 환경에서 실행하기는 불가능하여 대신 실제 물리적인 외부 환경을 컴퓨터상에서 가상으로 구현하여 시뮬레이션을 통해 학습을 수행한다.In general, in order to apply machine learning algorithms to real life, learning is performed in a trial and error method due to the nature of the basic methodology of machine learning. In particular, deep learning requires hundreds of thousands of iterations. It is impossible to execute this in an actual physical external environment, so instead, the actual physical external environment is virtually implemented on a computer and learning is performed through simulation.
도 1은 일실시예에 따른 대변 이미지 분석 기반 영양 정보 제공 시스템을 설명하기 위한 도면이다.1 is a diagram for explaining a stool image analysis-based nutrition information providing system according to an embodiment.
도 1에 도시한 바와 같이, 대변 이미지 분석 기반 영양 정보 제공 시스템(100)은, 다수의 사용자 단말(110-1, 110-2, … , 110-n), 영양 정보 제공 장치(120), 데이터베이스(130) 및 네트워크(N)를 포함할 수 있다. 일 실시예에 따르면, 데이터베이스(130)는 영양 정보 제공 장치(120)와 별도로 구성된 것으로 도시되었지만 이에 한정되지 않고, 데이터베이스(130)가 영양 정보 제공 장치(120)내에 구비될 수도 있다. 예를 들어, 영양 정보 제공 장치(120)는, 기계 학습 알고리즘의 수행을 위한 다수의 뉴럴 네트워크를 포함할 수 있다.As shown in FIG. 1, the stool image analysis-based nutritional
영양 정보 제공 장치(120)는, 다수의 사용자 단말(110-1, 110-2, … , 110-n) 중 어느 하나의 사용자 단말(예를 들어, 110-1)로부터 미리 설정된 기간 동안의 대변 이미지들을 획득할 수 있다. 일 실시예에 따르면, 영양 정보 제공 장치(120)는 식별자에 대응하는 대변 이미지들을 획득하기 위한 소정 기간(예를 들어, 3일, 1주일, 1개월 등) 및 대변 이미지 개수(예를 들어, 10개, 15개, 100개 등)에 기초하여, 상기 대변 이미지들을 획득할 수 있고, 소정 기간 및 대변 이미지 개수는 식별자에 대응하는 나이, 성별, 모유수유 여부 및 몸무게 중 적어도 하나에 기초하여 미리 정의될 수 있다. 예를 들어, 영양 정보 제공 장치(120)는, 제1 트레이닝 대변 이미지들을 획득하고, 제1 트레이닝 대변 이미지들로부터 제1 트레이닝 덩어리 객체들을 추출하며, 제1 트레이닝 덩어리 객체들에 대응하는 식품들의 정보인 제1 레이블들을 획득하고, 제1 트레이닝 덩어리 객체들을 제1 뉴럴 네트워크로 적용하여, 제1 트레이닝 덩어리 객체들에 대응하는 트레이닝 출력들을 생성하며, 트레이닝 출력들 및 제1 레이블들에 기초하여, 제1 뉴럴 네트워크를 학습시킬 수 있다.The nutrition
영양 정보 제공 장치(120)는, 사용자 단말(110-1)로부터 획득한 대변 이미지들로부터 소화가 완전히 이루어지지 않은 객체들인 덩어리 객체들을 추출할 수 있다. 일 실시예에 따르면, 영양 정보 제공 장치(120)는, 대변 이미지들로부터 특정 패턴을 갖는 후보 객체들을 검출하고, 후보 객체들을 미리 학습된 제2 뉴럴 네트워크를 이용하여 음식물 또는 이물질로 분류하며, 음식물로 분류된 후보 객체를 덩어리 객체로 분류할 수 있다.The nutrition
영양 정보 제공 장치(120)는, 제1 트레이닝 덩어리 객체들 및 제1 레이블들에 기초하여 미리 학습된 제1 뉴럴 네트워크를 이용하여, 덩어리 객체들을 불완전 소화 식품 정보들로 분류할 수 있다. 일 실시예에 따르면, 제1 레이블들은 트레이닝 덩어리 객체들에 대응하는 식품들의 정보를 나타낼 수 있다. 예를 들어, 영양 정보 제공 장치(120)는, 대변 이미지들에 포함된 덩어리 객체들의 크기들 및 개수들을 획득하고, 획득된 크기들 및 개수들의 분포 정보를 미리 학습된 뉴럴 네트워크로 적용하여 대변 이미지들에 대응하는 불완전 소화 식품 정보들을 생성할 수 있다. 다른 실시예에 따르면, 영양 정보 제공 장치(120)는, 트레이닝 대변 이미지들로부터 제1 트레이닝 덩어리 객체들을 추출하고, 제1 트레이닝 덩어리 객체들로부터 제1 트레이닝 덩어리 객체들의 크기들 및 개수들의 분포 정보인 제1 트레이닝 분포 정보를 추출하고, 제1 트레이닝 분포 정보에 대응하는 불완전 소화 식품 정보들인 제2 레이블들을 획득하며, 제1 트레이닝 분포 정보를 뉴럴 네트워크로 적용하여, 제1 트레이닝 분포 정보에 대응하는 트레이닝 출력들을 생성하고, 트레이닝 출력들 및 제2 레이블들에 기초하여, 제3 뉴럴 네트워크를 학습시킬 수 있다.The nutrition
영양 정보 제공 장치(120)는, 덩어리 객체들에 대응하는 불완전 소화 식품 정보들에 기초하여 식별자에 대응하는 필요 영양분 정보를 생성할 수 있다. 일 실시예에 따르면, 영양 정보 제공 장치(120)는, 대변 이미지들에 포함된 덩어리 객체들의 크기들 및 개수들을 고려하여 덩어리 객체들 각각에 대하여 가중치를 부여하고, 덩어리 객체들 각각에 대응하는 필요 영양분별로 부여된 가중치를 합산하여 소화력 지수를 산출하며, 소화력 지수에 기초하여 식별자의 소화력 순위를 산출할 수 있다.The nutrition
영양 정보 제공 장치(120)는, 필요 영양분 정보에 기초하여, 식별자에 대응하는 추천 식품 정보를 생성할 수 있다. 일 실시예에 따르면, 영양 정보 제공 장치(120)는, 데이터베이스(130)에 저장된 매핑 테이블을 이용하여 추천 식품 정보를 생성할 수도 있고, 미리 학습된 뉴럴 네트워크를 이용하여 추천 식품 정보를 생성할 수도 있다. 예를 들어, 추천 식품 정보는 건강 기능 식품, 건강 식품, 대체 식품들의 정보를 포함할 수 있다. 건강 기능 식품은 건강에 도움을 줄 수 있는 성분을 간단히 섭취할 수 있는 식품의 형태로 가공한 것을 나타내고, 건강 식품은 건강의 유지와 증진을 위하여 먹는 식품을 나타내며, 대체 식품은 특정 식품을 대체하여 섭취할 수 있는 식품을 나타낼 수 있다.The nutrition
영양 정보 제공 장치(120)는, 추천 식품 정보에 따른 식품을 섭취하고 난 후의 적어도 하나의 제2 대변 이미지를 획득하고, 제2 대변 이미지를 이용하여 추천 식품 정보에 따른 식품의 소화 상태를 판단하며, 식품의 소화 상태에 기초하여 추천 식품 정보에 따른 식품에 대한 피드백 정보를 생성하고, 피드백 정보를 식별자에 대응하는 사용자에게 제공할 수 있다.The nutrition
네트워크(N)는, 다수의 사용자 단말(110-1, 110-2, … , 110-n), 영양 정보 제공 장치(120), 데이터베이스(130), 등 간의 무선 또는 유선 통신을 수행하도록 할 수 있다. 예를 들어, 네트워크는 LTE(long-term evolution), LTE-A(LTE Advanced), CDMA(code division multiple access), WCDMA(wideband CDMA), WiBro(Wireless BroadBand), WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), GPS(Global Positioning System) 또는 GNSS(global navigation satellite system) 등의 방식에 따른 무선 통신을 수행하도록 할 수 있다. 예를 들어, 네트워크는 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 등의 방식에 따른 유선 통신을 수행하도록 할 수도 있다.The network N may enable wireless or wired communication between the plurality of user terminals 110-1, 110-2, ..., 110-n, the nutritional
데이터베이스(130)는, 다양한 데이터를 저장할 수 있다. 데이터베이스(130)에 저장되는 데이터는, 다수의 사용자 단말(110-1, 110-2, … , 110-n), 영양 정보 제공 장치(120)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예를 들어: 프로그램)를 포함할 수 있다. 데이터베이스(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 일 실시예로서, 데이터베이스(130)는, 다수의 사용자 단말(110-1, 110-2, … , 110-n)로부터 획득된 대변 이미지들, 영양 정보 제공 장치(120)에서 형성된 덩어리 객체, 불완전 소화 식품 정보, 필요 영양분 정보 등을 저장할 수 있다.The
본 발명에서, 프로그램은 데이터베이스(130)에 저장되는 소프트웨어로서, 다수의 사용자 단말(110-1, 110-2, … , 110-n) 및 영양 정보 제공 장치(120)의 리소스를 제어하기 위한 운영체제, 어플리케이션 및/또는 어플리케이션이 다수의 사용자 단말(110-1, 110-2, … , 110-n) 및 영양 정보 제공 장치(120)의 리소스들을 활용할 수 있도록 다양한 기능을 어플리케이션에 제공하는 미들 웨어 등을 포함할 수 있다.In the present invention, the program is software stored in the
본 발명에서, 인공지능(Artificial Intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력 등을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직(Symbolic Logic) 등의 개념을 포함할 수 있다. 기계 학습(Machine Learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술이다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터를 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야가 포함될 수 있다.In the present invention, artificial intelligence (AI) means a technology that imitates human learning ability, reasoning ability, perception ability, etc., and implements it with a computer, and concepts such as machine learning and symbolic logic can include Machine learning (ML) is an algorithm technology that classifies or learns the characteristics of input data by itself. Artificial intelligence technology is a machine learning algorithm that analyzes input data, learns the result of the analysis, and can make judgments or predictions based on the result of the learning. In addition, technologies that mimic the functions of the human brain, such as recognition and judgment, using machine learning algorithms, can also be understood as artificial intelligence. For example, technical fields such as linguistic understanding, visual understanding, inference/prediction, knowledge expression, and motion control may be included.
기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화해 나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는, 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.Machine learning may refer to processing that trains a neural network model using experience of processing data. Through machine learning, computer software could mean improving its own data processing capabilities. A neural network model is constructed by modeling a correlation between data, and the correlation may be expressed by a plurality of parameters. The neural network model derives a correlation between data by extracting and analyzing features from given data, and optimizing the parameters of the neural network model by repeating this process can be referred to as machine learning. For example, a neural network model may learn a mapping (correlation) between an input and an output with respect to data given as an input/output pair. Alternatively, even when only input data is given, the neural network model may learn the relationship by deriving a regularity between given data.
인공지능 학습모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공지능 학습모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 인공지능 학습모델은, 예를 들어, 인공 신경망 모델(Artificial Neural Network), 컨볼루션 신경망 모델(Convolution Neural Network: CNN) 등일 수 있다. 일 실시예로서, 인공지능 학습모델은, 지도학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 등의 방식에 따라 기계 학습될 수 있다. 기계 학습을 수행하기 위한 기계 학습 알고리즘에는, 의사결정트리(Decision Tree), 베이지안 망(Bayesian Network), 서포트 벡터 머신(Support Vector Machine), 인공 신경망(Artificial Neural Network), 에이다부스트(Ada-boost), 퍼셉트론(Perceptron), 유전자 프로그래밍(Genetic Programming), 군집화(Clustering) 등이 사용될 수 있다.An artificial intelligence learning model or a neural network model may be designed to implement a human brain structure on a computer, and may include a plurality of network nodes having weights while simulating neurons of a human neural network. A plurality of network nodes may have a connection relationship between them by simulating synaptic activities of neurons that transmit and receive signals through synapses. In the artificial intelligence learning model, a plurality of network nodes can send and receive data according to a convolutional connection relationship while being located in layers of different depths. The artificial intelligence learning model may be, for example, an artificial neural network model, a convolutional neural network model (CNN), and the like. As an embodiment, the artificial intelligence learning model may be machine-learned according to methods such as supervised learning, unsupervised learning, and reinforcement learning. Machine learning algorithms for performing machine learning include Decision Tree, Bayesian Network, Support Vector Machine, Artificial Neural Network, Ada-boost , Perceptron, Genetic Programming, Clustering, etc. may be used.
이중, CNN은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.Of these, CNNs are a type of multilayer perceptrons designed to use minimal preprocessing. A CNN consists of one or several convolution layers and general artificial neural network layers on top, and additionally utilizes weights and pooling layers. Thanks to this structure, CNN can fully utilize the input data with a two-dimensional structure. Compared to other deep learning structures, CNN shows good performance in both video and audio fields. CNNs can also be trained via standard back-propagation. CNNs are easier to train than other feedforward artificial neural network techniques and have the advantage of using fewer parameters.
컨볼루션 네트워크는 묶인 파라미터들을 가지는 노드들의 집합들을 포함하는 신경 네트워크들이다. 사용 가능한 트레이닝 데이터의 크기 증가와 연산 능력의 가용성이, 구분적 선형 단위 및 드롭아웃 트레이닝과 같은 알고리즘 발전과 결합되어, 많은 컴퓨터 비전 작업들이 크게 개선되었다. 오늘날 많은 작업에 사용할 수 있는 데이터 세트들과 같은 엄청난 양의 데이터 세트에서는 초과 맞춤(outfitting)이 중요하지 않으며, 네트워크의 크기를 늘리면 테스트 정확도가 향상된다. 컴퓨팅 리소스들의 최적 사용은 제한 요소가 된다. 이를 위해, 심층 신경 네트워크들의 분산된, 확장 가능한 구현예가 사용될 수 있다.Convolutional networks are neural networks that contain sets of nodes with bound parameters. The increasing size of available training data and the availability of computational power, combined with algorithmic advances such as piecewise linear unit and dropout training, have greatly improved many computer vision tasks. With huge data sets, such as those available for many tasks today, overfitting is not critical, and increasing the size of the network improves test accuracy. Optimal use of computing resources becomes a limiting factor. To this end, a distributed, scalable implementation of deep neural networks can be used.
도 2는 본 발명의 실시예에 따른 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.2 is a diagram for explaining learning of a neural network according to an embodiment of the present invention.
도 2에 도시한 바와 같이, 학습 장치는 대변 이미지들이 포함하는 덩어리 객체들의 추출을 위하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 일 실시예에 따르면, 학습 장치는 영양 정보 제공 장치(120)와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니다.As shown in FIG. 2 , the learning device may train the
뉴럴 네트워크(124)는 트레이닝 샘플들이 입력되는 입력 레이어(122)와 트레이닝 출력들을 출력하는 출력 레이어(126)를 포함하고, 트레이닝 출력들과 레이블들 사이의 차이에 기초하여 학습될 수 있다. 여기서, 레이블들은 덩어리 객체들, 덩어리 객체들에 대응하는 식품들의 정보 및 불완전 소화 식품 정보들에 기초하여 정의될 수 있다. 뉴럴 네트워크(124)는 복수의 노드들의 그룹으로 연결되어 있고, 연결된 노드들 사이의 가중치들과 노드들을 활성화시키는 활성화 함수에 의해 정의된다. The
학습 장치는 GD(Gradient Decent) 기법 또는 SGD(Stochastic Gradient Descent) 기법을 이용하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 학습 장치는 뉴럴 네트워크의 출력들 및 레이블들 의해 설계된 손실 함수(Loss Function)를 이용할 수 있다.The learning device may train the
학습 장치는 미리 정의된 손실 함수를 이용하여 트레이닝 에러를 계산할 수 있다. 손실 함수는 레이블, 출력 및 파라미터를 입력 변수로 미리 정의될 수 있고, 여기서 파라미터는 뉴럴 네트워크(124) 내 가중치들에 의해 설정될 수 있다. 예를 들어, 손실 함수는 MSE(Mean Square Error) 형태, 엔트로피(entropy) 형태 등으로 설계될 수 있는데, 손실 함수가 설계되는 실시예에는 다양한 기법 또는 방식이 채용될 수 있다.The learning device may calculate a training error using a predefined loss function. The loss function may be predefined with labels, outputs and parameters as input variables, where the parameters may be set by weights in the
학습 장치는 역전파(Backpropagation) 기법을 이용하여 트레이닝 에러에 영향을 주는 가중치들을 찾아낼 수 있다. 여기서, 가중치들은 뉴럴 네트워크(124) 내 노드들 사이의 관계들이다. 학습 장치는 역전파 기법을 통해 찾아낸 가중치들을 최적화시키기 위해 레이블들 및 출력들을 이용한 SGD 기법을 이용할 수 있다. 예를 들어, 학습 장치는 레이블들, 출력들 및 가중치들에 기초하여 정의된 손실 함수의 가중치들을 SGD 기법을 이용하여 갱신할 수 있다.The learning device may find weights affecting the training error using a backpropagation technique. Here, weights are relationships between nodes in
일 실시예에 따르면, 학습 장치는 제1 트레이닝 대변 이미지들을 획득하고, 제1 트레이닝 대변 이미지들로부터 제1 트레이닝 덩어리 객체들을 추출할 수 있다. 학습 장치는 제1 트레이닝 덩어리 객체들에 대해서 각각 미리 레이블링 된 정보(제1 레이블들)를 획득할 수 있는데, 제1 트레이닝 덩어리 객체들에 대응하는 식품들의 정보인 제1 레이블들을 획득할 수 있다.According to an embodiment, the learning device may obtain first training stool images, and extract first training chunk objects from the first training stool images. The learning device may obtain pre-labeled information (first labels) for each of the first training chunk objects, which is information on foods corresponding to the first training chunk objects.
일 실시예에 따르면, 학습 장치는 제1 트레이닝 덩어리 객체들의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제1 트레이닝 특징 벡터들을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.According to an embodiment, the learning device may generate first training feature vectors based on appearance features, pattern features, and color features of the first training chunk objects. Various methods may be employed to extract features.
일 실시예에 따르면, 학습 장치는 제1 트레이닝 특징 벡터들을 뉴럴 네트워크(124)에 적용하여 트레이닝 출력들을 획득할 수 있다. 학습 장치는 트레이닝 출력들과 제1 레이블들에 기초하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 학습 장치는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 뉴럴 네트워크(124) 내 노드들의 연결 관계를 최적화하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 영양 정보 제공 장치(120)는 학습이 완료된 뉴럴 네트워크(124)를 이용하여 대변 이미지들로부터 덩어리 객체들을 추출할 수 있다.According to an embodiment, the learning device may obtain training outputs by applying the first training feature vectors to the
다른 실시예에 따르면, 학습 장치는 제2 트레이닝 대변 이미지들을 획득하고, 제2 트레이닝 대변 이미지들로부터 제2 트레이닝 덩어리 객체들을 추출할 수 있다. 학습 장치는 제2 트레이닝 덩어리 객체들에 대해서 각각 미리 레이블링 된 정보(제2 레이블들)를 획득할 수 있는데, 제2 트레이닝 덩어리 객체들에 대응하는 음식물 또는 이물질들의 정보인 제2 레이블들을 획득할 수 있다.According to another embodiment, the learning device may acquire second training stool images, and extract second training chunk objects from the second training stool images. The learning device may acquire pre-labeled information (second labels) for each of the second training chunk objects, which is information on food or foreign substances corresponding to the second training chunk objects. there is.
다른 실시예에 따르면, 학습 장치는 제2 트레이닝 덩어리 객체들의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제2 트레이닝 특징 벡터들을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.According to another embodiment, the learning device may generate second training feature vectors based on appearance features, pattern features, and color features of the second training chunk objects. Various methods may be employed to extract features.
다른 실시예에 따르면, 학습 장치는 제2 트레이닝 특징 벡터들을 뉴럴 네트워크(124)에 적용하여 트레이닝 출력들을 획득할 수 있다. 학습 장치는 트레이닝 출력들과 제2 레이블들에 기초하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 학습 장치는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 뉴럴 네트워크(124) 내 노드들의 연결 관계를 최적화하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 영양 정보 제공 장치(120)는 학습이 완료된 뉴럴 네트워크(124)를 이용하여 대변 이미지들로부터 덩어리 객체들을 추출할 수 있다.According to another embodiment, the learning device may obtain training outputs by applying the second training feature vectors to the
또 다른 실시예에 따르면, 학습 장치는 제3 트레이닝 대변 이미지들을 획득하고, 제3 트레이닝 대변 이미지들로부터 제3 트레이닝 덩어리 객체들을 추출할 수 있다. 학습 장치는 제3 트레이닝 덩어리 객체들로부터 제3 트레이닝 덩어리 객체들의 크기들 및 개수들의 분포 정보인 제1 트레이닝 분포 정보를 추출할 수 있다. 학습 장치는 제1 트레이닝 분포 정보에 대해서 각각 미리 레이블링 된 정보(제3 레이블들)를 획득할 수 있는데, 제1 트레이닝 분포 정보에 대응하는 불완전 소화 식품 정보인 제3 레이블들을 획득할 수 있다.According to another embodiment, the learning device may acquire third training stool images, and extract third training chunk objects from the third training stool images. The learning device may extract first training distribution information, which is distribution information of sizes and numbers of third training chunk objects, from the third training chunk objects. The learning device may obtain pre-labeled information (third labels) for each of the first training distribution information, which is incompletely digested food information corresponding to the first training distribution information.
또 다른 실시예에 따르면, 학습 장치는 제1 트레이닝 분포 정보의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제3 트레이닝 특징 벡터들을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.According to another embodiment, the learning device may generate third training feature vectors based on the appearance features, pattern features, and color features of the first training distribution information. Various methods may be employed to extract features.
또 다른 실시예에 따르면, 학습 장치는 제3 트레이닝 특징 벡터들을 뉴럴 네트워크(124)에 적용하여 트레이닝 출력들을 획득할 수 있다. 학습 장치는 트레이닝 출력들과 제3 레이블들에 기초하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 학습 장치는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 뉴럴 네트워크(124) 내 노드들의 연결 관계를 최적화하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 영양 정보 제공 장치(120)는 학습이 완료된 뉴럴 네트워크(124)를 이용하여 대변 이미지들로부터 불완전 소화 식품 정보들을 추출할 수 있다.According to another embodiment, the learning device may obtain training outputs by applying the third training feature vectors to the
또 다른 실시예에 따르면, 학습 장치는 제4 트레이닝 대변 이미지들을 획득하고, 제4 트레이닝 대변 이미지들로부터 제4 트레이닝 덩어리 객체들을 추출할 수 있다. 학습 장치는 제4 트레이닝 덩어리 객체들로부터 제4 트레이닝 불완전 소화 식품 정보들을 추출할 수 있다. 학습 장치는 제4 트레이닝 불완전 소화 식품 정보들에 대해서 각각 미리 레이블링 된 정보(제4 레이블들)를 획득할 수 있는데, 제4 트레이닝 제4 트레이닝 불완전 소화 식품 정보들에 대응하는 건강 기능 식품, 건강 식품, 대체 식품들의 정보인 제4 레이블들을 획득할 수 있다. 건강 기능 식품은 건강에 도움을 줄 수 있는 성분을 간단히 섭취할 수 있는 식품의 형태로 가공한 것을 나타내고, 건강 식품은 건강의 유지와 증진을 위하여 먹는 식품을 나타내며, 대체 식품은 특정 식품을 대체하여 섭취할 수 있는 식품을 나타낼 수 있다.According to another embodiment, the learning device may acquire fourth training stool images, and extract fourth training chunk objects from the fourth training stool images. The learning device may extract fourth training incompletely digested food information from the fourth training chunk objects. The learning device may acquire pre-labeled information (fourth labels) for each of the fourth training incompletely digested food information, including a health functional food and health food corresponding to the fourth training incompletely digested food information. , it is possible to obtain fourth labels that are information on alternative foods. Health functional food refers to a food that can be easily consumed by processing ingredients that can help health, health food refers to food eaten to maintain and promote health, and substitute food refers to a food that replaces a specific food It can indicate foods that can be eaten.
또 다른 실시예에 따르면, 학습 장치는 제4 트레이닝 제4 트레이닝 불완전 소화 식품 정보들의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제4 트레이닝 특징 벡터들을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.According to another embodiment, the learning device may generate fourth training feature vectors based on appearance features, pattern features, and color features of the fourth training fourth training incompletely digested food information. Various methods may be employed to extract features.
다른 실시예에 따르면, 학습 장치는 제4 트레이닝 특징 벡터들을 뉴럴 네트워크(124)에 적용하여 트레이닝 출력들을 획득할 수 있다. 학습 장치는 트레이닝 출력들과 제4 레이블들에 기초하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 학습 장치는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 뉴럴 네트워크(124) 내 노드들의 연결 관계를 최적화하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 영양 정보 제공 장치(120)는 학습이 완료된 뉴럴 네트워크(124)를 이용하여 대변 이미지들로부터 필요 영양 정보를 추출할 수 있다.According to another embodiment, the learning device may obtain training outputs by applying the fourth training feature vectors to the
도 3은 본 발명의 실시예에 따른 대변 이미지의 예시도이다.3 is an exemplary view of a stool image according to an embodiment of the present invention.
도 3에 도시한 바와 같이, 영양 정보 제공 장치(120)는, 다수의 사용자 단말(110-1, 110-2, … , 110-n)로부터 획득한 대변 이미지들로부터 소화가 완전히 이루어지지 않은 객체들인 덩어리 객체들(MO)을 추출할 수 있다. 일 실시예에 따르면, 영양 정보 제공 장치(120)는, 획득한 대변 이미지들로부터 특정 패턴을 갖는 후보 객체들을 검출하고, 후보 객체들을 미리 학습된 뉴럴 네트워크를 이용하여 음식물 또는 이물질로 분류하며, 음식물로 분류된 것들을 덩어리 객체들(MO)로 추출할 수 있다.As shown in FIG. 3, the nutrition
유아의 성장과정에서 치아나 소화기관이 형성되는 상태에 따라 소화가 되는 음식물이 유아들마다 달라질 수 있다. 어떤 유아는 브로콜리를 소화시키지 못하고, 어떤 유아는 당근을 소화시키지 못할 수도 있다. 유아가 소화시키지 못하는 음식물들은 대변으로 그대로 배출되고, 영양 정보 제공 장치(120)는 대변 이미지로부터 이러한 소화시키지 못하는 음식물들을 추출할 수 있다. 일 실시예에 따르면, 영양 정보 제공 장치(120)는, 딥러닝(Deep Learning)과 같은 기계 학습 알고리즘을 기반으로 덩어리 객체들의 분류를 레이블링해서 학습시키고, 그 학습된 모델에 따라 분류를 수행할 수 있다.Depending on the state in which teeth and digestive organs are formed during the growth process of infants, food to be digested may vary from infant to infant. Some infants cannot digest broccoli, and some infants cannot digest carrots. Foods that infants cannot digest are excreted as feces, and the nutrition
영양 정보 제공 장치(120)는, 다수의 대변 이미지들을 획득할 경우, 제1 사용자 단말(예를 들어, 110-1)로부터 제1 파트 대변 이미지를 수신하고, 제2 사용자 계정이 로그인된 제2 사용자 단말(예를 들어, 110-2)로부터 제2 파트 대변 이미지를 수신하며, 제1 파트 대변 이미지 및 제2 파트 대변 이미지를 결합하여 제1 대변 이미지를 생성하고, 제1 대변 이미지에서 제1 파트 대변 이미지가 차지하는 비율인 제1 비율을 획득하고, 제1 대변 이미지에서 제2 파트 대변 이미지가 차지하는 비율인 제2 비율을 획득하며, 제1 비율이 제2 비율 보다 큰 것으로 확인되면, 제1 사용자 계정의 정보를 제1 대변 이미지의 제1 저작자 정보로 등록하고, 제2 사용자 계정의 정보를 제1 대변 이미지의 제2 저작자 정보로 등록하며, 제1 비율이 제2 비율 보다 작은 것으로 확인되면, 제2 사용자 계정의 정보를 제1 대변 이미지의 제1 저작자 정보로 등록하고, 제1 사용자 계정의 정보를 제1 대변 이미지의 제2 저작자 정보로 등록하고, 제1 대변 이미지의 원저작자 정보와 제1 사용자 계정의 정보 및 제2 사용자 계정의 정보 중 어느 하나가 일치하는지 여부를 확인하며, 제1 대변 이미지의 원저작자 정보와 제1 사용자 계정의 정보 및 제2 사용자 계정의 정보가 모두 일치하지 않는 것으로 확인되면, 제1 대변 이미지를 제2 대변 이미지의 수정으로 생성된 2차 저작물로 판정하고, 제1 비율이 제2 비율 보다 큰 것으로 확인되면, 제1 사용자 계정의 정보를 제1 대변 이미지의 제1 저작자 정보로 등록하고, 제2 사용자 계정의 정보를 제1 대변 이미지의 제2 저작자 정보로 등록하고, 제1 대변 이미지의 원저작자로 등록된 제3 사용자 단말(예를 들어, 110-n)에 로그인 된 제3 사용자 계정의 정보를 제1 대변 이미지의 제3 저작자를 나타내는 제3 저작자 정보로 등록하며, 제1 비율이 제2 비율 보다 작은 것으로 확인되면, 제2 사용자 계정의 정보를 제1 대변 이미지의 제1 저작자 정보로 등록하고, 제1 사용자 계정의 정보를 제1 대변 이미지의 제2 저작자 정보로 등록하고, 제3 사용자 계정의 정보를 제1 대변 이미지의 제3 저작자 정보로 등록할 수 있다.When a plurality of stool images are acquired, the nutrition
도 4는 일실시예에 따른 영양 정보 제공 장치를 설명하기 위한 도면이다.4 is a diagram for explaining a nutrition information providing device according to an embodiment.
도 4에 도시한 바와 같이, 영양 정보 제공 장치(120)는 하나 이상의 프로세서(121), 하나 이상의 메모리(123) 및/또는 송수신기(125)를 포함할 수 있다. 일 실시예로서, 영양 정보 제공 장치(120)의 이 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 영양 정보 제공 장치(120)에 추가될 수 있다. 추가적으로(additionally) 또는 대체적으로(alternatively), 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 영양 정보 제공 장치(120) 내, 외부의 구성요소들 중 적어도 일부의 구성요소들은 버스, GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고받을 수 있다.As shown in FIG. 4 , the nutrition
하나 이상의 프로세서(121)는 소프트웨어(예: 명령, 프로그램 등)를 구동하여 프로세서(121)에 연결된 영양 정보 제공 장치(120)의 적어도 하나의 구성요소를 제어할 수 있다. 또한, 프로세서(121)는 본 발명과 관련된 다양한 연산, 처리, 데이터 생성, 가공 등의 동작을 수행할 수 있다. 또한, 프로세서(121)는 데이터 등을 하나 이상의 메모리(123)로부터 로드하거나, 하나 이상의 메모리(123)에 저장할 수 있다.One or
전술한 바와 같이, 하나 이상의 프로세서(121)는, 송수신기(125)를 통하여 다수의 사용자 단말(110-1, 110-2, … , 110-n) 중 어느 하나의 사용자 단말(예를 들어, 110-1)로부터 대변 이미지들을 디지털 패킷의 형태로 실시간 또는 비실시간으로 수신할 수 있다.As described above, the one or
하나 이상의 프로세서(121)는, 송수신기(125)를 통해서 사용자 단말(110-1)로부터 수신된 대변 이미지들을 이용하여 소화가 완전히 이루어지지 않은 객체들인 덩어리 객체들을 추출할 수 있다. 일 실시예에 따르면, 하나 이상의 프로세서(121)는, 제1 트레이닝 대변 이미지들을 획득하고, 제1 트레이닝 대변 이미지들로부터 제1 트레이닝 덩어리 객체들을 추출하며, 제1 트레이닝 덩어리 객체들에 대응하는 식품들의 정보인 제1 레이블들을 획득하고, 제1 트레이닝 덩어리 객체들을 제1 뉴럴 네트워크로 적용하여, 제1 트레이닝 덩어리 객체들에 대응하는 트레이닝 출력들을 생성하고, 트레이닝 출력들 및 제1 레이블들에 기초하여, 제1 뉴럴 네트워크를 학습시켜 대변 이미지들로부터 덩어리 객체들을 추출할 수 있다.The one or
하나 이상의 프로세서(121)는, 제1 트레이닝 덩어리 객체들 및 제1 레이블들에 기초하여 미리 학습된 제1 뉴럴 네트워크를 이용하여, 덩어리 객체들을 불완전 소화 식품 정보들로 분류할 수 있다. 예를 들어, 제1 레이블들은 트레이닝 덩어리 객체들에 대응하는 식품들의 정보를 나타낼 수 있다.The one or
하나 이상의 프로세서(121)는, 덩어리 객체들에 대응하는 불완전 소화 식품 정보들에 기초하여 식별자에 대응하는 필요 영양분 정보를 생성할 수 있다.One or
하나 이상의 메모리(123)는 다양한 데이터를 저장할 수 있다. 메모리(123)에 저장되는 데이터는, 영양 정보 제공 장치(120)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예: 명령, 프로그램 등)를 포함할 수 있다. 메모리(123)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 본 발명에서, 명령 내지 프로그램은 메모리(123)에 저장되는 소프트웨어로서, 영양 정보 제공 장치(120)의 리소스를 제어하기 위한 운영체제, 어플리케이션 및/또는 어플리케이션이 영양 정보 제공 장치(120)의 리소스들을 활용할 수 있도록 다양한 기능을 어플리케이션에 제공하는 미들 웨어 등을 포함할 수 있다.One or
하나 이상의 메모리(123)는 상술한 다수의 사용자 단말(110-1, 110-2, … , 110-n)로부터 네트워크(N)를 통하여 수신한 대변 이미지들, 하나 이상의 프로세서(121)에서 형성된 덩어리 객체들, 불완전 소화 식품 정보들, 필요 영양분 정보들 등을 저장할 수 있다. 또한, 하나 이상의 메모리(123)는, 하나 이상의 프로세서(121)에 의한 실행 시, 하나 이상의 프로세서(121)가 연산을 수행하도록 하는 명령들을 저장할 수 있다.One or
일 실시예로서, 영양 정보 제공 장치(120)는 송수신기(125)를 더 포함할 수 있다. 송수신기(125)는, 다수의 사용자 단말(110-1, 110-2, … , 110-n), 영양 정보 제공 장치(120), 데이터베이스(130) 및/또는 기타 다른 장치 간의 무선 또는 유선 통신을 수행할 수 있다. 예를 들어, 송수신기(126)는 eMBB(enhanced Mobile Broadband), URLLC(Ultra Reliable Low-Latency Communications), MMTC(Massive Machine Type Communications), LTE(long-term evolution), LTE-A(LTE Advance), UMTS(Universal Mobile Telecommunications System), GSM(Global System for Mobile communications), CDMA(code division multiple access), WCDMA(wideband CDMA), WiBro(Wireless Broadband), WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), GPS(Global Positioning System) 또는 GNSS(global navigation satellite system) 등의 방식에 따른 무선 통신을 수행할 수 있다. 예를 들어, 송수신기(125)는 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232) 또는 POTS(plain old telephone service) 등의 방식에 따른 유선 통신을 수행할 수 있다.As an embodiment, the nutritional
일 실시예로서, 하나 이상의 프로세서(121)는 송수신기(125)를 제어하여 다수의 사용자 단말(110-1, 110-2, … , 110-n), 영양 정보 제공 장치(120)로부터 정보를 획득할 수 있다. 다수의 사용자 단말(110-1, 110-2, … , 110-n), 영양 정보 제공 장치(120)로부터 획득된 정보는 하나 이상의 메모리(123)에 저장될 수 있다.As an embodiment, one or
일 실시예로서, 영양 정보 제공 장치(120)는 다양한 형태의 장치가 될 수 있다. 예를 들어, 영양 정보 제공 장치(120)는 휴대용 통신 장치, 컴퓨터 장치, 또는 상술한 장치들 중 하나 또는 그 이상의 조합에 따른 장치일 수 있다. 본 발명의 영양 정보 제공 장치(120)는 전술한 장치들에 한정되지 않는다.As an example, the nutrition
본 발명에 따른 영양 정보 제공 장치(120)의 다양한 실시예들은 서로 조합될 수 있다. 각 실시예들은 경우의 수에 따라 조합될 수 있으며, 조합되어 만들어진 영양 정보 제공 장치(120)의 실시예 역시 본 발명의 범위에 속한다. 또한 전술한 본 발명에 따른 영양 정보 제공 장치(120)의 내/외부 구성 요소들은 실시예에 따라 추가, 변경, 대체 또는 삭제될 수 있다. 또한 전술한 영양 정보 제공 장치(120)의 내/외부 구성 요소들은 하드웨어 컴포넌트로 구현될 수 있다.Various embodiments of the nutrition
일 실시예에 따르면, 영양 정보 제공 장치(120)는 특정 유아(A)의 대변 이미지들을 수집할 수 있다. 예를 들어, 영양 정보 제공 장치(120)는 기간을 지정하여 해당 기간 동안의 대변 이미지들을 수집할 수도 있고, 개수를 지정하여 해당 개수만큼의 대변 이미지들을 수집할 수도 있다. 영양 정보 제공 장치(120)는 수집된 대변 이미지들을 이용하여 특정 유아(A)의 대변 리스트(M개의 대변 정보 포함)를 형성할 수 있고, 수집된 대변 이미지들 각각으로부터 덩어리 객체들을 추출할 수 있다. 덩어리 객체들은 특정 유아(A)에서 소화가 완전히 이루어지지 않은 음식물 조각을 나타낼 수 있다.According to an embodiment, the nutritional
영양 정보 제공 장치(120)는 수집된 대변 이미지들을 색 또는 모양 등을 기초로 특이 패턴 영역을 검출할 수 있다. 영양 정보 제공 장치(120)는 특정 유아(A)의 M개의 대변으로부터 지속적으로 소화가 불완전하게 되는 음식물(예를 들어, 당근, 브로콜리 등)을 판단하고, 판단 결과로부터 특정 유아(A)에게 필요한 영양분 정보를 도출할 수 있다. 일 실시예에 따르면, 영양 정보 제공 장치(120)는 덩어리 객체별로 음식물의 레이블링을 수행하고 색, 모양 등에 기반하여 딥러닝 등과 같은 기계 학습 알고리즘을 이용하여 덩어리 객체들을 분류할 수 있다.The nutritional
영양 정보 제공 장치(120)는 도출된 영양분 정보로부터 특정 유아(A)에게 최적의 건강 기능 식품 또는 대체 음식물 조합을 추천(큐레이션)할 수 있다. 영양 정보 제공 장치(120)는 최적의 건강 기능 식품 또는 대체 음식물 조합의 소화 상태를 재분석해서 그 결과를 피드백으로 특정 유아(A)의 보호자에게 제공할 수 있다.The nutrition
영양 정보 제공 장치(120)는 수집된 대변 이미지들로부터 추출된 덩어리 객체들의 분포에 기초하여 반복되는 덩어리 객체들의 크기 및 개수를 기준으로 특정 유아(A)에게 필요한 영양분 정보를 도출할 수 있다.The nutrition
도 5는 일실시예에 따른 필요 영양 정보 제공 방법의 흐름도이다.5 is a flowchart of a method for providing necessary nutritional information according to an embodiment.
도 5의 흐름도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동하도록 구성될 수 있다. 다시 말하면, 본 발명의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 발명에서 기술된 순서로 수행될 필요는 없다. 또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 발명의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지 않는다.Although process steps, method steps, algorithms, etc. are described in a sequential order in the flowchart of FIG. 5, such processes, methods and algorithms may be configured to operate in any suitable order. In other words, the steps of the processes, methods and algorithms described in the various embodiments of the invention need not be performed in the order described herein. Also, although some steps are described as being performed asynchronously, in other embodiments some of these steps may be performed concurrently. Further, illustration of a process by depiction in the drawings does not mean that the illustrated process is exclusive of other changes and modifications thereto, and that any of the illustrated process or steps thereof may be one of various embodiments of the present invention. It is not meant to be essential to one or more, and it does not imply that the illustrated process is preferred.
도 5에 도시한 바와 같이, 단계(S510)에서, 식별자에 대응하는 대변 이미지들이 획득된다. 예를 들어, 도 1 내지 도 4를 참조하면, 영양 정보 제공 장치(120)는, 다수의 사용자 단말(110-1, 110-2, … , 110-n) 중 어느 하나의 사용자 단말(예를 들어, 110-1)로부터 네트워크(N)를 통하여 대변 이미지들을 획득할 수 있다.As shown in FIG. 5, in step S510, stool images corresponding to the identifier are obtained. For example, referring to FIGS. 1 to 4 , the nutrition
단계(S520)에서, 대변 이미지들로부터 소화가 완전히 이루어지지 않은 객체들인 덩어리 객체들이 추출된다. 예를 들어, 도 1 내지 도 4를 참조하면, 영양 정보 제공 장치(120)는, 단계 S510에서 획득된 대변 이미지들로부터 소화가 완전히 이루어지지 않은 객체들인 덩어리 객체들을 추출할 수 있다. 일 실시예에 따르면, 영양 정보 제공 장치(120)는, 미리 학습된 뉴럴 네트워크를 이용하여 대변 이미지들로부터 덩어리 객체들을 추출할 수 있다.In step S520, lump objects, i.e. objects that are not completely digested, are extracted from the stool images. For example, referring to FIGS. 1 to 4 , the nutrition
단계(S530)에서, 제1 트레이닝 객체들과 제1 레이블들에 기초하여 미리 학습된 제1 뉴럴 네트워크를 이용하여, 덩어리 객체들이 불완전 소화 식품 정보들로 분류된다. 예를 들어, 도 1 내지 도 4를 참조하면, 영양 정보 제공 장치(120)는, 제1 트레이닝 객체들과 제1 레이블들에 기초하여 미리 학습된 제1 뉴럴 네트워크를 이용하여, 단계 S520에서 추출된 덩어리 객체들을 불완전 소화 식품 정보들로 분류할 수 있다.In operation S530, the chunk objects are classified into incompletely digested food information using a first neural network previously learned based on the first training objects and the first labels. For example, referring to FIGS. 1 to 4 , the nutrition
단계(S540)에서, 덩어리 객체들에 대응하는 불완전 소화 식품 정보들에 기초하여 식별자에 대응하는 필요 영양분 정보가 형성된다. 예를 들어, 도 1 내지 도 4를 참조하면, 영양 정보 제공 장치(120)는, 단계 S530에서 분류된 덩어리 객체들에 대응하는 불완전 소화 식품 정보들에 기초하여 특정 식별자에 대응하는 필요 영양분 정보를 생성할 수 있다.In step S540, necessary nutrient information corresponding to the identifier is formed based on the incompletely digested food information corresponding to the chunk objects. For example, referring to FIGS. 1 to 4 , the nutritional
도 6은 일실시예에 따른 장치의 구성의 예시도이다.6 is an exemplary diagram of a configuration of a device according to an embodiment.
일실시예에 따른 장치(401)는 프로세서(402) 및 메모리(403)를 포함한다. 일실시예에 따른 장치(401)는 상술한 서버 또는 단말일 수 있다. 프로세서는 도 1 내지 도 5를 통하여 전술한 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 5를 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(403)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(403)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.
프로세서(402)는 프로그램을 실행하고, 장치(401)를 제어할 수 있다. 프로세서(402)에 의하여 실행되는 프로그램의 코드는 메모리(403)에 저장될 수 있다. 장치(401)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.The
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, the devices, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic units (PLUs), microprocessors, or any other device capable of executing and responding to instructions. A processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. The device can be commanded. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited drawings, those skilled in the art can apply various technical modifications and variations based on the above. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.
Claims (1)
식별자에 대응하는 대변 이미지들을 획득하는 단계;
상기 대변 이미지들로부터 소화가 완전히 이루어지지 않은 객체들인 덩어리 객체들을 추출하는 단계;
미리 학습된 제1 뉴럴 네트워크를 이용하여, 상기 덩어리 객체들을 불완전 소화 식품 정보들로 분류하는 단계; 및
상기 덩어리 객체들에 대응하는 불완전 소화 식품 정보들에 기초하여 상기 식별자에 대응하는 대변 이미지 분석 정보를 생성하는 단계
를 포함하는
대변 이미지 분석 정보 제공 방법.
In a method performed by a processor,
obtaining stool images corresponding to the identifier;
extracting lump objects, which are objects that are not fully digested, from the stool images;
classifying the chunk objects into incompletely digested food information using a pre-learned first neural network; and
Generating stool image analysis information corresponding to the identifier based on incompletely digested food information corresponding to the mass objects
containing
A method for providing stool image analysis information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210102143A KR102546353B1 (en) | 2021-02-24 | 2021-08-03 | Method, apparatus and system for providing nutritional information based on fecal image analysis |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210024538A KR102288151B1 (en) | 2021-02-24 | 2021-02-24 | Method, apparatus and system for providing nutritional information based on fecal image analysis |
KR1020210102143A KR102546353B1 (en) | 2021-02-24 | 2021-08-03 | Method, apparatus and system for providing nutritional information based on fecal image analysis |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210024538A Division KR102288151B1 (en) | 2021-02-24 | 2021-02-24 | Method, apparatus and system for providing nutritional information based on fecal image analysis |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220121155A KR20220121155A (en) | 2022-08-31 |
KR102546353B1 true KR102546353B1 (en) | 2023-06-22 |
Family
ID=77313969
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210024538A KR102288151B1 (en) | 2021-02-24 | 2021-02-24 | Method, apparatus and system for providing nutritional information based on fecal image analysis |
KR1020210102142A KR102615445B1 (en) | 2021-02-24 | 2021-08-03 | Method, apparatus and system for providing nutritional information based on fecal image analysis |
KR1020210102144A KR102546355B1 (en) | 2021-02-24 | 2021-08-03 | Method, apparatus and system for providing nutritional information based on fecal image analysis |
KR1020210102141A KR102546349B1 (en) | 2021-02-24 | 2021-08-03 | Method, apparatus and system for providing nutritional information based on fecal image analysis |
KR1020210102145A KR102546807B1 (en) | 2021-02-24 | 2021-08-03 | Method, apparatus and system for providing nutritional information based on fecal image analysis |
KR1020210102143A KR102546353B1 (en) | 2021-02-24 | 2021-08-03 | Method, apparatus and system for providing nutritional information based on fecal image analysis |
Family Applications Before (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210024538A KR102288151B1 (en) | 2021-02-24 | 2021-02-24 | Method, apparatus and system for providing nutritional information based on fecal image analysis |
KR1020210102142A KR102615445B1 (en) | 2021-02-24 | 2021-08-03 | Method, apparatus and system for providing nutritional information based on fecal image analysis |
KR1020210102144A KR102546355B1 (en) | 2021-02-24 | 2021-08-03 | Method, apparatus and system for providing nutritional information based on fecal image analysis |
KR1020210102141A KR102546349B1 (en) | 2021-02-24 | 2021-08-03 | Method, apparatus and system for providing nutritional information based on fecal image analysis |
KR1020210102145A KR102546807B1 (en) | 2021-02-24 | 2021-08-03 | Method, apparatus and system for providing nutritional information based on fecal image analysis |
Country Status (2)
Country | Link |
---|---|
KR (6) | KR102288151B1 (en) |
WO (1) | WO2022181907A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102288151B1 (en) * | 2021-02-24 | 2021-08-11 | 주식회사 넘버제로 | Method, apparatus and system for providing nutritional information based on fecal image analysis |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2901052C (en) * | 2013-02-18 | 2023-10-03 | Theranos, Inc. | Image analysis and measurement of biological samples |
KR20160061856A (en) * | 2014-11-24 | 2016-06-01 | 삼성전자주식회사 | Method and apparatus for recognizing object, and method and apparatus for learning recognizer |
KR20190027196A (en) * | 2017-09-06 | 2019-03-14 | 한국과학기술연구원 | Method and apparatus for nutrition analasis using food image recognition |
KR20200119135A (en) | 2019-04-09 | 2020-10-19 | 주식회사 큐라코 | Method of determining excrement information using neural network and system for the same |
KR102268304B1 (en) | 2019-06-11 | 2021-06-22 | 김민후 | Method and apparatus for managing a health of infant using excrement image |
KR102288151B1 (en) * | 2021-02-24 | 2021-08-11 | 주식회사 넘버제로 | Method, apparatus and system for providing nutritional information based on fecal image analysis |
-
2021
- 2021-02-24 KR KR1020210024538A patent/KR102288151B1/en active IP Right Grant
- 2021-08-03 KR KR1020210102142A patent/KR102615445B1/en active IP Right Grant
- 2021-08-03 KR KR1020210102144A patent/KR102546355B1/en active IP Right Grant
- 2021-08-03 KR KR1020210102141A patent/KR102546349B1/en active IP Right Grant
- 2021-08-03 KR KR1020210102145A patent/KR102546807B1/en active IP Right Grant
- 2021-08-03 KR KR1020210102143A patent/KR102546353B1/en active IP Right Grant
- 2021-08-25 WO PCT/KR2021/011368 patent/WO2022181907A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2022181907A1 (en) | 2022-09-01 |
KR20220121156A (en) | 2022-08-31 |
KR20220121153A (en) | 2022-08-31 |
KR20220121154A (en) | 2022-08-31 |
KR102546355B1 (en) | 2023-06-21 |
KR102546349B1 (en) | 2023-06-21 |
KR102615445B1 (en) | 2023-12-20 |
KR102288151B1 (en) | 2021-08-11 |
KR20220121157A (en) | 2022-08-31 |
KR102546807B1 (en) | 2023-06-22 |
KR20220121155A (en) | 2022-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dawid et al. | Modern applications of machine learning in quantum sciences | |
US20200020014A1 (en) | Method and apparatus for assessing price for subscription products | |
KR102289256B1 (en) | Method, apparatus and system for providing health functional food recommendation service based on self-diagnosis | |
KR102330858B1 (en) | Method, apparatus, and system for providing information on analysis of pet stool status using stool sheet stool images | |
KR102506472B1 (en) | Method, device and system for providing hyper-personalized customized food purchase recommendation service based on artificial intelligence | |
KR102492774B1 (en) | Method for providing music contents licensing platform service based on artificial intelligence | |
KR102494264B1 (en) | Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image | |
KR102546349B1 (en) | Method, apparatus and system for providing nutritional information based on fecal image analysis | |
Tanwani et al. | Sequential robot imitation learning from observations | |
KR102601446B1 (en) | Method, device and system for providing sales product matching platform service based on influencer using artificial intelligence model | |
KR102564996B1 (en) | Method, device and system for providing user customized health functional food curation service based on artificial intelligence | |
KR102430959B1 (en) | METHOD, APPARATUS AND SYSTEM FOR providing PLANT INFORMATION CURATION SERVICE based on ARTIFICIAL INTELLIGENCE | |
KR102330859B1 (en) | Method, apparatus and system for providing pet fecal image analysis information | |
CN115423016A (en) | Training method of multi-task prediction model, multi-task prediction method and device | |
KR20210115250A (en) | System and method for hybrid deep learning | |
KR102478367B1 (en) | Method, apparatus and system for matching and recommendation of sound source based on image recognition | |
KR20210062794A (en) | Apparatus and method for extracting composition of equipment, and fault diagnosis system including the same | |
KR102422255B1 (en) | Method, apparatus and system for providing dating counseling service based on artificial intelligence | |
KR102619865B1 (en) | Method, apparatus and system for providing sterilizer maintenance and management platform service based on data analysis | |
KR102561832B1 (en) | Method, device and system for providing online education content based on artificial intelligence | |
KR102650574B1 (en) | Method, apparatus and system for planning and creating company-related media reports and promotional materials based on trend and issue data collection and analysis | |
KR102701097B1 (en) | Method, device and system for providing digital secretary service to perform role of secretary for national assembly legislative activity using artificial intelligence | |
KR102639379B1 (en) | Method, apparatus and system for providing of user-customized golf professionals matching platform service based on artificial intelligence model | |
KR102662214B1 (en) | Method for recommend jewerly products containing pearls based on the user's personal preferences | |
KR102603914B1 (en) | Method, apparatus and system for providing of yoga exercise guide and curriculum using user-costomized anatomy based on image analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right |