KR20230156197A - Nutritional supplement search system using image machine learning camera function and the operation method thereof - Google Patents

Nutritional supplement search system using image machine learning camera function and the operation method thereof Download PDF

Info

Publication number
KR20230156197A
KR20230156197A KR1020220055337A KR20220055337A KR20230156197A KR 20230156197 A KR20230156197 A KR 20230156197A KR 1020220055337 A KR1020220055337 A KR 1020220055337A KR 20220055337 A KR20220055337 A KR 20220055337A KR 20230156197 A KR20230156197 A KR 20230156197A
Authority
KR
South Korea
Prior art keywords
nutritional supplement
image
machine learning
app
search system
Prior art date
Application number
KR1020220055337A
Other languages
Korean (ko)
Inventor
오영배
동영호
지유빈
임민정
Original Assignee
학교법인 수원인제학원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인 수원인제학원 filed Critical 학교법인 수원인제학원
Priority to KR1020220055337A priority Critical patent/KR20230156197A/en
Publication of KR20230156197A publication Critical patent/KR20230156197A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/30—Transportation; Communications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning

Abstract

본 발명은 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템 및 그 운용방법에 관한 것으로, 머신러닝을 이용한 이미지 검색 기술을 이용하여 보다 쉽고 빠르게 영양제를 검색한 후 인터넷 쇼핑몰에서 해당 영양제를 구매할 수 있도록 한 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템 및 그 운용방법을 제공함에 그 목적이 있다.
이를 위해, 본 발명에 따른 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템은, 소정 영양제의 이미지 촬영 및 전송, 구매를 위한 앱이 탑재된 상태로 각 사용자가 휴대하는 다수 개의 스마트폰과; 인터넷망을 매개로 상기 앱이 탑재된 각 사용자의 스마트폰과 연결되어, 스마트폰으로부터 특정 영양제의 이미지를 수신하고 이미지 머신러닝 기능을 통해 유사도가 높은 순으로 인터넷 쇼핑몰 상품 검색 결과를 취득한 후, 그 검색 결과를 해당 스마트폰 측으로 제공하는 영양제 검색 시스템 서버 및; 인터넷망을 매개로 상기 영양제 검색 시스템 서버와 연결된 상태에서 오픈 API를 제공하고, 이에 기초한 상기 영양제 검색 시스템 서버의 검색 결과가 상기 스마트폰 앱 측으로 제공됨에 따라, 상기 스마트폰을 통해 각 인터넷 쇼핑몰에서 특정 영양제의 구매가 가능해지도록 하는 다수 개의 쇼핑몰 서버;를 포함하여 구성된다.The present invention relates to a nutritional supplement search system using an image machine learning camera function and an operation method thereof. An image search system that uses image search technology using machine learning to search for nutritional supplements more easily and quickly and then purchase the nutritional supplements at an online shopping mall. The purpose is to provide a nutritional supplement search system and operation method using the machine learning camera function.
To this end, the nutritional supplement search system using the image machine learning camera function according to the present invention includes a plurality of smartphones carried by each user with an app for capturing, transmitting, and purchasing images of predetermined nutritional supplements; It is connected to each user's smartphone equipped with the above app via the Internet network, receives images of specific nutritional supplements from the smartphone, and obtains search results for internet shopping mall products in order of highest similarity through the image machine learning function. a nutritional supplement search system server that provides search results to the smartphone; An open API is provided while connected to the nutritional supplement search system server via an Internet network, and the search results of the nutritional supplement search system server based on this are provided to the smartphone app, so that each Internet shopping mall can select a specific product through the smartphone. It is configured to include a plurality of shopping mall servers that enable the purchase of nutritional supplements.

Description

이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템 및 그 운용방법{NUTRITIONAL SUPPLEMENT SEARCH SYSTEM USING IMAGE MACHINE LEARNING CAMERA FUNCTION AND THE OPERATION METHOD THEREOF}Nutrient search system and operation method using image machine learning camera function {NUTRITIONAL SUPPLEMENT SEARCH SYSTEM USING IMAGE MACHINE LEARNING CAMERA FUNCTION AND THE OPERATION METHOD THEREOF}

본 발명은 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템 및 그 운용방법에 관한 것으로, 보다 상세하게는 스마트폰에 탑재된 앱을 이용하여 촬영한 영양제의 이미지를 특정 서버 측으로 전송하고, 서버 측에서는 학습된 머신러닝 모듈을 이용하여 유사도가 높은 순서로 영양제를 검색한 후 구매가 가능한 쇼핑몰 사이트로 바로 연결 가능하도록 서비스를 제공하는 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템 및 그 운용방법에 관한 것이다.The present invention relates to a nutritional supplement search system using an image machine learning camera function and a method of operating the same. More specifically, an image of a nutritional supplement taken using an app installed on a smartphone is transmitted to a specific server, and the server side transmits the learned This relates to a nutritional supplement search system and method of operation using an image machine learning camera function that searches for nutritional supplements in order of high similarity using a machine learning module and then provides a service that allows direct connection to a shopping mall site where purchases can be made.

주지된 바와 같이, 현재 국내에는 영양제를 검색하고 구매할 수 있도록 한 다양한 종류의 어플리케이션이 앱 시장에 출시되어 서비스를 제공하고 있다. As is well known, currently in Korea, various types of applications that allow users to search for and purchase nutritional supplements have been released in the app market and are providing services.

상술한 바와 같은 영양제의 검색 및 구매를 위한 앱의 일예로, 해당 앱에 접속한 사용자가 간단한 설문조사를 수행하고, 그 설문조사 결과에 따라 데이터베이스 또는 전문가를 통해 영양제를 추천받는 서비스가 개시되어 있다. As an example of an app for searching and purchasing nutritional supplements as described above, a service is disclosed in which users who access the app perform a simple survey and receive recommendations for nutritional supplements through a database or an expert based on the survey results. .

또, 영양제의 검색 및 구매를 위한 앱의 다른 예로, 사용자가 현재 자신이 복용 중인 영양제를 입력하면 총 영양소 성분 함량을 분석해 주거나, 다양한 영양제의 리뷰 분석 알고리즘을 통하여 영양제를 추천해주는 서비스 등이 개시되어 있다. In addition, as another example of an app for searching and purchasing nutritional supplements, a service that analyzes the total nutrient content when the user enters the nutritional supplement he or she is currently taking or recommends nutritional supplements through a review analysis algorithm of various nutritional supplements has been launched. there is.

그러나, 종래에 영양제의 검색 및 구매를 위한 서비스를 제공하는 앱들은 국내에서 현재 시판중인 영양제라도 검색이 되지 않는 경우가 빈번하며, 또한 검색의 정확도가 떨어져 사용자에게 신뢰성을 주지 못하는 문제점이 발생하게 되었다 However, existing apps that provide services for searching and purchasing nutritional supplements frequently do not search for nutritional supplements currently on the market in Korea, and the accuracy of the search is low, resulting in problems that do not provide reliability to users.

국내 공개특허공보 제10-2021-0123623호Domestic Patent Publication No. 10-2021-0123623 국내 등록특허 제10-2004438호Domestic Registered Patent No. 10-2004438 국내 공개실용신안공보 제20-2019-0002059호Domestic Public Utility Model Publication No. 20-2019-0002059

따라서, 본 발명은 상기한 바와 같은 종래의 문제점을 개선하기 위하여 안출된 것으로, 그 목적은 머신러닝을 이용한 이미지 검색 기술을 이용하여 사용자가 보다 쉽고 빠르게 영양제를 검색한 후 인터넷 쇼핑몰에서 해당 영양제를 구매할 수 있도록 한 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템 및 그 운용방법을 제공하고자 하는 것이다.Therefore, the present invention was devised to improve the conventional problems described above, and its purpose is to enable users to search for nutritional supplements more easily and quickly using image search technology using machine learning and then purchase the nutritional supplements at an internet shopping mall. The goal is to provide a nutritional supplement search system and its operation method using the image machine learning camera function.

상기한 바와 같은 목적을 달성하기 위한 본 발명에 따른 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템은, 소정 영양제의 이미지 촬영 및 전송, 구매를 위한 앱이 탑재된 상태로 각 사용자가 휴대하는 다수 개의 스마트폰과; 인터넷망을 매개로 상기 앱이 탑재된 각 사용자의 스마트폰과 연결되어, 스마트폰으로부터 특정 영양제의 이미지를 수신하고 이미지 머신러닝 기능을 통해 유사도가 높은 순으로 인터넷 쇼핑몰 상품 검색 결과를 취득한 후, 그 검색 결과를 해당 스마트폰 측으로 제공하는 영양제 검색 시스템 서버 및; 인터넷망을 매개로 상기 영양제 검색 시스템 서버와 연결된 상태에서 오픈 API를 제공하고, 이에 기초한 상기 영양제 검색 시스템 서버의 검색 결과가 상기 스마트폰 앱 측으로 제공됨에 따라, 상기 스마트폰을 통해 각 인터넷 쇼핑몰에서 특정 영양제의 구매가 가능해지도록 하는 다수 개의 쇼핑몰 서버를 포함하여 구성된 것;을 특징으로 한다. In order to achieve the above-mentioned purpose, the nutritional supplement search system using the image machine learning camera function according to the present invention includes a plurality of smart devices carried by each user with an app for capturing and transmitting and purchasing images of predetermined nutritional supplements. phone and; It is connected to each user's smartphone equipped with the above app via the Internet network, receives images of specific nutritional supplements from the smartphone, and obtains search results for internet shopping mall products in order of highest similarity through the image machine learning function. a nutritional supplement search system server that provides search results to the smartphone; An open API is provided while connected to the nutritional supplement search system server via an Internet network, and the search results of the nutritional supplement search system server based on this are provided to the smartphone app, so that each Internet shopping mall can select a specific product through the smartphone. It is characterized by comprising a plurality of shopping mall servers that enable the purchase of nutritional supplements.

바람직하게, 각 스마트폰에 탑재되는 상기 앱의 메뉴 구성은, 특정 영양제에 대한 이미지를 전송한 후 해당 영양제의 구매가 가능한 인터넷 쇼핑몰 정보를 제공받는 머신러닝 카메라 항목과, 각종 영양제 및 의학 정보의 검색이 가능한 메디컬 항목과, 서비스 이용을 위한 회원가입 및 로그인 절차가 수행되는 마이페이지 항목 및, 서비스 이용자 상호 간에 구매 후기를 비롯한 각종 정보를 공유할 수 있도록 제공되는 커뮤니티 항목을 포함하여 구성된 것을 특징으로 한다. Preferably, the menu structure of the app mounted on each smartphone includes a machine learning camera item that transmits an image of a specific nutritional supplement and then receives information on an Internet shopping mall where the nutritional supplement can be purchased, and a search for various nutritional supplements and medical information. It is characterized by being composed of medical items that can be used, a My Page item that performs membership registration and login procedures to use the service, and a community item that allows service users to share various information, including purchase reviews, with each other. .

바람직하게, 상기 영양제 검색 시스템 서버는, 다수 개의 스마트폰 및 인터넷 쇼핑몰 서버와 유.무선 인터넷망을 매개로 선택적으로 연결되도록 제공되는 인터페이스 모듈과, 각 스마트폰에 탑재된 앱과 연계되어 상기 앱에 대한 인증절차를 수행하고, 상기 앱을 통해 특정 영양제의 이미지를 수신한 후 해당 영양제의 구매를 위한 인터넷 쇼핑몰 정보가 상기 앱 측으로 제공되도록 앱 제어를 수행하는 앱 운용모듈과, 각 스마트폰에 탑재된 앱을 통해 전송된 특정 영양제의 이미지가 저장되는 데이터베이스와, 상기 데이터베이스에 저장된 이미지로부터 해당 영양제의 명칭 및 정보에 대한 학습이 이루어지는 머신러닝 엔진과, 상기 머신러닝 엔진을 통해 학습된 데이터를 기초로 이미지 데이터 알고리즘이 구축되도록 하는 이미지 처리모듈과, 상기 이미지 처리모듈에서 처리된 데이터 알고리즘에 기초하여 특정 키워드에 대한 다수 개 인터넷 쇼핑몰의 오픈 API 검색이 이루어지는 키워드 검색모듈 및, 상기 키워드 검색모듈에서 검색된 해당 영양제의 구매가 가능한 다수 개의 인터넷 쇼핑몰 정보가 링크 가능한 상태로 상기 스마트폰의 앱 측으로 전송되도록 하여 각 인터넷 쇼핑몰에서 특정 영양제의 구매가 가능해지도록 하는 쇼핑몰 연계모듈을 포함하여 구성된 것을 특징으로 한다. Preferably, the nutritional supplement search system server includes an interface module provided to selectively connect to a plurality of smartphones and an Internet shopping mall server via a wired or wireless Internet network, and is linked to an app mounted on each smartphone to access the app. an app operation module that performs an authentication procedure and receives an image of a specific nutritional supplement through the app and then performs app control so that internet shopping mall information for purchasing the nutritional supplement is provided to the app, and an app installed in each smartphone A database that stores images of specific nutritional supplements sent through the app, a machine learning engine that learns the name and information of the nutritional supplement from the images stored in the database, and an image based on the data learned through the machine learning engine. An image processing module that builds a data algorithm, a keyword search module that performs an open API search of multiple Internet shopping malls for a specific keyword based on the data algorithm processed in the image processing module, and the corresponding nutritional supplement searched in the keyword search module. It is characterized by including a shopping mall linkage module that allows the purchase of a specific nutritional supplement at each Internet shopping mall by transmitting information on a plurality of Internet shopping malls available for purchase to the app side of the smartphone in a linkable state.

한편, 본 발명에 따른 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템의 운용방법은, 사용자의 스마트폰에 탑재된 소정 영양제의 이미지 촬영 및 전송, 구매를 위한 앱이 구동되는 단계와; 상기 앱의 머신러닝 카메라 항목 선택 후, 특정 영양제의 이미지가 촬영되는 단계와; 상기 앱을 통해 촬영한 특정 영양제의 이미지를 인터넷망을 통해 원격지의 영양제 검색 시스템 서버 측으로 전송하는 단계와; 상기 영양제 검색 시스템 서버에서 특정 영양제의 이미지 데이터를 수신한 후 데이터베이스에 저장하고, 머신러닝 엔진을 구동시켜 이미지 데이터 알고리즘을 구축하는 단계와; 상기 머신러닝 엔진을 통해 구축된 이미지 데이터 알고리즘의 결과 데이터를 기반으로 키워드 검색 모듈에서 키워드 검색이 진행되는 단계와; 상기 영양제 검색 시스템 서버를 통해 검색된 특정 영양제 이미지에 대한 구매 가능한 인터넷 쇼핑몰 정보가 스마트폰의 앱 측으로 제공되는 단계의 과정을 포함하도록 이루어진 것;을 특징으로 한다. Meanwhile, a method of operating a nutritional supplement search system using an image machine learning camera function according to the present invention includes the steps of capturing and transmitting an image of a predetermined nutritional supplement mounted on a user's smartphone and running an app for purchase; After selecting the machine learning camera item of the app, an image of a specific nutritional supplement is captured; transmitting an image of a specific nutritional supplement captured through the app to a remote nutritional supplement search system server through an Internet network; Receiving image data of a specific nutritional supplement from the nutritional supplement search system server, storing it in a database, and running a machine learning engine to build an image data algorithm; conducting a keyword search in a keyword search module based on the result data of the image data algorithm built through the machine learning engine; It is characterized by comprising a step of providing purchaseable Internet shopping mall information for a specific nutritional image searched through the nutritional supplement search system server to an app of a smartphone.

이때, 상기 영양제 검색 시스템 서버의 이미지 검색 모듈을 통해 특정 영양제의 이미지에 기초한 키워드 검색이 진행되는데 있어서는, 각 인터넷 쇼핑몰의 오픈 API를 이용하여 검색이 진행된 후 검색된 데이터에 대한 파싱이 이루어짐이 바람직하다. At this time, when a keyword search based on the image of a specific nutritional supplement is performed through the image search module of the nutritional supplement search system server, it is preferable that the search is performed using the open API of each Internet shopping mall and then the searched data is parsed.

또한, 상기 영양제 검색 시스템 서버에서 검색된 데이터에 대한 파싱이 이루어진 후에는 해당 데이터에 대한 디테일 정보가 링크 가능한 상태로 상기 스마트폰 측으로 전송되어 화면에 표시되고, 상기 스마트폰에 표시된 특정 인터넷 쇼핑몰을 선택함에 따라, 영양제 구매가 가능한 해당 인터넷 쇼핑몰로 연결되도록 제어가 이루어짐이 바람직하다. In addition, after the data retrieved from the nutritional supplement search system server is parsed, detailed information about the data is transmitted to the smartphone in a linkable state and displayed on the screen, and when a specific Internet shopping mall displayed on the smartphone is selected, Accordingly, it is desirable that control is implemented to connect to the corresponding Internet shopping mall where nutritional supplements can be purchased.

상기에서 설명한 바와 같이 이루어진 본 발명에 따르면, 인공지능 머신러닝 기술을 통한 이미지 검색, 인터넷 쇼핑몰 오픈 API를 이용한 키워드 검색 기능 등을 적용하여, 사용자가 스마트폰의 앱을 통해 촬영한 특정 영양제의 이미지와 유사도가 높은 순서대로 상품이 검색되어 스마트폰에 제공되도록 함에 따라, 보다 쉽고 빠르게 영양제를 검색하고 구매할 수 있는 효과가 있게 된다. According to the present invention made as described above, by applying image search using artificial intelligence machine learning technology and keyword search function using internet shopping mall open API, the image of a specific nutritional supplement taken by the user through an app on a smartphone By allowing products to be searched and provided to smartphones in order of high similarity, it becomes possible to search for and purchase nutritional supplements more easily and quickly.

특히, 스마트폰에 탑재된 특정 앱을 통해 영어를 모르는 사용자나 기계 사용에 어려움을 느끼는 사용자도 보다 쉽게 각종 영양제에 접근하여 자신의 건강을 관리할 수 있는 효과가 있게 되며, 이를 통해 사용자의 편의성 및 만족도를 극대화 시킬 수 있는 효과가 있게 된다. In particular, through a specific app installed on a smartphone, users who do not know English or who have difficulty using machines can more easily access various nutritional supplements and manage their health, thereby improving user convenience and This has the effect of maximizing satisfaction.

도 1은 본 발명의 일실시예에 따른 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템의 개략적인 구성도,
도 2는 본 발명의 일실시예에 따른 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템에 적용되는 스마트폰에 탑재된 앱의 구조를 나타내는 도면,
도 3a 내지 도 3d는 본 발명의 일실시예에 따른 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템에 적용되는 스마트폰에 탑재된 앱의 디스플레이 화면을 나타내는 도면,
도 4는 본 발명의 일실시예에 따른 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템에 적용되는 영양제 검색 시스템 서버의 구성을 나타내는 블록도,
도 5는 본 발명의 일실시예에 따른 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템이 운용되는 과정을 나타내는 플로우차트이다.1 is a schematic configuration diagram of a nutritional supplement search system using an image machine learning camera function according to an embodiment of the present invention;
Figure 2 is a diagram showing the structure of an app mounted on a smartphone applied to a nutritional supplement search system using an image machine learning camera function according to an embodiment of the present invention;
3A to 3D are diagrams showing the display screen of an app mounted on a smartphone applied to a nutritional supplement search system using an image machine learning camera function according to an embodiment of the present invention;
Figure 4 is a block diagram showing the configuration of a nutritional supplement search system server applied to a nutritional supplement search system using an image machine learning camera function according to an embodiment of the present invention;
Figure 5 is a flow chart showing the process of operating a nutritional supplement search system using an image machine learning camera function according to an embodiment of the present invention.

이하, 상기한 바와 같이 구성된 본 발명에 대해 첨부도면을 참조하여 상세히 설명한다.Hereinafter, the present invention configured as described above will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템의 개략적인 구성도, 도 2는 본 발명의 일실시예에 따른 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템에 적용되는 스마트폰에 탑재된 앱의 구조를 나타내는 도면, 도 3a 내지 도 3d는 본 발명의 일실시예에 따른 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템에 적용되는 스마트폰에 탑재된 앱의 디스플레이 화면을 나타내는 도면, 도 4는 본 발명의 일실시예에 따른 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템에 적용되는 영양제 검색 시스템 서버의 구성을 나타내는 블록도이다.Figure 1 is a schematic configuration diagram of a nutritional supplement search system using an image machine learning camera function according to an embodiment of the present invention, and Figure 2 is applied to a nutritional supplement search system using an image machine learning camera function according to an embodiment of the present invention. 3A to 3D are diagrams showing the structure of the app mounted on the smartphone, showing the display screen of the app mounted on the smartphone applied to the nutritional supplement search system using the image machine learning camera function according to an embodiment of the present invention. 4 is a block diagram showing the configuration of a nutritional supplement search system server applied to a nutritional supplement search system using an image machine learning camera function according to an embodiment of the present invention.

먼저, 본 발명에 따른 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템 및 그 운용방법은, 머신러닝을 이용한 이미지 검색 기술, 인터넷 쇼핑몰 오픈 API를 이용한 키워드 검색 기능 등을 이용하여 사용자가 스마트폰에 탑재된 앱을 매개로 보다 쉽고 빠르게 특정 영양제를 검색한 후 화면에 표시되는 유사도 정보에 기초하여 상품 구매가 가능하도록 구현된다. First, the nutritional supplement search system and its operation method using the image machine learning camera function according to the present invention allow the user to use the image search technology using machine learning and the keyword search function using the Internet shopping mall open API, etc. It is implemented so that it is possible to search for specific nutritional supplements more easily and quickly through the app and then purchase the product based on the similarity information displayed on the screen.

이를 위해, 본 발명의 일실시예에 따른 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템은, 다수 개의 스마트폰(10)이 무선으로 연결되는 인터넷망(100)을 매개로 특정 서비스를 제공하는 영양제 검색 시스템 서버(30) 및 다수 개의 인터넷 쇼핑몰 서버(50)가 연결되어 구성된다. To this end, the nutritional supplement search system using the image machine learning camera function according to an embodiment of the present invention provides a nutritional supplement search that provides a specific service through the Internet network (100) to which a plurality of smartphones (10) are wirelessly connected. The system server 30 and a plurality of internet shopping mall servers 50 are connected and configured.

상기 스마트폰(10)은 다양한 앱이 탑재된 상태로 불특정 다수의 사용자가 휴대하는 공지의 스마트폰으로서, 본 발명에서는 소정 영양제의 이미지 촬영 및 전송, 구매를 위한 특정 앱(20)이 탑재되도록 이루어진다. The smartphone 10 is a known smartphone carried by an unspecified number of users with various apps loaded on it. In the present invention, it is equipped with a specific app 20 for taking and transmitting images of predetermined nutritional supplements and purchasing them. .

도 2 및 도 3a 내지 도 3d에 도시된 바와 같이, 상기 스마트폰(10)에 탑재되는 앱(20)의 메인화면(21) 상에는 머신러닝 카메라(22), 메디컬(24), 마이페이지(26), 커뮤니티(28)로 이루어진 총 4개의 메뉴 항목이 활성화 될 수 있도록 구성된다. As shown in FIGS. 2 and 3A to 3D, the machine learning camera 22, medical 24, and my page 26 are displayed on the main screen 21 of the app 20 mounted on the smartphone 10. ), community (28), a total of 4 menu items can be activated.

상기 앱(20)의 실행 시 화면 상에는 머신러닝 카메라(22)가 즉시 나타나도록 구성되어(도 3a 참조), 카메라 버튼 클릭 시 바로 이미지가 검색되도록 구성됨이 바람직하다. When the app 20 is executed, the machine learning camera 22 is preferably configured to immediately appear on the screen (see FIG. 3A), and the image is searched immediately when the camera button is clicked.

상기 머신러닝 카메라(22) 항목을 통해서는 사용자가 특정 영양제의 외관을 직접 촬영한 이미지나 스마트폰의 앨범에 저장된 이미지를 인터넷망(100)을 통해 상기 영양제 검색 시스템 서버(50) 측으로 전송할 수 있도록 구성되며, 이미지 전송 후에는 해당 영양제의 구매가 가능한 인터넷 쇼핑몰 정보를 제공받을 수 있도록 구성된다. Through the machine learning camera 22 item, the user can transmit an image directly taken of the appearance of a specific nutritional supplement or an image stored in an album of a smartphone to the nutritional supplement search system server 50 through the Internet network 100. It is configured so that after sending the image, information on an internet shopping mall where the nutritional supplement can be purchased can be provided.

이때, 상기 머신러닝 카메라(22) 항목을 통해 촬영한 이미지가 상기 영양제 검색 시스템 서버(30) 측으로 전송 처리된 후에는 촬영 이미지와 유사한 상품 순으로 검색결과가 화면에 표시되도록 구성된다(도 3b 참조). At this time, after the image captured through the machine learning camera 22 item is transmitted and processed to the nutritional supplement search system server 30, the search results are displayed on the screen in the order of products similar to the captured image (see FIG. 3b) ).

또한, 특정 상품을 선택하면 해당 상품에 대한 간략한 정보가 표시됨과 아울러, 우측 상단에 구비된 공유버튼을 선택하면 해당 페이지의 주소가 복사되도록 구성되며, 하단에 있는 구매하기 버튼을 선택하면 해당 인터넷 쇼핑몰로 이동하여 구매 가능한 상태가 되도록 구성된다(도 3c 참조). In addition, when you select a specific product, brief information about the product is displayed. When you select the share button at the top right, the address of the page is copied. When you select the purchase button at the bottom, you can go to the corresponding online shopping mall. It is configured to move to and become available for purchase (see Figure 3c).

상기 메디컬(24) 항목을 통해서는 검색을 통해 각종 영양제 정보나 질병 정보 등을 제공받을 수 있도록 구성된다. The medical (24) item is configured so that various nutritional information or disease information can be provided through search.

즉, 도 3d에 도시된 바와 같이, 화면 상단의 검색창에 사용자가 검색하고자 하는 소정 키워드를 입력함에 따라, 화면 상에는 검색결과가 리스트 형식으로 표시되되, 각 상품에 대한 간단한 설명 및 가격이 함께 제공되면서 특정 상품을 선택하면 해당 상품의 구매가 가능한 인터넷 쇼핑몰로 이동할 수 있도록 구성된다. That is, as shown in Figure 3d, as the user enters a predetermined keyword to search in the search box at the top of the screen, the search results are displayed in a list format on the screen, and a brief description and price for each product are also provided. When you select a specific product, you can go to an online shopping mall where you can purchase that product.

상기 마이페이지(26) 항목을 통해서는 서비스 이용을 위한 사용자의 회원가입 및 로그인 절차가 수행될 수 있도록 구성되며, 상기 커뮤니티(28) 항목은 공지사항, Q&A, 제품 구매후기 등을 비롯한 각종 정보를 서비스 이용자들이 공유할 수 있도록 구성된다. The My Page (26) item is configured to allow users to register and log in to use the service, and the Community (28) item provides various information including notices, Q&A, product purchase reviews, etc. It is designed so that service users can share it.

상기 영양제 검색 시스템 서버(30)는 인터넷망(100)을 통해 다수 대의 스마트폰(10) 및 다수 개의 인터넷 쇼핑몰 서버(50)와 연결되어, 각 스마트폰(10)에 탑재된 앱을 매개로 특정 영양제의 이미지를 수신하고 이미지 머신러닝 기능을 통해 유사도가 높은 순으로 인터넷 쇼핑몰 서버(50)의 상품 검색 결과를 취득한 후, 그 검색 결과를 해당 스마트폰(10) 측으로 제공할 수 있도록 구성된다. The nutritional supplement search system server 30 is connected to a plurality of smartphones 10 and a plurality of Internet shopping mall servers 50 through the Internet network 100, and specifies the information through the app mounted on each smartphone 10. It is configured to receive images of nutritional supplements, obtain product search results from the Internet shopping mall server 50 in order of similarity through the image machine learning function, and then provide the search results to the corresponding smartphone 10.

이때, 상기 영양제 검색 시스템 서버(30)는 인터페이스 모듈(32), 앱 운용모듈(34), 데이터베이스(36), 머신러닝 엔진(38), 이미지 처리모듈(40), 키워드 검색모듈(42), 인터넷 쇼핑몰 연계모듈(44) 등을 포함하여 구성된다. At this time, the nutritional supplement search system server 30 includes an interface module 32, an app operation module 34, a database 36, a machine learning engine 38, an image processing module 40, a keyword search module 42, It is composed of an internet shopping mall linkage module (44), etc.

상기 인터페이스 모듈(32)은 상기 다수 개의 스마트폰(10) 및 다수 개의 인터넷 쇼핑몰 서버(50)와 상기 영양제 검색 시스템 서버(30)가 유.무선 인터넷망(100)으로 상호 연결되도록 인터페이스 수단을 제공하도록 구성된다. The interface module 32 provides an interface means so that the plurality of smartphones 10, the plurality of Internet shopping mall servers 50, and the nutritional supplement search system server 30 are interconnected through the wired and wireless Internet network 100. It is configured to do so.

상기 앱 운용모듈(34)은 상기 다수 개의 스마트폰(10)에 각각 탑재되어 영양제의 검색 및 구매가 가능하도록 제공되는 앱(20)과 연계되어, 상기 앱에 대한 인증절차 및 업데이트 등을 수행함과 아울러, 상기 앱을 통해 특정 영양제에 대한 이미지를 수신한 후 해당 영양제의 구매를 위한 인터넷 쇼핑몰 정보가 상기 앱 측으로 제공되도록 앱 제어를 수행하게 된다. The app operation module 34 is mounted on each of the plurality of smartphones 10 and is linked to the app 20 provided to enable search and purchase of nutritional supplements, and performs authentication procedures and updates for the app. In addition, after receiving an image of a specific nutritional supplement through the app, app control is performed so that internet shopping mall information for purchasing the nutritional supplement is provided to the app.

상기 데이터베이스(36)는 각 스마트폰(10)에 탑재된 앱을 통해 영양제 검색 시스템 서버(30) 측으로 전송된 특정 영양제의 이미지가 저장되도록 구비된다. The database 36 is provided to store images of specific nutritional supplements transmitted to the nutritional supplement search system server 30 through an app mounted on each smartphone 10.

상기 머신러닝 엔진(38)은 각 스마트폰(10)으로부터 전송되어 상기 데이터베이스(36)에 저장된 각종 영양제의 이미지로부터 해당 영양제의 명칭 및 정보에 대한 학습이 이루어지도록 구성되며, 상기 이미지 처리모듈(40)은 상기 머신러닝 엔진(38)을 통해 학습된 데이터를 기초로 이미지 데이터 알고리즘을 구축하도록 구성된다. The machine learning engine 38 is configured to learn the names and information of various nutritional supplements from the images of various nutritional supplements transmitted from each smartphone 10 and stored in the database 36, and the image processing module 40 ) is configured to build an image data algorithm based on data learned through the machine learning engine 38.

상기 키워드 검색모듈(42)에서는 상기 이미지 처리모듈(40)에서 처리된 데이터 알고리즘에 기초하여 특정 영양제의 이미지에서 추출한 특정 키워드에 대한 쇼핑몰 오픈 API의 검색이 이루어지도록 구성된다. The keyword search module 42 is configured to search the shopping mall open API for a specific keyword extracted from an image of a specific nutritional supplement based on a data algorithm processed by the image processing module 40.

상기 인터넷 쇼핑몰 연계모듈(44)은 상기 키워드 검색모듈(42)에서 다수 개 인터넷 쇼핑몰의 오픈 API 검색을 수행한 결과 값에 따라, 해당 영양제의 구매가 가능한 다수 개의 인터넷 쇼핑몰 정보가 링크 가능한 상태로 상기 스마트폰(10)의 앱 측으로 전송되도록 구성되며, 이에 상기 인터넷 쇼핑몰 정보가 전송된 스마트폰(10) 앱을 통해서는 링크 가능한 인터넷 쇼핑몰에서 특정 영양제의 구매절차를 수행할 수가 있게 된다. The internet shopping mall linking module 44 is configured to link information on a plurality of internet shopping malls where the nutritional supplement can be purchased, according to the result of the keyword search module 42 performing an open API search of a plurality of internet shopping malls. It is configured to be transmitted to the app side of the smartphone 10, and thus the purchase procedure of a specific nutritional supplement can be performed at a linkable Internet shopping mall through the smartphone 10 app to which the Internet shopping mall information is transmitted.

이어, 상기한 바와 같이 이루어진 본 발명에 따른 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템이 운용되는 과정에 대해 도 1 내지 도 5를 참조하여 설명하면 다음과 같다. Next, the process of operating the nutritional supplement search system using the image machine learning camera function according to the present invention as described above will be described with reference to FIGS. 1 to 5 as follows.

먼저, 특정 영양제의 검색 및 구매가 가능한 앱이 탑재된 다수 개의 스마트폰(10)과, 상기 스마트폰으로부터 특정 영양제의 이미지를 수신 및 학습한 후 구매 가능한 인터넷 쇼핑몰 정보를 제공하는 영양제 검색 시스템 서버(30) 및, 특정 영양제의 구매가 가능한 다수 개의 인터넷 쇼핑몰 서버(50) 등은 유.무선 인터넷망(100)을 매개로 상호 연결되어 시스템을 구성하게 된다. First, a plurality of smartphones 10 equipped with an app capable of searching and purchasing specific nutrients, and a nutritional supplement search system server that receives and learns images of specific nutrients from the smartphones and then provides information on Internet shopping malls where they can be purchased ( 30) and a plurality of Internet shopping mall servers 50 where specific nutritional supplements can be purchased are interconnected via the wired and wireless Internet network 100 to form a system.

임의의 사용자가 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템을 이용하여 특정 영양제의 검색 및 구매를 수행하기 위해서, 사용자는 휴대하고 있는 스마트폰(10)에 탑재된 앱을 구동시킨 상태에서(S 1), 메뉴항목 중 머신러닝 카메라 항목 선택한 후(S 2), 특정 영양제의 이미지를 촬영하거나 앨범에 저장된 이미지를 선택하여 특정 영양제의 이미지가 인터넷망(100)을 통해 원격지의 영양제 검색 시스템 서버(30) 측으로 전송되도록 하게 된다(S 3). In order for a random user to search and purchase a specific nutritional supplement using a nutritional supplement search system using the image machine learning camera function, the user runs the app mounted on the smartphone 10 he or she is carrying (S 1 ), after selecting the machine learning camera item among the menu items (S 2), take an image of a specific nutritional supplement or select an image saved in an album, and the image of the specific nutritional supplement is sent to a remote nutritional supplement search system server (30) through the Internet network (100). ) side (S 3).

상기 영양제 검색 시스템 서버(30)에서는 인터페이스 모듈(32)을 통해 사용자의 스마트폰(10)으로부터 특정 영양제의 이미지 데이터를 수신하여 데이터베이스(36)에 저장하는 한편(S 4), 머신러닝 엔진(38)을 구동시켜 데이터를 처리하고(S 5), 이미지 처리모듈(40)에서는 그 데이터 처리 결과를 바탕으로 이미지 데이터 알고리즘을 구축하는 과정을 수행하게 된다(S 6). The nutritional supplement search system server 30 receives image data of a specific nutritional supplement from the user's smartphone 10 through the interface module 32 and stores it in the database 36 (S 4), while the machine learning engine 38 ) is run to process the data (S 5), and the image processing module 40 performs a process of building an image data algorithm based on the data processing results (S 6).

그 후, 상기 영양제 검색 시스템 서버(30)의 머신러닝 엔진(38)을 통해 구축된 이미지 데이터 알고리즘의 결과 데이터를 기반으로 키워드 검색 모듈(42)에서는 키워드 검색이 진행되게 되는데, 이는 각 쇼핑몰 서버에서 제공하는 오픈 API를 기초로 검색이 진행된 후 검색된 데이터에 대한 파싱이 이루어지게 된다(S 8 및 S 9). Afterwards, a keyword search is performed in the keyword search module 42 based on the result data of the image data algorithm built through the machine learning engine 38 of the nutritional supplement search system server 30, which is performed on each shopping mall server. After a search is performed based on the provided open API, the searched data is parsed (S 8 and S 9).

상술한 바와 같은 과정을 보다 상세히 설명하면, 상기 영양제 검색 시스템 서버(30)의 머신러닝 엔진(38)에서는 개체의 명칭과 해당 데이터를 입력하여 학습이 이루어지게 되는데, 이때 모델 업로드를 선택할 시 구글에서 무료 호스팅을 제공하며, 만든 모델이 공개되도록 이루어진다. To explain the above-described process in more detail, the machine learning engine 38 of the nutritional supplement search system server 30 performs learning by inputting the name of the object and the corresponding data. At this time, when selecting model upload, Google Free hosting is provided, and the created model is made public.

상기 모델이 공개되면, 링크 형식으로 공개되어 [티처블 고유 링크 + 만든 모듈의 고유 키 번호] 형식으로 반환이 이루어지게 되며, 유사도에 대한 확률 값, 명칭 값을 설정하게 된다. 또 출력 값을 유사한 순으로 배열하기 위해 유사도에 대한 확률 값은 내림차순으로 배열되며, 2차원 배열을 사용함에 따라 배열을 바꿨을 때 유사도와 명칭이 불일치하는 문제점이 방지되도록 하게 된다. When the model is released, it is released in link format and returned in the form of [teachable unique link + unique key number of the created module], and the probability value and name value for similarity are set. In addition, in order to arrange the output values in similar order, the probability values for similarity are arranged in descending order, and by using a two-dimensional array, the problem of mismatch between similarity and name when changing the array is prevented.

그리고, 상기 키워드 검색 모듈(40)을 통해 키워드 검색이 진행되게 되는데 있어서는 각 쇼핑몰 사이트에서 제공하는 상품에 대한 데이터베이스를 활용하게 되는데, 서버와의 통신을 위해 출력 방식을 바꿔 데이터를 불러오게 되며, 받아올 데이터의 주소를 링크 형식으로 적도록 이루어진다. [쇼핑몰 사이트 오픈 APO 링크 + 사용자 개인 고유 키] 형태로 입력이 이루어지게 되며, 각 쇼핑몰 사이트의 오픈 API 지침에 따라 각 부분을 알맞게 입력하도록 이루어진다. In addition, when a keyword search is performed through the keyword search module 40, a database for products provided by each shopping mall site is utilized. The output method is changed to retrieve data for communication with the server, and the data is retrieved. The address of the data to come is written in link format. Input is made in the form of [shopping mall site open APO link + user's unique key], and each part is entered appropriately according to the open API guidelines of each shopping mall site.

또한, 각 쇼핑몰 사이트로부터 받아온 형식을 알맞게 출력하도록 데이터 파싱이 이루어지게 되는데, 명령어로 해당 정보에 해당하는 파라미터 값을 불러온 후, 데이터를 파싱해 자식 노드 값들을 파싱하여 화면에 표출하도록 이루어진다. 이때에는 한 데이터당 한 개의 상자에 담겨 출력하도록 이루어지며, 그 다음, 다른 페이지에 정보를 전달하도록 이루어진다. 상기 상자를 선택하게 되면 해당 제품에 대한 코드를 받는 방식으로 전달이 이루어지게 된다. In addition, data parsing is performed to properly output the format received from each shopping mall site. After loading the parameter values corresponding to the information with a command, the data is parsed and the child node values are parsed and displayed on the screen. At this time, each piece of data is printed in one box, and then the information is transmitted to another page. If you select the above box, delivery will be made by receiving a code for the product.

또, 받아온 데이터의 재검색 시에는 상기 오픈 API 활용과 같이 상세정보 검색을 통해 상품의 이미지, 이름, 구매 링크 데이터 등을 얻어올 수가 있게 된다. In addition, when re-searching the received data, it is possible to obtain product image, name, purchase link data, etc. through detailed information search using the open API mentioned above.

상술한 바와 같은 과정을 통해, 상기 스마트폰(10)으로부터 특정 영양제에 대한 이미지가 상기 영양제 검색 시스템 서버(30) 측으로 전송됨에 따라, 상기 영양제 검색 시스템 서버(30)에서는 일련의 과정을 거쳐 특정 영양제 이미지에 대한 구매 가능한 인터넷 쇼핑몰 정보를 상기 스마트폰(10)에 탑재된 앱을 통해 유사도가 높은 순으로 피드백 하게 된다. Through the above-described process, as the image of the specific nutritional supplement is transmitted from the smartphone 10 to the nutritional supplement search system server 30, the nutritional supplement search system server 30 goes through a series of processes to determine the specific nutritional supplement. Information on internet shopping malls where images can be purchased is fed back in order of highest similarity through an app mounted on the smartphone 10.

또, 상기 영양제 검색 시스템 서버(30)에서 검색된 데이터에 대한 파싱이 이루어진 후에는 상기 스마트폰(10) 화면 상에 표시된 특정 상품을 사용자가 선택함에 따라, 해당 데이터에 대한 디테일 정보가 해당 스마트폰(10)의 화면을 통해 링크 가능한 상태로 표시되게 된다(S 10). In addition, after the data retrieved from the nutritional supplement search system server 30 is parsed, as the user selects a specific product displayed on the screen of the smartphone 10, detailed information about the data is sent to the smartphone ( The link is displayed on the screen in 10) (S 10).

그 후, 사용자가 상기 스마트폰(10)에 표시된 특정 상품을 판매하는 인터넷 쇼핑몰을 선택하게 되면, 상기 스마트폰(10) 및 특정 인터넷 쇼핑몰 서버(50) 상호 간이 연결되면서, 특정 영양제에 대한 구매절차를 진행할 수가 있게 되는 것이다(S 11). Thereafter, when the user selects an Internet shopping mall selling a specific product displayed on the smartphone 10, the smartphone 10 and the specific Internet shopping mall server 50 are connected to each other, and a purchase procedure for a specific nutritional supplement is performed. You will be able to proceed (S 11).

한편, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어나지 않는 범위에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 및 수정이 가능한 것은 물론이고, 이러한 변형 및 수정 발명들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안되는 것이다.Meanwhile, although preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and the technology to which the invention pertains without departing from the gist of the present invention as claimed in the claims. Of course, various variations and modifications are possible by those skilled in the art, and these variations and modifications should not be understood individually from the technical idea or perspective of the present invention.

10: 스마트폰, 20: 앱 실행화면,
21: 메인화면, 22: 머신러닝 카메라,
24: 메디컬, 26: 마이페이지,
28: 커뮤니티, 30: 영양제 검색 시스템 서버,
32: 인터페이스 모듈, 34: 앱 운용모듈,
36: 데이터베이스, 38: 머신러닝 모듈,
40: 이미지 처리모듈, 42: 키워드 검색모듈,
44: 인터넷 쇼핑몰 연계모듈, 50: 인터넷 쇼핑몰 서버,
100: 인터넷망.10: Smartphone, 20: App execution screen,
21: Main screen, 22: Machine learning camera,
24: Medical, 26: My Page,
28: Community, 30: Nutrient search system server,
32: interface module, 34: app operation module,
36: database, 38: machine learning module,
40: Image processing module, 42: Keyword search module,
44: Internet shopping mall link module, 50: Internet shopping mall server,
100: Internet network.

Claims (6)

소정 영양제의 이미지 촬영 및 전송, 구매를 위한 앱이 탑재된 상태로 각 사용자가 휴대하는 다수 개의 스마트폰과;
인터넷망을 매개로 상기 앱이 탑재된 각 사용자의 스마트폰과 연결되어, 스마트폰으로부터 특정 영양제의 이미지를 수신하고 이미지 머신러닝 기능을 통해 유사도가 높은 순으로 인터넷 쇼핑몰 상품 검색 결과를 취득한 후, 그 검색 결과를 해당 스마트폰 측으로 제공하는 영양제 검색 시스템 서버 및;
인터넷망을 매개로 상기 영양제 검색 시스템 서버와 연결된 상태에서 오픈 API를 제공하고, 이에 기초한 상기 영양제 검색 시스템 서버의 검색 결과가 상기 스마트폰 앱 측으로 제공됨에 따라, 상기 스마트폰을 통해 각 인터넷 쇼핑몰에서 특정 영양제의 구매가 가능해지도록 하는 다수 개의 인터넷 쇼핑몰 서버를 포함하여 구성된 것;을 특징으로 하는 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템.A plurality of smartphones carried by each user equipped with an app for capturing, transmitting, and purchasing images of predetermined nutritional supplements;
It is connected to each user's smartphone equipped with the above app via the Internet network, receives images of specific nutritional supplements from the smartphone, and obtains search results for internet shopping mall products in order of highest similarity through the image machine learning function. a nutritional supplement search system server that provides search results to the smartphone;
An open API is provided while connected to the nutritional supplement search system server via an Internet network, and the search results of the nutritional supplement search system server based on this are provided to the smartphone app, so that each Internet shopping mall can select a specific product through the smartphone. A nutritional supplement search system using an image machine learning camera function, comprising a plurality of Internet shopping mall servers that enable the purchase of nutritional supplements. 제 1항에 있어서,
각 스마트폰에 탑재되는 상기 앱의 메뉴 구성은,
특정 영양제에 대한 이미지를 전송한 후 해당 영양제의 구매가 가능한 인터넷 쇼핑몰 정보를 제공받는 머신러닝 카메라 항목과,
각종 영양제 및 의학 정보의 검색이 가능한 메디컬 항목과,
서비스 이용을 위한 회원가입 및 로그인 절차가 수행되는 마이페이지 항목 및,
서비스 이용자 상호 간에 구매 후기를 비롯한 각종 정보를 공유할 수 있도록 제공되는 커뮤니티 항목을 포함하여 구성된 것을 특징으로 하는 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템.According to clause 1,
The menu structure of the above app installed on each smartphone is,
A machine learning camera item that transmits an image of a specific nutritional supplement and then receives information on an internet shopping mall where the nutritional supplement can be purchased,
Medical items where you can search various nutritional supplements and medical information,
My page items where membership registration and login procedures for using the service are performed, and
A nutritional supplement search system using an image machine learning camera function that includes community items that allow service users to share various information, including purchase reviews, with each other. 제 1항에 있어서,
상기 영양제 검색 시스템 서버는,
다수 개의 스마트폰 및 인터넷 쇼핑몰 서버와 유.무선 인터넷망을 매개로 선택적으로 연결되도록 제공되는 인터페이스 모듈과,
각 스마트폰에 탑재된 앱과 연계되어 상기 앱에 대한 인증절차를 수행하고, 상기 앱을 통해 특정 영양제의 이미지를 수신한 후 해당 영양제의 구매를 위한 인터넷 쇼핑몰 정보가 상기 앱 측으로 제공되도록 앱 제어를 수행하는 앱 운용모듈과,
각 스마트폰에 탑재된 앱을 통해 전송된 특정 영양제의 이미지가 저장되는 데이터베이스와,
상기 데이터베이스에 저장된 이미지로부터 해당 영양제의 명칭 및 정보에 대한 학습이 이루어지는 머신러닝 엔진과,
상기 머신러닝 엔진을 통해 학습된 데이터를 기초로 이미지 데이터 알고리즘이 구축되도록 하는 이미지 처리모듈과,
상기 이미지 처리모듈에서 처리된 데이터 알고리즘에 기초하여 특정 키워드에 대한 다수 개 인터넷 쇼핑몰의 오픈 API 검색이 이루어지는 키워드 검색모듈 및,
상기 키워드 검색모듈에서 검색된 해당 영양제의 구매가 가능한 다수 개의 인터넷 쇼핑몰 정보가 링크 가능한 상태로 상기 스마트폰의 앱 측으로 전송되도록 하여 각 인터넷 쇼핑몰에서 특정 영양제의 구매가 가능해지도록 하는 쇼핑몰 연계모듈을 포함하여 구성된 것을 특징으로 하는 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템.According to clause 1,
The nutritional supplement search system server,
An interface module provided to selectively connect to a plurality of smartphones and Internet shopping mall servers via a wired or wireless Internet network,
It performs an authentication process for the app in connection with the app installed on each smartphone, receives an image of a specific nutritional supplement through the app, and then controls the app so that internet shopping mall information for purchasing the nutritional supplement is provided to the app. An app operation module that performs
A database storing images of specific nutritional supplements sent through an app installed on each smartphone,
A machine learning engine that learns the name and information of the nutritional supplement from the images stored in the database,
An image processing module that builds an image data algorithm based on data learned through the machine learning engine,
A keyword search module that performs an open API search of a plurality of internet shopping malls for a specific keyword based on the data algorithm processed in the image processing module;
It is configured to include a shopping mall linkage module that allows the purchase of a specific nutritional supplement at each Internet shopping mall by transmitting information on a plurality of Internet shopping malls where the nutritional supplement searched in the keyword search module can be purchased to the app side of the smartphone in a linkable state. A nutritional supplement search system using an image machine learning camera function. 사용자의 스마트폰에 탑재된 소정 영양제의 이미지 촬영 및 전송, 구매를 위한 앱이 구동되는 단계와;
상기 앱의 머신러닝 카메라 항목 선택 후, 특정 영양제의 이미지가 촬영되는 단계와;
상기 앱을 통해 촬영한 특정 영양제의 이미지를 인터넷망을 통해 원격지의 영양제 검색 시스템 서버 측으로 전송하는 단계와;
상기 영양제 검색 시스템 서버에서 특정 영양제의 이미지 데이터를 수신한 후 데이터베이스에 저장하고, 머신러닝 엔진을 구동시켜 이미지 데이터 알고리즘을 구축하는 단계와;
상기 머신러닝 엔진을 통해 구축된 이미지 데이터 알고리즘의 결과 데이터를 기반으로 키워드 검색 모듈에서 키워드 검색이 진행되는 단계와;
상기 영양제 검색 시스템 서버를 통해 검색된 특정 영양제 이미지에 대한 구매 가능한 인터넷 쇼핑몰 정보가 스마트폰의 앱 측으로 제공되는 단계의 과정을 포함하도록 이루어진 것;을 특징으로 하는 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템의 운용방법.Taking and transmitting an image of a predetermined nutritional supplement mounted on the user's smartphone and running an app for purchase;
After selecting the machine learning camera item of the app, an image of a specific nutritional supplement is captured;
transmitting an image of a specific nutritional supplement captured through the app to a remote nutritional supplement search system server through an Internet network;
Receiving image data of a specific nutritional supplement from the nutritional supplement search system server, storing it in a database, and running a machine learning engine to build an image data algorithm;
conducting a keyword search in a keyword search module based on the result data of the image data algorithm built through the machine learning engine;
A nutritional supplement search system using an image machine learning camera function, characterized in that it includes the step of providing purchasable Internet shopping mall information for a specific nutritional image searched through the nutritional supplement search system server to the app side of the smartphone. Operation method. 제 4항에 있어서,
상기 영양제 검색 시스템 서버의 이미지 검색 모듈을 통해 특정 영양제의 이미지에 기초한 키워드 검색이 진행되는데 있어서는,
각 인터넷 쇼핑몰의 오픈 API를 이용하여 검색이 진행된 후 검색된 데이터에 대한 파싱이 이루어지는 것을 특징으로 하는 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템의 운용방법.According to clause 4,
When a keyword search based on the image of a specific nutritional supplement is performed through the image search module of the nutritional supplement search system server,
A method of operating a nutritional supplement search system using an image machine learning camera function, characterized in that the search is performed using the open API of each Internet shopping mall and then the searched data is parsed. 제 5항에 있어서,
상기 영양제 검색 시스템 서버에서 검색된 데이터에 대한 파싱이 이루어진 후에는 해당 데이터에 대한 디테일 정보가 링크 가능한 상태로 상기 스마트폰 측으로 전송되어 화면에 표시되고, 상기 스마트폰에 표시된 특정 인터넷 쇼핑몰을 선택함에 따라, 영양제 구매가 가능한 해당 인터넷 쇼핑몰로 연결되도록 제어가 이루어지는 것을 특징으로 하는 이미지 머신러닝 카메라 기능을 이용한 영양제 검색 시스템의 운용방법.According to clause 5,
After the data retrieved from the nutritional supplement search system server is parsed, detailed information about the data is transmitted to the smartphone in a linkable state and displayed on the screen, and when a specific Internet shopping mall displayed on the smartphone is selected, A method of operating a nutritional supplement search system using an image machine learning camera function, characterized in that control is performed to connect to the corresponding Internet shopping mall where nutritional supplements can be purchased.
KR1020220055337A 2022-05-04 2022-05-04 Nutritional supplement search system using image machine learning camera function and the operation method thereof KR20230156197A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220055337A KR20230156197A (en) 2022-05-04 2022-05-04 Nutritional supplement search system using image machine learning camera function and the operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220055337A KR20230156197A (en) 2022-05-04 2022-05-04 Nutritional supplement search system using image machine learning camera function and the operation method thereof

Publications (1)

Publication Number Publication Date
KR20230156197A true KR20230156197A (en) 2023-11-14

Family

ID=88745026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220055337A KR20230156197A (en) 2022-05-04 2022-05-04 Nutritional supplement search system using image machine learning camera function and the operation method thereof

Country Status (1)

Country Link
KR (1) KR20230156197A (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102004438B1 (en) 2017-12-18 2019-07-29 왓비타 주식회사 Device and method of providing health care service based on collecting user’s health habit information
KR20190002059U (en) 2018-02-05 2019-08-14 유정혜 Genetically customized drug prescription method using web Application
KR20210123623A (en) 2020-04-03 2021-10-14 박민구 Health care system using application for providing authentication and mehtod thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102004438B1 (en) 2017-12-18 2019-07-29 왓비타 주식회사 Device and method of providing health care service based on collecting user’s health habit information
KR20190002059U (en) 2018-02-05 2019-08-14 유정혜 Genetically customized drug prescription method using web Application
KR20210123623A (en) 2020-04-03 2021-10-14 박민구 Health care system using application for providing authentication and mehtod thereof

Similar Documents

Publication Publication Date Title
US8718369B1 (en) Techniques for shape-based search of content
US8844800B2 (en) Ratings using machine-readable representations
CN107238427A (en) Intelligent nutrition scale system and the method that diet suggestion is provided
EP1326176A1 (en) Online used car information retrieval system
US20150379739A1 (en) Automatic color palette based recommendations
US20210279787A1 (en) Medium, method and apparatus for native page generation
CN104144255B (en) The display packing of communication identifier, client and electronic equipment in electronic equipment
US20190187961A1 (en) Chatbot builder user interface
CN103620592A (en) Method and apparatus for flexible diversification of recommendation results
CN104574156A (en) Commodity expanding information matching and obtaining method and device
WO2017221868A1 (en) Server device, terminal device, and information processing method
CN113382301B (en) Video processing method, storage medium and processor
CN107368550A (en) Information acquisition method, device, medium, electronic equipment, server and system
KR20170125619A (en) Shopping mall service providing apparatus for interworking social networking service
CN104509084B (en) Telephone number information with function of search provides system and method
CN112740228A (en) Visual search engine
CN207113999U (en) Intelligent nutrition scale system
CN111753180A (en) Search method, search device, electronic equipment and computer storage medium
KR20230156197A (en) Nutritional supplement search system using image machine learning camera function and the operation method thereof
KR20190053478A (en) Method of providing comprehensive product information
US20160196259A1 (en) Information providing server and method of controlling information providing server
CN116186413A (en) Method and system for multi-modal feature recommendation
CN107766364A (en) Method and apparatus, information search method and the device of Internet resources transfer
US20230044463A1 (en) System and method for locating products
US20170214757A1 (en) System and method for automatic data collection