KR102403267B1 - Application with Easter egg and expiration date notification function - Google Patents

Application with Easter egg and expiration date notification function Download PDF

Info

Publication number
KR102403267B1
KR102403267B1 KR1020220010507A KR20220010507A KR102403267B1 KR 102403267 B1 KR102403267 B1 KR 102403267B1 KR 1020220010507 A KR1020220010507 A KR 1020220010507A KR 20220010507 A KR20220010507 A KR 20220010507A KR 102403267 B1 KR102403267 B1 KR 102403267B1
Authority
KR
South Korea
Prior art keywords
easter egg
food
easter
user terminal
identification code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020220010507A
Other languages
Korean (ko)
Inventor
임주연
김순희
이준하
정원직
장솔연
신재현
박유민
황성하
윤수민
Original Assignee
주식회사 오공삼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오공삼 filed Critical 주식회사 오공삼
Priority to KR1020220015963A priority Critical patent/KR102403269B1/en
Application granted granted Critical
Publication of KR102403267B1 publication Critical patent/KR102403267B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q50/30—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Emergency Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 식품이 저장된 용기에 적용된 이스터에그(easter egg) 식별코드를 촬영하는 촬영부; 상기 촬영부에 의해 촬영된 촬영영상으로부터 상기 이스터에그 식별코드를 추출하는 이스터에그 추출부; 및 상기 이스터에그 식별코드에 매칭된 식품정보를 검색하여 사용자 단말에 전송하는 챗봇 관리부;를 포함하는, 이스터에그를 이용한 식품 유통기한 알림 시스템에 관한 것이다.The present invention includes a photographing unit for photographing an easter egg identification code applied to a container in which food is stored; an easter egg extracting unit for extracting the easter egg identification code from the captured image captured by the capturing unit; and a chatbot management unit that searches for food information matched with the Easter egg identification code and transmits it to a user terminal.

Description

이스터에그 및 유통기한 알림기능이 있는 애플리케이션{Application with Easter egg and expiration date notification function}Application with Easter egg and expiration date notification function}

본 발명은 이스터에그 및 유통기한 알림기능이 있는 애플리케이션에 관한 것으로, 더욱 상세하게는 식품 용기에 적용된 이스터에그를 이용하여 식품의 유통기한 및 식품 사용과 관련된 다양한 정보를 사용자에게 제공하는 이스터에그 및 유통기한 알림기능이 있는 애플리케이션에 관한 것이다.The present invention relates to an application having an Easter egg and expiration date notification function, and more particularly, an Easter egg that provides a user with various information related to the expiration date and food use of food using the Easter egg applied to a food container. And it relates to an application having an expiration date notification function.

이스터에그(Easter Egg)는 게임 개발자가 게임 속에 재미로 몰래 숨겨 놓은 메시지나 기능을 말하며, 개발자가 고의로 숨겨놓은 것이기 때문에 항상 같은 동작을 취하면 찾을 수 있다는 특징이 있으며, 게임을 플레이하는 유저들은 순수하게 재미 때문에 이스터에그를 찾아서 감상한다. 최근에는 이러한 이스터에그를 게임 뿐만이 아니라 다양한 분야에 적용하고 있다.An Easter egg is a message or function that a game developer secretly hides in the game for fun, and since the developer intentionally hid it, it has the characteristic that it can always be found by performing the same action. I find and appreciate Easter Eggs purely for fun. Recently, these Easter eggs are being applied to various fields as well as games.

한편, 유통기한은 음식이 만들어지고 나서 유통될 수 있는 기간을 뜻하며, 식품의 신선도를 나타내므로 유통기한이 지나면 그 식품에 대한 섭취를 꺼려한다. 유통기한이 표시되어 있는 여러 가지 식품을 구매하다 보면 각 식품 별로 유통기한이 다른 것을 확인할 수 있는데 이처럼 유통기한이 다 제각각 이므로 일괄적으로 관리하기가 어렵다. 특히 유제품이나 생선, 고기, 야채 등은 신선도가 중요한대 사용하고 남은 재료를 다시 냉장고에 보관하였다가 섭취하게 되면 정확한 유통기한을 몰라 식중독에 걸리거나 배탈을 유발하는 상황이 발생될 수 있다.On the other hand, the expiration date refers to the period during which food can be distributed after it is made, and since it indicates the freshness of the food, people are reluctant to consume the food after the expiration date. If you purchase a variety of foods with expiration dates on them, you can see that each food has a different expiration date. In particular, freshness is important for dairy products, fish, meat, and vegetables, so if you keep the remaining ingredients in the refrigerator and then consume them, you may get food poisoning or an upset stomach because you don't know the exact expiration date.

이처럼 유통기한 관리가 중요한데 음식을 섭취할 때마다 유통기한을 확인하고 음식물을 섭취하는 것은 쉬운 일이 아니며 냉장고에 유통기한이 지난줄 모르고 보관되는 음식물은 냉장고의 공간을 불필요하게 차지하고 오랜시간 보관하게 되면 음식물에서 불쾌한 냄새를 유발하며 결국에는 폐기되는 문제가 발생한다.As such, shelf life management is important, and it is not easy to check the expiration date and consume food every time you consume food. It causes an unpleasant odor in the food and eventually causes a problem of being discarded.

한편, 전술한 배경 기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.On the other hand, the above-mentioned background art is technical information that the inventor possessed for the purpose of derivation of the present invention or acquired during the derivation process of the present invention, and it cannot be said that it is necessarily known technology disclosed to the general public before the filing of the present invention. .

한국등록실용신안 제20-0491597호Korea Registered Utility Model No. 20-0491597

본 발명의 일측면은 식품 용기에 적용된 이스터에그를 이용하여 식품의 유통기한 및 식품 사용과 관련된 다양한 정보를 사용자에게 제공하는 이스터에그 및 유통기한 알림기능이 있는 애플리케이션을 제공한다.One aspect of the present invention provides an application having an Easter egg and expiration date notification function that provides a user with various information related to the expiration date and food use of food using the Easter egg applied to the food container.

본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시예에 따른 이스터에그를 이용한 식품 유통기한 알림 시스템은, 식품이 저장된 용기에 적용된 이스터에그(easter egg) 식별코드를 촬영하는 촬영부; 상기 촬영부에 의해 촬영된 촬영영상으로부터 상기 이스터에그 식별코드를 추출하는 이스터에그 검출부; 및 상기 이스터에그 식별코드에 매칭된 식품정보를 검색하여 사용자 단말에 전송하는 챗봇 관리부;를 포함한다.A food expiration date notification system using an easter egg according to an embodiment of the present invention includes: a photographing unit for photographing an easter egg identification code applied to a container in which food is stored; an easter egg detection unit for extracting the easter egg identification code from the captured image captured by the capturing unit; and a chatbot management unit that searches for food information matched with the Easter egg identification code and transmits it to the user terminal.

상기 챗봇 관리부는,The chatbot management unit,

이스터에그 식별코드의 검출에 성공한 사용자 단말로 식품의 유통기한 정보, 추천 식품 정보, 레시피 정보를 전송하는 것을 특징으로 한다.It is characterized in that it transmits the expiration date information, recommended food information, and recipe information of the food to the user terminal that has succeeded in detecting the Easter egg identification code.

상기 챗봇 관리부는,The chatbot management unit,

상기 유통기한 정보에 기초하여 식품의 유통기한이 임박한 것으로 확인되면, 사용자 단말로 식품 소비를 위한 안내 메시지를 챗봇을 통해 전송하는 것을 특징으로 한다.When it is confirmed that the expiration date of the food is imminent based on the expiration date information, a guide message for food consumption is transmitted to the user terminal through the chatbot.

상기 챗봇 관리부는,The chatbot management unit,

이스터에그 식별코드의 검출에 성공한 사용자 단말로 리워드를 지급하는 것을 특징으로 한다.It is characterized in that the reward is paid to the user terminal that has succeeded in detecting the Easter egg identification code.

상기 이스터에그 검출부는,The easter egg detection unit,

사용자 단말에 출력되는 화면의 제1 영역에 안내 메시지가 표시되도록 하고, 제2 영역에 상기 촬영부에 의해 촬영된 촬영영상이 표시되도록 하고, 제3 영역에 사용자 단말로부터 이스터에그 식별코드를 선택받기 위한 영역이 표시되도록 하며, 제4 영역에 힌트보기 영역이 표시되도록 하되,A guide message is displayed in the first area of the screen output to the user terminal, the captured image captured by the photographing unit is displayed in the second area, and an Easter egg identification code is selected from the user terminal in the third area The area for receiving is displayed, and the hint viewing area is displayed in the fourth area,

상기 제3 영역이 선택된 이후 상기 촬영영상에서 사용자 단말에 의해 선택된 위치를 검출하고, 검출된 위치를 기준으로 소정 반경 내에 이스터에그 식별코드가 존재하는지 여부를 판단하여 사용자의 이스터에그 식별코드 찾기 성공 또는 실패를 결정한다.After the third region is selected, a location selected by the user terminal is detected in the captured image, and based on the detected location, it is determined whether an Easter egg identification code exists within a predetermined radius to find the user's Easter egg identification code. determine success or failure.

상기 이스터에그 검출부는,The easter egg detection unit,

상기 사용자 단말에 의해 상기 힌트보기 영역이 선택되면, 사용자 단말에 누적된 리워드를 차감하여 힌트 정보를 상기 제2 영역에 상기 촬영영상과 함께 표시되도록 하는 것을 특징으로 한다.When the hint viewing area is selected by the user terminal, the hint information is displayed in the second area together with the captured image by subtracting a reward accumulated in the user terminal.

또한, 본 발명에 다른 컴퓨터로 판독 가능한 기록매체는 이스터에그를 이용한 식품 유통기한 알림 시스템을 수행하기 위한 컴퓨터 프로그램이 기록된다.In addition, in the computer-readable recording medium according to the present invention, a computer program for executing a food expiration date notification system using an Easter egg is recorded.

상술한 본 발명의 일측면에 따르면, 식품 용기에 적용된 이스터에그를 이용하여 식품의 유통기한 및 식품 사용과 관련된 다양한 정보를 사용자에게 제공하는 이스터에그 및 유통기한 알림기능이 있는 애플리케이션을 제공할 수 있다. According to one aspect of the present invention described above, it is possible to provide an application having an Easter egg and expiration date notification function that provides a user with various information related to the expiration date of food and food use by using the Easter egg applied to the food container. have.

도 1은 본 발명의 일 실시예에 따른 이스터에그를 이용한 식품 유통기한 알림 시스템의 개략적인 구성이 도시된 도면이다.
도 2 내지 도 7은 도 1의 이스터에그 검출부의 구체적인 기능을 설명하기 위한 도면이다.1 is a view showing a schematic configuration of a food expiration date notification system using an Easter egg according to an embodiment of the present invention.
2 to 7 are diagrams for explaining specific functions of the easter egg detection unit of FIG. 1 .

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0012] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] Reference is made to the accompanying drawings, which show by way of illustration specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein with respect to one embodiment may be implemented in other embodiments without departing from the spirit and scope of the invention. In addition, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description set forth below is not intended to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all scope equivalents as those claimed. Like reference numerals in the drawings refer to the same or similar functions throughout the various aspects.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 이스터에그 및 유통기한 알림기능이 있는 애플리케이션(이하, 이스터에그를 이용한 식품 유통기한 알림 시스템)의 개략적인 구성이 도시된 도면이다.1 is a diagram showing a schematic configuration of an application having an Easter egg and expiration date notification function (hereinafter, a food expiration date notification system using an Easter egg) according to an embodiment of the present invention.

본 발명에 따른 이스터에그를 이용한 식품 유통기한 알림 시스템은 사용자 단말에 애플리케이션 형태로 구현될 수 있다.The food expiration date notification system using the Easter egg according to the present invention may be implemented in the form of an application in the user terminal.

여기서, 사용자 단말은 외부 기기와 유무선 통신이 가능하며, 정보의 입출력 및 처리가 가능한 스마트폰, PC, 웨어러블 디바이스 등과 같은 전자장치의 형태일 수 있다.Here, the user terminal may be in the form of an electronic device, such as a smart phone, a PC, or a wearable device, capable of performing wired/wireless communication with an external device and capable of input/output and processing of information.

구체적으로, 본 발명의 일 실시예에 따른 이스터에그를 이용한 식품 유통기한 알림 시스템(1)은 촬영부(100), 이스터에그 추출부(200) 및 챗봇 관리부(300)를 포함한다.Specifically, the food expiration date notification system 1 using Easter eggs according to an embodiment of the present invention includes a photographing unit 100 , an Easter egg extracting unit 200 , and a chatbot management unit 300 .

촬영부(100)는 식품이 저장된 용기에 적용된 이스터에그(easter egg) 식별코드를 촬영한다. 예컨대, 촬영부(100)는 사용자 단말(스마트폰)에 구비된 카메라 모듈을 이용하여 식품이 저장된 용기를 촬영한 촬영영상을 생성할 수 있다.The photographing unit 100 photographs an easter egg identification code applied to a container in which food is stored. For example, the photographing unit 100 may generate a photographed image of a container in which food is stored by using a camera module provided in the user terminal (smartphone).

이스터에그 검출부(200)는 상기 촬영부에 의해 촬영된 촬영영상으로부터 상기 이스터에그 식별코드를 추출한다. 이스터에 검출부(200)의 구체적인 기능은 후술하기로 한다.The easter egg detection unit 200 extracts the easter egg identification code from the captured image captured by the capturing unit. A specific function of the Easter egg detection unit 200 will be described later.

챗봇 관리부(300)는 이스터에그 식별코드에 매칭된 식품정보를 검색하여 사용자 단말에 전송한다.The chatbot management unit 300 searches for food information matched with the easter egg identification code and transmits it to the user terminal.

챗봇 관리부(300)는 식품용기에 적용된 이스터에그의 숨은 메시지를 찾아 어플에서 인증할 수 있도록 챗봇을 통해 해당 정보들을 제공한다.The chatbot management unit 300 provides the corresponding information through the chatbot so that the hidden message of the Easter egg applied to the food container can be found and authenticated by the application.

챗봇 관리부(300)는 이스터에그 인증을 통해 포인트나 쿠폰을 받으면 이들을 사용하라는 알림문자를 지속적으로 발송하고 기간 경과가 우려될 때 인증을 통한 기간 연장 기능을 부여한다.When the chatbot management unit 300 receives points or coupons through easter egg authentication, it continuously sends a notification message to use them, and when there is concern about the elapse of the period, a function of extending the period through authentication is provided.

챗봇 관리부(300)는 인증된 소비자에게 제품의 유통기한을 챗봇을 통해 알리고, 해당 식품회사의 신제품의 출시일을 폰으로 알림 설정되게 하여 구매 혜택을 제공할 수 있다.The chatbot management unit 300 may provide purchase benefits by notifying the authenticated consumer of the expiration date of the product through the chatbot, and setting the release date of the new product of the corresponding food company to be notified through the phone.

챗봇 관리부(300)는 소비가가 자주 구매하는 식품 중류를 파악하여 입맛에 맞는 신제품 개발에 따른 데이터와, 소비자가 자주 구매하는 식품류의 다양한 레시피를 제공할 수 있다.The chatbot management unit 300 may provide data according to the development of new products suitable for taste by identifying middle classes of foods frequently purchased by consumers, and various recipes of foods frequently purchased by consumers.

챗봇 관리부(300)는 소비자가 레시피를 이용하여 만든 요리를 카메라로 촬용하여 어플로 전송함으로써 문제점을 도출하여 요리완성을 서포트 할 수도 있다.The chatbot management unit 300 may support cooking completion by deriving problems by capturing a dish made by a consumer using a recipe with a camera and transmitting it to an application.

이와 같이, 챗봇 관리부(300)는 이스터에그 식별코드의 검출에 성공한 사용자 단말로 식품의 유통기한 정보, 추천 식품 정보, 레시피 정보를 포함하는 식품정보를 챗봇을 통해 안내하는 것을 특징으로 한다.As such, the chatbot management unit 300 guides food information including expiration date information, recommended food information, and recipe information of food to a user terminal that has succeeded in detecting the Easter egg identification code through the chatbot.

이때, 챗봇 관리부(300)는 상기 유통기한 정보에 기초하여 식품의 유통기한이 임박한 것으로 확인되면, 사용자 단말로 식품 소비를 위한 안내 메시지를 챗봇을 통해 전송하는 것을 특징으로 한다.At this time, when it is confirmed that the expiration date of the food is imminent based on the expiration date information, the chatbot management unit 300 transmits a guide message for food consumption to the user terminal through the chatbot.

또한, 챗봇 관리부(300)는 이스터에그 식별코드의 검출에 성공한 사용자 단말로 리워드를 지급하는 것을 특징으로 한다. 여기서, 리워드는 포인트, 식품 구매 쿠폰 등을 포함할 수 있다.In addition, the chatbot management unit 300 is characterized in that the reward is paid to the user terminal that has succeeded in detecting the easter egg identification code. Here, the reward may include points, food purchase coupons, and the like.

도 2 내지 도 5는 이스터에그 검출부(200)의 구체적인 기능을 설명하기 위한 도면이다.2 to 5 are diagrams for explaining specific functions of the easter egg detection unit 200 .

먼저, 도 2에 도시된 바와 같이, 이스터에그 검출부(200)는 사용자 단말에 출력되는 화면의 제1 영역에 안내 메시지가 표시되도록 하고, 제2 영역에 상기 촬영부에 의해 촬영된 촬영영상이 표시되도록 하고, 제3 영역에 사용자 단말로부터 이스터에그 식별코드를 선택받기 위한 영역(촬영하기 아이콘)이 표시되도록 하며, 제4 영역에 힌트보기 영역(힌트보기 아이콘)이 표시되도록 한다.First, as shown in FIG. 2 , the easter egg detection unit 200 displays a guide message in the first area of the screen output to the user terminal, and the captured image captured by the photographing unit is displayed in the second area. to be displayed, an area for receiving the selection of an Easter egg identification code from the user terminal (image taking icon) is displayed in the third area, and a hint view area (hint view icon) is displayed in the fourth area.

이후, 도 3에 도시된 바와 같이, 상기 제3 영역이 선택된 이후 상기 촬영영상에서 사용자 단말에 의해 선택된 위치를 검출하고, 검출된 위치를 기준으로 소정 반경 내에 이스터에그 식별코드가 존재하는지 여부를 판단하여 사용자의 이스터에그 식별코드 찾기 성공 또는 실패를 결정한다.Thereafter, as shown in FIG. 3 , after the third region is selected, the position selected by the user terminal is detected in the captured image, and it is determined whether an Easter egg identification code exists within a predetermined radius based on the detected position. It determines the success or failure of finding the user's Easter egg identification code.

이와 같이, 사용자는 식품용기에 적용된 이스터에그를 힌트 없이 찾아낸 경우, 식품용기를 촬영한 후 선택하기 아이콘을 누른 상태에서 이스터에그가 위치한 지점을 손가락을 터치하여 선택한다.In this way, when the user finds the Easter egg applied to the food container without a hint, the user selects the location where the Easter egg is located by touching the finger while pressing the select icon after photographing the food container.

이러한 경우, 이스터에그 검출부(200)는 촬영영상에서 선택된 위치에 대응되는 픽셀을 기준 픽셀로 설정하고, 기준 픽셀을 중심으로 소정 반경 내에 픽셀들을 주변 픽셀로 설정하며, 기준 픽셀 및 주변 픽셀로 구성된 검출 영역을 설정한다.In this case, the easter egg detection unit 200 sets a pixel corresponding to a position selected in the captured image as a reference pixel, sets pixels within a predetermined radius around the reference pixel as neighboring pixels, and includes the reference pixel and the surrounding pixels. Set the detection area.

이스터에그 검출부(200)는 설정된 검출 영역의 이미지 특징을 나타내는 특징벡터를 생성하고, 생성된 특징벡터를 미리 학습된 인공 신경망의 입력값으로 입력하여, 인공 신경망의 출력값에 기초하여 사용자가 이스터에그 식별코드의 검출에 성공했는지 여부를 판단할 수 있다.The easter egg detection unit 200 generates a feature vector representing image characteristics of a set detection area, inputs the generated feature vector as an input value of a pre-learned artificial neural network, and based on the output value of the artificial neural network, a user enters Easter It can be determined whether the detection of the identification code is successful.

여기서, 인공 신경망은 입력층, 출력층 및 은닉층으로 구성된 심층 신경망의 형태이나, 이에 한정되는 것은 아니다.Here, the artificial neural network is in the form of a deep neural network composed of an input layer, an output layer, and a hidden layer, but is not limited thereto.

이스터에그 검출부(200)는 사용자(사용자 단말)이 이스터에그 검출코드의 검출에 성공한 것으로 판단되면, 도 5에 도시된 바와 같이 이스터에그 검출에 성공하였음을 안내하는 메시지와, 이에 대한 보상으로 상술한 식품정보들을 챗봇으로 안내하기 위한 안내 메시지를 생성하여 사용자 단말에 표시할 수 있다.When it is determined that the user (user terminal) has succeeded in detecting the Easter egg detection code, the Easter egg detection unit 200 provides a message guiding the successful Easter egg detection as shown in FIG. 5 and a compensation for this. As a result, a guide message for guiding the above-described food information to the chatbot can be generated and displayed on the user terminal.

이 과정에서, 이스터에그 검출부(200)는 사용자가 이스터에그를 기준횟수(3회) 이상 검출하지 못하거나 사용자가 힌트보기 영역을 선택하면, 사용자 단말에 누적된 리워드(예컨대 포인트)를 차감하여 힌트 정보를 상기 제2 영역에 상기 촬영영상과 함께 표시되도록 하는 것을 특징으로 한다.In this process, if the user fails to detect the Easter egg more than the reference number of times (3 times) or the user selects the hint view area, the Easter egg detection unit 200 deducts the reward (eg, point) accumulated in the user terminal. It is characterized in that the hint information is displayed together with the captured image in the second area.

이러한 경우, 이스터에그 검출부(200)는 도 4에 도시된 바와 같이 촬영영상을 4분할하고, 도 5에 도시된 바와 같이 그 중 이스터에그 식별코드가 위치한 영역을 강조하여 표시하는 힌트정보를 촬영영상에 함께 표시할 수 있다.In this case, the easter egg detection unit 200 divides the captured image into four as shown in FIG. 4, and as shown in FIG. 5, highlights and displays the region where the easter egg identification code is located. It can be displayed together with the recorded video.

이스터에그 검출부(200)는 이러한 힌트정보(제1 힌트 정보)를 제공하였음에도 사용자가 이스터에그 검출에 실패한 것으로 확인되면, 분할된 영역을 다시 4분할하고, 4분할된 네 개의 화면영역 중 이스터에그 식별코드가 위치한 영역을 강조하여 표시하는 제2 힌트정보를 제공할 수 있다.If it is confirmed that the user has failed to detect the Easter egg despite providing such hint information (the first hint information), the Easter egg detection unit 200 divides the divided area into 4 again, and divides the divided area into 4, and Easter among the 4 divided screen areas. It is possible to provide second hint information for highlighting and displaying the region where the egg identification code is located.

이와 같은 방법으로, 이스터에그 검출부(200)는 전체 촬영영상에서 이스터에그가 위치한 영역을 점진적으로 좁혀갈 수 있는 힌트정보를 연속적으로 제공함으로써 사용자가 이스터에그를 용이하게 검출할 수 있도록 한다.In this way, the easter egg detection unit 200 continuously provides hint information for gradually narrowing the region where the easter egg is located in the entire captured image, so that the user can easily detect the easter egg.

한편, 이스터에그 검출부(200)는 제1 기준에 따라 촬영영상을 4분할하였을 때 이스터에그 식별코드가 두 개 이상의 분할화면에 나뉘어 포함되는 것으로 확인되면, 제2 기준에 따라 촬영영상을 4분할할 수 있다.On the other hand, if it is confirmed that the Easter egg identification code is divided and included in two or more divided screens when the captured image is divided into 4 according to the first criterion, the Easter egg detection unit 200 divides the captured image according to the second criterion by 4 can be divided

예컨대, 이스터에그 검출부(200)는 도 4에 도시된 바와 같이 +모양으로 화면을 4분할하여 제1 힌트정보를 제공한 후, 분할된 화면에서 +모양으로 다시 4분할 할 경우 제1, 2 분할화면에 이스터에그 식별코드가 걸쳐져 있는 것으로 확인되면 도 7에 도시된 바와 같이 제2 힌트정보는 화면을 X자로 4분할하여 제공할 수 있다.For example, as shown in FIG. 4 , the easter egg detection unit 200 divides the screen in a + shape to provide the first hint information, and then divides the screen into 4 again in a + shape. If it is confirmed that the Easter egg identification code is spread over the split screen, the second hint information can be provided by dividing the screen into four X characters as shown in FIG. 7 .

도 1은 본 발명의 일 실시예에 따른 이스터에그 및 유통기한 알림기능이 있는 애플리케이션(이하, 이스터에그를 이용한 식품 유통기한 알림 시스템)의 개략적인 구성이 도시된 도면이다.1 is a diagram showing a schematic configuration of an application having an Easter egg and expiration date notification function (hereinafter, a food expiration date notification system using an Easter egg) according to an embodiment of the present invention.

본 발명에 따른 이스터에그를 이용한 식품 유통기한 알림 시스템은 사용자 단말에 애플리케이션 형태로 구현될 수 있다.The food expiration date notification system using the Easter egg according to the present invention may be implemented in the form of an application in the user terminal.

여기서, 사용자 단말은 외부 기기와 유무선 통신이 가능하며, 정보의 입출력 및 처리가 가능한 스마트폰, PC, 웨어러블 디바이스 등과 같은 전자장치의 형태일 수 있다.Here, the user terminal may be in the form of an electronic device, such as a smart phone, a PC, or a wearable device, capable of performing wired/wireless communication with an external device and capable of input/output and processing of information.

구체적으로, 본 발명의 일 실시예에 따른 이스터에그를 이용한 식품 유통기한 알림 시스템(1)은 촬영부(100), 이스터에그 추출부(200) 및 챗봇 관리부(300)를 포함한다.Specifically, the food expiration date notification system 1 using Easter eggs according to an embodiment of the present invention includes a photographing unit 100 , an Easter egg extracting unit 200 , and a chatbot management unit 300 .

촬영부(100)는 식품이 저장된 용기에 적용된 이스터에그(easter egg) 식별코드를 촬영한다. 예컨대, 촬영부(100)는 사용자 단말(스마트폰)에 구비된 카메라 모듈을 이용하여 식품이 저장된 용기를 촬영한 촬영영상을 생성할 수 있다.The photographing unit 100 photographs an easter egg identification code applied to a container in which food is stored. For example, the photographing unit 100 may generate a photographed image of a container in which food is stored by using a camera module provided in the user terminal (smartphone).

이스터에그 검출부(200)는 상기 촬영부에 의해 촬영된 촬영영상으로부터 상기 이스터에그 식별코드를 추출한다. 이스터에 검출부(200)의 구체적인 기능은 후술하기로 한다.The easter egg detection unit 200 extracts the easter egg identification code from the captured image captured by the capturing unit. A specific function of the Easter egg detection unit 200 will be described later.

챗봇 관리부(300)는 이스터에그 식별코드에 매칭된 식품정보를 검색하여 사용자 단말에 전송한다.The chatbot management unit 300 searches for food information matched with the easter egg identification code and transmits it to the user terminal.

챗봇 관리부(300)는 식품용기에 적용된 이스터에그의 숨은 메시지를 찾아 어플에서 인증할 수 있도록 챗봇을 통해 해당 정보들을 제공한다.The chatbot management unit 300 provides the corresponding information through the chatbot so that the hidden message of the Easter egg applied to the food container can be found and authenticated by the application.

챗봇 관리부(300)는 이스터에그 인증을 통해 포인트나 쿠폰을 받으면 이들을 사용하라는 알림문자를 지속적으로 발송하고 기간 경과가 우려될 때 인증을 통한 기간 연장 기능을 부여한다.When the chatbot management unit 300 receives points or coupons through easter egg authentication, it continuously sends a notification message to use them, and when there is concern about the elapse of the period, a function of extending the period through authentication is provided.

챗봇 관리부(300)는 인증된 소비자에게 제품의 유통기한을 챗봇을 통해 알리고, 해당 식품회사의 신제품의 출시일을 폰으로 알림 설정되게 하여 구매 혜택을 제공할 수 있다.The chatbot management unit 300 may provide purchase benefits by notifying the authenticated consumer of the expiration date of the product through the chatbot, and setting the release date of the new product of the corresponding food company to be notified through the phone.

챗봇 관리부(300)는 소비가가 자주 구매하는 식품 중류를 파악하여 입맛에 맞는 신제품 개발에 따른 데이터와, 소비자가 자주 구매하는 식품류의 다양한 레시피를 제공할 수 있다.The chatbot management unit 300 may provide data according to the development of new products suitable for taste by identifying middle classes of foods frequently purchased by consumers, and various recipes of foods frequently purchased by consumers.

챗봇 관리부(300)는 소비자가 레시피를 이용하여 만든 요리를 카메라로 촬용하여 어플로 전송함으로써 문제점을 도출하여 요리완성을 서포트 할 수도 있다.The chatbot management unit 300 may support cooking completion by deriving problems by capturing a dish made by a consumer using a recipe with a camera and transmitting it to an application.

이와 같이, 챗봇 관리부(300)는 이스터에그 식별코드의 검출에 성공한 사용자 단말로 식품의 유통기한 정보, 추천 식품 정보, 레시피 정보를 포함하는 식품정보를 챗봇을 통해 안내하는 것을 특징으로 한다.As such, the chatbot management unit 300 guides food information including expiration date information, recommended food information, and recipe information of food to a user terminal that has succeeded in detecting the Easter egg identification code through the chatbot.

이때, 챗봇 관리부(300)는 상기 유통기한 정보에 기초하여 식품의 유통기한이 임박한 것으로 확인되면, 사용자 단말로 식품 소비를 위한 안내 메시지를 챗봇을 통해 전송하는 것을 특징으로 한다.At this time, when it is confirmed that the expiration date of the food is imminent based on the expiration date information, the chatbot management unit 300 transmits a guide message for food consumption to the user terminal through the chatbot.

또한, 챗봇 관리부(300)는 이스터에그 식별코드의 검출에 성공한 사용자 단말로 리워드를 지급하는 것을 특징으로 한다. 여기서, 리워드는 포인트, 식품 구매 쿠폰 등을 포함할 수 있다.In addition, the chatbot management unit 300 is characterized in that the reward is paid to the user terminal that has succeeded in detecting the easter egg identification code. Here, the reward may include points, food purchase coupons, and the like.

도 2 내지 도 5는 이스터에그 검출부(200)의 구체적인 기능을 설명하기 위한 도면이다.2 to 5 are diagrams for explaining specific functions of the easter egg detection unit 200 .

먼저, 도 2에 도시된 바와 같이, 이스터에그 검출부(200)는 사용자 단말에 출력되는 화면의 제1 영역에 안내 메시지가 표시되도록 하고, 제2 영역에 상기 촬영부에 의해 촬영된 촬영영상이 표시되도록 하고, 제3 영역에 사용자 단말로부터 이스터에그 식별코드를 선택받기 위한 영역(촬영하기 아이콘)이 표시되도록 하며, 제4 영역에 힌트보기 영역(힌트보기 아이콘)이 표시되도록 한다.First, as shown in FIG. 2 , the easter egg detection unit 200 displays a guide message in the first area of the screen output to the user terminal, and the captured image captured by the photographing unit is displayed in the second area. to be displayed, an area for receiving the selection of an Easter egg identification code from the user terminal (image taking icon) is displayed in the third area, and a hint view area (hint view icon) is displayed in the fourth area.

이후, 도 3에 도시된 바와 같이, 상기 제3 영역이 선택된 이후 상기 촬영영상에서 사용자 단말에 의해 선택된 위치를 검출하고, 검출된 위치를 기준으로 소정 반경 내에 이스터에그 식별코드가 존재하는지 여부를 판단하여 사용자의 이스터에그 식별코드 찾기 성공 또는 실패를 결정한다.Thereafter, as shown in FIG. 3 , after the third region is selected, the position selected by the user terminal is detected in the captured image, and it is determined whether an Easter egg identification code exists within a predetermined radius based on the detected position. It determines the success or failure of finding the user's Easter egg identification code.

이와 같이, 사용자는 식품용기에 적용된 이스터에그를 힌트 없이 찾아낸 경우, 식품용기를 촬영한 후 선택하기 아이콘을 누른 상태에서 이스터에그가 위치한 지점을 손가락을 터치하여 선택한다.In this way, when the user finds the Easter egg applied to the food container without a hint, the user selects the location where the Easter egg is located by touching the finger while pressing the select icon after photographing the food container.

이러한 경우, 이스터에그 검출부(200)는 촬영영상에서 선택된 위치에 대응되는 픽셀을 기준 픽셀로 설정하고, 기준 픽셀을 중심으로 소정 반경 내에 픽셀들을 주변 픽셀로 설정하며, 기준 픽셀 및 주변 픽셀로 구성된 검출 영역을 설정한다.In this case, the easter egg detection unit 200 sets a pixel corresponding to a position selected in the captured image as a reference pixel, sets pixels within a predetermined radius around the reference pixel as neighboring pixels, and includes the reference pixel and the surrounding pixels. Set the detection area.

이스터에그 검출부(200)는 설정된 검출 영역의 이미지 특징을 나타내는 특징벡터를 생성하고, 생성된 특징벡터를 미리 학습된 인공 신경망의 입력값으로 입력하여, 인공 신경망의 출력값에 기초하여 사용자가 이스터에그 식별코드의 검출에 성공했는지 여부를 판단할 수 있다.The easter egg detection unit 200 generates a feature vector representing image characteristics of a set detection area, inputs the generated feature vector as an input value of a pre-learned artificial neural network, and based on the output value of the artificial neural network, a user enters Easter It can be determined whether the detection of the identification code is successful.

여기서, 인공 신경망은 입력층, 출력층 및 은닉층으로 구성된 심층 신경망의 형태이나, 이에 한정되는 것은 아니다.Here, the artificial neural network is in the form of a deep neural network composed of an input layer, an output layer, and a hidden layer, but is not limited thereto.

이스터에그 검출부(200)는 사용자(사용자 단말)이 이스터에그 검출코드의 검출에 성공한 것으로 판단되면, 도 5에 도시된 바와 같이 이스터에그 검출에 성공하였음을 안내하는 메시지와, 이에 대한 보상으로 상술한 식품정보들을 챗봇으로 안내하기 위한 안내 메시지를 생성하여 사용자 단말에 표시할 수 있다.When it is determined that the user (user terminal) has succeeded in detecting the Easter egg detection code, the Easter egg detection unit 200 provides a message guiding the successful Easter egg detection as shown in FIG. 5 and a compensation for this. As a result, a guide message for guiding the above-described food information to the chatbot can be generated and displayed on the user terminal.

이 과정에서, 이스터에그 검출부(200)는 사용자가 이스터에그를 기준횟수(3회) 이상 검출하지 못하거나 사용자가 힌트보기 영역을 선택하면, 사용자 단말에 누적된 리워드(예컨대 포인트)를 차감하여 힌트 정보를 상기 제2 영역에 상기 촬영영상과 함께 표시되도록 하는 것을 특징으로 한다.In this process, if the user fails to detect the Easter egg more than the reference number of times (3 times) or the user selects the hint view area, the Easter egg detection unit 200 deducts the reward (eg, point) accumulated in the user terminal. It is characterized in that the hint information is displayed together with the captured image in the second area.

이러한 경우, 이스터에그 검출부(200)는 도 4에 도시된 바와 같이 촬영영상을 4분할하고, 도 5에 도시된 바와 같이 그 중 이스터에그 식별코드가 위치한 영역을 강조하여 표시하는 힌트정보를 촬영영상에 함께 표시할 수 있다.In this case, the easter egg detection unit 200 divides the captured image into four as shown in FIG. 4, and as shown in FIG. 5, highlights and displays the region where the easter egg identification code is located. It can be displayed together with the recorded video.

이스터에그 검출부(200)는 이러한 힌트정보(제1 힌트 정보)를 제공하였음에도 사용자가 이스터에그 검출에 실패한 것으로 확인되면, 분할된 영역을 다시 4분할하고, 4분할된 네 개의 화면영역 중 이스터에그 식별코드가 위치한 영역을 강조하여 표시하는 제2 힌트정보를 제공할 수 있다.If it is confirmed that the user has failed to detect the Easter egg despite providing such hint information (the first hint information), the Easter egg detection unit 200 divides the divided area into 4 again, and divides the divided area into 4, and Easter among the 4 divided screen areas. It is possible to provide second hint information for highlighting and displaying the region where the egg identification code is located.

이와 같은 방법으로, 이스터에그 검출부(200)는 전체 촬영영상에서 이스터에그가 위치한 영역을 점진적으로 좁혀갈 수 있는 힌트정보를 연속적으로 제공함으로써 사용자가 이스터에그를 용이하게 검출할 수 있도록 한다.In this way, the easter egg detection unit 200 continuously provides hint information for gradually narrowing the region where the easter egg is located in the entire captured image, so that the user can easily detect the easter egg.

한편, 이스터에그 검출부(200)는 제1 기준에 따라 촬영영상을 4분할하였을 때 이스터에그 식별코드가 두 개 이상의 분할화면에 나뉘어 포함되는 것으로 확인되면, 제2 기준에 따라 촬영영상을 4분할할 수 있다.On the other hand, if it is confirmed that the Easter egg identification code is divided and included in two or more divided screens when the captured image is divided into 4 according to the first criterion, the Easter egg detection unit 200 divides the captured image according to the second criterion by 4 can be divided

예컨대, 이스터에그 검출부(200)는 도 4에 도시된 바와 같이 +모양으로 화면을 4분할하여 제1 힌트정보를 제공한 후, 분할된 화면에서 +모양으로 다시 4분할 할 경우 제1, 2 분할화면에 이스터에그 식별코드가 걸쳐져 있는 것으로 확인되면 도 7에 도시된 바와 같이 제2 힌트정보는 화면을 X자로 4분할하여 제공할 수 있다.For example, as shown in FIG. 4 , the easter egg detection unit 200 divides the screen in a + shape to provide the first hint information, and then divides the screen into 4 again in a + shape. If it is confirmed that the Easter egg identification code is spread over the split screen, the second hint information can be provided by dividing the screen into four X characters as shown in FIG. 7 .

도 1은 본 발명의 일 실시예에 따른 이스터에그 및 유통기한 알림기능이 있는 애플리케이션(이하, 이스터에그를 이용한 식품 유통기한 알림 시스템)의 개략적인 구성이 도시된 도면이다.1 is a diagram showing a schematic configuration of an application having an Easter egg and expiration date notification function (hereinafter, a food expiration date notification system using an Easter egg) according to an embodiment of the present invention.

본 발명에 따른 이스터에그를 이용한 식품 유통기한 알림 시스템은 사용자 단말에 애플리케이션 형태로 구현될 수 있다.The food expiration date notification system using the Easter egg according to the present invention may be implemented in the form of an application in the user terminal.

여기서, 사용자 단말은 외부 기기와 유무선 통신이 가능하며, 정보의 입출력 및 처리가 가능한 스마트폰, PC, 웨어러블 디바이스 등과 같은 전자장치의 형태일 수 있다.Here, the user terminal may be in the form of an electronic device, such as a smart phone, a PC, or a wearable device, capable of performing wired/wireless communication with an external device and capable of input/output and processing of information.

구체적으로, 본 발명의 일 실시예에 따른 이스터에그를 이용한 식품 유통기한 알림 시스템(1)은 촬영부(100), 이스터에그 추출부(200) 및 챗봇 관리부(300)를 포함한다.Specifically, the food expiration date notification system 1 using Easter eggs according to an embodiment of the present invention includes a photographing unit 100 , an Easter egg extracting unit 200 , and a chatbot management unit 300 .

촬영부(100)는 식품이 저장된 용기에 적용된 이스터에그(easter egg) 식별코드를 촬영한다. 예컨대, 촬영부(100)는 사용자 단말(스마트폰)에 구비된 카메라 모듈을 이용하여 식품이 저장된 용기를 촬영한 촬영영상을 생성할 수 있다.The photographing unit 100 photographs an easter egg identification code applied to a container in which food is stored. For example, the photographing unit 100 may generate a photographed image of a container in which food is stored by using a camera module provided in the user terminal (smartphone).

이스터에그 검출부(200)는 상기 촬영부에 의해 촬영된 촬영영상으로부터 상기 이스터에그 식별코드를 추출한다. 이스터에 검출부(200)의 구체적인 기능은 후술하기로 한다.The easter egg detection unit 200 extracts the easter egg identification code from the captured image captured by the capturing unit. A specific function of the Easter egg detection unit 200 will be described later.

챗봇 관리부(300)는 이스터에그 식별코드에 매칭된 식품정보를 검색하여 사용자 단말에 전송한다.The chatbot management unit 300 searches for food information matched with the easter egg identification code and transmits it to the user terminal.

챗봇 관리부(300)는 식품용기에 적용된 이스터에그의 숨은 메시지를 찾아 어플에서 인증할 수 있도록 챗봇을 통해 해당 정보들을 제공한다.The chatbot management unit 300 provides the corresponding information through the chatbot so that the hidden message of the Easter egg applied to the food container can be found and authenticated by the application.

챗봇 관리부(300)는 이스터에그 인증을 통해 포인트나 쿠폰을 받으면 이들을 사용하라는 알림문자를 지속적으로 발송하고 기간 경과가 우려될 때 인증을 통한 기간 연장 기능을 부여한다.When the chatbot management unit 300 receives points or coupons through easter egg authentication, it continuously sends a notification message to use them, and when there is concern about the elapse of the period, a function of extending the period through authentication is provided.

챗봇 관리부(300)는 인증된 소비자에게 제품의 유통기한을 챗봇을 통해 알리고, 해당 식품회사의 신제품의 출시일을 폰으로 알림 설정되게 하여 구매 혜택을 제공할 수 있다.The chatbot management unit 300 may provide purchase benefits by notifying the authenticated consumer of the expiration date of the product through the chatbot, and setting the release date of the new product of the corresponding food company to be notified through the phone.

챗봇 관리부(300)는 소비가가 자주 구매하는 식품 중류를 파악하여 입맛에 맞는 신제품 개발에 따른 데이터와, 소비자가 자주 구매하는 식품류의 다양한 레시피를 제공할 수 있다.The chatbot management unit 300 may provide data according to the development of new products suitable for taste by identifying middle classes of foods frequently purchased by consumers, and various recipes of foods frequently purchased by consumers.

챗봇 관리부(300)는 소비자가 레시피를 이용하여 만든 요리를 카메라로 촬용하여 어플로 전송함으로써 문제점을 도출하여 요리완성을 서포트 할 수도 있다.The chatbot management unit 300 may support cooking completion by deriving problems by capturing a dish made by a consumer using a recipe with a camera and transmitting it to an application.

이와 같이, 챗봇 관리부(300)는 이스터에그 식별코드의 검출에 성공한 사용자 단말로 식품의 유통기한 정보, 추천 식품 정보, 레시피 정보를 포함하는 식품정보를 챗봇을 통해 안내하는 것을 특징으로 한다.As such, the chatbot management unit 300 guides food information including expiration date information, recommended food information, and recipe information of food to a user terminal that has succeeded in detecting the Easter egg identification code through the chatbot.

이때, 챗봇 관리부(300)는 상기 유통기한 정보에 기초하여 식품의 유통기한이 임박한 것으로 확인되면, 사용자 단말로 식품 소비를 위한 안내 메시지를 챗봇을 통해 전송하는 것을 특징으로 한다.At this time, when it is confirmed that the expiration date of the food is imminent based on the expiration date information, the chatbot management unit 300 transmits a guide message for food consumption to the user terminal through the chatbot.

또한, 챗봇 관리부(300)는 이스터에그 식별코드의 검출에 성공한 사용자 단말로 리워드를 지급하는 것을 특징으로 한다. 여기서, 리워드는 포인트, 식품 구매 쿠폰 등을 포함할 수 있다.In addition, the chatbot management unit 300 is characterized in that the reward is paid to the user terminal that has succeeded in detecting the easter egg identification code. Here, the reward may include points, food purchase coupons, and the like.

도 2 내지 도 5는 이스터에그 검출부(200)의 구체적인 기능을 설명하기 위한 도면이다.2 to 5 are diagrams for explaining specific functions of the easter egg detection unit 200 .

먼저, 도 2에 도시된 바와 같이, 이스터에그 검출부(200)는 사용자 단말에 출력되는 화면의 제1 영역에 안내 메시지가 표시되도록 하고, 제2 영역에 상기 촬영부에 의해 촬영된 촬영영상이 표시되도록 하고, 제3 영역에 사용자 단말로부터 이스터에그 식별코드를 선택받기 위한 영역(촬영하기 아이콘)이 표시되도록 하며, 제4 영역에 힌트보기 영역(힌트보기 아이콘)이 표시되도록 한다.First, as shown in FIG. 2 , the easter egg detection unit 200 displays a guide message in the first area of the screen output to the user terminal, and the captured image captured by the photographing unit is displayed in the second area. to be displayed, an area for receiving the selection of an Easter egg identification code from the user terminal (image taking icon) is displayed in the third area, and a hint view area (hint view icon) is displayed in the fourth area.

이후, 도 3에 도시된 바와 같이, 상기 제3 영역이 선택된 이후 상기 촬영영상에서 사용자 단말에 의해 선택된 위치를 검출하고, 검출된 위치를 기준으로 소정 반경 내에 이스터에그 식별코드가 존재하는지 여부를 판단하여 사용자의 이스터에그 식별코드 찾기 성공 또는 실패를 결정한다.Thereafter, as shown in FIG. 3 , after the third region is selected, the position selected by the user terminal is detected in the captured image, and it is determined whether an Easter egg identification code exists within a predetermined radius based on the detected position. It determines the success or failure of finding the user's Easter egg identification code.

이와 같이, 사용자는 식품용기에 적용된 이스터에그를 힌트 없이 찾아낸 경우, 식품용기를 촬영한 후 선택하기 아이콘을 누른 상태에서 이스터에그가 위치한 지점을 손가락을 터치하여 선택한다.In this way, when the user finds the Easter egg applied to the food container without a hint, the user selects the location where the Easter egg is located by touching the finger while pressing the select icon after photographing the food container.

이러한 경우, 이스터에그 검출부(200)는 촬영영상에서 선택된 위치에 대응되는 픽셀을 기준 픽셀로 설정하고, 기준 픽셀을 중심으로 소정 반경 내에 픽셀들을 주변 픽셀로 설정하며, 기준 픽셀 및 주변 픽셀로 구성된 검출 영역을 설정한다.In this case, the easter egg detection unit 200 sets a pixel corresponding to a position selected in the captured image as a reference pixel, sets pixels within a predetermined radius around the reference pixel as neighboring pixels, and includes the reference pixel and the surrounding pixels. Set the detection area.

이스터에그 검출부(200)는 설정된 검출 영역의 이미지 특징을 나타내는 특징벡터를 생성하고, 생성된 특징벡터를 미리 학습된 인공 신경망의 입력값으로 입력하여, 인공 신경망의 출력값에 기초하여 사용자가 이스터에그 식별코드의 검출에 성공했는지 여부를 판단할 수 있다.The easter egg detection unit 200 generates a feature vector representing image characteristics of a set detection area, inputs the generated feature vector as an input value of a pre-learned artificial neural network, and based on the output value of the artificial neural network, a user enters Easter It can be determined whether the detection of the identification code is successful.

여기서, 인공 신경망은 입력층, 출력층 및 은닉층으로 구성된 심층 신경망의 형태이나, 이에 한정되는 것은 아니다.Here, the artificial neural network is in the form of a deep neural network composed of an input layer, an output layer, and a hidden layer, but is not limited thereto.

이스터에그 검출부(200)는 사용자(사용자 단말)이 이스터에그 검출코드의 검출에 성공한 것으로 판단되면, 도 5에 도시된 바와 같이 이스터에그 검출에 성공하였음을 안내하는 메시지와, 이에 대한 보상으로 상술한 식품정보들을 챗봇으로 안내하기 위한 안내 메시지를 생성하여 사용자 단말에 표시할 수 있다.When it is determined that the user (user terminal) has succeeded in detecting the Easter egg detection code, the Easter egg detection unit 200 provides a message guiding the successful Easter egg detection as shown in FIG. 5 and a compensation for this. As a result, a guide message for guiding the above-described food information to the chatbot can be generated and displayed on the user terminal.

이 과정에서, 이스터에그 검출부(200)는 사용자가 이스터에그를 기준횟수(3회) 이상 검출하지 못하거나 사용자가 힌트보기 영역을 선택하면, 사용자 단말에 누적된 리워드(예컨대 포인트)를 차감하여 힌트 정보를 상기 제2 영역에 상기 촬영영상과 함께 표시되도록 하는 것을 특징으로 한다.In this process, if the user fails to detect the Easter egg more than the reference number of times (3 times) or the user selects the hint view area, the Easter egg detection unit 200 deducts the reward (eg, point) accumulated in the user terminal. It is characterized in that the hint information is displayed together with the captured image in the second area.

이러한 경우, 이스터에그 검출부(200)는 도 4에 도시된 바와 같이 촬영영상을 4분할하고, 도 5에 도시된 바와 같이 그 중 이스터에그 식별코드가 위치한 영역을 강조하여 표시하는 힌트정보를 촬영영상에 함께 표시할 수 있다.In this case, the easter egg detection unit 200 divides the captured image into four as shown in FIG. 4, and as shown in FIG. 5, highlights and displays the region where the easter egg identification code is located. It can be displayed together with the recorded video.

이스터에그 검출부(200)는 이러한 힌트정보(제1 힌트 정보)를 제공하였음에도 사용자가 이스터에그 검출에 실패한 것으로 확인되면, 분할된 영역을 다시 4분할하고, 4분할된 네 개의 화면영역 중 이스터에그 식별코드가 위치한 영역을 강조하여 표시하는 제2 힌트정보를 제공할 수 있다.If it is confirmed that the user has failed to detect the Easter egg despite providing such hint information (the first hint information), the Easter egg detection unit 200 divides the divided area into 4 again, and divides the divided area into 4, and Easter among the 4 divided screen areas. It is possible to provide second hint information for highlighting and displaying the region where the egg identification code is located.

이와 같은 방법으로, 이스터에그 검출부(200)는 전체 촬영영상에서 이스터에그가 위치한 영역을 점진적으로 좁혀갈 수 있는 힌트정보를 연속적으로 제공함으로써 사용자가 이스터에그를 용이하게 검출할 수 있도록 한다.In this way, the easter egg detection unit 200 continuously provides hint information for gradually narrowing the region where the easter egg is located in the entire captured image, so that the user can easily detect the easter egg.

한편, 이스터에그 검출부(200)는 제1 기준에 따라 촬영영상을 4분할하였을 때 이스터에그 식별코드가 두 개 이상의 분할화면에 나뉘어 포함되는 것으로 확인되면, 제2 기준에 따라 촬영영상을 4분할할 수 있다.On the other hand, if it is confirmed that the Easter egg identification code is divided and included in two or more divided screens when the captured image is divided into 4 according to the first criterion, the Easter egg detection unit 200 divides the captured image according to the second criterion by 4 can be divided

예컨대, 이스터에그 검출부(200)는 도 4에 도시된 바와 같이 +모양으로 화면을 4분할하여 제1 힌트정보를 제공한 후, 분할된 화면에서 +모양으로 다시 4분할 할 경우 제1, 2 분할화면에 이스터에그 식별코드가 걸쳐져 있는 것으로 확인되면 도 7에 도시된 바와 같이 제2 힌트정보는 화면을 X자로 4분할하여 제공할 수 있다.For example, as shown in FIG. 4 , the easter egg detection unit 200 divides the screen in a + shape to provide the first hint information, and then divides the screen into 4 again in a + shape. If it is confirmed that the Easter egg identification code is spread over the split screen, the second hint information can be provided by dividing the screen into four X characters as shown in FIG. 7 .

도 1은 본 발명의 일 실시예에 따른 이스터에그 및 유통기한 알림기능이 있는 애플리케이션(이하, 이스터에그를 이용한 식품 유통기한 알림 시스템)의 개략적인 구성이 도시된 도면이다.1 is a diagram showing a schematic configuration of an application having an Easter egg and expiration date notification function (hereinafter, a food expiration date notification system using an Easter egg) according to an embodiment of the present invention.

본 발명에 따른 이스터에그를 이용한 식품 유통기한 알림 시스템은 사용자 단말에 애플리케이션 형태로 구현될 수 있다.The food expiration date notification system using the Easter egg according to the present invention may be implemented in the form of an application in the user terminal.

여기서, 사용자 단말은 외부 기기와 유무선 통신이 가능하며, 정보의 입출력 및 처리가 가능한 스마트폰, PC, 웨어러블 디바이스 등과 같은 전자장치의 형태일 수 있다.Here, the user terminal may be in the form of an electronic device, such as a smart phone, a PC, or a wearable device, capable of performing wired/wireless communication with an external device and capable of input/output and processing of information.

구체적으로, 본 발명의 일 실시예에 따른 이스터에그를 이용한 식품 유통기한 알림 시스템(1)은 촬영부(100), 이스터에그 추출부(200) 및 챗봇 관리부(300)를 포함한다.Specifically, the food expiration date notification system 1 using Easter eggs according to an embodiment of the present invention includes a photographing unit 100 , an Easter egg extracting unit 200 , and a chatbot management unit 300 .

촬영부(100)는 식품이 저장된 용기에 적용된 이스터에그(easter egg) 식별코드를 촬영한다. 예컨대, 촬영부(100)는 사용자 단말(스마트폰)에 구비된 카메라 모듈을 이용하여 식품이 저장된 용기를 촬영한 촬영영상을 생성할 수 있다.The photographing unit 100 photographs an easter egg identification code applied to a container in which food is stored. For example, the photographing unit 100 may generate a photographed image of a container in which food is stored by using a camera module provided in the user terminal (smartphone).

이스터에그 검출부(200)는 상기 촬영부에 의해 촬영된 촬영영상으로부터 상기 이스터에그 식별코드를 추출한다. 이스터에 검출부(200)의 구체적인 기능은 후술하기로 한다.The easter egg detection unit 200 extracts the easter egg identification code from the captured image captured by the capturing unit. A specific function of the Easter egg detection unit 200 will be described later.

챗봇 관리부(300)는 이스터에그 식별코드에 매칭된 식품정보를 검색하여 사용자 단말에 전송한다.The chatbot management unit 300 searches for food information matched with the easter egg identification code and transmits it to the user terminal.

챗봇 관리부(300)는 식품용기에 적용된 이스터에그의 숨은 메시지를 찾아 어플에서 인증할 수 있도록 챗봇을 통해 해당 정보들을 제공한다.The chatbot management unit 300 provides the corresponding information through the chatbot so that the hidden message of the Easter egg applied to the food container can be found and authenticated by the application.

챗봇 관리부(300)는 이스터에그 인증을 통해 포인트나 쿠폰을 받으면 이들을 사용하라는 알림문자를 지속적으로 발송하고 기간 경과가 우려될 때 인증을 통한 기간 연장 기능을 부여한다.When the chatbot management unit 300 receives points or coupons through easter egg authentication, it continuously sends a notification message to use them, and when there is concern about the elapse of the period, a function of extending the period through authentication is provided.

챗봇 관리부(300)는 인증된 소비자에게 제품의 유통기한을 챗봇을 통해 알리고, 해당 식품회사의 신제품의 출시일을 폰으로 알림 설정되게 하여 구매 혜택을 제공할 수 있다.The chatbot management unit 300 may provide purchase benefits by notifying the authenticated consumer of the expiration date of the product through the chatbot, and setting the release date of the new product of the corresponding food company to be notified through the phone.

챗봇 관리부(300)는 소비가가 자주 구매하는 식품 중류를 파악하여 입맛에 맞는 신제품 개발에 따른 데이터와, 소비자가 자주 구매하는 식품류의 다양한 레시피를 제공할 수 있다.The chatbot management unit 300 may provide data according to the development of new products suitable for taste by identifying middle classes of foods frequently purchased by consumers, and various recipes of foods frequently purchased by consumers.

챗봇 관리부(300)는 소비자가 레시피를 이용하여 만든 요리를 카메라로 촬용하여 어플로 전송함으로써 문제점을 도출하여 요리완성을 서포트 할 수도 있다.The chatbot management unit 300 may support cooking completion by deriving problems by capturing a dish made by a consumer using a recipe with a camera and transmitting it to an application.

이와 같이, 챗봇 관리부(300)는 이스터에그 식별코드의 검출에 성공한 사용자 단말로 식품의 유통기한 정보, 추천 식품 정보, 레시피 정보를 포함하는 식품정보를 챗봇을 통해 안내하는 것을 특징으로 한다.As such, the chatbot management unit 300 guides food information including expiration date information, recommended food information, and recipe information of food to a user terminal that has succeeded in detecting the Easter egg identification code through the chatbot.

이때, 챗봇 관리부(300)는 상기 유통기한 정보에 기초하여 식품의 유통기한이 임박한 것으로 확인되면, 사용자 단말로 식품 소비를 위한 안내 메시지를 챗봇을 통해 전송하는 것을 특징으로 한다.At this time, when it is confirmed that the expiration date of the food is imminent based on the expiration date information, the chatbot management unit 300 transmits a guide message for food consumption to the user terminal through the chatbot.

또한, 챗봇 관리부(300)는 이스터에그 식별코드의 검출에 성공한 사용자 단말로 리워드를 지급하는 것을 특징으로 한다. 여기서, 리워드는 포인트, 식품 구매 쿠폰 등을 포함할 수 있다.In addition, the chatbot management unit 300 is characterized in that the reward is paid to the user terminal that has succeeded in detecting the easter egg identification code. Here, the reward may include points, food purchase coupons, and the like.

도 2 내지 도 5는 이스터에그 검출부(200)의 구체적인 기능을 설명하기 위한 도면이다.2 to 5 are diagrams for explaining specific functions of the easter egg detection unit 200 .

먼저, 도 2에 도시된 바와 같이, 이스터에그 검출부(200)는 사용자 단말에 출력되는 화면의 제1 영역에 안내 메시지가 표시되도록 하고, 제2 영역에 상기 촬영부에 의해 촬영된 촬영영상이 표시되도록 하고, 제3 영역에 사용자 단말로부터 이스터에그 식별코드를 선택받기 위한 영역(촬영하기 아이콘)이 표시되도록 하며, 제4 영역에 힌트보기 영역(힌트보기 아이콘)이 표시되도록 한다.First, as shown in FIG. 2 , the easter egg detection unit 200 displays a guide message in the first area of the screen output to the user terminal, and the captured image captured by the photographing unit is displayed in the second area. to be displayed, an area for receiving the selection of an Easter egg identification code from the user terminal (image taking icon) is displayed in the third area, and a hint view area (hint view icon) is displayed in the fourth area.

이후, 도 3에 도시된 바와 같이, 상기 제3 영역이 선택된 이후 상기 촬영영상에서 사용자 단말에 의해 선택된 위치를 검출하고, 검출된 위치를 기준으로 소정 반경 내에 이스터에그 식별코드가 존재하는지 여부를 판단하여 사용자의 이스터에그 식별코드 찾기 성공 또는 실패를 결정한다.Thereafter, as shown in FIG. 3 , after the third region is selected, the position selected by the user terminal is detected in the captured image, and it is determined whether an Easter egg identification code exists within a predetermined radius based on the detected position. It determines the success or failure of finding the user's Easter egg identification code.

이와 같이, 사용자는 식품용기에 적용된 이스터에그를 힌트 없이 찾아낸 경우, 식품용기를 촬영한 후 선택하기 아이콘을 누른 상태에서 이스터에그가 위치한 지점을 손가락을 터치하여 선택한다.In this way, when the user finds the Easter egg applied to the food container without a hint, the user selects the location where the Easter egg is located by touching the finger while pressing the select icon after photographing the food container.

이러한 경우, 이스터에그 검출부(200)는 촬영영상에서 선택된 위치에 대응되는 픽셀을 기준 픽셀로 설정하고, 기준 픽셀을 중심으로 소정 반경 내에 픽셀들을 주변 픽셀로 설정하며, 기준 픽셀 및 주변 픽셀로 구성된 검출 영역을 설정한다.In this case, the easter egg detection unit 200 sets a pixel corresponding to a position selected in the captured image as a reference pixel, sets pixels within a predetermined radius around the reference pixel as neighboring pixels, and includes the reference pixel and the surrounding pixels. Set the detection area.

이스터에그 검출부(200)는 설정된 검출 영역의 이미지 특징을 나타내는 특징벡터를 생성하고, 생성된 특징벡터를 미리 학습된 인공 신경망의 입력값으로 입력하여, 인공 신경망의 출력값에 기초하여 사용자가 이스터에그 식별코드의 검출에 성공했는지 여부를 판단할 수 있다.The easter egg detection unit 200 generates a feature vector representing image characteristics of a set detection area, inputs the generated feature vector as an input value of a pre-learned artificial neural network, and based on the output value of the artificial neural network, a user enters Easter It can be determined whether the detection of the identification code is successful.

여기서, 인공 신경망은 입력층, 출력층 및 은닉층으로 구성된 심층 신경망의 형태이나, 이에 한정되는 것은 아니다.Here, the artificial neural network is in the form of a deep neural network composed of an input layer, an output layer, and a hidden layer, but is not limited thereto.

이스터에그 검출부(200)는 사용자(사용자 단말)이 이스터에그 검출코드의 검출에 성공한 것으로 판단되면, 도 5에 도시된 바와 같이 이스터에그 검출에 성공하였음을 안내하는 메시지와, 이에 대한 보상으로 상술한 식품정보들을 챗봇으로 안내하기 위한 안내 메시지를 생성하여 사용자 단말에 표시할 수 있다.When it is determined that the user (user terminal) has succeeded in detecting the Easter egg detection code, the Easter egg detection unit 200 provides a message guiding the successful Easter egg detection as shown in FIG. 5 and a compensation for this. As a result, a guide message for guiding the above-described food information to the chatbot can be generated and displayed on the user terminal.

이 과정에서, 이스터에그 검출부(200)는 사용자가 이스터에그를 기준횟수(3회) 이상 검출하지 못하거나 사용자가 힌트보기 영역을 선택하면, 사용자 단말에 누적된 리워드(예컨대 포인트)를 차감하여 힌트 정보를 상기 제2 영역에 상기 촬영영상과 함께 표시되도록 하는 것을 특징으로 한다.In this process, if the user fails to detect the Easter egg more than the reference number of times (3 times) or the user selects the hint view area, the Easter egg detection unit 200 deducts the reward (eg, point) accumulated in the user terminal. It is characterized in that the hint information is displayed together with the captured image in the second area.

이러한 경우, 이스터에그 검출부(200)는 도 4에 도시된 바와 같이 촬영영상을 4분할하고, 도 5에 도시된 바와 같이 그 중 이스터에그 식별코드가 위치한 영역을 강조하여 표시하는 힌트정보를 촬영영상에 함께 표시할 수 있다.In this case, the easter egg detection unit 200 divides the captured image into four as shown in FIG. 4, and as shown in FIG. 5, highlights and displays the region where the easter egg identification code is located. It can be displayed together with the recorded video.

이스터에그 검출부(200)는 이러한 힌트정보(제1 힌트 정보)를 제공하였음에도 사용자가 이스터에그 검출에 실패한 것으로 확인되면, 분할된 영역을 다시 4분할하고, 4분할된 네 개의 화면영역 중 이스터에그 식별코드가 위치한 영역을 강조하여 표시하는 제2 힌트정보를 제공할 수 있다.If it is confirmed that the user has failed to detect the Easter egg despite providing such hint information (the first hint information), the Easter egg detection unit 200 divides the divided area into 4 again, and divides the divided area into 4, and Easter among the 4 divided screen areas. It is possible to provide second hint information for highlighting and displaying the region where the egg identification code is located.

이와 같은 방법으로, 이스터에그 검출부(200)는 전체 촬영영상에서 이스터에그가 위치한 영역을 점진적으로 좁혀갈 수 있는 힌트정보를 연속적으로 제공함으로써 사용자가 이스터에그를 용이하게 검출할 수 있도록 한다.In this way, the easter egg detection unit 200 continuously provides hint information for gradually narrowing the region where the easter egg is located in the entire captured image, so that the user can easily detect the easter egg.

한편, 이스터에그 검출부(200)는 제1 기준에 따라 촬영영상을 4분할하였을 때 이스터에그 식별코드가 두 개 이상의 분할화면에 나뉘어 포함되는 것으로 확인되면, 제2 기준에 따라 촬영영상을 4분할할 수 있다.On the other hand, if it is confirmed that the Easter egg identification code is divided and included in two or more divided screens when the captured image is divided into 4 according to the first criterion, the Easter egg detection unit 200 divides the captured image according to the second criterion by 4 can be divided

예컨대, 이스터에그 검출부(200)는 도 4에 도시된 바와 같이 +모양으로 화면을 4분할하여 제1 힌트정보를 제공한 후, 분할된 화면에서 +모양으로 다시 4분할 할 경우 제1, 2 분할화면에 이스터에그 식별코드가 걸쳐져 있는 것으로 확인되면 도 7에 도시된 바와 같이 제2 힌트정보는 화면을 X자로 4분할하여 제공할 수 있다.For example, as shown in FIG. 4 , the easter egg detection unit 200 divides the screen in a + shape to provide the first hint information, and then divides the screen into 4 again in a + shape. If it is confirmed that the Easter egg identification code is spread over the split screen, the second hint information can be provided by dividing the screen into four X characters as shown in FIG. 7 .

도 1은 본 발명의 일 실시예에 따른 이스터에그 및 유통기한 알림기능이 있는 애플리케이션(이하, 이스터에그를 이용한 식품 유통기한 알림 시스템)의 개략적인 구성이 도시된 도면이다.1 is a diagram showing a schematic configuration of an application having an Easter egg and expiration date notification function (hereinafter, a food expiration date notification system using an Easter egg) according to an embodiment of the present invention.

본 발명에 따른 이스터에그를 이용한 식품 유통기한 알림 시스템은 사용자 단말에 애플리케이션 형태로 구현될 수 있다.The food expiration date notification system using the easter egg according to the present invention may be implemented in the form of an application in the user terminal.

여기서, 사용자 단말은 외부 기기와 유무선 통신이 가능하며, 정보의 입출력 및 처리가 가능한 스마트폰, PC, 웨어러블 디바이스 등과 같은 전자장치의 형태일 수 있다.Here, the user terminal may be in the form of an electronic device, such as a smart phone, a PC, or a wearable device, capable of performing wired/wireless communication with an external device and capable of input/output and processing of information.

구체적으로, 본 발명의 일 실시예에 따른 이스터에그를 이용한 식품 유통기한 알림 시스템(1)은 촬영부(100), 이스터에그 추출부(200) 및 챗봇 관리부(300)를 포함한다.Specifically, the food expiration date notification system 1 using Easter eggs according to an embodiment of the present invention includes a photographing unit 100 , an Easter egg extracting unit 200 , and a chatbot management unit 300 .

촬영부(100)는 식품이 저장된 용기에 적용된 이스터에그(easter egg) 식별코드를 촬영한다. 예컨대, 촬영부(100)는 사용자 단말(스마트폰)에 구비된 카메라 모듈을 이용하여 식품이 저장된 용기를 촬영한 촬영영상을 생성할 수 있다.The photographing unit 100 photographs an easter egg identification code applied to a container in which food is stored. For example, the photographing unit 100 may generate a photographed image of a container in which food is stored by using a camera module provided in the user terminal (smartphone).

이스터에그 검출부(200)는 상기 촬영부에 의해 촬영된 촬영영상으로부터 상기 이스터에그 식별코드를 추출한다. 이스터에 검출부(200)의 구체적인 기능은 후술하기로 한다.The easter egg detection unit 200 extracts the easter egg identification code from the captured image captured by the capturing unit. A specific function of the Easter egg detection unit 200 will be described later.

챗봇 관리부(300)는 이스터에그 식별코드에 매칭된 식품정보를 검색하여 사용자 단말에 전송한다.The chatbot management unit 300 searches for food information matched with the easter egg identification code and transmits it to the user terminal.

챗봇 관리부(300)는 식품용기에 적용된 이스터에그의 숨은 메시지를 찾아 어플에서 인증할 수 있도록 챗봇을 통해 해당 정보들을 제공한다.The chatbot management unit 300 provides the corresponding information through the chatbot so that the hidden message of the Easter egg applied to the food container can be found and authenticated by the application.

챗봇 관리부(300)는 이스터에그 인증을 통해 포인트나 쿠폰을 받으면 이들을 사용하라는 알림문자를 지속적으로 발송하고 기간 경과가 우려될 때 인증을 통한 기간 연장 기능을 부여한다.When the chatbot management unit 300 receives points or coupons through easter egg authentication, it continuously sends a notification message to use them, and when there is concern about the elapse of the period, a function of extending the period through authentication is provided.

챗봇 관리부(300)는 인증된 소비자에게 제품의 유통기한을 챗봇을 통해 알리고, 해당 식품회사의 신제품의 출시일을 폰으로 알림 설정되게 하여 구매 혜택을 제공할 수 있다.The chatbot management unit 300 may provide purchase benefits by notifying the authenticated consumer of the expiration date of the product through the chatbot, and setting the release date of the new product of the corresponding food company to be notified through the phone.

챗봇 관리부(300)는 소비가가 자주 구매하는 식품 중류를 파악하여 입맛에 맞는 신제품 개발에 따른 데이터와, 소비자가 자주 구매하는 식품류의 다양한 레시피를 제공할 수 있다.The chatbot management unit 300 may provide data according to the development of new products suitable for taste by identifying middle classes of foods frequently purchased by consumers, and various recipes of foods frequently purchased by consumers.

챗봇 관리부(300)는 소비자가 레시피를 이용하여 만든 요리를 카메라로 촬용하여 어플로 전송함으로써 문제점을 도출하여 요리완성을 서포트 할 수도 있다.The chatbot management unit 300 may support cooking completion by deriving problems by capturing a dish made by a consumer using a recipe with a camera and transmitting it to an application.

이와 같이, 챗봇 관리부(300)는 이스터에그 식별코드의 검출에 성공한 사용자 단말로 식품의 유통기한 정보, 추천 식품 정보, 레시피 정보를 포함하는 식품정보를 챗봇을 통해 안내하는 것을 특징으로 한다.As such, the chatbot management unit 300 guides food information including expiration date information, recommended food information, and recipe information of food to a user terminal that has succeeded in detecting the Easter egg identification code through the chatbot.

이때, 챗봇 관리부(300)는 상기 유통기한 정보에 기초하여 식품의 유통기한이 임박한 것으로 확인되면, 사용자 단말로 식품 소비를 위한 안내 메시지를 챗봇을 통해 전송하는 것을 특징으로 한다.At this time, when it is confirmed that the expiration date of the food is imminent based on the expiration date information, the chatbot management unit 300 transmits a guide message for food consumption to the user terminal through the chatbot.

또한, 챗봇 관리부(300)는 이스터에그 식별코드의 검출에 성공한 사용자 단말로 리워드를 지급하는 것을 특징으로 한다. 여기서, 리워드는 포인트, 식품 구매 쿠폰 등을 포함할 수 있다.In addition, the chatbot management unit 300 is characterized in that the reward is paid to the user terminal that has succeeded in detecting the easter egg identification code. Here, the reward may include points, food purchase coupons, and the like.

도 2 내지 도 5는 이스터에그 검출부(200)의 구체적인 기능을 설명하기 위한 도면이다.2 to 5 are diagrams for explaining specific functions of the easter egg detection unit 200 .

먼저, 도 2에 도시된 바와 같이, 이스터에그 검출부(200)는 사용자 단말에 출력되는 화면의 제1 영역에 안내 메시지가 표시되도록 하고, 제2 영역에 상기 촬영부에 의해 촬영된 촬영영상이 표시되도록 하고, 제3 영역에 사용자 단말로부터 이스터에그 식별코드를 선택받기 위한 영역(촬영하기 아이콘)이 표시되도록 하며, 제4 영역에 힌트보기 영역(힌트보기 아이콘)이 표시되도록 한다.First, as shown in FIG. 2 , the easter egg detection unit 200 displays a guide message in the first area of the screen output to the user terminal, and the captured image captured by the photographing unit is displayed in the second area. to be displayed, an area for receiving the selection of an Easter egg identification code from the user terminal (image taking icon) is displayed in the third area, and a hint view area (hint view icon) is displayed in the fourth area.

이후, 도 3에 도시된 바와 같이, 상기 제3 영역이 선택된 이후 상기 촬영영상에서 사용자 단말에 의해 선택된 위치를 검출하고, 검출된 위치를 기준으로 소정 반경 내에 이스터에그 식별코드가 존재하는지 여부를 판단하여 사용자의 이스터에그 식별코드 찾기 성공 또는 실패를 결정한다.Thereafter, as shown in FIG. 3 , after the third region is selected, the position selected by the user terminal is detected in the captured image, and it is determined whether an Easter egg identification code exists within a predetermined radius based on the detected position. It determines the success or failure of finding the user's Easter egg identification code.

이와 같이, 사용자는 식품용기에 적용된 이스터에그를 힌트 없이 찾아낸 경우, 식품용기를 촬영한 후 선택하기 아이콘을 누른 상태에서 이스터에그가 위치한 지점을 손가락을 터치하여 선택한다.In this way, when the user finds the Easter egg applied to the food container without a hint, the user selects the location where the Easter egg is located by touching the finger while pressing the select icon after photographing the food container.

이러한 경우, 이스터에그 검출부(200)는 촬영영상에서 선택된 위치에 대응되는 픽셀을 기준 픽셀로 설정하고, 기준 픽셀을 중심으로 소정 반경 내에 픽셀들을 주변 픽셀로 설정하며, 기준 픽셀 및 주변 픽셀로 구성된 검출 영역을 설정한다.In this case, the easter egg detection unit 200 sets a pixel corresponding to a position selected in the captured image as a reference pixel, sets pixels within a predetermined radius around the reference pixel as neighboring pixels, and includes the reference pixel and the surrounding pixels. Set the detection area.

이스터에그 검출부(200)는 설정된 검출 영역의 이미지 특징을 나타내는 특징벡터를 생성하고, 생성된 특징벡터를 미리 학습된 인공 신경망의 입력값으로 입력하여, 인공 신경망의 출력값에 기초하여 사용자가 이스터에그 식별코드의 검출에 성공했는지 여부를 판단할 수 있다.The easter egg detection unit 200 generates a feature vector representing image characteristics of a set detection area, inputs the generated feature vector as an input value of a pre-learned artificial neural network, and based on the output value of the artificial neural network, a user enters Easter It can be determined whether the detection of the identification code is successful.

여기서, 인공 신경망은 입력층, 출력층 및 은닉층으로 구성된 심층 신경망의 형태이나, 이에 한정되는 것은 아니다.Here, the artificial neural network is in the form of a deep neural network composed of an input layer, an output layer, and a hidden layer, but is not limited thereto.

이스터에그 검출부(200)는 사용자(사용자 단말)이 이스터에그 검출코드의 검출에 성공한 것으로 판단되면, 도 5에 도시된 바와 같이 이스터에그 검출에 성공하였음을 안내하는 메시지와, 이에 대한 보상으로 상술한 식품정보들을 챗봇으로 안내하기 위한 안내 메시지를 생성하여 사용자 단말에 표시할 수 있다.When it is determined that the user (user terminal) has succeeded in detecting the Easter egg detection code, the Easter egg detection unit 200 provides a message guiding the successful Easter egg detection as shown in FIG. 5 and a compensation for this. As a result, a guide message for guiding the above-described food information to the chatbot can be generated and displayed on the user terminal.

이 과정에서, 이스터에그 검출부(200)는 사용자가 이스터에그를 기준횟수(3회) 이상 검출하지 못하거나 사용자가 힌트보기 영역을 선택하면, 사용자 단말에 누적된 리워드(예컨대 포인트)를 차감하여 힌트 정보를 상기 제2 영역에 상기 촬영영상과 함께 표시되도록 하는 것을 특징으로 한다.In this process, if the user fails to detect the Easter egg more than the reference number of times (3 times) or the user selects the hint view area, the Easter egg detection unit 200 deducts the reward (eg, point) accumulated in the user terminal. It is characterized in that the hint information is displayed together with the captured image in the second area.

이러한 경우, 이스터에그 검출부(200)는 도 4에 도시된 바와 같이 촬영영상을 4분할하고, 도 5에 도시된 바와 같이 그 중 이스터에그 식별코드가 위치한 영역을 강조하여 표시하는 힌트정보를 촬영영상에 함께 표시할 수 있다.In this case, the easter egg detection unit 200 divides the captured image into four as shown in FIG. 4, and as shown in FIG. 5, highlights and displays the region where the easter egg identification code is located. It can be displayed together with the recorded video.

이스터에그 검출부(200)는 이러한 힌트정보(제1 힌트 정보)를 제공하였음에도 사용자가 이스터에그 검출에 실패한 것으로 확인되면, 분할된 영역을 다시 4분할하고, 4분할된 네 개의 화면영역 중 이스터에그 식별코드가 위치한 영역을 강조하여 표시하는 제2 힌트정보를 제공할 수 있다.If it is confirmed that the user has failed to detect the Easter egg despite providing such hint information (the first hint information), the Easter egg detection unit 200 divides the divided area into 4 again, and divides the divided area into 4, and Easter among the 4 divided screen areas. It is possible to provide second hint information for highlighting and displaying the region where the egg identification code is located.

이와 같은 방법으로, 이스터에그 검출부(200)는 전체 촬영영상에서 이스터에그가 위치한 영역을 점진적으로 좁혀갈 수 있는 힌트정보를 연속적으로 제공함으로써 사용자가 이스터에그를 용이하게 검출할 수 있도록 한다.In this way, the easter egg detection unit 200 continuously provides hint information for gradually narrowing the region where the easter egg is located in the entire captured image, so that the user can easily detect the easter egg.

한편, 이스터에그 검출부(200)는 제1 기준에 따라 촬영영상을 4분할하였을 때 이스터에그 식별코드가 두 개 이상의 분할화면에 나뉘어 포함되는 것으로 확인되면, 제2 기준에 따라 촬영영상을 4분할할 수 있다.On the other hand, if it is confirmed that the Easter egg identification code is divided and included in two or more divided screens when the captured image is divided into 4 according to the first criterion, the Easter egg detection unit 200 divides the captured image according to the second criterion by 4 can be divided

예컨대, 이스터에그 검출부(200)는 도 4에 도시된 바와 같이 +모양으로 화면을 4분할하여 제1 힌트정보를 제공한 후, 분할된 화면에서 +모양으로 다시 4분할 할 경우 제1, 2 분할화면에 이스터에그 식별코드가 걸쳐져 있는 것으로 확인되면 도 7에 도시된 바와 같이 제2 힌트정보는 화면을 X자로 4분할하여 제공할 수 있다.For example, as shown in FIG. 4 , the easter egg detection unit 200 divides the screen in a + shape to provide the first hint information, and then divides the screen into 4 again in a + shape. If it is confirmed that the Easter egg identification code is spread over the split screen, the second hint information can be provided by dividing the screen into four X characters as shown in FIG. 7 .

도 1은 본 발명의 일 실시예에 따른 이스터에그 및 유통기한 알림기능이 있는 애플리케이션(이하, 이스터에그를 이용한 식품 유통기한 알림 시스템)의 개략적인 구성이 도시된 도면이다.1 is a diagram showing a schematic configuration of an application having an Easter egg and expiration date notification function (hereinafter, a food expiration date notification system using an Easter egg) according to an embodiment of the present invention.

본 발명에 따른 이스터에그를 이용한 식품 유통기한 알림 시스템은 사용자 단말에 애플리케이션 형태로 구현될 수 있다.The food expiration date notification system using the Easter egg according to the present invention may be implemented in the form of an application in the user terminal.

여기서, 사용자 단말은 외부 기기와 유무선 통신이 가능하며, 정보의 입출력 및 처리가 가능한 스마트폰, PC, 웨어러블 디바이스 등과 같은 전자장치의 형태일 수 있다.Here, the user terminal may be in the form of an electronic device, such as a smart phone, a PC, or a wearable device, capable of performing wired/wireless communication with an external device and capable of input/output and processing of information.

구체적으로, 본 발명의 일 실시예에 따른 이스터에그를 이용한 식품 유통기한 알림 시스템(1)은 촬영부(100), 이스터에그 추출부(200) 및 챗봇 관리부(300)를 포함한다.Specifically, the food expiration date notification system 1 using Easter eggs according to an embodiment of the present invention includes a photographing unit 100 , an Easter egg extracting unit 200 , and a chatbot management unit 300 .

촬영부(100)는 식품이 저장된 용기에 적용된 이스터에그(easter egg) 식별코드를 촬영한다. 예컨대, 촬영부(100)는 사용자 단말(스마트폰)에 구비된 카메라 모듈을 이용하여 식품이 저장된 용기를 촬영한 촬영영상을 생성할 수 있다.The photographing unit 100 photographs an easter egg identification code applied to a container in which food is stored. For example, the photographing unit 100 may generate a photographed image of a container in which food is stored by using a camera module provided in the user terminal (smartphone).

이스터에그 검출부(200)는 상기 촬영부에 의해 촬영된 촬영영상으로부터 상기 이스터에그 식별코드를 추출한다. 이스터에 검출부(200)의 구체적인 기능은 후술하기로 한다.The easter egg detection unit 200 extracts the easter egg identification code from the captured image captured by the capturing unit. A specific function of the Easter egg detection unit 200 will be described later.

챗봇 관리부(300)는 이스터에그 식별코드에 매칭된 식품정보를 검색하여 사용자 단말에 전송한다.The chatbot management unit 300 searches for food information matched with the easter egg identification code and transmits it to the user terminal.

챗봇 관리부(300)는 식품용기에 적용된 이스터에그의 숨은 메시지를 찾아 어플에서 인증할 수 있도록 챗봇을 통해 해당 정보들을 제공한다.The chatbot management unit 300 provides the corresponding information through the chatbot so that the hidden message of the Easter egg applied to the food container can be found and authenticated by the application.

챗봇 관리부(300)는 이스터에그 인증을 통해 포인트나 쿠폰을 받으면 이들을 사용하라는 알림문자를 지속적으로 발송하고 기간 경과가 우려될 때 인증을 통한 기간 연장 기능을 부여한다.When the chatbot management unit 300 receives points or coupons through easter egg authentication, it continuously sends a notification message to use them, and when there is concern about the elapse of the period, a function of extending the period through authentication is provided.

챗봇 관리부(300)는 인증된 소비자에게 제품의 유통기한을 챗봇을 통해 알리고, 해당 식품회사의 신제품의 출시일을 폰으로 알림 설정되게 하여 구매 혜택을 제공할 수 있다.The chatbot management unit 300 may provide purchase benefits by notifying the authenticated consumer of the expiration date of the product through the chatbot, and setting the release date of the new product of the corresponding food company to be notified through the phone.

챗봇 관리부(300)는 소비가가 자주 구매하는 식품 중류를 파악하여 입맛에 맞는 신제품 개발에 따른 데이터와, 소비자가 자주 구매하는 식품류의 다양한 레시피를 제공할 수 있다.The chatbot management unit 300 may provide data according to the development of new products suitable for taste by identifying middle classes of foods frequently purchased by consumers, and various recipes of foods frequently purchased by consumers.

챗봇 관리부(300)는 소비자가 레시피를 이용하여 만든 요리를 카메라로 촬용하여 어플로 전송함으로써 문제점을 도출하여 요리완성을 서포트 할 수도 있다.The chatbot management unit 300 may support cooking completion by deriving problems by capturing a dish made by a consumer using a recipe with a camera and transmitting it to an application.

이와 같이, 챗봇 관리부(300)는 이스터에그 식별코드의 검출에 성공한 사용자 단말로 식품의 유통기한 정보, 추천 식품 정보, 레시피 정보를 포함하는 식품정보를 챗봇을 통해 안내하는 것을 특징으로 한다.As such, the chatbot management unit 300 guides food information including expiration date information, recommended food information, and recipe information of food to a user terminal that has succeeded in detecting the Easter egg identification code through the chatbot.

이때, 챗봇 관리부(300)는 상기 유통기한 정보에 기초하여 식품의 유통기한이 임박한 것으로 확인되면, 사용자 단말로 식품 소비를 위한 안내 메시지를 챗봇을 통해 전송하는 것을 특징으로 한다.At this time, when it is confirmed that the expiration date of the food is imminent based on the expiration date information, the chatbot management unit 300 transmits a guide message for food consumption to the user terminal through the chatbot.

또한, 챗봇 관리부(300)는 이스터에그 식별코드의 검출에 성공한 사용자 단말로 리워드를 지급하는 것을 특징으로 한다. 여기서, 리워드는 포인트, 식품 구매 쿠폰 등을 포함할 수 있다.In addition, the chatbot management unit 300 is characterized in that the reward is paid to the user terminal that has succeeded in detecting the easter egg identification code. Here, the reward may include points, food purchase coupons, and the like.

도 2 내지 도 5는 이스터에그 검출부(200)의 구체적인 기능을 설명하기 위한 도면이다.2 to 5 are diagrams for explaining specific functions of the easter egg detection unit 200 .

먼저, 도 2에 도시된 바와 같이, 이스터에그 검출부(200)는 사용자 단말에 출력되는 화면의 제1 영역에 안내 메시지가 표시되도록 하고, 제2 영역에 상기 촬영부에 의해 촬영된 촬영영상이 표시되도록 하고, 제3 영역에 사용자 단말로부터 이스터에그 식별코드를 선택받기 위한 영역(촬영하기 아이콘)이 표시되도록 하며, 제4 영역에 힌트보기 영역(힌트보기 아이콘)이 표시되도록 한다.First, as shown in FIG. 2 , the easter egg detection unit 200 displays a guide message in the first area of the screen output to the user terminal, and the captured image captured by the photographing unit is displayed in the second area. to be displayed, an area for receiving the selection of an Easter egg identification code from the user terminal (image taking icon) is displayed in the third area, and a hint view area (hint view icon) is displayed in the fourth area.

이후, 도 3에 도시된 바와 같이, 상기 제3 영역이 선택된 이후 상기 촬영영상에서 사용자 단말에 의해 선택된 위치를 검출하고, 검출된 위치를 기준으로 소정 반경 내에 이스터에그 식별코드가 존재하는지 여부를 판단하여 사용자의 이스터에그 식별코드 찾기 성공 또는 실패를 결정한다.Thereafter, as shown in FIG. 3 , after the third region is selected, the position selected by the user terminal is detected in the captured image, and it is determined whether an Easter egg identification code exists within a predetermined radius based on the detected position. It determines the success or failure of finding the user's Easter egg identification code.

이와 같이, 사용자는 식품용기에 적용된 이스터에그를 힌트 없이 찾아낸 경우, 식품용기를 촬영한 후 선택하기 아이콘을 누른 상태에서 이스터에그가 위치한 지점을 손가락을 터치하여 선택한다.In this way, when the user finds the Easter egg applied to the food container without a hint, the user selects the location where the Easter egg is located by touching the finger while pressing the select icon after photographing the food container.

이러한 경우, 이스터에그 검출부(200)는 촬영영상에서 선택된 위치에 대응되는 픽셀을 기준 픽셀로 설정하고, 기준 픽셀을 중심으로 소정 반경 내에 픽셀들을 주변 픽셀로 설정하며, 기준 픽셀 및 주변 픽셀로 구성된 검출 영역을 설정한다.In this case, the easter egg detection unit 200 sets a pixel corresponding to a position selected in the captured image as a reference pixel, sets pixels within a predetermined radius around the reference pixel as neighboring pixels, and includes the reference pixel and the surrounding pixels. Set the detection area.

이스터에그 검출부(200)는 설정된 검출 영역의 이미지 특징을 나타내는 특징벡터를 생성하고, 생성된 특징벡터를 미리 학습된 인공 신경망의 입력값으로 입력하여, 인공 신경망의 출력값에 기초하여 사용자가 이스터에그 식별코드의 검출에 성공했는지 여부를 판단할 수 있다.The easter egg detection unit 200 generates a feature vector representing image characteristics of a set detection area, inputs the generated feature vector as an input value of a pre-learned artificial neural network, and based on the output value of the artificial neural network, a user enters Easter It can be determined whether the detection of the identification code is successful.

여기서, 인공 신경망은 입력층, 출력층 및 은닉층으로 구성된 심층 신경망의 형태이나, 이에 한정되는 것은 아니다.Here, the artificial neural network is in the form of a deep neural network composed of an input layer, an output layer, and a hidden layer, but is not limited thereto.

이스터에그 검출부(200)는 사용자(사용자 단말)이 이스터에그 검출코드의 검출에 성공한 것으로 판단되면, 도 5에 도시된 바와 같이 이스터에그 검출에 성공하였음을 안내하는 메시지와, 이에 대한 보상으로 상술한 식품정보들을 챗봇으로 안내하기 위한 안내 메시지를 생성하여 사용자 단말에 표시할 수 있다.When it is determined that the user (user terminal) has succeeded in detecting the Easter egg detection code, the Easter egg detection unit 200 provides a message guiding the successful Easter egg detection as shown in FIG. 5 and a compensation for this. As a result, a guide message for guiding the above-described food information to the chatbot can be generated and displayed on the user terminal.

이 과정에서, 이스터에그 검출부(200)는 사용자가 이스터에그를 기준횟수(3회) 이상 검출하지 못하거나 사용자가 힌트보기 영역을 선택하면, 사용자 단말에 누적된 리워드(예컨대 포인트)를 차감하여 힌트 정보를 상기 제2 영역에 상기 촬영영상과 함께 표시되도록 하는 것을 특징으로 한다.In this process, if the user fails to detect the Easter egg more than the reference number of times (3 times) or the user selects the hint view area, the Easter egg detection unit 200 deducts the reward (eg, point) accumulated in the user terminal. It is characterized in that the hint information is displayed together with the captured image in the second area.

이러한 경우, 이스터에그 검출부(200)는 도 4에 도시된 바와 같이 촬영영상을 4분할하고, 도 5에 도시된 바와 같이 그 중 이스터에그 식별코드가 위치한 영역을 강조하여 표시하는 힌트정보를 촬영영상에 함께 표시할 수 있다.In this case, the easter egg detection unit 200 divides the captured image into four as shown in FIG. 4, and as shown in FIG. 5, highlights and displays the region where the easter egg identification code is located. It can be displayed together with the recorded video.

이스터에그 검출부(200)는 이러한 힌트정보(제1 힌트 정보)를 제공하였음에도 사용자가 이스터에그 검출에 실패한 것으로 확인되면, 분할된 영역을 다시 4분할하고, 4분할된 네 개의 화면영역 중 이스터에그 식별코드가 위치한 영역을 강조하여 표시하는 제2 힌트정보를 제공할 수 있다.If it is confirmed that the user has failed to detect the Easter egg despite providing such hint information (the first hint information), the Easter egg detection unit 200 divides the divided area into 4 again, and divides the divided area into 4, and Easter among the 4 divided screen areas. It is possible to provide second hint information for highlighting and displaying the region where the egg identification code is located.

이와 같은 방법으로, 이스터에그 검출부(200)는 전체 촬영영상에서 이스터에그가 위치한 영역을 점진적으로 좁혀갈 수 있는 힌트정보를 연속적으로 제공함으로써 사용자가 이스터에그를 용이하게 검출할 수 있도록 한다.In this way, the easter egg detection unit 200 continuously provides hint information for gradually narrowing the region where the easter egg is located in the entire captured image, so that the user can easily detect the easter egg.

한편, 이스터에그 검출부(200)는 제1 기준에 따라 촬영영상을 4분할하였을 때 이스터에그 식별코드가 두 개 이상의 분할화면에 나뉘어 포함되는 것으로 확인되면, 제2 기준에 따라 촬영영상을 4분할할 수 있다.On the other hand, if it is confirmed that the Easter egg identification code is divided and included in two or more divided screens when the captured image is divided into 4 according to the first criterion, the Easter egg detection unit 200 divides the captured image according to the second criterion by 4 can be divided

예컨대, 이스터에그 검출부(200)는 도 4에 도시된 바와 같이 +모양으로 화면을 4분할하여 제1 힌트정보를 제공한 후, 분할된 화면에서 +모양으로 다시 4분할 할 경우 제1, 2 분할화면에 이스터에그 식별코드가 걸쳐져 있는 것으로 확인되면 도 7에 도시된 바와 같이 제2 힌트정보는 화면을 X자로 4분할하여 제공할 수 있다.For example, as shown in FIG. 4 , the easter egg detection unit 200 divides the screen in a + shape to provide the first hint information, and then divides the screen into 4 again in a + shape. If it is confirmed that the Easter egg identification code is spread over the split screen, the second hint information can be provided by dividing the screen into four X characters as shown in FIG. 7 .

도 1은 본 발명의 일 실시예에 따른 이스터에그 및 유통기한 알림기능이 있는 애플리케이션(이하, 이스터에그를 이용한 식품 유통기한 알림 시스템)의 개략적인 구성이 도시된 도면이다.1 is a diagram showing a schematic configuration of an application having an Easter egg and expiration date notification function (hereinafter, a food expiration date notification system using an Easter egg) according to an embodiment of the present invention.

본 발명에 따른 이스터에그를 이용한 식품 유통기한 알림 시스템은 사용자 단말에 애플리케이션 형태로 구현될 수 있다.The food expiration date notification system using the Easter egg according to the present invention may be implemented in the form of an application in the user terminal.

여기서, 사용자 단말은 외부 기기와 유무선 통신이 가능하며, 정보의 입출력 및 처리가 가능한 스마트폰, PC, 웨어러블 디바이스 등과 같은 전자장치의 형태일 수 있다.Here, the user terminal may be in the form of an electronic device, such as a smart phone, a PC, or a wearable device, capable of performing wired/wireless communication with an external device and capable of input/output and processing of information.

구체적으로, 본 발명의 일 실시예에 따른 이스터에그를 이용한 식품 유통기한 알림 시스템(1)은 촬영부(100), 이스터에그 추출부(200) 및 챗봇 관리부(300)를 포함한다.Specifically, the food expiration date notification system 1 using Easter eggs according to an embodiment of the present invention includes a photographing unit 100 , an Easter egg extracting unit 200 , and a chatbot management unit 300 .

촬영부(100)는 식품이 저장된 용기에 적용된 이스터에그(easter egg) 식별코드를 촬영한다. 예컨대, 촬영부(100)는 사용자 단말(스마트폰)에 구비된 카메라 모듈을 이용하여 식품이 저장된 용기를 촬영한 촬영영상을 생성할 수 있다.The photographing unit 100 photographs an easter egg identification code applied to a container in which food is stored. For example, the photographing unit 100 may generate a photographed image of a container in which food is stored by using a camera module provided in the user terminal (smartphone).

이스터에그 검출부(200)는 상기 촬영부에 의해 촬영된 촬영영상으로부터 상기 이스터에그 식별코드를 추출한다. 이스터에 검출부(200)의 구체적인 기능은 후술하기로 한다.The easter egg detection unit 200 extracts the easter egg identification code from the captured image captured by the capturing unit. A specific function of the Easter egg detection unit 200 will be described later.

챗봇 관리부(300)는 이스터에그 식별코드에 매칭된 식품정보를 검색하여 사용자 단말에 전송한다.The chatbot management unit 300 searches for food information matched with the easter egg identification code and transmits it to the user terminal.

챗봇 관리부(300)는 식품용기에 적용된 이스터에그의 숨은 메시지를 찾아 어플에서 인증할 수 있도록 챗봇을 통해 해당 정보들을 제공한다.The chatbot management unit 300 provides the corresponding information through the chatbot so that the hidden message of the Easter egg applied to the food container can be found and authenticated by the application.

챗봇 관리부(300)는 이스터에그 인증을 통해 포인트나 쿠폰을 받으면 이들을 사용하라는 알림문자를 지속적으로 발송하고 기간 경과가 우려될 때 인증을 통한 기간 연장 기능을 부여한다.When the chatbot management unit 300 receives points or coupons through easter egg authentication, it continuously sends a notification message to use them, and when there is concern about the elapse of the period, a function of extending the period through authentication is provided.

챗봇 관리부(300)는 인증된 소비자에게 제품의 유통기한을 챗봇을 통해 알리고, 해당 식품회사의 신제품의 출시일을 폰으로 알림 설정되게 하여 구매 혜택을 제공할 수 있다.The chatbot management unit 300 may provide purchase benefits by notifying the authenticated consumer of the expiration date of the product through the chatbot, and setting the release date of the new product of the corresponding food company to be notified through the phone.

챗봇 관리부(300)는 소비가가 자주 구매하는 식품 중류를 파악하여 입맛에 맞는 신제품 개발에 따른 데이터와, 소비자가 자주 구매하는 식품류의 다양한 레시피를 제공할 수 있다.The chatbot management unit 300 may provide data according to the development of new products suitable for taste by identifying middle classes of foods frequently purchased by consumers, and various recipes of foods frequently purchased by consumers.

챗봇 관리부(300)는 소비자가 레시피를 이용하여 만든 요리를 카메라로 촬용하여 어플로 전송함으로써 문제점을 도출하여 요리완성을 서포트 할 수도 있다.The chatbot management unit 300 may support cooking completion by deriving problems by capturing a dish made by a consumer using a recipe with a camera and transmitting it to an application.

이와 같이, 챗봇 관리부(300)는 이스터에그 식별코드의 검출에 성공한 사용자 단말로 식품의 유통기한 정보, 추천 식품 정보, 레시피 정보를 포함하는 식품정보를 챗봇을 통해 안내하는 것을 특징으로 한다.As such, the chatbot management unit 300 guides food information including expiration date information, recommended food information, and recipe information of food to a user terminal that has succeeded in detecting the Easter egg identification code through the chatbot.

이때, 챗봇 관리부(300)는 상기 유통기한 정보에 기초하여 식품의 유통기한이 임박한 것으로 확인되면, 사용자 단말로 식품 소비를 위한 안내 메시지를 챗봇을 통해 전송하는 것을 특징으로 한다.At this time, when it is confirmed that the expiration date of the food is imminent based on the expiration date information, the chatbot management unit 300 transmits a guide message for food consumption to the user terminal through the chatbot.

또한, 챗봇 관리부(300)는 이스터에그 식별코드의 검출에 성공한 사용자 단말로 리워드를 지급하는 것을 특징으로 한다. 여기서, 리워드는 포인트, 식품 구매 쿠폰 등을 포함할 수 있다.In addition, the chatbot management unit 300 is characterized in that the reward is paid to the user terminal that has succeeded in detecting the easter egg identification code. Here, the reward may include points, food purchase coupons, and the like.

도 2 내지 도 5는 이스터에그 검출부(200)의 구체적인 기능을 설명하기 위한 도면이다.2 to 5 are diagrams for explaining specific functions of the easter egg detection unit 200 .

먼저, 도 2에 도시된 바와 같이, 이스터에그 검출부(200)는 사용자 단말에 출력되는 화면의 제1 영역에 안내 메시지가 표시되도록 하고, 제2 영역에 상기 촬영부에 의해 촬영된 촬영영상이 표시되도록 하고, 제3 영역에 사용자 단말로부터 이스터에그 식별코드를 선택받기 위한 영역(촬영하기 아이콘)이 표시되도록 하며, 제4 영역에 힌트보기 영역(힌트보기 아이콘)이 표시되도록 한다.First, as shown in FIG. 2 , the easter egg detection unit 200 displays a guide message in the first area of the screen output to the user terminal, and the captured image captured by the photographing unit is displayed in the second area. to be displayed, an area for receiving the selection of an Easter egg identification code from the user terminal (image taking icon) is displayed in the third area, and a hint view area (hint view icon) is displayed in the fourth area.

이후, 도 3에 도시된 바와 같이, 상기 제3 영역이 선택된 이후 상기 촬영영상에서 사용자 단말에 의해 선택된 위치를 검출하고, 검출된 위치를 기준으로 소정 반경 내에 이스터에그 식별코드가 존재하는지 여부를 판단하여 사용자의 이스터에그 식별코드 찾기 성공 또는 실패를 결정한다.Thereafter, as shown in FIG. 3 , after the third region is selected, the position selected by the user terminal is detected in the captured image, and it is determined whether an Easter egg identification code exists within a predetermined radius based on the detected position. It determines the success or failure of finding the user's Easter egg identification code.

이와 같이, 사용자는 식품용기에 적용된 이스터에그를 힌트 없이 찾아낸 경우, 식품용기를 촬영한 후 선택하기 아이콘을 누른 상태에서 이스터에그가 위치한 지점을 손가락을 터치하여 선택한다.In this way, when the user finds the Easter egg applied to the food container without a hint, the user selects the location where the Easter egg is located by touching the finger while pressing the select icon after photographing the food container.

이러한 경우, 이스터에그 검출부(200)는 촬영영상에서 선택된 위치에 대응되는 픽셀을 기준 픽셀로 설정하고, 기준 픽셀을 중심으로 소정 반경 내에 픽셀들을 주변 픽셀로 설정하며, 기준 픽셀 및 주변 픽셀로 구성된 검출 영역을 설정한다.In this case, the easter egg detection unit 200 sets a pixel corresponding to a position selected in the captured image as a reference pixel, sets pixels within a predetermined radius around the reference pixel as neighboring pixels, and includes the reference pixel and the surrounding pixels. Set the detection area.

이스터에그 검출부(200)는 설정된 검출 영역의 이미지 특징을 나타내는 특징벡터를 생성하고, 생성된 특징벡터를 미리 학습된 인공 신경망의 입력값으로 입력하여, 인공 신경망의 출력값에 기초하여 사용자가 이스터에그 식별코드의 검출에 성공했는지 여부를 판단할 수 있다.The easter egg detection unit 200 generates a feature vector representing image characteristics of a set detection area, inputs the generated feature vector as an input value of a pre-learned artificial neural network, and based on the output value of the artificial neural network, a user enters Easter It can be determined whether or not the detection of the identification code is successful.

여기서, 인공 신경망은 입력층, 출력층 및 은닉층으로 구성된 심층 신경망의 형태이나, 이에 한정되는 것은 아니다.Here, the artificial neural network is in the form of a deep neural network composed of an input layer, an output layer, and a hidden layer, but is not limited thereto.

이스터에그 검출부(200)는 사용자(사용자 단말)이 이스터에그 검출코드의 검출에 성공한 것으로 판단되면, 도 5에 도시된 바와 같이 이스터에그 검출에 성공하였음을 안내하는 메시지와, 이에 대한 보상으로 상술한 식품정보들을 챗봇으로 안내하기 위한 안내 메시지를 생성하여 사용자 단말에 표시할 수 있다.When it is determined that the user (user terminal) has succeeded in detecting the Easter egg detection code, the Easter egg detection unit 200 provides a message guiding the successful Easter egg detection as shown in FIG. 5 and a compensation for this. As a result, a guide message for guiding the above-described food information to the chatbot can be generated and displayed on the user terminal.

이 과정에서, 이스터에그 검출부(200)는 사용자가 이스터에그를 기준횟수(3회) 이상 검출하지 못하거나 사용자가 힌트보기 영역을 선택하면, 사용자 단말에 누적된 리워드(예컨대 포인트)를 차감하여 힌트 정보를 상기 제2 영역에 상기 촬영영상과 함께 표시되도록 하는 것을 특징으로 한다.In this process, if the user fails to detect the Easter egg more than the reference number of times (3 times) or the user selects the hint view area, the Easter egg detection unit 200 deducts the reward (eg, point) accumulated in the user terminal. It is characterized in that the hint information is displayed together with the captured image in the second area.

이러한 경우, 이스터에그 검출부(200)는 도 4에 도시된 바와 같이 촬영영상을 4분할하고, 도 5에 도시된 바와 같이 그 중 이스터에그 식별코드가 위치한 영역을 강조하여 표시하는 힌트정보를 촬영영상에 함께 표시할 수 있다.In this case, the easter egg detection unit 200 divides the captured image into 4 as shown in FIG. 4, and as shown in FIG. 5, highlights and displays the region where the easter egg identification code is located. It can be displayed together with the recorded video.

이스터에그 검출부(200)는 이러한 힌트정보(제1 힌트 정보)를 제공하였음에도 사용자가 이스터에그 검출에 실패한 것으로 확인되면, 분할된 영역을 다시 4분할하고, 4분할된 네 개의 화면영역 중 이스터에그 식별코드가 위치한 영역을 강조하여 표시하는 제2 힌트정보를 제공할 수 있다.If it is confirmed that the user has failed to detect the Easter egg despite providing such hint information (the first hint information), the Easter egg detection unit 200 divides the divided area into 4 again, and divides the divided area into 4 areas and uses Easter among the 4 divided screen areas. It is possible to provide second hint information for highlighting and displaying the region where the egg identification code is located.

이와 같은 방법으로, 이스터에그 검출부(200)는 전체 촬영영상에서 이스터에그가 위치한 영역을 점진적으로 좁혀갈 수 있는 힌트정보를 연속적으로 제공함으로써 사용자가 이스터에그를 용이하게 검출할 수 있도록 한다.In this way, the easter egg detection unit 200 continuously provides hint information for gradually narrowing the region where the easter egg is located in the entire captured image, so that the user can easily detect the easter egg.

한편, 이스터에그 검출부(200)는 제1 기준에 따라 촬영영상을 4분할하였을 때 이스터에그 식별코드가 두 개 이상의 분할화면에 나뉘어 포함되는 것으로 확인되면, 제2 기준에 따라 촬영영상을 4분할할 수 있다.On the other hand, if it is confirmed that the Easter egg identification code is divided and included in two or more divided screens when the captured image is divided into 4 according to the first criterion, the Easter egg detection unit 200 divides the captured image according to the second criterion by 4 can be divided

예컨대, 이스터에그 검출부(200)는 도 4에 도시된 바와 같이 +모양으로 화면을 4분할하여 제1 힌트정보를 제공한 후, 분할된 화면에서 +모양으로 다시 4분할 할 경우 제1, 2 분할화면에 이스터에그 식별코드가 걸쳐져 있는 것으로 확인되면 도 7에 도시된 바와 같이 제2 힌트정보는 화면을 X자로 4분할하여 제공할 수 있다.For example, as shown in FIG. 4 , the easter egg detection unit 200 divides the screen in a + shape to provide the first hint information, and then divides the screen into 4 again in a + shape. If it is confirmed that the Easter egg identification code is spread over the split screen, the second hint information can be provided by dividing the screen into four X characters as shown in FIG. 7 .

이와 같은 기술은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.Such technology may be implemented as an application or implemented in the form of program instructions that may be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.The program instructions recorded in the computer-readable recording medium are specially designed and configured for the present invention, and may be known and available to those skilled in the computer software field.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Examples of the computer-readable recording medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as a CD-ROM and DVD, and a magneto-optical medium such as a floppy disk. media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for carrying out the processing according to the present invention, and vice versa.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the embodiments, those skilled in the art will understand that various modifications and changes can be made to the present invention without departing from the spirit and scope of the present invention as set forth in the following claims. will be able

1: 이스터에그를 이용한 식품 유통기한 알림 시스템
100: 촬영부
200: 이스터에그 검출부
300: 챗봇 관리부1: Food expiration date notification system using Easter eggs
100: shooting department
200: easter egg detection unit
300: chatbot management unit

Claims (7)

식품이 저장된 용기에 적용된 이스터에그(easter egg) 식별코드를 촬영하는 촬영부;
상기 촬영부에 의해 촬영된 촬영영상으로부터 상기 이스터에그 식별코드를 추출하는 이스터에그 검출부; 및
상기 이스터에그 식별코드에 매칭된 식품정보를 검색하여 사용자 단말에 전송하는 챗봇 관리부;를 포함하고,
상기 이스터에그 검출부는,
사용자 단말에 출력되는 화면의 제1 영역에 안내 메시지가 표시되도록 하고, 제2 영역에 상기 촬영부에 의해 촬영된 촬영영상이 표시되도록 하고, 제3 영역에 사용자 단말로부터 이스터에그 식별코드를 선택받기 위한 영역이 표시되도록 하며, 제4 영역에 힌트보기 영역이 표시되도록 하되,
상기 제3 영역이 선택된 이후 상기 촬영영상에서 사용자 단말에 의해 선택된 위치를 검출하고, 검출된 위치를 기준으로 소정 반경 내에 이스터에그 식별코드가 존재하는지 여부를 판단하여 사용자의 이스터에그 식별코드 찾기 성공 또는 실패를 결정하는, 이스터에그를 이용한 식품 유통기한 알림 시스템.
A photographing unit for photographing an easter egg identification code applied to a container in which food is stored;
an easter egg detection unit for extracting the easter egg identification code from the captured image captured by the capturing unit; and
and a chatbot management unit that searches for food information matched with the Easter egg identification code and transmits it to a user terminal;
The easter egg detection unit,
A guide message is displayed in the first area of the screen output to the user terminal, the captured image captured by the photographing unit is displayed in the second area, and an Easter egg identification code is selected from the user terminal in the third area The area for receiving is displayed, and the hint viewing area is displayed in the fourth area,
After the third area is selected, a location selected by the user terminal is detected in the captured image, and based on the detected location, it is determined whether an Easter egg identification code exists within a predetermined radius to find the user's Easter egg identification code. Food expiration date notification system using Easter eggs to determine success or failure.
 제1항에 있어서,
상기 챗봇 관리부는,
이스터에그 식별코드의 검출에 성공한 사용자 단말로 식품의 유통기한 정보, 추천 식품 정보, 레시피 정보를 전송하는 것을 특징으로 하는, 이스터에그를 이용한 식품 유통기한 알림 시스템.
According to claim 1,
The chatbot management unit,
Food expiration date notification system using Easter eggs, characterized in that it transmits expiration date information, recommended food information, and recipe information of food to a user terminal that has succeeded in detecting the Easter egg identification code.
 제2항에 있어서,
상기 챗봇 관리부는,
상기 유통기한 정보에 기초하여 식품의 유통기한이 임박한 것으로 확인되면, 사용자 단말로 식품 소비를 위한 안내 메시지를 챗봇을 통해 전송하는 것을 특징으로 하는, 이스터에그를 이용한 식품 유통기한 알림 시스템.
3. The method of claim 2,
The chatbot management unit,
When it is confirmed that the expiration date of the food is imminent based on the expiration date information, a food consumption guide message is transmitted to the user terminal through a chatbot.
 제1항에 있어서,
상기 챗봇 관리부는,
이스터에그 식별코드의 검출에 성공한 사용자 단말로 리워드를 지급하는 것을 특징으로 하는, 이스터에그를 이용한 식품 유통기한 알림 시스템.
According to claim 1,
The chatbot management unit,
A food expiration date notification system using an Easter egg, characterized in that a reward is paid to a user terminal that has succeeded in detecting the Easter egg identification code.
 제4항에 있어서,
상기 리워드는 포인트 및 식품 구매 쿠폰 중 적어도 하나를 포함하는 것을 특징으로 하는, 이스터에그를 이용한 식품 유통기한 알림 시스템.
5. The method of claim 4,
The reward is a food expiration date notification system using an Easter egg, characterized in that it includes at least one of points and food purchase coupons.
 제1항에 있어서,
상기 이스터에그 검출부는,
상기 사용자 단말에 의해 상기 힌트보기 영역이 선택되면, 사용자 단말에 누적된 리워드를 차감하여 힌트 정보를 상기 제2 영역에 상기 촬영영상과 함께 표시되도록 하는 것을 특징으로 하는, 이스터에그를 이용한 식품 유통기한 알림 시스템.
According to claim 1,
The easter egg detection unit,
When the hint viewing area is selected by the user terminal, the hint information is displayed in the second area together with the captured image by subtracting the accumulated reward in the user terminal. notification system.
 제1항 내지 제6항 중 어느 하나의 항에 따른 이스터에그를 이용한 식품 유통기한 알림 시스템을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
A computer-readable recording medium in which a computer program is recorded for performing the food expiration date notification system using the Easter egg according to any one of claims 1 to 6.
KR1020220010507A 2022-01-18 2022-01-25 Application with Easter egg and expiration date notification function Active KR102403267B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220015963A KR102403269B1 (en) 2022-01-25 2022-02-08 Food information provision system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220007059 2022-01-18
KR1020220007059 2022-01-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220015963A Division KR102403269B1 (en) 2022-01-25 2022-02-08 Food information provision system

Publications (1)

Publication Number Publication Date
KR102403267B1 true KR102403267B1 (en) 2022-05-31

Family

ID=81787335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220010507A Active KR102403267B1 (en) 2022-01-18 2022-01-25 Application with Easter egg and expiration date notification function

Country Status (1)

Country Link
KR (1) KR102403267B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130030526A (en) * 2011-09-19 2013-03-27 한국과학기술원 Refrigerator, server and method for managing food conveniently
KR20170048073A (en) * 2015-10-26 2017-05-08 에스케이플래닛 주식회사 Wearable Device and Server For Recommending User Customized Food
KR200491597Y1 (en) 2018-02-20 2020-05-07 대전대학교 산학협력단 Expiration notification device using barcode
KR20200132445A (en) * 2019-05-17 2020-11-25 정청수 System for providing ar commercial service using event promotion based on ar and realtime broadcasting technology

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130030526A (en) * 2011-09-19 2013-03-27 한국과학기술원 Refrigerator, server and method for managing food conveniently
KR20170048073A (en) * 2015-10-26 2017-05-08 에스케이플래닛 주식회사 Wearable Device and Server For Recommending User Customized Food
KR200491597Y1 (en) 2018-02-20 2020-05-07 대전대학교 산학협력단 Expiration notification device using barcode
KR20200132445A (en) * 2019-05-17 2020-11-25 정청수 System for providing ar commercial service using event promotion based on ar and realtime broadcasting technology

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김태훈, ‘이스터 에그, 어디까지 찾아봤니’, 네이버뉴스(경향신문), 페이지 1, (2021.03.07.) *

Similar Documents

Publication Publication Date Title
Le Meur et al. Introducing context-dependent and spatially-variant viewing biases in saccadic models
EP2950551B1 (en) Method for recommending multimedia resource and apparatus thereof
JP6482172B2 (en) RECOMMENDATION DEVICE, RECOMMENDATION METHOD, AND PROGRAM
US10636024B2 (en) Self-service method and device
US8862977B2 (en) Object displacement method for web page
KR20210088600A (en) Exhibition area state recognition method, apparatus, electronic device and recording medium
CN107026842A (en) A kind of method and device of generation and the authentication of safety problem
US20180365491A1 (en) Content modification based on eye characteristics
CN110866133B (en) Information searching method, page display method, system and equipment
US20130170760A1 (en) Method and System for Video Composition
CN104835295B (en) A kind of shelf life prompting method and system
CN110876079B (en) Video processing method, device and equipment
CN108040265A (en) A kind of method and apparatus handled video
CN109101162B (en) Method and device for displaying advertisement by reader
JP6586706B2 (en) Image analysis apparatus, image analysis method, and program
KR102403267B1 (en) Application with Easter egg and expiration date notification function
CN108205664B (en) Food identification method and device, storage medium and computer equipment
CN107620988A (en) Alarm method and device for microwave oven
KR102403269B1 (en) Food information provision system
CN113836581A (en) Information processing method, device and equipment
JPWO2015173871A1 (en) Product information output method, program, and control device
WO2009130110A3 (en) Proactive image reminding and selection method
CN110033344A (en) Skin care item recommended method, device and storage medium neural network based
CN109388932B (en) Verification method, terminal device and data processing method
CN113923516B (en) Video processing method, device, equipment and storage medium based on deep learning model

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20220125

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20220125

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20220208

Patent event code: PA01071R01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220328

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220524

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220524

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20250423

Start annual number: 4

End annual number: 4