KR20200064574A - System for providing food information, method for providing food information and food order information - Google Patents

System for providing food information, method for providing food information and food order information Download PDF

Info

Publication number
KR20200064574A
KR20200064574A KR1020180150809A KR20180150809A KR20200064574A KR 20200064574 A KR20200064574 A KR 20200064574A KR 1020180150809 A KR1020180150809 A KR 1020180150809A KR 20180150809 A KR20180150809 A KR 20180150809A KR 20200064574 A KR20200064574 A KR 20200064574A
Authority
KR
South Korea
Prior art keywords
food
information
menu
name
terminal
Prior art date
Application number
KR1020180150809A
Other languages
Korean (ko)
Inventor
이제환
Original Assignee
이제환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이제환 filed Critical 이제환
Priority to KR1020180150809A priority Critical patent/KR20200064574A/en
Publication of KR20200064574A publication Critical patent/KR20200064574A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3278—RFID or NFC payments by means of M-devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

According to an embodiment of the present invention, a method for providing food information comprises the steps of: obtaining an image on a food menu; recognizing food names from the image on the food menu; receiving an input for selecting at least one of the food names recognized from a user; and displaying detail information of a food matching the food name selected by the user.

Description

음식 정보 제공 시스템, 이를 이용한 음식 정보 제공 방법 및 음식 주문 정보 제공 방법{SYSTEM FOR PROVIDING FOOD INFORMATION, METHOD FOR PROVIDING FOOD INFORMATION AND FOOD ORDER INFORMATION}Food information providing system, food information providing method using the same, and food order information providing method {SYSTEM FOR PROVIDING FOOD INFORMATION, METHOD FOR PROVIDING FOOD INFORMATION AND FOOD ORDER INFORMATION}

본 발명은 음식 정보 제공 시스템, 이를 이용한 음식 정보 제공 방법 및 음식 주문 정보 제공 방법에 관한 것으로서, 보다 상세하게는 사용자 단말기를 이용한 음식 정보 제공 시스템, 이를 이용한 음식 정보 제공 방법 및 음식 주문 정보 제공 방법에 관한 것이다.The present invention relates to a food information providing system, a food information providing method using the same, and a food ordering information providing method, and more particularly, to a food information providing system using a user terminal, a food information providing method using the same, and a food ordering information providing method. It is about.

서로 다른 문화권, 언어권에 대한 여행이 빈번하게 이루어지고 있다.Travel to and from different cultures and languages is frequent.

그러나 다른 문화권/언어권에서 여행 중 음식점에서 식사를 하는 경우, 음식점에 비치된 음식 메뉴판은 현지 언어로 작성되어 있거나, 영어와 같은 보편적 언어로 기재되어 있더라도, 부정확한 정보가 기재되어 있거나, 지나치게 간략하게 기재되어 음식에 대한 정확한 정보를 기초로 음식을 주문하기 어렵다.However, if you are eating at a restaurant while traveling in a different culture/language, the food menu provided at the restaurant may be written in a local language, inaccurate information, even in a common language such as English, or too brief It is difficult to order food based on accurate information about the food.

또한, 언어적인 한계로 인해 음식을 주문할 때에서 외국인 손님의 주문이 정확하게 반영되지 않는 경우가 빈번하게 발생한다.In addition, due to linguistic limitations, it is often the case that foreign customers' orders are not accurately reflected when ordering food.

최근 스마트폰의 발달과 다양한 여행, 번역 관련 어플리케이션의 등장으로 위와 같은 문제가 점차 해소되고 있지만, 여전히 다른 문화권/언어권에서 주문하는 음식이 어떤 재료로 만들어졌으며, 어떤 맛을 가지고 있는지에 대해 정확히 이해하지 못한 채 음식을 주문하는 경우가 많다.With the recent development of smartphones and the emergence of various travel and translation-related applications, the above problems are gradually being solved, but we still do not understand exactly what ingredients are ordered from other cultures/languages, and what tastes they have. They often order food without being able to.

본 발명이 해결하고자 하는 과제는, 음식 메뉴 이미지 또는 음식 이미지만으로 음식에 대한 정보를 제공하는 음식 정보 제공 시스템, 이를 이용한 음식 정보 제공 방법 및 음식 주문 정보 제공 방법을 제공하는 것이다.The problem to be solved by the present invention is to provide a food information providing system that provides information on food only with a food menu image or a food image, a food information providing method using the same, and a food order information providing method.

본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 음식 정보 제공 방법은, 음식 메뉴판 이미지를 획득하는 단계, 상기 음식 메뉴판 이미지로부터 음식명을 인식하는 단계, 사용자로부터 인식된 상기 음식명 중 적어도 하나를 선택하는 입력을 수신하는 단계 및 상기 사용자가 선택한 음식명에 매칭되는 음식의 상세 정보를 표시하는 단계를 포함한다.Method for providing food information according to an embodiment of the present invention for solving the above problems includes: acquiring a food menu board image, recognizing a food name from the food menu board image, at least one of the food names recognized by a user And receiving input for selecting one and displaying detailed information of food matching the food name selected by the user.

상기 음식 메뉴판 이미지 상에 인식된 상기 음식명을 시각적으로 구별할 수 있도록 오버랩하여 표시하는 단계를 더 포함하고, 상기 입력을 수신하는 단계에서, 상기 사용자는 상기 음식 메뉴판 이미지 상에 오버랩하여 표시된 상기 음식명 중 적어도 하나를 선택할 수 있다.The method further includes displaying the food name recognized on the food menu plate image so as to be visually distinguishable, and in the receiving of the input, the user overlaps and displays the food menu plate image. At least one of the food names may be selected.

상기 음식의 상세 정보는, 상기 음식명에 매칭되는 음식의 이미지, 재료, 맛 및 조리법 중 적어도 하나를 포함할 수 있다.The detailed information of the food may include at least one of an image, a material, a taste, and a recipe of the food matching the food name.

상기 음식의 상세 정보는 인식된 상기 음식명을 설정된 언어로 번역한 음식명을 포함할 수 있다.The detailed information of the food may include the food name that translates the recognized food name into a set language.

상기 음식의 상세 정보 중 적어도 하나 또는 인식된 상기 음식명을 선택하여 메뉴를 입력 받고, 상기 메뉴의 수량 정보를 입력 받아 주문 메시지를 생성하는 단계를 더 포함할 수 있다.The method may further include selecting at least one of the detailed information of the food or the recognized food name to receive a menu, and receiving quantity information of the menu to generate an order message.

생성된 상기 주문 메시지를 현지 언어로 번역한 번역 메시지로 변환하는 단계를 더 포함할 수 있다.The method may further include converting the generated order message into a translation message translated into a local language.

상기 번역 메시지는 텍스트 메시지 및 음성 메시지 중 적어도 하나로 변환될 수 있다.The translation message may be converted into at least one of a text message and a voice message.

인식된 상기 음식명을 설정된 언어로 번역하는 단계를 더 포함하고, 상기 입력을 수신하는 단계에서, 사용자는 번역된 음식명 중 적어도 하나를 선택할 수 있다.The method further includes translating the recognized food name into a set language, and in receiving the input, the user may select at least one of the translated food names.

상기 음식 메뉴판 이미지 상에 인식된 상기 번역된 음식명을 시각적으로 구별할 수 있도록 오버랩하여 표시하는 단계를 더 포함할 수 있다.The method may further include overlapping and displaying the translated food name recognized on the food menu plate image so as to be visually distinguishable.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 음식 주문 정보 제공 방법은, 제1 언어로 기재된 음식 메뉴판 이미지를 획득하는 단계, 상기 음식 메뉴판 이미지로부터 음식명을 인식하는 단계, 인식된 상기 음식명을 제2 언어로 번역한 음식명 및 상기 제2 언어로 표현된 음식의 상세 정보를 표시하는 단계, 상기 제2 언어로 번역한 음식명 또는 상기 제2 언어로 표현된 음식의 상세 정보 중 적어도 하나를 선택하여 메뉴를 입력 받고, 상기 메뉴의 수량 정보를 입력 받아 주문 메시지를 생성하는 단계 및 생성된 주문 메시지를 상기 제1 언어로 번역한 번역 메시지로 변환하는 단계를 포함한다.Method for providing food order information according to an embodiment of the present invention for solving the above problems includes: acquiring a food menu board image written in a first language, recognizing a food name from the food menu board image, and recognizing the food Displaying the food name translated into the second language and the detailed information of the food expressed in the second language, the food name translated into the second language or the detailed information of the food expressed in the second language And selecting at least one to receive a menu, receiving quantity information of the menu, generating an order message, and converting the generated order message into a translation message translated into the first language.

상기 번역 메시지는 텍스트 메시지 및 음성 메시지 중 적어도 하나로 변환될 수 있다.The translation message may be converted into at least one of a text message and a voice message.

상기 음식 메뉴판 이미지 상에 인식된 상기 음식명을 시각적으로 구별할 수 있도록 오버랩하여 표시하는 단계 및 사용자로부터 상기 음식 메뉴판 이미지 상에 오버랩하여 표시된 상기 음식명 중 적어도 하나를 선택하는 입력을 수신하는 단계를 더 포함하고, 상기 표시하는 단계에서는, 상기 입력을 수신하는 단계에서 상기 사용자가 선택한 상기 음식명을 상기 제2 언어로 번역한 음식명 및 상기 제2 언어로 표현된 음식의 상세 정보를 표시할 수 있다.Receiving an input for selecting at least one of the food names displayed by overlapping on the food menu board image and a step of displaying the food names recognized on the food menu board image so as to visually distinguish them; Further comprising, in the displaying step, displaying the food name translated by the user in the second language and the detailed information of food expressed in the second language in the step of receiving the input. can do.

상기 음식의 상세 정보는, 상기 음식명에 매칭되는 음식의 이미지, 재료, 맛 및 조리법 중 적어도 하나를 포함할 수 있다.The detailed information of the food may include at least one of an image, a material, a taste, and a recipe of the food matching the food name.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 음식 정보 제공 시스템은, 단말기에 설치되는 어플리케이션 및 상기 어플리케이션을 통해 상기 단말기와 통신하는 서버를 포함하고, 상기 어플리케이션은 상기 단말기에 저장되어 있거나 상기 단말기에 의해 촬영된 음식 메뉴판 이미지를 상기 서버로 전송하고, 상기 서버는 상기 음식 메뉴판 이미지로부터 음식명을 인식하는 음식명 인식부와 연결되고, 상기 서버는 상기 음식 메뉴판 이미지 상에 상기 음식명 인식부가 인식한 상기 음식명을 시각적으로 구별할 수 있도록 오버랩하여 표시한 메뉴 정보를 생성하는 메뉴 정보 생성부와 연결되고, 상기 서버는 상기 메뉴 정보를 상기 단말기로 전송하고, 상기 어플리케이션은 상기 단말기의 화면 상에 상기 메뉴 정보를 표시하고, 상기 서버는 상기 단말기의 사용자가 상기 단말기의 화면 상에 표시된 상기 메뉴 정보에서 선택한 적어도 하나의 음식명에 매칭되는 음식 상세 정보를 상기 단말기로 전송하여, 상기 단말기의 화면 상에 표시되도록 한다.Food information providing system according to an embodiment of the present invention for solving the above problems includes an application installed in the terminal and a server communicating with the terminal through the application, the application is stored in the terminal or the terminal The food menu plate image photographed by is transmitted to the server, and the server is connected to a food name recognition unit that recognizes a food name from the food menu plate image, and the server names the food on the food menu plate image. It is connected to a menu information generating unit that generates overlapped and displayed menu information to visually distinguish the food name recognized by the recognition unit, and the server transmits the menu information to the terminal, and the application The menu information is displayed on a screen, and the server transmits food detailed information matching at least one food name selected from the menu information displayed on the screen of the terminal to the terminal by the user of the terminal, so that the terminal To be displayed on the screen.

상기 음식 상세 정보는, 상기 음식명에 매칭되는 음식의 이미지, 재료, 맛 및 조리법 중 적어도 하나를 포함할 수 있다.The food detailed information may include at least one of an image, a material, a taste, and a recipe of a food matching the food name.

상기 서버는 상기 음식명 인식부가 인식한 상기 음식명을 설정된 언어로 번역하는 번역부와 연결되고, 상기 음식 상세 정보는 상기 번역부가 번역한 번역 음식명을 더 포함할 수 있다.The server is connected to a translation unit that translates the food name recognized by the food name recognition unit into a set language, and the food detailed information may further include a translated food name translated by the translation unit.

상기 어플리케이션 또는 상기 서버는, 사용자가 상기 단말기의 화면 상에 표시된 상기 음식의 상세 정보를 기초로 선택한 메뉴 및 수량을 기초로 주문 메시지를 생성할 수 있다.The application or the server may generate an order message based on a menu and quantity selected by a user based on detailed information of the food displayed on the screen of the terminal.

상기 어플리케이션 또는 상기 서버는, 상기 주문 메시지를 현지 언어로 번역한 번역 메시지로 변환할 수 있다.The application or the server may convert the order message into a translation message translated into a local language.

상기 어플리케이션은 상기 번역 메시지를 상기 단말기의 화면 상에 표시할 수 있다.The application may display the translation message on the screen of the terminal.

상기 어플리케이션은 상기 번역 메시지를 상기 단말기의 스피커를 통해 출력할 수 있다.The application may output the translation message through the speaker of the terminal.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific matters of the present invention are included in the detailed description and drawings.

본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.According to embodiments of the present invention has at least the following effects.

음식 메뉴 이미지 또는 음식 이미지만으로 음식에 대한 정보를 제공한다.Information about food is provided only by a food menu image or a food image.

또한, 사용자의 설정에 따라 여러 가지 언어로 음식에 대한 정보를 제공하므로 사용자가 다른 언어권에 방문하여 음식을 접할 때에도 음식에 대한 정보를 제공할 수 있다.In addition, since information on food is provided in various languages according to a user's setting, information on food can be provided even when a user visits other languages and encounters food.

또한, 사용자가 다른 언어권에 방문하여 음식을 주문할 때에, 음식에 대해 정확하게 이해한 후 주문할 수 있고, 주문할 때에는 현지 언어로 주문할 수 있도록 도와, 편리하고 정확한 음식 주문을 가능하게 한다.In addition, when a user visits a different language and orders food, it is possible to accurately understand the food before ordering, and when ordering, it helps to order in a local language, which enables convenient and accurate food ordering.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.The effects according to the present invention are not limited by the contents exemplified above, and more various effects are included in the present specification.

도 1은 본 발명의 일 실시예에 따른 음식 정보 제공 시스템의 개략적 블록도이다.
도 2는 본 발명의 일 실시예에 따른 음식 정보 제공 방법(음식 주문 정보 제공 방법)을 설명하기 위한 순서도의 일부이다.
도 3은 도 2의 S13 단계를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 음식 정보 제공 방법(음식 주문 정보 제공 방법) 중 음식 메뉴판 번역 모드를 설명하기 위한 순서도이다.
도 5 내지 도 9는 본 발명의 일 실시예에 따른 음식 정보 제공 방법(음식 주문 정보 제공 방법) 중 음식 메뉴판 번역 모드를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 음식 정보 제공 방법(음식 주문 정보 제공 방법) 중 음식 메뉴판 번역 모드의 다른 실시예를 설명하기 위한 순서도이다.
도 11 본 발명의 일 실시예에 따른 음식 정보 제공 방법(음식 주문 정보 제공 방법) 중 음식 메뉴판 번역 모드의 다른 실시예를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 음식 정보 제공 방법 중 음식 이미지 획득 모드를 설명하기 위한 순서도이다.
도 13 내지 도 14는 본 발명의 일 실시예에 따른 음식 정보 제공 방법 중 음식 이미지 획득 모드를 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 음식 정보 제공 방법 중 음식 이미지 획득 모드의 다른 실시예를 설명하기 위한 도면이다.1 is a schematic block diagram of a food information providing system according to an embodiment of the present invention.
2 is a part of a flowchart for explaining a food information providing method (food order information providing method) according to an embodiment of the present invention.
3 is a view for explaining step S13 of FIG. 2.
4 is a flowchart for explaining a translation mode for a food menu among food information providing methods (food order information providing methods) according to an embodiment of the present invention.
5 to 9 are diagrams for explaining a food menu board translation mode of a food information providing method (food order information providing method) according to an embodiment of the present invention.
10 is a flowchart for explaining another embodiment of a translation mode of a food menu board among food information providing methods (methods for providing food order information) according to an embodiment of the present invention.
11 is a view for explaining another embodiment of the food menu version translation mode of the food information providing method (food order information providing method) according to an embodiment of the present invention.
12 is a flowchart illustrating a food image acquisition mode among food information providing methods according to an embodiment of the present invention.
13 to 14 are diagrams for explaining a food image acquisition mode among food information providing methods according to an embodiment of the present invention.
15 is a view for explaining another embodiment of a food image acquisition mode of the food information providing method according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the person having the scope of the invention, and the present invention is only defined by the scope of the claims. The same reference numerals refer to the same components throughout the specification.

또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 또한 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.In addition, the embodiments described herein will be described with reference to cross-sectional views and/or schematic drawings, which are ideal exemplary views of the present invention. Therefore, the shape of the exemplary diagram may be modified by manufacturing technology and/or tolerance. In addition, in each of the drawings shown in the present invention, each component may be slightly enlarged or reduced in view of convenience of description. The same reference numerals refer to the same components throughout the specification.

이하, 본 발명의 실시예에 따른 음식 정보 제공 시스템, 음식 정보 제공 방법 및 음식 주문 정보 제공 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대하여 설명하도록 한다.Hereinafter, the present invention will be described with reference to the drawings for explaining a food information providing system, a food information providing method, and a food order information providing method according to an embodiment of the present invention.

도 1은 본 발명의 일 실시예에 따른 음식 정보 제공 시스템의 개략적 블록도이다.1 is a schematic block diagram of a food information providing system according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 음식 정보 제공 시스템(1)은 제1 단말기(2) 및 제2 단말기(3)와 통신 가능한 서버(10)를 포함한다.1, the food information providing system 1 according to an embodiment of the present invention includes a first terminal 2 and a server 10 capable of communicating with the second terminal 3.

제1 단말기(2)는 음식 정보 제공 시스템(1)이 제공하는 서비스를 이용하는 사용자의 단말기로서, 도 1에 도시된 바와 같이, 휴대 단말기(예를 들어, 스마트폰, 태블릿, 노트북 등)일 수 있다. 그러나 이에 한정되지 않고, 제1 단말기(2)는 데스크톱 등의 PC, 또는 음식 정보 제공 시스템(1)에 포함되는 전용 단말기일 수 있다.The first terminal 2 is a terminal of a user who uses a service provided by the food information providing system 1, and may be a portable terminal (for example, a smartphone, tablet, laptop, etc.) as shown in FIG. 1. have. However, the present invention is not limited thereto, and the first terminal 2 may be a PC such as a desktop or a dedicated terminal included in the food information providing system 1.

제1 단말기(2)에는 음식 정보 제공 시스템(1)에서 제공하는 서비스를 이용하기 위한 어플리케이션이 설치된다. 제1 단말기(2)는 어플리케이션을 통해 서버(10)와 통신하게 된다. 어플리케이션의 구체적인 사용예에 대해서는 후술한다.An application for using a service provided by the food information providing system 1 is installed in the first terminal 2. The first terminal 2 communicates with the server 10 through an application. A specific use example of the application will be described later.

제2 단말기(3)는 음식 정보 제공 시스템(1)을 관리하는 관리자의 단말기이다. 도 1에는 제2 단말기(3)의 일례로서, 데스크탑 형태의 PC를 도시하였지만, 이에 한정되지 않고, 제2 단말기(3)는 스마트폰, 태블릿, 노트북 등의 휴대 단말기일 수 있으며, 음식 정보 제공 시스템(1)을 관리하기 위한 전용 단말기일 수도 있다.The second terminal 3 is a terminal of an administrator who manages the food information providing system 1. In FIG. 1, as an example of the second terminal 3, a desktop type PC is illustrated, but is not limited thereto, and the second terminal 3 may be a mobile terminal such as a smart phone, a tablet, or a laptop, and provides food information. It may be a dedicated terminal for managing the system 1.

제1 단말기(2)와 서버(10), 제2 단말기(3)와 서버(10)는 이동 통신망, 무선 통신망, 유선 통신망을 통해 통신 가능하다.The first terminal 2 and the server 10 and the second terminal 3 and the server 10 can communicate through a mobile communication network, a wireless communication network, or a wired communication network.

도 1에 도시된 바와 같이, 서버(10)는 주문 메시지 생성부(11), 메뉴 정보 생성부(12) 및 음식 데이터 베이스(13)를 포함한다.As shown in FIG. 1, the server 10 includes an order message generator 11, a menu information generator 12, and a food database 13.

음식 데이터베이스(13)는 복수의 음식들에 대한 상세 정보가 저장된다. 상세 정보는 음식의 대표 이미지, 음식명, 음식에 대한 설명, 음식의 재료, 조리법, 맛 등에 대한 정보를 포함할 수 있다. 음식명, 음식에 대한 설명, 음식의 재료, 조리법, 맛 등에 대한 정보는 복수의 언어로 작성될 수 있다.The food database 13 stores detailed information about a plurality of foods. The detailed information may include information on a representative image of food, a food name, a description of food, ingredients of food, a recipe, and taste. Information on food names, food descriptions, food ingredients, recipes, and tastes may be written in multiple languages.

메뉴 정보 생성부(12)는, 음식 정보 제공 시스템(1)이 제공하는 음식 메뉴판 번역 서비스에서, 음식명 인식부(40)가 인식한 음식명을 시각적으로 구별할 수 있도록 시각 효과를 음식 메뉴판 이미지 상에 표시하는 이미지 처리를 수행한다. 이에 대한 구체적인 내용은 후술한다.The menu information generation unit 12 provides a visual menu to visually distinguish food names recognized by the food name recognition unit 40 in the food menu version translation service provided by the food information providing system 1. Image processing to be displayed on the plate image is performed. Details of this will be described later.

주문 메시지 생성부(11)는 사용자의 입력에 기초하여 음식을 주문할 수 있는 주문 메시지를 생성한다. 이에 대한 구체적인 내용은 후술한다.The order message generation unit 11 generates an order message capable of ordering food based on user input. Details of this will be described later.

도 1에 도시된 바와 같이, 서버(10)는 유사 음식 판단부(20), 음식점 데이터베이스(30), 음식명 인식부(40) 및 번역부(50)와 통신 가능하게 연결된다. 유사 음식 판단부(20), 음식점 데이터베이스(30), 음식명 인식부(40) 및 번역부(50)는 서버(10)의 운영 주체와는 다른 운영 주체가 제공하는 서비스일 수 있다. 그러나, 이에 한정되지 않고, 유사 음식 판단부(20), 음식점 데이터베이스(30), 음식명 인식부(40) 및 번역부(50) 중 적어도 일부는 서버(10)에 통합되거나, 서버(10)의 운영 주체와 동일한 운영 주체가 제공하는 서비스이거나, 서버(10)와 물리적으로 분리되도록 구성될 수 있다.As shown in FIG. 1, the server 10 is communicatively connected to the similar food determination unit 20, the restaurant database 30, the food name recognition unit 40, and the translation unit 50. The similar food determining unit 20, the restaurant database 30, the food name recognition unit 40, and the translation unit 50 may be services provided by an operating entity different from the operating entity of the server 10. However, the present invention is not limited thereto, and at least some of the similar food determining unit 20, the restaurant database 30, the food name recognition unit 40, and the translation unit 50 are integrated into the server 10, or the server 10. It may be a service provided by the same operating entity as the operating entity of or may be configured to be physically separated from the server 10.

유사 음식 판단부(20)는 음식 이미지를 기초로 유사 음식을 판단하는 구성으로, 이미지 분석 알고리즘을 포함할 수 있다. 이미지 분석 알고리즘은 음식 이미지에 커스터마이징된 인공지능 알고리즘일 수 있다. 인공지능 알고리즘은 다수의 음식 이미지를 통해 미리 학습된 것일 수 있으며, 사용자가 서비스를 이용하는 중에 인공지능 알고리즘의 학습이 진행되도록 구성될 수도 있다. 유사 음식 판단부(20)에 대한 보다 구체적인 내용은 후술한다.The similar food determining unit 20 is configured to determine the similar food based on the food image, and may include an image analysis algorithm. The image analysis algorithm may be an artificial intelligence algorithm customized for food images. The artificial intelligence algorithm may be pre-learned through a plurality of food images, or may be configured such that the learning of the artificial intelligence algorithm proceeds while the user is using the service. More details of the similar food determining unit 20 will be described later.

음식점 데이터베이스(30)는 다수의 음식점들의 지리적 위치 및 각 음식점들이 제공하는 음식 메뉴에 대한 정보가 저장된다.The restaurant database 30 stores information about the geographic location of multiple restaurants and food menus provided by each restaurant.

음식명 인식부(40)는 획득된 음식 메뉴판 이미지 내에서 음식명을 인식하는 이미지 분석 프로그램을 포함할 수 있다. 이미지 분석 프로그램으로는 음식 메뉴판 이미지 내에서 문자를 인식하는 광학식 문자 인식(OCR, optical character reader) 방법이 사용될 수 있다. 또는 음식 메뉴판 이미지 내에 포함된 문자 중 음식명만을 인식하는 이미지 분석 프로그램이 사용될 수도 있다.The food name recognition unit 40 may include an image analysis program for recognizing food names in the acquired food menu image. As an image analysis program, an optical character reader (OCR) method for recognizing characters in a food menu image may be used. Alternatively, an image analysis program that recognizes only the food name among characters included in the food menu image may be used.

번역부(50)는 음식명 인식부(40)가 인식한 음식명 및/또는 주문 메시지 생성부(11)가 생성한 주문 메시지를 사용자가 설정한 언어(제2 언어) 또는 현지 언어(제1 언어)로 번역하는 번역 알고리즘을 포함할 수 있다.The translation unit 50 may set the food name and/or the order message generated by the order message generation unit 11 recognized by the food name recognition unit 40 in a language (second language) or local language set by the user (first Language).

이하에서는, 본 발명의 일 실시예에 따른 음식 정보 제공 시스템(1)을 이용한 음식 정보 제공 방법(음식 주문 정보 제공 방법)에 대해 설명한다. 전술한 구성들의 구체적인 기능 등에 대해서는 음식 정보 제공 방법에 대한 설명에서 보다 구체적으로 설명한다.Hereinafter, a food information providing method (food order information providing method) using the food information providing system 1 according to an embodiment of the present invention will be described. The detailed functions of the above-described components will be described in more detail in the description of the method for providing food information.

도 2는 본 발명의 일 실시예에 따른 음식 정보 제공 방법(음식 주문 정보 제공 방법)을 설명하기 위한 순서도의 일부이고, 도 3은 도 2의 S13 단계를 설명하기 위한 도면이다.2 is a part of a flowchart for explaining a food information providing method (food order information providing method) according to an embodiment of the present invention, and FIG. 3 is a view for explaining step S13 of FIG. 2.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 음식 정보 제공 방법(음식 주문 정보 제공 방법)은 어플리케이션을 구동시키는 단계(S11), 모드 선택 화면을 표시하는 단계(S12), 모드를 선택하는 단계(S13)를 포함한다.2, the food information providing method (food order information providing method) according to an embodiment of the present invention is a step of driving an application (S11), a step of displaying a mode selection screen (S12), a mode And a step of selecting (S13).

어플리케이션을 구동시키는 단계(S11)에서, 사용자는 제1 단말기(2)에 설치된 어플리케이션을 실행한다. 어플리케이션은 제1 단말기(2)의 운영 체제에서 실행 가능한 소프트웨어로서, 사용자에 의해 미리 다운로드 등의 방식으로 미리 설치된 것일 수 있다.In step S11 of driving the application, the user executes the application installed in the first terminal 2. The application is software executable in the operating system of the first terminal 2 and may be pre-installed by a user in a manner such as downloading.

어플리케이션이 실행되면, 모드 선택 화면을 표시하는 단계(S12)가 실행된다. 도 3에 도시된 바와 같이, 모드 선택 화면을 표시하는 단계(S12)에서 어플리케이션은 제1 단말기(2)의 화면 상에 제1 모드 아이콘(100)과 제2 모드 아이콘(200)을 표시한다.When the application is executed, step S12 of displaying a mode selection screen is executed. As shown in FIG. 3, in step S12 of displaying the mode selection screen, the application displays the first mode icon 100 and the second mode icon 200 on the screen of the first terminal 2.

사용자가 제1 모드 아이콘(100)을 선택하면, 어플리케이션은 음식 메뉴판 번역 모드로 실행되고, 사용자가 제2 모드 아이콘(200)을 선택하면, 어플리케이션은 음식 이미지 분석 모드로 실행된다.When the user selects the first mode icon 100, the application is executed in the translation mode of the food menu board, and when the user selects the second mode icon 200, the application is executed in the food image analysis mode.

제1 모드 아이콘(100)에는 사용자가 음식 메뉴판 번역 모드를 쉽게 알 수 있도록 하는 픽토그램 및/또는 간단한 설명이 기재되거나, 사용자가 음식 메뉴판 번역 모드를 시작하기 위해 수행할 작업을 쉽게 알 수 있도록 하는 픽토그램 및/또는 간단한 설명이 기재될 수 있다. 도 4에는 일례로서, 제1 모드 아이콘(100)이 "메뉴판 이미지" 라는 텍스트를 포함하는 예를 도시하였다.The first mode icon 100 includes a pictogram and/or a brief description that allows the user to easily understand the translation mode of the food menu board, or allows the user to easily understand the operation to be performed to start the translation mode of the food menu board. Pictograms and/or brief descriptions may be described. As an example, FIG. 4 shows an example in which the first mode icon 100 includes the text “menu plate image”.

제2 모드 아이콘(200)에는 사용자가 음식 이미지 분석 모드를 쉽게 알 수 있도록 하는 픽토그램 및/또는 간단한 설명이 기재되거나, 사용자가 음식 이미지 분석 모드를 시작하기 위해 수행할 작업을 쉽게 알 수 있도록 하는 픽토그램 및/또는 간단한 설명이 기재될 수 있다. 도 4에는 일례로서, 제2 모드 아이콘(200)이 "음식 이미지" 라는 텍스트를 포함하는 예를 도시하였다.The second mode icon 200 includes a pictogram and/or a brief description that allows the user to easily understand the food image analysis mode, or a pictogram that allows the user to easily know what to do to start the food image analysis mode. And/or a brief description can be given. As an example, FIG. 4 shows an example in which the second mode icon 200 includes the text “food image”.

모드를 선택하는 단계(S13)에서는, 사용자가 제1 모드 아이콘(100)과 제2 모드 아이콘(200) 중 어느 하나를 터치, 클릭, 탭 하는 등의 방식으로 선택한다.In step S13 of selecting a mode, the user selects one of the first mode icon 100 and the second mode icon 200 by touching, clicking, tapping, or the like.

도 2에 도시된 바와 같이, 모드를 선택하는 단계(S13)에서 사용자가 제1 모드 아이콘(100)을 선택하면 S21 단계(도 4, 도 10 참고)가 시작되고, 사용자가 제2 모드 아이콘(200)을 선택하면 S31 단계(도 12, 도 15 참고)가 시작된다.As shown in FIG. 2, when the user selects the first mode icon 100 in step S13 of selecting a mode, step S21 (refer to FIGS. 4 and 10) is started, and the user selects the second mode icon ( If 200) is selected, step S31 (refer to FIGS. 12 and 15) is started.

이하에서는, 사용자가 제1 모드 아이콘(100)을 선택한 경우에 대해 먼저 설명하고, 사용자가 제2 모드 아이콘(200)을 선택한 경우는 그 다음에 설명한다.Hereinafter, a case where the user selects the first mode icon 100 will be described first, and a case where the user selects the second mode icon 200 will be described next.

도 4는 본 발명의 일 실시예에 따른 음식 정보 제공 방법(음식 주문 정보 제공 방법)중 음식 메뉴판 번역 모드를 설명하기 위한 순서도이고, 도 5 내지 도 9는 본 발명의 일 실시예에 따른 음식 정보 제공 방법(음식 주문 정보 제공 방법) 중 음식 메뉴판 번역 모드를 설명하기 위한 도면이다.4 is a flowchart for explaining a translation mode of a food menu board among food information providing methods (food order information providing methods) according to an embodiment of the present invention, and FIGS. 5 to 9 are foods according to an embodiment of the present invention It is a view for explaining the translation mode of the food menu board among the information providing methods (how to provide food order information).

도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 음식 정보 제공 방법(음식 주문 정보 제공 방법)은 음식 메뉴판 이미지를 획득하기 위한 안내 화면을 표시하는 단계(S21)를 포함한다. 음식 메뉴판 번역 모드는 S21 단계로부터 시작된다.As illustrated in FIG. 4, a method for providing food information (a method for providing food order information) according to an embodiment of the present invention includes a step (S21) of displaying a guide screen for obtaining a food menu plate image. The translation mode of the food menu board starts from step S21.

도 5에 도시된 바와 같이, S21 단계에서, 어플리케이션은 제1 단말기(2)의 화면 상에 이미지를 캡쳐하기 위한 가이드 라인(101)과 함께 제1 단말기(2)의 카메라의 촬영 명령을 입력하기 위한 촬영 아이콘(103)을 표시할 수 있다. 동시에 어플리케이션은 제1 단말기(2)의 카메라를 활성화시켜 가이드 라인(101) 내에 카메라가 촬영하는 영상이 표시되도록 할 수 있다. 실시예에 따라 가이드 라인(101)은 생략될 수 있으며, 제1 단말기(2)의 화면 전체에 카메라가 촬영하는 영상이 표시되도록 구성될 수도 있다.As shown in FIG. 5, in step S21, the application inputs a shooting command of the camera of the first terminal 2 together with a guideline 101 for capturing an image on the screen of the first terminal 2 A shooting icon 103 for display can be displayed. At the same time, the application may activate the camera of the first terminal 2 so that the image taken by the camera is displayed in the guide line 101. Depending on the embodiment, the guide line 101 may be omitted, and may be configured to display an image captured by the camera on the entire screen of the first terminal 2.

한편, 도시되지는 않았지만, 사용자가 이미 음식 메뉴판 이미지를 제1 단말기(2) 내에 저장하고 있는 경우를 위해, 어플리케이션은 제1 단말기(2)의 화면 상에 제1 단말기(2)에 저장된 이미지를 로딩할 수 있는 아이콘(미도시)을 표시할 수도 있다.On the other hand, although not shown, the application is stored in the first terminal 2 on the screen of the first terminal 2 for the case where the user has already stored the food menu image in the first terminal 2 It is also possible to display an icon (not shown) that can be loaded.

음식 메뉴판 이미지를 획득하는 단계(S21)에서, 사용자는 제1 단말기(2)의 카메라가 음식 메뉴판을 지향하도록 하여, 도 5에 도시된 바와 같이, 가이드 라인(101) 내에 획득하고자 하는 음식 메뉴판의 화상이 위치하도록 하고, 촬영 아이콘(103)을 터치, 클릭, 탭 등의 방식으로 선택하여 음식 메뉴판 이미지(102)를 획득한다.In step S21 of acquiring a food menu plate image, the user directs the camera of the first terminal 2 to face the food menu plate, and as shown in FIG. 5, the food to be acquired in the guide line 101 The image of the menu board is positioned, and the photographing icon 103 is selected by a touch, click, tab, or the like to obtain a food menu board image 102.

음식명을 인식하는 단계(S23)에서, 어플리케이션은 S22 단계에서 획득한 음식 메뉴판 이미지(102)를 서버(10)로 전송한다. 서버(10)는 음식명 인식부(40)로 음식 메뉴판 이미지(102)를 전송하고, 음식명 인식부(40)는 음식 메뉴판 이미지(102)로부터 음식명(삼겹살, 불고기, 비빔밥, 물냉면)을 인식한다.In step S23 of recognizing the food name, the application transmits the food menu image 102 obtained in step S22 to the server 10. The server 10 transmits the food menu plate image 102 to the food name recognition unit 40, and the food name recognition unit 40 receives the food name from the food menu plate image 102 (eg, pork belly, bulgogi, bibimbap, water). Cold noodles).

음식명 인식부(40)는 OCR과 같은 문자 인식 프로그램을 이용해 음식 메뉴판 이미지(102) 내에 포함된 문자를 인식하여 음식명(삼겹살, 불고기, 비빔밥, 물냉면)을 인식할 수 있다. 또는, 음식명 인식부(40)는 음식 메뉴판 이미지(102) 내에 포함된 문자 중에서 음식명(삼겹살, 불고기, 비빔밥, 물냉면)만을 구별하여 인식하도록 구성될 수도 있다.The food name recognition unit 40 may recognize characters included in the food menu image 102 using a character recognition program such as OCR to recognize food names (pork belly, bulgogi, bibimbap, and water cold noodles). Alternatively, the food name recognition unit 40 may be configured to distinguish and recognize only food names (pork belly, bulgogi, bibimbap, and water cold noodles) among characters included in the food menu image 102.

음식명 인식부(40)는 인식된 음식명에 대한 정보를 서버(10)로 전송한다. 음식명 인식부(40)는 인식된 음식명의 음식 메뉴판 이미지(102) 내 위치 정보를 함께 전송할 수 있다.The food name recognition unit 40 transmits information on the recognized food name to the server 10. The food name recognition unit 40 may transmit location information in the food menu plate image 102 of the recognized food name.

실시예에 따라, 음식명 인식부(40)는 서버(10) 내의 구성으로 포함될 수도 있다.According to an embodiment, the food name recognition unit 40 may be included as a configuration in the server 10.

실시예에 따라, 음식명 인식부(40)는 어플리케이션 내의 구성으로 포함될 수도 있다. 이 경우, 어플리케이션은 S22 단계에서 획득한 음식 메뉴판 이미지(102)를 서버(10)로 전송하지 않고, 제1 단말기(2) 내에서 S23 단계가 진행될 수 있다.Depending on the embodiment, the food name recognition unit 40 may be included as a configuration in the application. In this case, the application does not transmit the food menu image 102 obtained in step S22 to the server 10, and step S23 may proceed in the first terminal 2.

음식 메뉴판 이미지 상에 인식된 음식명을 표시하는 단계(S24)에서, 서버(10)는 S23 단계에서 음식명 인식부(40)가 인식한 음식명을 전달받고, 메뉴 정보 생성부(12)는 음식명 인식부(40)가 인식한 음식명을 시각적으로 구별할 수 있도록 시각 효과를 음식 메뉴판 이미지 상에 표시하는 이미지 처리를 수행한다In step S24 of displaying the recognized food name on the food menu plate image, the server 10 receives the food name recognized by the food name recognition unit 40 in step S23, and the menu information generation unit 12 The image processing unit displays the visual effect on the food menu plate image so that the food name recognition unit 40 can visually distinguish the recognized food name.

도 6에 도시된 바와 같이, 메뉴 정보 생성부(12)는 음식명 인식부(40)가 인식한 음식명(삽겹살) 위로 반투명의 색상을 갖는 반투명 이미지(104a)를 오버랩하여 '삽겹살'이라는 음식명이 인식되었음을 사용자가 시각적으로 확인할 수 있도록 할 수 있다.As illustrated in FIG. 6, the menu information generation unit 12 overlaps the translucent image 104a having a translucent color over the food name (sprout) recognized by the food name recognition unit 40 to form a food called'sprout'. The user can be visually confirmed that the name has been recognized.

또는, 메뉴 정보 생성부(12)는 음식명 인식부(40)가 인식한 음식명(불고기)을 음식 메뉴판 이미지(102)에 특정한 글자체(104b)로 음식명(불고기) 위에 오버랩하거나, 음식 메뉴판 이미지(102)에 기재된 음식명(불고기) 대신에 특정한 글자체(104b)의 음식명(불고기)이 기재되도록 하는 방식으로 '불고기'이라는 음식명이 인식되었음을 사용자가 시각적으로 확인할 수 있도록 할 수 있다. 특정한 글자체(104b)는 사용자가 미리 설정하거나 어플리케이션에 미리 설정된 글자체이거나, 음식 메뉴판 이미지(102)에 기재된 음식명(불고기)의 글자체와 다른 글자체일 수 있다.Alternatively, the menu information generation unit 12 overlaps the food name (bulgogi) recognized by the food name recognition unit 40 over the food name (bulgogi) with a font 104b specific to the food menu image 102. It is possible to allow the user to visually confirm that the food name'Bulgogi' has been recognized in such a way that the food name (bulgogi) of a specific typeface 104b is written instead of the food name (bulgogi) described in the menu image 102. . The specific font 104b may be a font previously set by the user or preset in an application, or may be a font different from the font of the food name (bulgogi) described in the food menu image 102.

또는, 메뉴 정보 생성부(12)는 음식명 인식부(40)가 인식한 음식명(비빔밥)을 음식 메뉴판 이미지(102)에 굵은 글씨(104c)로 음식명(비빔밥) 위에 오버랩하거나, 음식 메뉴판 이미지(102)에 기재된 음식명(비빔밥) 대신에 굵은 글씨(104c)의 음식명(비빔밥)이 기재되도록 하거나, 음식명 인식부(40)가 인식한 음식명(비빔밥)에 네온 효과(104c)를 오버랩하여, '비빔밥'이라는 음식명이 인식되었음을 사용자가 시각적으로 확인할 수 있도록 할 수 있다.Alternatively, the menu information generating unit 12 overlaps the food name (bibimbap) over the food name (bibimbap) with the food name (bibimbap) recognized by the food name recognition unit 40 in bold text 104c on the food menu image 102. Instead of the food name (bibimbap) described in the menu image 102, the food name (bibimbap) in bold text 104c is written, or the neon effect is applied to the food name (bibimbap) recognized by the food name recognition unit 40 ( By overlapping 104c), the user can visually confirm that the food name'bibimbap' is recognized.

또는, 메뉴 정보 생성부(12)는 음식명 인식부(40)가 인식한 음식명(물냉면)을 둘러싸는 사각 창(104a)을 음식 메뉴판 이미지(102) 상에 오버랩하여 '물냉면'이라는 음식명이 인식되었음을 사용자가 시각적으로 확인할 수 있도록 할 수 있다.Alternatively, the menu information generation unit 12 overlaps a square window 104a surrounding the food name (water cooling surface) recognized by the food name recognition unit 40 on the food menu plate image 102 to'water cooling surface'. The user can visually confirm that the food name is recognized.

메뉴 정보 생성부(12)가 음식 메뉴판 이미지에 시각 효과를 추가한 메뉴 정보를 생성하여 서버(10)로 전달하면, 서버(10)는 메뉴 정보를 제1 단말기(2)로 전달하고, 어플리케이션은, 도 6에 도시된 바와 같이, 메뉴 정보를 수신하여 시각 효과를 추가된 음식 메뉴판 이미지를 제1 단말기(2)의 화면 상에 표시되도록 한다.When the menu information generating unit 12 generates menu information that adds a visual effect to the food menu plate image and delivers it to the server 10, the server 10 delivers the menu information to the first terminal 2, and the application As shown in FIG. 6, the menu information is received to display the menu image of the food added with the visual effect on the screen of the first terminal 2 by receiving the menu information.

실시예에 따라, 메뉴 정보 생성부(12)와 음식명 인식부(40)는 하나의 프로그램으로 통합될 수 있다. 이 경우, 메뉴 정보 생성부(12)와 음식명 인식부(40)는 서버(10) 내의 구성으로 포함되거나, 어플리케이션 내의 구성으로 포함될 수 있다.According to an embodiment, the menu information generation unit 12 and the food name recognition unit 40 may be integrated into one program. In this case, the menu information generation unit 12 and the food name recognition unit 40 may be included as a configuration in the server 10 or as a configuration in the application.

사용자의 입력을 수신하는 단계(S25)에서, 사용자는 시각 효과가 추가된 음식 메뉴판 이미지(102)를 보고, 보다 상세한 정보가 필요하거나 주문하고자 하는 음식을 선택하는 입력을 한다.In step S25 of receiving a user's input, the user views the food menu plate image 102 to which the visual effect has been added, and inputs the food for which more detailed information is needed or to be ordered.

어플리케이션은 사용자가 인식된 음식명 중 적어도 하나를 선택할 수 있도록, 제1 단말기(2)의 화면 상에 UI를 제공할 수 있다. 예를 들어, 어플리케이션은 사용자가 시각 효과가 추가된 음식 메뉴판 이미지(102) 상에서 인식된 음식명 및 시각 효과(104a, 104b, 104c, 104d) 중 적어도 하나를 터치, 클릭, 탭하는 방식으로 인식된 음식명 중 적어도 하나를 선택할 수 있도록 UI를 제공할 수 있다.The application may provide a UI on the screen of the first terminal 2 so that the user can select at least one of the recognized food names. For example, the application is recognized by a user touching, clicking, and tapping at least one of the food name and the visual effects 104a, 104b, 104c, and 104d recognized on the food menu plate image 102 to which the visual effect has been added. A UI may be provided to select at least one of the food names.

사용자가 선택한 음식의 상세 정보를 표시하는 단계(S26)에서, 어플리케이션은 S25 단계에서 사용자가 선택한 음식의 상세 정보를 제1 단말기(2)의 화면 상에 표시한다.In step S26 of displaying detailed information of the food selected by the user, the application displays detailed information of the food selected by the user in step S25 on the screen of the first terminal 2.

S25 단계에서 사용자가 '삽겹살'과 '물냉면'을 선택한 경우, 도 7에 도시된 바와 같이, 제1 단말기(2)의 화면 상에는 '삽겹살'과 '물냉면'에 대한 1차 상세 정보(105, 106)가 표시된다.When the user selects'Sapsalpsal' and'Water cold noodles' in step S25, as shown in FIG. 7, primary detailed information about'sapsalpsal' and'water cold noodles' on the screen of the first terminal 2 (105) , 106) is displayed.

도 7에 도시된 바와 같이, 1차 상세 정보(105, 106)에는 음식의 대표 이미지(105a, 106a), 음식명(105b, 106b) 및 개략적 설명(105c, 106c)를 포함될 수 있다. 1차 상세 정보(105, 106)는 사용자가 미리 설정한 언어로 표시될 수 있다. 도 7에는 영어를 사용하는 사용자를 가정한 것으로, 영어로 기재된 1차 상세 정보(105, 106)가 도시되어 있다. 도 7에 도시된 바와 같이, 음식명(105b, 106b)은 2가지 언어도 모두 표기되는 것이 바람직하다.As illustrated in FIG. 7, the primary detailed information 105 and 106 may include representative images 105a and 106a of food, food names 105b and 106b, and schematic descriptions 105c and 106c. The primary detailed information 105 and 106 may be displayed in a language preset by the user. FIG. 7 assumes an English-speaking user and shows primary detailed information 105 and 106 written in English. As shown in FIG. 7, it is preferable that the food names 105b and 106b are written in both languages.

S26 단계에서, 사용자가 선택한 음식명에 매칭되는 음식의 상세 정보(105, 106)를 제1 단말기(2)의 화면 상에 표시하기 위해, 어플리케이션은 사용자가 선택한 음식명에 대한 정보를 서버(10)로 전달하고, 서버(10)는 음식 데이터베이스(13)로부터 사용자가 선택한 음식명에 매칭되는 음식의 상세 정보(105, 106)를 추출하여 제1 단말기(2)로 전송하고, 어플리케이션은 서버(10)로부터 전달된 음식의 상세 정보(105, 106)를 제1 단말기(2)의 화면 상에 표시할 수 있다.In step S26, in order to display the detailed information 105 and 106 of the food matching the food name selected by the user on the screen of the first terminal 2, the application displays information about the food name selected by the user (10). ), the server 10 extracts the detailed information (105, 106) of the food matching the food name selected by the user from the food database 13, transmits it to the first terminal 2, and the application server ( The detailed information 105, 106 of the food transferred from 10) may be displayed on the screen of the first terminal 2.

또는, S26 단계에서, 사용자가 선택한 음식명에 매칭되는 음식의 상세 정보(105, 106)를 제1 단말기(2)의 화면 상에 표시하기 위해, 서버(10)는 S24 단계에서 메뉴 정보를 제1 단말기(2)로 전송할 때, S23 단계에서 인식된 음식명에 매칭되는 음식의 상세 정보를 함께 전송할 수 있다. 예를 들어, 도 6 및 도 7에 도시된 바와 같이, S23 단계에서 인식된 음식명으로 '삼겹살', '불고기', '비빔밥', '물냉면'이 존재하면, 서버(10)는 4가지의 음식에 대한 상세 정보를 모두 제1 단말기(2)로 전송할 수 있다. 이 경우, S26 단계에서 어플리케이션은 '삼겹살', '불고기', '비빔밥', '물냉면'에 대한 상세 정보를 모두 수신한 상태에서, 사용자가 선택한 음식명에 매칭되는 음식의 상세 정보(105, 106)만을 제1 단말기(2)의 화면 상에 표시할 수 있다.Alternatively, in step S26, in order to display the detailed information 105, 106 of the food matching the food name selected by the user on the screen of the first terminal 2, the server 10 provides menu information in step S24. When transmitting to the terminal 2, detailed information of the food matching the food name recognized in step S23 may be transmitted together. For example, as shown in FIGS. 6 and 7, when the food names recognized in step S23 include'pork belly','bulgogi','bibimbap', and'water cold noodles', the server 10 has four types. All of the detailed information about the food can be transmitted to the first terminal (2). In this case, in step S26, the application receives all of the detailed information on'samgyeopsal','bulgogi','bibimbap', and'water naengmyeon', and the detailed information of the food matching the food name selected by the user (105, 106) can be displayed on the screen of the first terminal 2 only.

한편, 사용자가 1차 상세 정보(105, 106)보다 세부적인 상세 정보가 필요한 경우, 사용자는 1차 상세 정보(105, 106) 중 어느 하나를 터치, 클릭, 탭하는 등의 방식으로 선택하면, 어플리케이션은, 도 8에 도시된 바와 같이, 2차 상세 정보(106a ~ 106g)를 제1 단말기(2)의 화면 상에 표시할 수 있다.On the other hand, if the user needs more detailed information than the primary detailed information (105, 106), the user selects one of the primary detailed information (105, 106) by touching, clicking, tapping, etc. As illustrated in FIG. 8, the application may display secondary detailed information 106a to 106g on the screen of the first terminal 2.

2차 상세 정보(106a ~ 106g)는 1차 상세 정보(106a, 106b, 106c)를 포함할 수 있으며, 추가적으로 음식명을 발음을 들을 있는 소리 아이콘(106d), 음식에 대한 상세 설명(106e), 음식의 재료(106f), 음식의 맛(106g) 등에 대한 정보를 포함할 수 있다. 2차 상세 정보(106a ~ 106g) 역시 사용자가 미리 설정한 언어로 표시될 수 있다. 도 8에는 영어를 사용하는 사용자를 가정한 것으로, 영어로 기재된 2차 상세 정보(106a ~ 106g)가 도시되어 있다.Secondary detailed information (106a ~ 106g) may include the primary detailed information (106a, 106b, 106c), additionally, the sound icon (106d) to hear the pronunciation of the food name, detailed description of the food (106e), It may include information on food ingredients (106f), food taste (106g). The secondary detailed information 106a to 106g may also be displayed in a language preset by the user. FIG. 8 assumes a user who speaks English, and shows secondary detailed information 106a to 106g written in English.

사용자의 주문 입력을 수신하는 단계(S27)에서, 사용자는 제1 단말기(2)의 화면 상에서 주문하고자 하는 음식 및/또는 수량을 선택하여 주문을 입력한다.In step S27 of receiving the user's order input, the user selects food and/or quantity to be ordered on the screen of the first terminal 2 and inputs the order.

도 7에 도시된 바와 같이, 어플리케이션은 제1 단말기(2)의 화면 상에 사전 주문 아이콘(107)을 표시할 수 있다. 어플리케이션은 S26 단계에 사용자가 선택하여 표시된 음식 리스트(도 7을 기준으로 삼겹살, 물냉면)가 표시된 상태에서 사용자가 사전 주문 아이콘(107)을 터치, 클릭, 탭하는 등의 방식으로 선택하여 주문을 입력하도록 구성될 수 있다. 이 경우, 사용자가 사전 주문 아이콘(107)을 선택하기 전에 음식 리스트 중 적어도 일부(물냉면)를 삭제하고 싶을 때에는, 해당 음식의 1차 상세 정보(106)를 스와이프하여 리스트로부터 삭제할 수 있도록 하는 등의 방식으로 음식 리스트를 수정할 수 있도록 구성될 수 있다.As shown in FIG. 7, the application may display the pre-order icon 107 on the screen of the first terminal 2. In step S26, the user selects the order by touching, clicking, or tapping the pre-order icon 107 while the user selects and displays the food list displayed on the basis of FIG. 7 (pork belly, water cold noodles). It can be configured to enter. In this case, when the user wants to delete at least a portion of the food list (water cold noodles) before selecting the pre-order icon 107, swipe the primary detailed information 106 of the food to remove it from the list It can be configured to modify the food list in the same way.

주문 메시지를 생성하는 단계(S27)에서, 어플리케이션은 사용자가 선택한 음식을 메뉴로 입력 받고, 메뉴의 수량 정보를 입력 받아 주문 메시지를 생성한다.In step S27 of generating an order message, the application receives the food selected by the user as a menu, and receives the quantity information of the menu to generate an order message.

도 7에서 사용자가 물냉면을 음식 리스트에서 삭제하고 주문 아이콘(107)을 선택하면, 도 9에 도시된 바와 같이, 삼겹살이 주문할 메뉴(108a)로 입력되고, 수량 정보(108b)를 입력한 후, 주문 생성 아이콘(110)을 터치, 클릭, 탭하는 등의 방식으로 선택하면 주문 메시지 창(111)에 주문 메시지가 생성된다.In FIG. 7, when the user deletes the water-cold noodles from the food list and selects the order icon 107, as shown in FIG. 9, the pork belly is input into the menu 108a to be ordered, and the quantity information 108b is entered. , When the order creation icon 110 is selected by touching, clicking, or tapping, an order message is generated in the order message window 111.

사용자가 주문 생성 아이콘(110)을 선택하면, 어플리케이션은 메뉴(108a) 및 수량 정보(108b)를 서버(10)로 전송하고, 주문 메시지 생성부(11)는 메뉴(108a) 및 수량 정보(108b)를 수신하여 사용자가 설정한 언어로 주문 메시지를 생성한다. 도 9는 영어를 사용하는 사용자를 가정한 것으로, 영어로 기재된 주문 메시지가 도시되어 있다. 서버(10)는 주문 메시지 생성부(11)가 생성한 주문 메시지를 제1 단말기(2)로 전송하고, 어플리케이션은 수신한 주문 메시지를 제1 단말기(2)의 화면 상의 주문 메시지 창(111)에 표시한다.When the user selects the order creation icon 110, the application transmits the menu 108a and quantity information 108b to the server 10, and the order message generation unit 11 displays the menu 108a and quantity information 108b ) To generate an order message in the language set by the user. 9 assumes an English-speaking user, and an order message written in English is shown. The server 10 transmits the order message generated by the order message generator 11 to the first terminal 2, and the application sends the received order message to the order message window 111 on the screen of the first terminal 2 Mark on.

한편, S27 단계에서 사용자가 주문하고자 하는 메뉴를 추가하고자 하는 경우를 위해, 어플리케이션은 제1 단말기(2)의 화면 상에 메뉴 추가 아이콘(109)을 표시할 수 있다. 사용자는 메뉴 추가 아이콘(109)을 선택하여 주문하고자 하는 메뉴를 추가할 수 있다. 사용자가 메뉴 추가 아이콘(109)을 선택하면, 도 6 또는 도 7에 도시된 시각 효과가 추가된 음식 메뉴판 이미지(102)가 제1 단말기(2)의 화면 상에 표시되고, S25 내지 S27 단계에서 수행한 것과 유사한 방식으로 메뉴를 추가할 수 있다.Meanwhile, in step S27, for a case where a user wants to add a menu to be ordered, the application may display a menu addition icon 109 on the screen of the first terminal 2. The user can add a menu to be ordered by selecting the menu add icon 109. When the user selects the menu addition icon 109, the food menu image 102 to which the visual effect shown in FIGS. 6 or 7 is added is displayed on the screen of the first terminal 2, and steps S25 to S27. You can add menus in a similar way to what you did in.

S27 단계에서 사용자가 주문하고자 하는 메뉴 중 적어도 일부를 삭제하고자 하는 경우를 위해, 어플리케이션은 제1 단말기(2)의 화면 상에 메뉴 취소 아이콘(108c)를 표시할 수 있다. 사용자는 메뉴 취소 아이콘(108c)을 선택하여 주문하고자 하는 메뉴를 삭제할 수 있다.In case the user wants to delete at least a part of the menu to be ordered in step S27, the application may display a menu cancel icon 108c on the screen of the first terminal 2. The user can delete a menu to be ordered by selecting the menu cancel icon 108c.

번역 메시지로 변환하는 단계(S29)에서, 서버(10)는 S28 단계에서 주문 메시지 생성부(11)에서 생성한 주문 메시지를 번역부(50)로 전달하고, 번역부(50)는 수신한 주문 메시지를 현지 언어로 번역하여 번역 메시지를 생성한다. 현지 언어는 제1 단말기(2)의 위치 정보(예를 들어, GPS 정보) 또는 음식 메뉴판 이미지에 기재된 언어로부터 번역부(50)가 판단하거나, 사용자가 현지 언어를 선택하여 파악될 수 있다.In step S29 of converting to a translation message, the server 10 delivers the order message generated by the order message generating unit 11 to the translation unit 50 in step S28, and the translation unit 50 receives the received order Translate messages into local languages to create translated messages. The local language may be determined by the translation unit 50 from the location information of the first terminal 2 (for example, GPS information) or the language described in the food menu image, or the user may select the local language.

서버(10)는 번역부(50)가 생성한 번역 메시지를 제1 단말기(2)로 전송한다. 어플리케이션은, 도 9에 도시된 바와 같이, 번역 메시지를 제1 단말기(2)의 화면 상의 번역 메시지 창(112)에 표시한다.The server 10 transmits the translation message generated by the translation unit 50 to the first terminal 2. As shown in FIG. 9, the application displays the translation message in the translation message window 112 on the screen of the first terminal 2.

번역부(50)는 자동 번역 프로그램을 포함하거나, 복수의 언어와 음식명에 대응하여 미리 저장된 텍스트의 조합으로 번역 메시지를 생성할 수 있다. 번역부(50)는 서버(10)에 통합될 수 있으며, 실시예에 따라, 번역부(50)는 어플리케이션에 통합될 수도 있다.The translation unit 50 may include an automatic translation program or generate a translation message using a combination of pre-stored text corresponding to a plurality of languages and food names. The translation unit 50 may be integrated into the server 10, and according to an embodiment, the translation unit 50 may be integrated into the application.

도 9에 도시된 바와 같이, 주문 메시지 창(111) 및 번역 메시지 창(112)에는 각각 음성 출력 아이콘(111a, 112a)이 구비될 수 있다. 특히, 현지 언어(제1 언어, 예를 들어, 한국어)와 다른 언어(제2 언어, 예를 들어, 영어)를 사용하는 사용자는 번역 메시지 창(112)의 음성 출력 아이콘(112a)을 선택하여 번역 메시지를 음성 메시지로 출력되도록 하여, 음식점에서 현지 언어로 음식을 주문할 수 있으므로, 보다 편리하고 정확하게 음식을 주문할 수 있다.As illustrated in FIG. 9, voice output icons 111a and 112a may be provided in the order message window 111 and the translation message window 112, respectively. In particular, a user who uses a language different from the local language (first language, for example Korean) (second language, for example, English) selects the voice output icon 112a of the translation message window 112, By outputting the translation message as a voice message, the restaurant can order food in a local language, so it is more convenient and accurate to order food.

도 10은 본 발명의 일 실시예에 따른 음식 정보 제공 방법(음식 주문 정보 제공 방법) 중 음식 메뉴판 번역 모드의 다른 실시예를 설명하기 위한 순서도이고, 도 11 본 발명의 일 실시예에 따른 음식 정보 제공 방법(음식 주문 정보 제공 방법) 중 음식 메뉴판 번역 모드의 다른 실시예를 설명하기 위한 도면이다.10 is a flow chart for explaining another embodiment of the food menu version translation mode of the food information providing method (food order information providing method) according to an embodiment of the present invention, Figure 11 food according to an embodiment of the present invention It is a view for explaining another embodiment of the translation mode of the food menu board of the information providing method (method for providing food order information).

설명의 편의를 위해 전술한 실시예에 따른 음식 정보 제공 방법(음식 주문 정보 제공 방법)과 공통되는 부분은 동일한 도면부호를 사용하고, 그 설명을 생략한다.For convenience of description, parts common to the method for providing food information (the method for providing food order information) according to the above-described embodiment are denoted by the same reference numerals, and description thereof is omitted.

도 10에 도시된 바와 같이, 본 실시예에 따른 음식 정보 제공 방법(음식 주문 정보 제공 방법)은 전술한 실시예와 비교하여, 음식명을 번역하는 단계(S23a)가 추가된다.As illustrated in FIG. 10, in the method for providing food information (the method for providing food order information) according to the present embodiment, a step of translating food names (S23a) is added as compared to the above-described embodiment.

음식명을 번역하는 단계(S23a)에서는, S23 단계에서 음식명 인식부(40)가 인식한 음식명은 서버(10)를 통해 번역부(50)로 전달되고, 번역부(50)는 전달된 음식명을 사용자가 설정한 언어(제2 언어)로 번역하여 서버(10)로 전달한다.In the step of translating the food name (S23a), the food name recognized by the food name recognition unit 40 in step S23 is transmitted to the translation unit 50 through the server 10, and the translation unit 50 is the delivered food The name is translated into a language (second language) set by the user and transmitted to the server 10.

S24 단계에서 메뉴 정보 생성부(12)는 음식 메뉴판 이미지(102)에 인식된 음식명에 시각 효과(104a ~ 104d)를 추가하며, 동시에 번역부(50)가 번역한 음식명(114a, 114b, 114c, 114d)을 음식 메뉴판 이미지(102) 상에 오버랩 시킨 메뉴 정보를 생성한다.In step S24, the menu information generating unit 12 adds visual effects 104a to 104d to the recognized food names in the food menu plate image 102, and at the same time, the food names 114a and 114b translated by the translation unit 50. , 114c and 114d) on the food menu plate image 102 to generate menu information.

메뉴 정보 생성부(12)는 메뉴 정보를 생성할 때에, 번역된 음식명(114a, 114b, 114c, 114d)이 각 음식명에 인접하도록 구성할 수 있으며, 보다 바람직하게는, 번역된 음식명(114a, 114b, 114c, 114d)이 음식 메뉴판 이미지(102)의 공백 영역 상에 위치하도록 구성할 수 있다.When generating menu information, the menu information generating unit 12 may be configured such that the translated food names 114a, 114b, 114c, and 114d are adjacent to each food name, and more preferably, the translated food name ( 114a, 114b, 114c, and 114d) may be configured to be positioned on a blank area of the food menu plate image 102.

본 실시예에 따르면, 음식 메뉴판 이미지(102) 상에 번역된 음식명(114a, 114b, 114c, 114d)을 함께 출력하므로, 현지 언어(제1 언어, 예를 들어, 한국어)와 다른 언어(제2 언어, 예를 들어, 영어)를 사용하는 사용자가 S25 단계에서 보다 쉽게 선호하는 음식을 선택할 수 있다.According to this embodiment, since the translated food names 114a, 114b, 114c, and 114d are output together on the food menu image 102, a language different from the local language (eg, the first language, for example, Korean) ( A user who speaks a second language (for example, English) can more easily select a preferred food in step S25.

본 발명의 일 실시예에 따른 음식 정보 제공 방법은 현지 언어(제1 언어, 예를 들어, 한국어)와 다른 언어(제2 언어, 예를 들어, 영어)를 사용하는 사용자가 현지 식당에서 음식을 주문할 때에, 어플리케이션을 실행하여 음식 메뉴판을 촬영하는 것만으로, 식당에서 판매하는 음식에 대한 정보를 사용자가 사용하는 언어로 보여주며, 연속하여 현지 언어로 주문할 수 있도록 도와준다.Food information providing method according to an embodiment of the present invention is a user using a language different from the local language (first language, for example, Korean) (second language, for example, English) in the local restaurant When placing an order, simply launch the application to take a picture of the food menu, show information about the food sold at the restaurant in the language you use, and help you to order in a local language in succession.

즉, 사용자가 다른 언어권에 방문하여 음식을 주문할 때에, 음식에 대해 정확하게 이해한 후 주문할 수 있고, 주문할 때에는 현지 언어로 주문할 수 있도록 도와, 편리하고 정확한 음식 주문을 가능하게 한다.That is, when a user visits a different language region and orders food, the user can accurately understand the food before ordering it, and when ordering, it helps the user to order in a local language, thereby enabling convenient and accurate food ordering.

이하에서는, 사용자가 제2 모드 아이콘(200)을 선택한 경우(도 3 참고)에 대해 설명한다.Hereinafter, a case where the user selects the second mode icon 200 (see FIG. 3) will be described.

도 12는 본 발명의 일 실시예에 따른 음식 정보 제공 방법 중 음식 이미지 획득 모드를 설명하기 위한 순서도이고, 도 13 내지 도 14는 본 발명의 일 실시예에 따른 음식 정보 제공 방법 중 음식 이미지 획득 모드를 설명하기 위한 도면이다.12 is a flowchart illustrating a food image acquisition mode among food information providing methods according to an embodiment of the present invention, and FIGS. 13 to 14 are food image acquisition modes among food information providing methods according to an embodiment of the present invention. It is a drawing for explaining.

도 12에 도시된 바와 같이, 본 발명의 일 실시예에 따른 음식 정보 제공 방법은 음식 이미지를 획득하기 위한 안내 화면을 표시하는 단계(S31)을 포함한다. 음식 이미지 획득 모드는 S31 단계로부터 시작된다.As illustrated in FIG. 12, a method for providing food information according to an embodiment of the present invention includes displaying a guide screen for acquiring a food image (S31 ). The food image acquisition mode starts from step S31.

도 13에 도시된 바와 같이, S31 단계에서, 어플리케이션은 제1 단말기(2)의 화면 상에 이미지를 캡쳐하기 위한 가이드 라인(201)과 함께 제1 단말기(2)의 카메라의 촬영 명령을 입력하기 위한 촬영 아이콘(203)을 표시할 수 있다. 동시에 어플리케이션은 제1 단말기(2)의 카메라를 활성화시켜 가이드 라인(201) 내에 카메라가 촬영하는 영상이 표시되도록 할 수 있다. 실시예에 따라 가이드 라인(201)은 생략될 수 있으며, 제1 단말기(2)의 화면 전체에 카메라가 촬영하는 영상이 표시되도록 구성될 수도 있다.As shown in FIG. 13, in step S31, the application inputs a shooting command of the camera of the first terminal 2 together with a guideline 201 for capturing an image on the screen of the first terminal 2 A shooting icon 203 for display may be displayed. At the same time, the application can activate the camera of the first terminal 2 so that the image taken by the camera is displayed in the guide line 201. According to an embodiment, the guide line 201 may be omitted, and may be configured to display an image captured by the camera on the entire screen of the first terminal 2.

한편, 도시되지는 않았지만, 사용자가 이미 음식 이미지를 제1 단말기(2) 내에 저장하고 있는 경우를 위해, 어플리케이션은 제1 단말기(2)의 화면 상에 제1 단말기(2)에 저장된 이미지를 로딩할 수 있는 아이콘(미도시)을 표시할 수도 있다.Meanwhile, although not shown, the application loads the image stored in the first terminal 2 on the screen of the first terminal 2 for the case where the user has already stored the food image in the first terminal 2 An icon (not shown) that can be displayed can also be displayed.

음식 이미지를 획득하는 단계(S32)에서, 사용자는 제1 단말기(2)의 카메라가 음식을 지향하도록 하여, 도 13에 도시된 바와 같이, 가이드 라인(201) 내에 획득하고자 하는 음식의 화상이 위치하도록 하고, 촬영 아이콘(203)을 터치, 클릭, 탭 등의 방식으로 선택하여 음식 이미지(202)를 획득한다.In step S32 of acquiring a food image, the user directs the camera of the first terminal 2 to direct the food, and as illustrated in FIG. 13, an image of the food to be acquired is located in the guide line 201 Then, the photographing icon 203 is selected by a touch, click, tab, or the like to obtain a food image 202.

유사 음식을 판단하는 단계(S33)에서, 어플리케이션은 S32 획득한 음식 이미지(202)를 서버(10)로 전송한다. 서버(10)는 음식 이미지(202)를 유사 음식 판단부(20)로 전달하고, 유사 음식 판단부(20)는 음식 이미지(202)를 기초로 유사 음식을 판단한다.In the step of determining similar food (S33), the application transmits the food image 202 obtained in S32 to the server 10. The server 10 delivers the food image 202 to the similar food determination unit 20, and the similar food determination unit 20 determines the similar food based on the food image 202.

유사 음식 판단부(20)는 이미지 분석 알고리즘을 이용해 음식 이미지(202)의 특징을 기초로 적어도 하나의 유사 음식을 추출한다.The similar food determining unit 20 extracts at least one similar food based on the characteristics of the food image 202 using an image analysis algorithm.

유사 음식을 추출하는 규칙은 미리 학습된 인공지능의 알고리즘에 따를 수 있다.The rules for extracting similar foods may be based on a pre-trained artificial intelligence algorithm.

인공지능 알고리즘은 추출된 유사 음식과의 유사도를 연산할 수 있으며, 이 경우, 인공지능 알고리즘은 미리 설정된 임계 유사도 이상의 유사도를 갖는 음식을 유사 음식으로 추출하거나, 유사도가 높은 순서로 일정 개수의 음식을 유사 음식으로 추출할 수 있다.The artificial intelligence algorithm may calculate the similarity with the extracted similar food, and in this case, the artificial intelligence algorithm extracts foods having similarities above a predetermined threshold similarity as similar foods, or extracts a certain number of foods in order of high similarity. It can be extracted as a similar food.

인공지능의 알고리즘은 보유하고 있는 각 음식들의 대표 이미지와 음식 이미지(202)를 비교하여 유사도를 연산하도록 구성될 수도 있고, 음식 이미지(202)와 학습된 음식들의 특징들을 비교하여 유사도를 연산하도록 구성될 수도 있다.The algorithm of the artificial intelligence may be configured to calculate the similarity by comparing the representative image of each food and the food image 202, and calculate the similarity by comparing the features of the food image 202 and the learned foods. It may be.

도 14에 도시된 바와 같이, 유사 음식 판단부(20)는 사용자가 촬영한 물냉면 이미지(202)를 기초로 5개의 유사 음식(물냉면, 밀면, 막국수, 선짓국, 해장국)을 추출하였다.As illustrated in FIG. 14, the similar food determination unit 20 extracts five similar foods (water-cold noodles, mil-myeon, makguksu, seonjik-guk, and haejang-guk) based on the water-cold noodle image 202 photographed by the user.

유사 음식의 상세 정보를 표시하는 단계(S34)에서, 유사 음식 판단부(20)는 서버(10)로 추출된 유사 음식에 대한 정보를 전달하고, 서버(10)는 음식 데이터베이스(13)로부터 전달된 유사 음식과 매칭되는 음식의 상세 정보(203, 204, 205, 206, 207)를 추출하여 제1 단말기(2)로 전송하고, 어플리케이션은 서버(10)로부터 전달된 유사 음식의 상세 정보(203, 204, 205, 206, 207)를 제1 단말기(2)의 화면 상에 표시할 수 있다.In the step of displaying detailed information of the similar food (S34), the similar food determination unit 20 delivers information on the similar food extracted to the server 10, and the server 10 delivers from the food database 13 The detailed information (203, 204, 205, 206, 207) of the food matched with the similar food is extracted and transmitted to the first terminal 2, and the application details (203) of the similar food delivered from the server 10 , 204, 205, 206, 207 may be displayed on the screen of the first terminal 2.

어플리케이션은 유사 음식들 상세 정보(203, 204, 205, 206, 207)를 유사도가 높은 순서로 위에서 아래로 순차적으로 표시할 수 있다.The application may display the detailed information of the similar foods 203, 204, 205, 206, and 207 sequentially from top to bottom in the order of high similarity.

도 14에 도시된 바와 같이, 어플리케이션은 제1 단말기(2)의 화면 상에 1차 상세 정보(203a, 203b, 203c, 204a, 204b, 204c)를 표시할 수 있다.As illustrated in FIG. 14, the application may display primary detailed information 203a, 203b, 203c, 204a, 204b, 204c on the screen of the first terminal 2.

1차 상세 정보(203a, 203b, 203c, 204a, 204b, 204c)는 음식의 대표 이미지(203a, 204a), 음식명(203b, 204b) 및 개략적 설명(203c, 204c)를 포함될 수 있다. 1차 상세 정보(203a, 203b, 203c, 204a, 204b, 204c)는 사용자가 미리 설정한 언어로 표시될 수 있다. 도 14에는 영어를 사용하는 사용자를 가정한 것으로, 영어로 기재된 1차 상세 정보(203a, 203b, 203c, 204a, 204b, 204c)가 도시되어 있다. 도 14에 도시된 바와 같이, 음식명(203b, 204b)은 2가지 언어도 모두 표기되는 것이 바람직하다.The primary detailed information 203a, 203b, 203c, 204a, 204b, 204c may include representative images of food 203a, 204a, food names 203b, 204b, and schematic descriptions 203c, 204c. The primary detailed information 203a, 203b, 203c, 204a, 204b, 204c may be displayed in a language preset by the user. FIG. 14 assumes a user who speaks English, and shows primary detailed information written in English (203a, 203b, 203c, 204a, 204b, 204c). As shown in Fig. 14, it is preferable that the food names 203b and 204b are also written in both languages.

사용자는 S34 단계에서 제1 단말기(2)의 화면 상에 나열된 유사 음식의 대표 이미지(203a, 204a)를 보고 자신이 촬영한 음식이 어떤 음식인지 확인할 수 있다.In step S34, the user may check representative foods 203a and 204a of the similar foods listed on the screen of the first terminal 2 to determine what foods he or she has taken.

유사 음식 판단부(20)의 추가적인 학습을 위해, 어플리케이션은 유사 음식 중 촬영한 음식과 대응하는 음식이 존재하는지 여부와 존재한다면 유사 음식 중 어떤 음식이 촬영한 음식과 대응하는 것인지에 대해 사용자의 응답을 요청할 수 있다.For further learning of the similar food judging unit 20, the application responds to the user's response to whether the food corresponding to the photographed food among the similar foods exists, and if so, which food of the similar food corresponds to the photographed food. You can ask.

어플리케이션은 사용자의 응답 결과를 서버(10)로 전송하고, 서버(10)는 이를 유사 음식 판단부(20)에 전달하여 유사 음식 판단부(20)의 인공지능 알고리즘을 학습하게 할 수 있다.The application may transmit the user's response result to the server 10, and the server 10 may transmit the result to the similar food determination unit 20 to learn the artificial intelligence algorithm of the similar food determination unit 20.

사용자가 1차 상세 정보(203a, 203b, 203c, 204a, 204b, 204c 보다 세부적인 상세 정보가 필요한 경우에는, 상세 정보가 필요한 유사 음식을 터치, 클릭, 탭하는 등의 방식으로 선택하면, 어플리케이션은, 도 8에 도시된 바와 같이, 2차 상세 정보(106a ~ 106g)를 제1 단말기(2)의 화면 상에 표시할 수 있다.If the user needs more detailed information than the primary detailed information (203a, 203b, 203c, 204a, 204b, 204c), the application is selected by touching, clicking, or tapping similar foods that require the detailed information. , As illustrated in FIG. 8, secondary detailed information 106a to 106g may be displayed on the screen of the first terminal 2.

본 발명의 일 실시예에 따른 음식 정보 제공 방법은 음식의 이미지만으로 해당 음식이 어떤 음식인지를 확인할 수 있도록 도와준다. 특히 다른 문화권에서 처음 접한 음식에 대해 사용자가 아무런 지식이 없는 경우에, 사용자는 어플리케이션을 실행하여 음식을 촬영하는 것만으로, 음식에 대한 정보를 획득할 수 있다.The method for providing food information according to an embodiment of the present invention helps to determine what food the food is by only the image of the food. In particular, when the user has no knowledge of food first encountered in other cultures, the user can obtain information about the food by simply running the application and photographing the food.

또한, 사용자의 설정에 따라 여러 가지 언어로 음식에 대한 정보를 제공하므로 사용자가 다른 언어권에 방문하여 음식을 접할 때에도 음식에 대한 정보를 제공할 수 있다.In addition, since information on food is provided in various languages according to a user's setting, information on food can be provided even when a user visits other languages and encounters food.

도 15는 본 발명의 일 실시예에 따른 음식 정보 제공 방법 중 음식 이미지 획득 모드의 다른 실시예를 설명하기 위한 도면이다.15 is a view for explaining another embodiment of the food image acquisition mode of the food information providing method according to an embodiment of the present invention.

설명의 편의를 위해 전술한 실시예에 따른 음식 정보 제공 방법과 공통되는 부분은 동일한 도면부호를 사용하고, 그 설명을 생략한다.For convenience of description, parts common to the method for providing food information according to the above-described embodiment use the same reference numerals, and the description is omitted.

도 15에 도시된 바와 같이, 본 실시예에 따른 음식 정보 제공 방법은 전술한 실시예와 비교하여, 사용자의 위치 정보를 파악하는 단계(S32a) 및 주변 음식점의 메뉴 정보를 로딩하는 단계(S32b)를 더 포함한다.As shown in FIG. 15, the method for providing food information according to the present embodiment is compared with the above-described embodiment, the step of grasping the user's location information (S32a) and loading the menu information of the nearby restaurants (S32b). It further includes.

사용자의 위치 정보를 파악하는 단계(S32a)에서 어플리케이션은 제1 단말기(2)로부터 위치 정보(예를 들어, GPS 정보)를 획득한다.In step S32a of determining the user's location information, the application acquires location information (eg, GPS information) from the first terminal 2.

주변 음식점의 메뉴 정보를 로딩하는 단계(S32b)에서 어플리케이션은 S32a 단계에서 획득한 위치 정보를 서버(10)로 전송한다. 서버(10)는 전송 받은 위치 정보를 음식점 데이터베이스(30)에 전송하고, 음식점 데이터베이스(30)는 수신한 위치 정보를 기반으로 주변의 음식점에 대한 정보와 해당 음식점의 메뉴 정보를 추출한다.In step S32b of loading the menu information of the surrounding restaurant, the application transmits the location information obtained in step S32a to the server 10. The server 10 transmits the received location information to the restaurant database 30, and the restaurant database 30 extracts information about nearby restaurants and menu information of the corresponding restaurant based on the received location information.

음식점 데이터베이스(30)는 수신한 위치 정보로부터 일정 거리 범위 내에 존재하는 음식점을 주변 음식점으로 설정할 수 있으며, 거리 제한은 미리 설정된 값이거나, 사용자에 의해 선택된 값일 수 있다.The restaurant database 30 may set a restaurant within a certain distance range from the received location information as a nearby restaurant, and the distance limit may be a preset value or a value selected by the user.

음식점 데이터베이스(30)는 추출한 주변 음식점에 대한 정보 및 해당 음식점의 메뉴 정보를 서버(10)로 전달한다.The restaurant database 30 delivers information about the extracted nearby restaurants and menu information of the restaurant to the server 10.

S34 단계에서, 서버(10)는 음식점 데이터베이스(30)로부터 전달된 메뉴 정보와 S33 단계에서 유사 음식 판단부(20)가 추출한 유사 음식을 비교하고, 공통되는 음식을 유사 음식으로 선정하여, 선정된 유사 음식과 매칭되는 음식의 상세 정보를 음식 데이터베이스(13)로부터 추출하여 제1 단말기(2)로 전송할 수 있다.In step S34, the server 10 compares the menu information transmitted from the restaurant database 30 with the similar food extracted by the similar food determination unit 20 in step S33, and selects a common food as the similar food, and selects it. The detailed information of the food matching the similar food may be extracted from the food database 13 and transmitted to the first terminal 2.

또는, S33 단계가 진행되기 이전에, 서버(10)는 음식점 데이터베이스(30)로부터 전달된 메뉴 정보를 유사 음식 판단부(20)로 전달하고, S33 단계에서 유사 음식 판단부(20)가 유사 음식을 추출할 때에 그 범위를 음식점 데이터베이스(30)로부터 전달된 메뉴 정보로 제한하도록 할 수 있다.Alternatively, before the step S33 proceeds, the server 10 delivers the menu information transmitted from the restaurant database 30 to the similar food determination unit 20, and in step S33 the similar food determination unit 20 similar food When extracting, the range can be limited to menu information transmitted from the restaurant database 30.

본 실시예에 따른 음식 정보 제공 방법에 따르면, 음식 이미지(202)를 기반으로 사용자에게 제공되는 유사 음식에 대한 정보가 주변 음식점에서 제공하는 음식으로 제한되므로, 유사 음식이 높은 정확도로 제공될 수 있으며, 또한, 유사 음식을 추출하여 사용자에게 제공되는데 소요되는 시간을 단축시킬 수 있다.According to the food information providing method according to the present embodiment, since the information on the similar food provided to the user based on the food image 202 is limited to food provided by nearby restaurants, the similar food can be provided with high accuracy, Also, it is possible to shorten the time required to extract the similar food and provide it to the user.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those of ordinary skill in the art to which the present invention pertains will appreciate that the present invention may be implemented in other specific forms without changing its technical spirit or essential features. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The scope of the present invention is indicated by the following claims rather than the above detailed description, and it should be interpreted that all changes or modifications derived from the meaning and scope of the claims and equivalent concepts thereof are included in the scope of the present invention. do.

1: 음식 정보 제공 시스템 2: 제1 단말기
3: 제2 단말기 10: 서버
100: 제1 모드 아이콘 101, 201: 가이드 라인
102: 음식 메뉴판 이미지 103, 203: 촬영 아이콘
107: 사전주문 아이콘 109: 메뉴 추가 아이콘
110: 주문 생성 아이콘 111: 주문 메시지 창
112: 번역 메시지 창 200: 제2 모드 아이콘
202: 음식 이미지1: food information providing system 2: first terminal
3: Second terminal 10: Server
100: first mode icon 101, 201: guidelines
102: Food menu image 103, 203: shooting icon
107: Pre-order icon 109: Add menu icon
110: Order creation icon 111: Order message window
112: translation message window 200: second mode icon
202: Food image

Claims (20)

음식 메뉴판 이미지를 획득하는 단계;
상기 음식 메뉴판 이미지로부터 음식명을 인식하는 단계;
사용자로부터 인식된 상기 음식명 중 적어도 하나를 선택하는 입력을 수신하는 단계; 및
상기 사용자가 선택한 음식명에 매칭되는 음식의 상세 정보를 표시하는 단계를 포함하는, 음식 정보 제공 방법.Obtaining a food menu image;
Recognizing a food name from the food menu image;
Receiving an input for selecting at least one of the food names recognized by a user; And
And displaying detailed information of foods matching the food name selected by the user. 제1항에 있어서,
상기 음식 메뉴판 이미지 상에 인식된 상기 음식명을 시각적으로 구별할 수 있도록 오버랩하여 표시하는 단계를 더 포함하고,
상기 입력을 수신하는 단계에서, 상기 사용자는 상기 음식 메뉴판 이미지 상에 오버랩하여 표시된 상기 음식명 중 적어도 하나를 선택하는, 음식 정보 제공 방법.According to claim 1,
The method further includes displaying and displaying the food name recognized on the food menu image so as to visually distinguish the food name.
In the step of receiving the input, the user selects at least one of the food names displayed overlapping on the food menu plate image, food information providing method. 제1항에 있어서,
상기 음식의 상세 정보는, 상기 음식명에 매칭되는 음식의 이미지, 재료, 맛 및 조리법 중 적어도 하나를 포함하는, 음식 정보 제공 방법.According to claim 1,
The detailed information of the food includes at least one of an image, a material, a taste, and a recipe of the food matching the food name, the food information providing method. 제1항에 있어서,
상기 음식의 상세 정보는 인식된 상기 음식명을 설정된 언어로 번역한 음식명을 포함하는, 음식 정보 제공 방법.According to claim 1,
The detailed information of the food includes a food name that translates the recognized food name into a set language. 제1항에 있어서,
상기 음식의 상세 정보 중 적어도 하나 또는 인식된 상기 음식명을 선택하여 메뉴를 입력 받고, 상기 메뉴의 수량 정보를 입력 받아 주문 메시지를 생성하는 단계를 더 포함하는, 음식 정보 제공 방법.According to claim 1,
And selecting at least one of the detailed information of the food or the recognized food name to receive a menu, and receiving quantity information of the menu to generate an order message. 제5항에 있어서,
생성된 상기 주문 메시지를 현지 언어로 번역한 번역 메시지로 변환하는 단계를 더 포함하는, 음식 정보 제공 방법.The method of claim 5,
And converting the generated order message into a translation message translated into a local language. 제6항에 있어서,
상기 번역 메시지는 텍스트 메시지 및 음성 메시지 중 적어도 하나로 변환되는, 음식 정보 제공 방법.The method of claim 6,
The translation message is converted to at least one of a text message and a voice message, food information providing method. 제1항에 있어서,
인식된 상기 음식명을 설정된 언어로 번역하는 단계를 더 포함하고,
상기 입력을 수신하는 단계에서, 사용자는 번역된 음식명 중 적어도 하나를 선택하는, 음식 정보 제공 방법.According to claim 1,
Further comprising the step of translating the recognized food name into a set language,
In the step of receiving the input, the user selects at least one of the translated food names, food information providing method. 제8항에 있어서,
상기 음식 메뉴판 이미지 상에 인식된 상기 번역된 음식명을 시각적으로 구별할 수 있도록 오버랩하여 표시하는 단계를 더 포함하는, 음식 정보 제공 방법.The method of claim 8,
And overlapping and displaying the translated food name recognized on the food menu image so as to be visually distinguishable. 제1 언어로 기재된 음식 메뉴판 이미지를 획득하는 단계;
상기 음식 메뉴판 이미지로부터 음식명을 인식하는 단계;
인식된 상기 음식명을 제2 언어로 번역한 음식명 및 상기 제2 언어로 표현된 음식의 상세 정보를 표시하는 단계;
상기 제2 언어로 번역한 음식명 또는 상기 제2 언어로 표현된 음식의 상세 정보 중 적어도 하나를 선택하여 메뉴를 입력 받고, 상기 메뉴의 수량 정보를 입력 받아 주문 메시지를 생성하는 단계; 및
생성된 주문 메시지를 상기 제1 언어로 번역한 번역 메시지로 변환하는 단계를 포함하는, 음식 주문 정보 제공 방법.Obtaining a food menu board image written in a first language;
Recognizing a food name from the food menu image;
Displaying the recognized food name translated into a second language and detailed information of the food expressed in the second language;
Selecting at least one of the food name translated into the second language or the detailed information of the food expressed in the second language to receive a menu, and receiving quantity information of the menu to generate an order message; And
And converting the generated order message into a translation message translated into the first language. 제10항에 있어서,
상기 번역 메시지는 텍스트 메시지 및 음성 메시지 중 적어도 하나로 변환되는, 음식 주문 정보 제공 방법.The method of claim 10,
The translation message is converted to at least one of a text message and a voice message, food order information providing method. 제10항에 있어서,
상기 음식 메뉴판 이미지 상에 인식된 상기 음식명을 시각적으로 구별할 수 있도록 오버랩하여 표시하는 단계 및
사용자로부터 상기 음식 메뉴판 이미지 상에 오버랩하여 표시된 상기 음식명 중 적어도 하나를 선택하는 입력을 수신하는 단계를 더 포함하고,
상기 표시하는 단계에서는, 상기 입력을 수신하는 단계에서 상기 사용자가 선택한 상기 음식명을 상기 제2 언어로 번역한 음식명 및 상기 제2 언어로 표현된 음식의 상세 정보를 표시하는, 음식 주문 정보 제공 방법.The method of claim 10,
Displaying and overlapping the food name recognized on the food menu plate image to visually distinguish the food name;
The method further includes receiving an input for selecting at least one of the food names displayed by overlapping on the food menu plate image from a user,
In the displaying step, providing food order information, displaying the food name translated by the user in the second language and detailed information of food expressed in the second language in the step of receiving the input Way. 제10항에 있어서,
상기 음식의 상세 정보는, 상기 음식명에 매칭되는 음식의 이미지, 재료, 맛 및 조리법 중 적어도 하나를 포함하는, 음식 주문 정보 제공 방법.The method of claim 10,
The detailed information of the food includes at least one of an image, an ingredient, a taste, and a recipe of the food matching the food name, and the method for providing food order information. 단말기에 설치되는 어플리케이션 및 상기 어플리케이션을 통해 상기 단말기와 통신하는 서버를 포함하고,
상기 어플리케이션은 상기 단말기에 저장되어 있거나 상기 단말기에 의해 촬영된 음식 메뉴판 이미지를 상기 서버로 전송하고,
상기 서버는 상기 음식 메뉴판 이미지로부터 음식명을 인식하는 음식명 인식부와 연결되고,
상기 서버는 상기 음식 메뉴판 이미지 상에 상기 음식명 인식부가 인식한 상기 음식명을 시각적으로 구별할 수 있도록 오버랩하여 표시한 메뉴 정보를 생성하는 메뉴 정보 생성부와 연결되고,
상기 서버는 상기 메뉴 정보를 상기 단말기로 전송하고,
상기 어플리케이션은 상기 단말기의 화면 상에 상기 메뉴 정보를 표시하고,
상기 서버는 상기 단말기의 사용자가 상기 단말기의 화면 상에 표시된 상기 메뉴 정보에서 선택한 적어도 하나의 음식명에 매칭되는 음식 상세 정보를 상기 단말기로 전송하여, 상기 단말기의 화면 상에 표시되도록 하는, 음식 정보 제공 시스템.And an application installed in the terminal and a server communicating with the terminal through the application,
The application transmits the food menu plate image stored in the terminal or photographed by the terminal to the server,
The server is connected to a food name recognition unit that recognizes a food name from the food menu image,
The server is connected to a menu information generation unit for generating menu information displayed by overlapping to visually distinguish the food name recognized by the food name recognition unit on the food menu plate image,
The server transmits the menu information to the terminal,
The application displays the menu information on the screen of the terminal,
The server transmits food detailed information matching at least one food name selected from the menu information displayed on the screen of the terminal to the terminal by the user of the terminal, so that it is displayed on the screen of the terminal. Delivery system. 제14항에 있어서,
상기 음식 상세 정보는, 상기 음식명에 매칭되는 음식의 이미지, 재료, 맛 및 조리법 중 적어도 하나를 포함하는, 음식 정보 제공 시스템.The method of claim 14,
The food detailed information includes at least one of an image, a material, a taste, and a recipe of a food matching the food name. 제15항에 있어서,
상기 서버는 상기 음식명 인식부가 인식한 상기 음식명을 설정된 언어로 번역하는 번역부와 연결되고,
상기 음식 상세 정보는 상기 번역부가 번역한 번역 음식명을 더 포함하는, 음식 정보 제공 시스템.The method of claim 15,
The server is connected to a translation unit that translates the food name recognized by the food name recognition unit into a set language,
The food detailed information further includes a translated food name translated by the translation unit, the food information providing system. 제14항에 있어서,
상기 어플리케이션 또는 상기 서버는,
사용자가 상기 단말기의 화면 상에 표시된 상기 음식의 상세 정보를 기초로 선택한 메뉴 및 수량을 기초로 주문 메시지를 생성하는, 음식 정보 제공 시스템.The method of claim 14,
The application or the server,
A food information providing system that generates an order message based on a menu and quantity selected by a user based on detailed information of the food displayed on the screen of the terminal. 제17항에 있어서,
상기 어플리케이션 또는 상기 서버는,
상기 주문 메시지를 현지 언어로 번역한 번역 메시지로 변환하는, 음식 정보 제공 시스템.The method of claim 17,
The application or the server,
A food information providing system that converts the order message into a translation message translated into a local language. 제18항에 있어서,
상기 어플리케이션은 상기 번역 메시지를 상기 단말기의 화면 상에 표시하는, 음식 정보 제공 시스템.The method of claim 18,
The application displays the translation message on the screen of the terminal, food information providing system. 제18항에 있어서,
상기 어플리케이션은 상기 번역 메시지를 상기 단말기의 스피커를 통해 출력하는, 음식 정보 제공 시스템.The method of claim 18,
The application outputs the translation message through the speaker of the terminal, food information providing system.
KR1020180150809A 2018-11-29 2018-11-29 System for providing food information, method for providing food information and food order information KR20200064574A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180150809A KR20200064574A (en) 2018-11-29 2018-11-29 System for providing food information, method for providing food information and food order information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180150809A KR20200064574A (en) 2018-11-29 2018-11-29 System for providing food information, method for providing food information and food order information

Publications (1)

Publication Number Publication Date
KR20200064574A true KR20200064574A (en) 2020-06-08

Family

ID=71090190

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180150809A KR20200064574A (en) 2018-11-29 2018-11-29 System for providing food information, method for providing food information and food order information

Country Status (1)

Country Link
KR (1) KR20200064574A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220026214A (en) * 2020-08-25 2022-03-04 특허법인아이피랩 Method and system recommending food menu
KR20220083223A (en) * 2020-12-11 2022-06-20 엔에이치엔클라우드 주식회사 Method and system for providing deep learning-based menu
KR102410245B1 (en) * 2021-06-22 2022-06-22 문상혁 Method and application for supporting communication of travelers using mobile device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220026214A (en) * 2020-08-25 2022-03-04 특허법인아이피랩 Method and system recommending food menu
KR20220083223A (en) * 2020-12-11 2022-06-20 엔에이치엔클라우드 주식회사 Method and system for providing deep learning-based menu
KR102410245B1 (en) * 2021-06-22 2022-06-22 문상혁 Method and application for supporting communication of travelers using mobile device

Similar Documents

Publication Publication Date Title
KR20200064574A (en) System for providing food information, method for providing food information and food order information
WO2018012924A1 (en) Augmented reality device and operation thereof
CN107862018B (en) Recommendation method and device for food cooking method
KR102297392B1 (en) System, method and apparatus for image responsive automated assistant
CN109102802B (en) System for processing user utterances
JP6032713B2 (en) Electronic device and data processing method thereof
KR101756042B1 (en) Method and device for input processing
US20090125477A1 (en) Foreign language abbreviation translation in an instant messaging system
US20190340200A1 (en) Multi-modal interaction between users, automated assistants, and other computing services
KR101488930B1 (en) Apparatus and method for providing input prediction service of mobile device
JP2021523467A (en) Multimodal dialogue between users, automated assistants, and other computing services
EP3598320B1 (en) Search apparatus, search method, search program, and carrier means
AU2013222043A1 (en) Method and apparatus for providing intelligent service using inputted character in a user device
KR20190000587A (en) Computer program stored in computer-readable medium and user device having translation algorithm using by deep learning neural network circuit
CN104182780A (en) Method for automatically generating dining comments and terminal equipment
CN111797262A (en) Poetry generation method and device, electronic equipment and storage medium
JP2019192091A (en) Food information providing system
KR20200071791A (en) System for providing food information and method for providing food information
KR20190075310A (en) Electronic device and method for providing information related to phone number
KR101852905B1 (en) Method for providing application list and apparatus for the same
JP6378263B2 (en) Translation method using image, user terminal, server, system, and computer program
CN115810062A (en) Scene graph generation method, device and equipment
KR20180123412A (en) Contents service system and method
RU2636673C2 (en) Method and device for line saving
US20230274101A1 (en) User terminal, broadcasting apparatus, broadcasting system comprising same, and control method thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application