KR102108535B1 - 증강현실을 이용한 음식 정보 처리 방법 - Google Patents

증강현실을 이용한 음식 정보 처리 방법 Download PDF

Info

Publication number
KR102108535B1
KR102108535B1 KR1020170157622A KR20170157622A KR102108535B1 KR 102108535 B1 KR102108535 B1 KR 102108535B1 KR 1020170157622 A KR1020170157622 A KR 1020170157622A KR 20170157622 A KR20170157622 A KR 20170157622A KR 102108535 B1 KR102108535 B1 KR 102108535B1
Authority
KR
South Korea
Prior art keywords
information
food
menu
food menu
image
Prior art date
Application number
KR1020170157622A
Other languages
English (en)
Other versions
KR20190059728A (ko
Inventor
김선희
오연재
Original Assignee
오연재
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오연재 filed Critical 오연재
Priority to KR1020170157622A priority Critical patent/KR102108535B1/ko
Publication of KR20190059728A publication Critical patent/KR20190059728A/ko
Application granted granted Critical
Publication of KR102108535B1 publication Critical patent/KR102108535B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 증강현실을 이용한 음식 정보 처리 장치 및 방법에 관한 것이다.
본 발명에 따른 증강현실을 이용한 음식 정보 처리 방법은 음식 메뉴(Menu)가 포함된 영상을 촬영하는 단계, 상기 영상에서 상기 음식 메뉴에 대응하는 특징점을 추출하는 단계, 상기 특징점에 대한 정보를 근거로 하여 상기 음식 메뉴를 판별하는 단계 및 판별한 상기 음식 메뉴에 대한 정보를 상기 영상과 융합하여 음성, 이미지(Image) 또는 동영상 중 적어도 하나의 타입으로 출력하는 단계를 포함할 수 있다.

Description

증강현실을 이용한 음식 정보 처리 방법{Method for Processing Food Information using Augmented Reality}
본 발명은 증강현실을 이용한 음식 정보 처리 장치 및 방법에 관한 것이다.
일반적으로 식당에 방문한 손님은 메뉴판 등을 통해 해당 음식에 대한 정보를 확인하고, 확인한 정보를 근거로 하여 원하는 음식 메뉴를 주문할 수 있다.
그러나 메뉴판 등을 통해서는 음식 메뉴에 대한 충분한 정보를 획득하는 것이 어려울 수 있다. 이에 따라, 손님은 원하는 음식을 정확하게 주문하는 것이 어렵다는 문제점이 있다.
한편, 손님은 종업원 등을 호출하여 추가적인 정보를 획득하는 것이 가능할 수 있다. 이러한 경우에는 식당 사업자 측의 관점에서는 충분한 수의 종업원을 고용해야 하므로 부담이 될 수 있다.
본 발명은 사용자가 음식 메뉴의 영상을 이용하여 음식 메뉴에 대한 충분한 정보를 획득할 수 있는 증강현실을 이용한 음식 정보 처리 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명에 따른 증강현실을 이용한 음식 정보 처리 방법은 음식 메뉴(Menu)가 포함된 영상을 촬영하는 단계, 상기 영상에서 상기 음식 메뉴에 대응하는 특징점을 추출하는 단계, 상기 특징점에 대한 정보를 근거로 하여 상기 음식 메뉴를 판별하는 단계 및 판별한 상기 음식 메뉴에 대한 정보를 상기 영상과 융합하여 음성, 이미지(Image) 또는 동영상 중 적어도 하나의 타입으로 출력하는 단계를 포함할 수 있다.
상기 음식 메뉴에 대한 정보는 가격 정보, 재료 정보, 조리 방법 정보, 원산지 정보, 조리 시간 정보, 열량 정보, 용량 정보, 맛 정보 및 추천 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 음식 메뉴에 대한 정보는 대기 시간에 대한 정보 및 대기 순서에 대한 정보 중 적어도 하나를 더 포함할 수 있다.
또한, 상기 재료 정보는 상기 음식 메뉴의 조리에 사용되는 지역 특산품에 대한 정보를 포함하고, 상기 지역 특산품에 대한 정보는 가격 정보, 지역 정보, 판매 매장 정보 및 특징 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 음식 메뉴에 대한 정보는 이미지 또는 동영상 중 적어도 하나의 타입으로 출력되고, 화면상에서 상기 음식 메뉴의 위치를 근거로 하여 상기 이미지 또는 동영상이 표시된 위치를 결정하는 단계 및 상기 결정된 위치에 상기 이미지 또는 동영상을 표시하는 단계를 포함할 수 있다.
본 발명에 따른 음식 정보 처리 장치는 음식 메뉴(Menu)가 포함된 영상을 촬영하는 카메라부, 상기 카메라부가 촬영한 영상에서 상기 음식 메뉴에 대응하는 특징점을 추출하는 추출부, 상기 추출부가 추출한 상기 특징점에 대한 정보를 근거로 하여 상기 음식 메뉴를 판별하는 판별부 및 상기 판별부가 판별한 상기 음식 메뉴에 대한 정보를 상기 영상과 융합하여 음성, 이미지(Image) 또는 동영상 중 적어도 하나의 타입으로 출력하는 출력부를 포함할 수 있다.
본 발명에 따른 증강현실을 이용한 음식 정보 처리 장치 및 방법은 음식 메뉴의 영상만으로도 해당 음식 메뉴에 대한 충분한 정보를 용이하게 획득할 수 있는 효과가 있다.
도 1 내지 도 3은 본 발명에 따른 증강현실을 이용한 음식 정보 처리 장치의 구성에 대해 설명하기 위한 도면이다.
도 4 내지 도 11은 증강현실을 이용한 음식 정보 처리 방법에 대해 설명하기 위한 도면이다.
도 12 내지 도 13은 주문 매장을 확인하는 방법에 대해 설명하기 위한 도면이다.
도 14 내지 도 18은 이모티콘과 AI를 이용한 음식 정보 처리 방법에 대해 설명하기 위한 도면이다.
도 19는 대기시간/대기순서에 대한 정보를 제공하는 방법에 대해 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 증강현실을 이용한 음식 정보 처리 장치 및 방법에 대해 상세히 설명한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다.
본 발명을 설명함에 있어서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지 않을 수 있다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.
및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함할 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석될 수 있으며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않을 수 있다.
아울러, 이하의 실시예는 당 업계에서 평균적인 지식을 가진 자에게 보다 완전하게 설명하기 위해서 제공되는 것으로서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하에서 설명되는 다양한 실시예들은 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 발명의 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
한편, 소프트웨어적인 구현에 의하면, 본 발명에서 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다.
이하에서 'A 및/또는 B'는 'A 및 B 중 적어도 하나'로 해석될 수 있다.
도 1 내지 도 3은 본 발명에 따른 증강현실을 이용한 음식 정보 처리 장치의 구성에 대해 설명하기 위한 도면이다.
도 1을 살펴보면, 본 발명에 따른 증강현실을 이용한 음식 정보 처리 장치(10)는 통신부(800), 출력부(230), 사용자입력부(500), 인터페이스부(600), 메모리부(400), 전원공급부(700), 카메라부(300) 및 제어부(100)를 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 음식 정보 처리 장치(10)를 구현하는 것도 가능하다.
카메라부(300)는 주위의 영상, 예컨대 음식 메뉴(Menu)가 포함된 영상을 촬영할 수 있다. 이러한 카메라부(300)는 위치 센서, 동작 센서, 카메라(Camera), 스캐너(Scanner) 중 적어도 하나를 포함하는 것이 가능하다.
통신부(800)는 다른 단말기 등과 무선 통신을 위한 하나 이상의 모듈을 포함할 수 있다. 통신부(800)는 도시하지 않은 서버(Server)와 데이터 송수신을 수행할 수 있다. 예를 들면, 통신부(800)는 서버로 음식 메뉴를 포함하는 영상 전송하고, 서버로부터 음식 메뉴에 대한 정보를 수신하는 것이 가능하다. 또는, 통신부(800)는 음식 메뉴를 포함하는 영상의 특징점에 대한 정보를 도시하지 않은 서버로 전송하고, 서버로부터 음식 메뉴에 대한 정보를 수신하는 것이 가능하다.
설명하지 않은 식별부호 900은 안테나이다.
사용자 입력부(500)는 사용자가 음식 정보 처리 장치(10)의 동작 제어를 위한 입력 데이터를 발생시킬 수 있다. 사용자 입력부(500)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠 및/또는 조그 스위치를 포함할 수 있다.
출력부(230)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(200), 음성 출력부(210) 및 진동부(220)를 포함할 수 있다.
이러한 출력부(230)는 음식 메뉴에 대한 정보를 음식 메뉴를 포함하는 영상과 융합하여 음성, 이미지(Image) 또는 동영상 중 적어도 하나의 타입으로 출력할 수 있다.
디스플레이부(200)는 음식 정보 처리 장치(10)에서 처리되는 정보를 사용자가 확인 가능하도록 표시 출력할 수 있다. 예를 들면, 디스플레이부(200)는 화면상에 판별한 음식 메뉴에 대한 정보(이미지 정보 및/또는 동영상 정보)를 표시하는 것이 가능하다.
여기서, 음식 메뉴에 대한 정보는 가격 정보, 재료 정보, 조리 방법 정보, 원산지 정보, 조리 시간 정보, 열량 정보, 용량 정보, 맛 정보 및 추천 정보 중 적어도 하나를 포함하는 것이 가능하다.
음식 메뉴에 대한 정보에서 재료 정보는 지역 특산품 정보를 포함할 수 있다. 여기서 지역 특산품은 해당 매장(식당)이 위치한 지역에서 생산되는 농축수산물 등 음식 조리에 사용되는 재료를 의미할 수 있다. 여기서, 지역 특산품에 대한 정보는 가격 정보, 지역 정보, 판매 매장 정보 및 특징 정보 중 적어도 하나를 포함할 수 있다.
아울러, 음식 메뉴에 대한 정보는 대기 시간에 대한 정보, 대기 순서에 대한 정보, 해당 음식에 관련된 관광지 정보, 숙박 정보 등의 추가적인 정보를 더 포함하는 것도 가능할 수 있다.
이러한, 음식 메뉴에 대한 정보는 음성, 이미지 또는 동영상 중 적어도 하나의 타입으로 출력될 수 있다.
음성 출력부(210)는 음식 정보 처리 장치(10)에서 수행되는 기능과 관련된 음성을 출력한다. 예를 들면, 음성 출력부(210)는 음식 메뉴에 대한 정보를 음성으로 출력할 수 있다.
메모리부(400)는 제어부(100)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수도 있다.
아울러, 메모리부(400)는 음식 정보 처리를 위한 다양한 정보를 저장할 수 있다. 예를 들면, 메모리부(400)는 음식 메뉴에 대한 정보, 식당 등의 매장에 대한 정보, 특징점에 대한 정보 등 다양한 정보를 저장할 수 있다.
인터페이스부(600)는 음식 정보 처리 장치(10)에 연결되는 모든 외부기기와의 통로 역할을 할 수 있다. 인터페이스부(600)는 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 음식 정보 처리 장치(10) 내부의 각 구성 요소에 전달하거나 음식 정보 처리 장치(10) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.
전원공급부(700)는 음식 정보 처리 장치(10)에 필요한 전력을 공급할 수 있다.
제어부(100)는 음식 정보 처리 장치(10)의 전반적인 동작을 제어할 수 있다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행할 수 있다.
이를 위해, 제어부(100)는, 도 2의 경우와 같이, 추출부(110), 판별부(120), 위치 결정부(130), 선택부(140), 주문부(150), 결재부(160) 및 마커부(170)를 포함할 수 있다.
추출부(110)는 음식 메뉴를 포함하는 영상에서 음식 메뉴에 대응하는 특징점을 추출하는 것이 가능하다.
판별부(120)는 음식 메뉴를 포함하는 영상에서 특징점에 대한 정보를 근거로 하여 상기 음식 메뉴를 판별하는 것이 가능하다.
위치 결정부(130)는 화면상에서 음식 메뉴의 위치를 근거로 하여 음식 메뉴에 대한 정보, 예컨대 이미지 또는 동영상이 표시되는 위치를 결정할 수 있다.
디스플레이부(200)는 위치 결정부(130)가 결정한 위치에 음식 메뉴에 대한 정보, 예컨대 이미지 또는 동영상을 표시할 수 있다.
선택부(140)는 판별부(120)가 판별한 음식 메뉴를 사용자의 명령입력에 따라 선택할 수 있다.
주문부(150)는 선택부(140)가 선택한 음식 메뉴를 사용자의 명령입력에 따라 주문할 수 있다.
결재부(160)는 주문한 음식 메뉴에 대응하여 결재를 수행할 수 있다.
마커부(170)는 마커(Marker)의 선택, 표시 등을 관리할 수 있다.
이상에서 설명한 음식 정보 처리 장치(10)의 기능은 이하의 설명을 통해 보다 명확히 될 수 있다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
이상에서 설명한 음식 정보 처리 장치(10)에 적어도 하나의 다른 부분이 추가되는 것이 가능할 수 있다.
본 발명에 따른 음식 정보 처리 장치(10)는 도 3의 경우와 같이 테블릿(Tablet) 등의 이동통신 단말기 형태로 구현될 수 있다.
도 3을 살펴보면, 음식 정보 처리 장치(10)는 디스플레이부(200)와 카메라부(300)를 포함하는 것을 확인할 수 있다.
본 발명에 따른 음식 정보 처리 장치(10)에서 카메라부(300)는 듀얼(Dual) 카메라를 포함하는 것도 가능할 수 있다. 이러한 경우에는, 깊이 데이터(Depth Data)를 획득할 수 있고, 이에 따라 증강 현실을 보다 정밀하게 구현하는 것이 가능하다.
본 발명에 따른 음식 정보 처리 장치(10)는 도 3에 한정되지 않을 수 있다. 예를 들면, 본 발명에 따른 음식 정보 처리 장치(10)는 카메라가 장착된 모니터(Monitor), 텔레비전(TV) 등인 타입인 경우도 가능하고, 또는 스마트 폰(Smart Phone) 등의 이동통신 단말기 타입인 경우도 가능할 수 있다. 이하에서는 설명의 편의를 위해 음식 정보 처리 장치(10)가 테블릿인 경우로 가정하여 설명한다.
또는, 본 발명에 따른 음식 정보 처리 장치(10)는 증강 현실을 구현할 수 있는 안경 형태로 제작되는 것도 가능할 수 있다. 이러한 경우에는, 안경의 렌즈 부분이 디스플레이부(200)에 해당될 수 있다.
본 발명에 따른 음식 정보 처리 장치(10)를 이용한 음식 정보 처리 방법에 대해 이하에서 설명한다.
도 4 내지 도 11은 증강현실을 이용한 음식 정보 처리 방법에 대해 설명하기 위한 도면이다. 이하에서는 이상에서 설명한 내용이 설명은 생략될 수 있다.
음식 정보를 처리하기 위해 음식 메뉴에 대한 정보를 미리 가공하고 저장하는 과정이 필요할 수 있다.
자세하게는, 관리자는 서비스할 음식 메뉴를 선정(S101)할 수 있다. 예를 들어, 식당에서 제공하는 모든 음식 메뉴를 확인하고, 이를 메뉴로서 선정할 수 있다.
만약, 본 발명에 따른 음식 정보 처리 방법이 적용되는 식당의 개수가 복수개인 경우에는 각각의 식당에서 제공하는 모든 음식 메뉴를 확인하고 이를 각각의 식당별로 메뉴로 선정할 수 있다.
아울러, 선정한 음식 메뉴에 대한 정보, 예컨대 가격 정보, 재료 정보, 조리 방법 정보, 원산지 정보, 조리 시간 정보, 대기 시간에 대한 정보, 열량 정보, 용량 정보, 맛 정보 및 추천 정보 등의 다양한 정보를 저장(S201)할 수 있다.
아울러, 선정한 음식 메뉴에 대한 특징점에 대한 정보도 함께 저장할 수 있다.
이후, 저장한 정보들을 데이터 베이스(DB)화 할 수 있다(S301).
데이터 베이스에는 음식 메뉴에 대한 정보가 음성, 이미지 및/또는 동영상의 타입으로 저장될 수 있다.
이후, 식당 등에서 제공하는 음식 메뉴의 종류가 변경되는 등의 경우에 피드백(S410)을 받아서 음식 메뉴에 대한 정보를 업데이트할 수 있다.
이러한 과정은 도시하지 않은 관리자 측의 서버(Server)에서 수행될 수 있다.
만약, 사용자, 즉 손님이 사용하는 음식 정보 처리 장치(10)가 내부 데이터 베이스를 갖추고, 내부 데이터 베이스에 음식 메뉴에 대한 정보를 충분히 저장하고 있는 경우에는 S101 단계부터 S401 단계는 음식 정보 처리 장치(10)에서 수행되는 것이 가능할 수 있다.
이하에서는 설명의 편의를 위해 S101 단계부터 S401 단계는 관리자 측의 서버에서 수행되는 것으로 가정하여 설명한다.
도 4를 살펴보면, 먼저 카메라부(300)가 영상을 촬영(S100)할 수 있다. 예를 들면, 도 5의 경우와 같이, 사용자는 본 발명에 따른 음식 정보 처리 장치(10)를 이용하여 음식 메뉴(1010)가 표시되어 있는 메뉴판(1000)을 촬영할 수 있다. 이러한 경우, 음식 정보 처리 장치(10)가 촬영한 영상에는 음식 메뉴(1010)가 포함될 수 있다.
카메라부(300)의 촬영 이전에 증강현실 모드를 발동시키는 것이 가능하다.
증강 현실(Augmented Reality)이란 일반적으로 가상 환경 및 가상현실에서 파생한 용어로서, 실제 환경에 컴퓨터 그래픽 영상 등을 삽입하여 실세계 영상과 가상의 영상을 혼합한 것을 의미할 수 있다. 즉, 증강 현실은 실세계와 가상 세계를 결합하는 것이라고 할 수 있다.
이후, 촬영한 영상에서 음식 메뉴에 대응하는 특징점을 추출(S200)할 수 있다. 예를 들면, 도 6의 (A)의 음식 메뉴 영상에서 도 6의 (B)와 같이 특징점을 추출하는 것이 가능하다.
여기서, 특징점은 음식 메뉴 영상에서 주위와 구분되는 특징적인 위치를 의미할 수 있다. 예를 들면, R, G, B 데이터가 급격하기 변하는 위치가 특징점에 대응될 수 있다.
이후, 추출한 특징점에 대한 정보를 도시하지 않은 서버의 데이터 베이스와 비교/대조하여 특징점을 분석할 수 있다(S300).
이후, 분석 결과에 근거하여 추출한 특징점에 대응하는 음식 메뉴를 판별(S400)할 수 있다.
자세하게는, 음식 메뉴를 포함하는 영상에서 추출한 특징점에 대한 정보와 정확히 매칭하는 정보를 판별할 수 있다.
또는, 음식 메뉴를 포함하는 영상에서 추출한 특징점에 대한 정보와 매칭되지 않더라도 유사도가 높은 정보를 검색하는 것이 가능하다. 아울러, 유사도가 가장 높은 정보를 매칭되는 정보로서 판별하는 것이 가능하다.
본 발명에서는 음식 정보 처리 장치(10)가 음식 메뉴 영상에서 직접 특징점에 대한 정보를 추출하고, 추출한 특징점에 대한 정보를 서버로 전송하여 데이터 베이스와 비교하는 것이 가능할 수 있다. 이러한 경우에는, 음식 정보 처리 장치(10)의 제어부(100)의 추출부(110)가 특징점에 대한 정보를 추출하는 것이 가능하다.
또는, 음식 정보 처리 장치(10)에서는 음식 메뉴를 포함하는 영상를 촬영하고, 촬영한 영상을 서버로 전송할 수 있다. 아울러, 서버에서는 음식 정보 처리 장치(10)로부터 수신한 영상을 분석하여 특징점을 추출하는 것도 가능할 수 있다. 이러한 경우에는, 음식 정보 처리 장치(10)의 제어부(100)에서 추출부(110)는 생략되는 것도 가능할 수 있다.
이후, 판별한 음식 메뉴에 대한 정보를 해당 영상과 융합(S500)하고, 융합한 정보를 출력(S600)할 수 있다.
예를 들면, 도 7의 경우와 같이 음식 메뉴(1010)가 포함된 영상에 음식 메뉴에 대한 정보(1020)를 융합하여 디스플레이부(200)에 표시하는 것이 가능하다. 이하에서는 음식 메뉴에 대한 정보(1020)를 메뉴 정보(1020)라고 칭할 수 있다.
여기서, 메뉴 정보는, 도 8의 경우와 같이, 메뉴의 명칭, 열량, 재료, 원산지, 가격 등에 대한 정보를 포함할 수 있다.
본 발명에서 메뉴 정보는 도 8에 한정되지 않을 수 있다. 예를 들면, 메뉴 정보(음식 메뉴에 대한 정보)는 가격 정보, 재료 정보, 조리 방법 정보, 원산지 정보, 조리 시간 정보, 열량 정보, 용량 정보, 맛 정보 및 추천 정보 중 적어도 하나를 포함하는 것이 가능하다.
아울러, 메뉴 정보는 해당 음식에 관련된 관광지 정보, 숙박 정보, 지역 특산품 정보 등의 추가적인 정보를 더 포함하는 것도 가능할 수 있다.
이에 더하여 메뉴 정보는 사용자의 추천 정보, 사용자의 후기 정보, 추천 수에 대한 정보 등 다양한 정보를 포함하는 것도 가능할 수 있다.
또한, 메뉴 정보는 해당 음식 메뉴에 대응하는 설화, 전설, 고전, 서적(자료), 식당(매장)의 역사 등의 정보를 포함하는 것이 가능하다. 이러한 경우, 음식 메뉴를 스토리텔링(Storytelling) 형식으로 소개할 수 있다. 이처럼, 음식 메뉴를 스토리텔링 형식으로 소개하는 경우에는 음식 메뉴에 대한 몰입도를 향상시키는 것이 가능할 수 있다.
도 8에서는, 메뉴 정보가 이미지 타입으로 제공되는 경우만을 설명하고 있지만, 본 발명에서 메뉴 정보는 음성, 이미지 및 동영상 중 적어도 하나의 타입으로 제공되는 것이 가능할 수 있다.
예를 들면, 메뉴 정보는 해당 음식 메뉴의 조리 과정을 소개하는 동영상을 포함하는 것이 가능하다. 이러한 경우에는, 사용자(손님)는 음식 메뉴의 조리 과정을 근거로 하여 음식 메뉴를 선택할 수 있기 때문에 메뉴 선택에 따른 고통을 줄일 수 있다.
만약, 음식 메뉴에 대한 정보가 음성으로만 제공되는 경우에는 융합단계(S500)는 생략되는 것이 가능하다.
음식 메뉴에 대한 정보를 지역 특산품과 연동시켜 제공하는 것이 가능할 수 있다. 다르게 표현하면, 소정의 음식을 조리하는데 사용되는 요리 재료 중 지역 특산품이 포함되는 경우에, 그 지역 특산품에 대한 정보를 추가적으로 더 제공하는 것이 가능하다.
이를 위해, 음식 메뉴 정보 중 재료 정보는 음식 메뉴의 조리에 사용되는 지역 특산품에 대한 정보를 포함하고, 지역 특산품에 대한 정보는 가격 정보, 지역 정보, 판매 매장 정보 및 특징 정보 중 적어도 하나를 포함할 수 있다.
예를 들면, 도 9의 경우와 같이, 사용자가 음식 정보 처리 장치를 이용하여 메뉴판에서 더덕구이가 포함된 메뉴판을 촬영하는 경우에, 더덕구이에 사용되는 지역 특산품인 더덕 및 고추장에 대한 정보를 추가로 제공할 수 있다.
이러한 경우, 사용자(손님)은 더덕구이의 조리에 필요한 지역 특산품을 용이하게 확인할 수 있고, 더욱이 그 지역 특산품을 용이하게 구매할 수 있다. 이에, 지역 관광 산업의 활성화에 도움이 될 수 있을 것이다.
한편, 메뉴 정보 출력 단계(S600)에서 음식 메뉴에 대한 정보는 이미지 또는 동영상 중 적어도 하나의 타입으로 출력되는 경우에 음식 메뉴의 위치를 고려하여 메뉴 정보의 표시 위치를 설정하는 것이 가능하다.
예를 들어, 도 9의 (A)와 같이, 디스플레이부(200)의 화면상에서 음식 메뉴가 왼쪽 상단측에 치우쳐서 표시되는 경우에는 메뉴 정보(1020)는 디스플레이부(200)의 오른쪽 하단 영역에 표시하는 것이 가능할 수 있다.
이와 반대로, 도 9의 (B)와 같이, 디스플레이부(200)의 화면상에서 음식 메뉴가 오른쪽 하단측에 치우쳐서 표시되는 경우에는 메뉴 정보(1020)는 디스플레이부(200)의 왼쪽 상단 영역에 표시하는 것이 가능할 수 있다.
도 9의 (A) 및 (B)에서, 메뉴 정보는 이미지 또는 동영상 정보일 수 있다.
이를 위해, 디스플레이부(200)의 화면상에서 음식 메뉴를 포함하는 영상의 특징점의 위치를 판별할 수 있다. 즉, 영상의 특징점이 디스플레이부(200)의 화면상의 어느 영역에 주로 위치하는지를 고려하여 메뉴 정보(1020)의 표시위치를 결정하는 것이 가능할 수 있다.
이후, 사용자(손님)는 디스플레이부(200)의 화면상에 표시된 메뉴 정보를 터치(Touch) 등의 방법을 통해 선택(S700)할 수 있다.
이후, 사용자는 선택한 음식 메뉴를 주문(S800)하고, 주문한 음식 메뉴에 대해 결재(S900)를 수행할 수 있다.
예를 들면, 도 10의 경우와 같이, 디스플레이부(200)의 화면상에 주문 메뉴(1100)와 결재 메뉴(1110)를 표시할 수 있다. 이러한 경우, 사용자의 선택에 따라 주문 및/또는 결재가 수행될 수 있다.
도시하지는 않았지만, 주문 및/또는 결재 이후에 음식이 서빙되기 이전까지의 시간 동안 게임, 동영상, 음악 등 다양한 추가적인 서비스를 제공할 수 있다. 이러한 경우, 사용자는 음식을 기다리는 시간 동안의 지루함을 달랠 수 있다.
한편, 보다 효과적인 주문을 위해서 현재 사용자가 이용하고 있는 식당(매장)을 구분할 수 있다. 이에 대해, 첨부된 도 12 내지 도 13을 참조하여 살펴보면 아래와 같다.
도 12 내지 도 13은 주문 매장을 확인하는 방법에 대해 설명하기 위한 도면이다. 이하에서는 이상에서 상세히 설명한 부분에 대한 설명은 생략될 수 있다.
도 12를 살펴보면, 먼저 본 발명에 따른 음식 정보 처리 방법을 수행하기 위한 앱(App)을 실행(S1000)할 수 있다.
본 발명에 따른 앱은 사용자(손님)의 단말기(음식 정보 처리 장치(10))에 설치될 수 있다.
아울러, 본 발명에 따른 또 다른 앱은 도시하지 않은 운영자(매장)의 단말기에 설치되는 것도 가능할 수 있다.
음식 정보 처리 장치(10)에서 앱을 실행하면 장치(10)에 대응하는 매장을 확인(S1010)할 수 있다.
이후, 음식 정보 처리 장치(10)와 매장을 연동(S1020)시킬 수 있다.
예를 들면, 도 13의 경우와 같이, 음식 정보 처리 장치가 매장에 설치된 제 1 통신 장치(30)(매장측 단말기)와 통신을 수행하면, 제 1 통신 장치(30)의 식별정보 및 음식 정보 처리 장치(10)(혹은 제 1 음식 정보 처리 장치의 사용자)의 식별정보를 서버(20)측에 전송할 수 있다.
그러면, 서버(20)측에서는 음식 정보 처리 장치(10)가 제 1 통신 장치(30)와 통신 중이라는 것을 확인할 수 있는 것이다.
이후, 서버(20)는 음식 정보 처리 장치(10)가 주문하거나 결재한 정보는 제 1 통신 장치(30)에 연동하는 것으로 인식할 수 있다.
이러한 경우, 사용자 측에서는 본 발명에 따른 앱을 자신의 단말기에 설치하는 것만으로 복수의 매장(식당)의 음식 메뉴에 대한 정보를 획득하고 주문하는 것이 가능할 수 있다.
한편, 사용자(손님)의 몰입도와 만족도를 향상시키기 위해 이모티콘(Emoticon)과 AI(인공지능, Artificial Intelligence)을 이용하는 것이 가능하다. 이에 대해, 첨부된 도 14 내지 도 18을 참조하여 살펴보면 아래와 같다.
도 14 내지 도 18은 이모티콘과 AI를 이용한 음식 정보 처리 방법에 대해 설명하기 위한 도면이다. 이하에서는 이상에서 상세히 설명한 부분에 대한 설명은 생략될 수 있다.
도 14를 살펴보면, 카메라부(300)가 영상을 촬영(S1100)하고, 촬영한 영상을 분석하여 마커(Marker, MK)가 포함되어 있는지의 여부를 판단(S1200)할 수 있다.
판단결과, 촬영한 영상에 마커(MK)가 포함되지 않는 경우에는 미리 설정된 다른 기능(Default)을 수행(S1500)할 수 있다. 예를 들면, 앞서 도 4와 그에 관련하여 설명한 내용이 수행될 수 있다.
반면에, 촬영한 영상에 마커(MK)가 포함되는 경우에는 디스플레이부(200)에 마커(MK)에 대응하는 이모티콘(ET)을 표시할 수 있다(S1300).
예를 들어, 도 15의 경우와 같이, 소정의 메뉴판(1200)에 마커(MK)가 표시된 경우를 가정하여 보자.
이러한 경우에, 사용자가 음식 정보 처리 장치(10)를 이용하여 메뉴판(1200)을 촬영하면, 도 16의 경우와 같이, 마커(MK)에 대응하는 이모티콘(ET)이 디스플레이부(200)에 표시될 수 있다.
이러한 이모티콘(ET)은 AI를 시각적으로 표현한 것으로 볼 수 있다. 이모티콘(ET)을 사용하면 AI에 대한 사용자의 몰입도를 향상시킬 수 있다.
마커(MK)의 형태(종류)에 따라 이모티콘(ET)의 표시 위치가 결정될 수 있다. 예를 들어, 도 16의 경우와 같이, 마커(MK)가 램프 형태인 경우에는 램프의 주둥이로부터 이모티콘이 등장하고 표시될 수 있다.
아울러, 이모티콘(ET)과 함께 음식 메뉴에 대한 정보(메뉴 정보)를 디스플레이부(200)에 출력(S1400)하여 표시할 수 있다. 이모티콘(ET)과 메뉴 정보가 함께 표시되는 경우의 일례를 도 17에 도시하였다.
이러한 경우, 메뉴 정보는 이모티콘(ET)에 대응하여 출력할 수 있다. 예를 들면, 이미지 타입의 메뉴 정보를 이모티콘(ET)이 제공하는 방식으로 디스플레이부(200)에 표시하는 것이 가능하다.
또는, 이모티콘(ET)이 메뉴 정보를 음성 타입으로 제공하는 것이 가능하다. 이러한 경우, 이모티콘(ET)의 입이 움직여서 이모티콘(ET)이 말을 하는 것으로 표시할 수 있다.
한편, 하나의 음식 메뉴에는 하나의 이모티콘이 대응되는 것이 가능할 수 있다. 이러한 경우, 각각의 음식 메뉴에는 마커(MK)가 대응될 수 있다.
또는, 하나의 이모티콘과 마커(MK)는 복수의 음식 메뉴에 대응되는 것도 가능할 수 있다.
예를 들면, A 식당이 총 10가지의 음식 메뉴를 제공하는 경우를 가정하여 보자. 이러한 경우, 하나의 이모티콘이 10가지의 음식 메뉴에 대응되고, 10가지의 음식 메뉴에 대한 정보를 사용자(손님)에게 제공할 수 있다.
사용자(손님)는 이모티콘(ET)을 활성화시킨 상태에서 명령을 입력할 수 있다. 예를 들어, 이모티콘(ET)을 활성화시킨 상태에서 제 1 음식 메뉴를 미리 설정된 기준 시간 이상 촬영하면, 이모티콘(ET), 즉 AI는 사용자가 현재 촬영 중인 제 1 음식 메뉴에 관심이 있다는 것으로 판단할 수 있다.
이후, 이모티콘(ET)은 사용자가 현재 촬영 중인 제 1 음식 메뉴에 대한 정보를 사용자에게 제공할 수 있다. 제 1 음식 메뉴에 대한 정보를 제공하는 방법은 앞선 도 1 내지 도 13에서 상세히 설명하였기에 더 이상의 설명은 생략한다.
만약, 사용자가 제 1 음식 메뉴를 촬영하다가 음식 정보 처리 장치(10)를 이동시켜 제 2 음식 메뉴를 다시 미리 설정된 기준 시간 이상 촬영하는 경우에는, 이모티콘(ET)은 제 1 음식 메뉴에 대한 정보의 제공을 중단하고 제 2 음식 메뉴에 대한 정보를 제공할 수 있다.
한편, 매장의 특성에 따라 다른 이모티콘(ET) 혹은 다른 마커(MK)를 설정하는 것이 가능할 수 있다.
예를 들어, 도 18의 (A)의 경우와 같이, 한식당의 경우에는 마커(MK)로서 램프를 설정하고, 마커(MK)에 대응하는 이모티콘(ET)으로서 램프의 요정 지니를 설정할 수 있다.
이와는 다르게, 도 18의 (B)의 경우와 같이, 커피 전문점의 경우에는 마커(MK)로서 커핏잔을 설정하고, 마커(MK)에 대응하는 이모티콘(ET)으로서 바리스타를 설정할 수 있다.
이처럼, 매장의 특성, 매장에서 제공하는 음식의 종류, 매장의 위치 등을 고려하여 마커(MK) 및/또는 이모티콘(ET)을 다르게 설정할 수 있다. 이러한 경우, 해당 매장에 대한 사용자의 몰입도를 향상시킬 수 있다.
한편, 소정 매장(식당 등)에서 특정 음식 메뉴를 먹기 위해서 대기해야 하는 시간 등에 대한 정보를 사용자에게 제공하는 것이 가능할 수 있다. 이에 대해, 첨부된 도 19를 참조하여 살펴보면 아래와 같디.
도 19는 대기시간/대기순서에 대한 정보를 제공하는 방법에 대해 설명하기 위한 도면이다. 이하에서는 이상에서 상세히 설명한 부분에 대한 설명은 생략될 수 있다.
도 19를 살펴보면, 먼저 음식 정보 처리 장치가 음식 메뉴를 포함하는 영상을 촬영(S100)하면, 매장(식당 등)이 이용가능한지의 여부를 판단(S1600)할 수 있다. 촬영단계(S100)와 판단단계(S1600)의 사이에는 음식 메뉴의 판별 과정이 포함될 수 있다. 음식 메뉴의 판별 과정에 대해서는 앞서 상세히 설명하였기에 더 이상의 설명은 생략할 수 있다.
판단결과 이용가능한 경우에는 이용가능을 알릴 수 있다(S1610). 반면에, 이용가능하지 않은 경우에는 대기가 가능한지의 여부를 판단(S1670)할 수 있다.
S1670 단계에서의 판단결과, 대기가 가능하지 않은 경우에는 이용이 가능하지 않음을 알리고(S1680), 반면에 대기가 가능한 경우에는 대기시간 및/또는 대기순서에 대한 정보를 알릴 수 있다(S1620).
예를 들어, A 손님이 본 발명에 따른 앱을 실행한 상태에서 B 식당의 외부에서 간판, 외부 메뉴판 등에 표시된 음식 메뉴인 '성게 비빔밥'을 촬영하는 경우를 가정하여 보자.
이러한 경우, A 손님의 단말기, 즉 음식 정보 처리 장치는 '성게 비빔밥'에 대한 정보를 출력할 수 있다.
아울러, 서버에서는 음식 정보 처리 장치로 B 식당에서 '성게 비빔밥'을 주문할 수 있는지에 대한 정보를 음식 메뉴에 대한 정보의 일부로서 제공할 수 있다.
만약, B 식당에서 '성게 비빔밥'을 바로 주문할 수 있는 상황이라면 서버는 B 식당을 이용할 수 있다는 정보를 음식 정보 치리 장치로 음식 메뉴에 대한 정보의 일부로서 제공할 수 있다.
반면에, B 식당에서 재료의 부족 등의 '성게 비빔밥'을 요리할 수 없는 상황이라면 서버는 B 식당에서 '성게 비빔밥'을 주문할 수 없다는 정보를 음식 정보 처리 장치로 제공할 수 있다.
또한, B 식당에서 '성게 비빔밥'을 요리할 수는 있는 상황이지만, 현재 B 식당에 이용가능한 자리가 없는 등의 이유로 인해 '성게 비빔밥'을 주문하기 위해서는 소정의 시간을 대기해야 하는 경우에는 서버는 B 식당에서 '성게 비빔밥'을 주문하기 위해 기다려야 하는 시간(대기시간) 및 대기순서에 대한 정보를 음식 정보 처리 장치로 제공할 수 있다.
이후, 대기 여부를 판단(S1630)한 결과 대기하지 않은 경우에는 미리 설정된 다른 기능(Default, S1640)을 수행할 수 있다. 반면에, 대기하는 경우에는 대기순번을 부여(S1650)할 수 있다.
이후, 순서가 되는 경우에는 순서가 되었다는 내용을 알람(S1660)할 수 있다.
예를 들어, A 손님이 B 식당에서 '성게 비빔밥'을 먹기 위해서 대기한다고 선택하는 경우에는 서버는 A 손님의 단말기, 즉 음식 정보 처리 장치로 대기순번에 대한 정보를 제공할 수 있다.
아울러, 서버는 A 손님의 대기 순번이 다음인 경우에는 그 내용을 음식 정보 처리 장치로 알릴 수 있다.
이러한 경우에는, 사용자(손님)은 매장(식당 등)에 임장하지 않고도 해당 매장에서 판매하는 음식 메뉴를 확인할 수 있을 뿐 아니라, 특정 메뉴를 즐길 수 있는지의 여부 및 특정 메뉴를 즐기기 위해서 기다려야 하는 시간 등에 대한 정보를 용이하게 확인할 수 있다.
이에 따라, 손님이 줄을 서서 기다려야 하는 매장 등에서는 대기하는 손님의 관리가 용이할 수 있다.
이와 같이, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 전술한 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (6)

  1. 통신부, 출력부, 카메라부 및 제어부를 포함하고, 상기 제어부는 음식 메뉴에 대응하는 특징점을 추출하는 추출부와 특징점 정보를 근거로 음식 메뉴를 판별하는 판별부와 상기 출력부에 의해 디스플레이되는 화면상에 표시되는 마커를 관리하는 마커부를 포함하는 음식 정보 처리 장치를 이용하여 음식정보를 처리하는 방법으로서,
    (a) 상기 카메라부가 음식 메뉴(Menu)가 포함된 영상을 촬영하는 단계;
    (b) 상기 추출부가 상기 (a)단계에서 촬영된 영상에서 음식 메뉴에 대응하는 특징점을 추출하는 단계;
    (c) 상기 판별부가 상기 특징점에 대한 정보를 근거로 하여 음식 메뉴를 판별하는 단계; 및,
    (d) 상기 출력부가 상기 (c)단계에서 판별한 상기 음식 메뉴에 대한 정보를 상기 영상과 융합하여 음성, 이미지(Image) 또는 동영상 중 적어도 하나의 타입으로 출력하는 단계;를 포함하고,
    상기 (d)단계에서 상기 제어부는 상기 촬영한 영상에 마커가 포함되어 있는 것으로 판단되면 마커에 대응하는 이모티콘을 이미지 상에 출력하며, 상기 이미지 타입의 메뉴 정보는 상기 이모티콘이 제공하는 방식으로 출력되도록 하되, 상기 이모티콘이 메뉴 정보를 음성 타입으로 제공하며 이모티콘의 입이 움직여서 상기 이모티콘이 말을 하는 것으로 표시하며,
    상기 이모티콘이 이미지 상에 출력되어 활성화된 상태에서, 상기 카메라부가 제1 음식 메뉴를 설정기준시간 이상 촬영한 것으로 감지되면 상기 이모티콘은 제1 음식 메뉴에 대한 정보를 제공하고, 상기 카메라부가 상기 제1 음식 메뉴를 촬영하다가 위치를 변경하여 제2 음식 메뉴를 다시 상기 설정기준시간 이상 촬영하는 것으로 감지되면 현재 제공중인 제1 음식 메뉴에 대한 정보 제공이 중단되고 제2 음식 메뉴에 대한 정보가 제공되며,
    (e) 상기 출력부가 대기 시간에 대한 정보 및 대기 순서에 대한 정보를 제공하는 단계를 더 포함하되,
    상기 (a)단계에서 상기 카메라부는 매장 외부의 간판, 외부 메뉴판의 음식 메뉴가 포함된 영상을 촬영하고,
    상기 (e)단계는,
    (e1) 사용자가 매장 내로 입장하지 않은 상태에서 해당 매장의 해당 메뉴를 이용 가능한지 판단하는 단계;
    (e2) 상기 (e1)단계의 판단 결과 이용 가능하다면 이용 가능을 디스플레이하는 단계;
    (e3) 상기 (e1)단계의 판단 결과 이용불가라면 대기 가능한지 판단하는 단계;
    (e4) 상기 (e3)단계의 판단 결과 대기가 불가한 경우 메뉴 이용이 불가함을 디스플레이하는 단계; 및
    (e5) 상기 (e3)단계의 판단 결과 대기가 가능한 경우 대기 시간 및 대기순서에 대한 정보를 디스플레이하는 단계를 포함하며,
    상기 (e1) 내지 (e5)단계는 사용자가 매장 내로 입장하지 않고 매장 외부에 있는 상태에서 상기 출력부가 사용자에게 제공하며,
    상기 음식 메뉴에 대한 정보는 가격 정보, 재료 정보, 조리 방법 정보, 원산지 정보, 조리 시간 정보, 열량 정보, 용량 정보, 맛 정보 및 추천 정보를 포함하며,
    상기 재료 정보는 상기 음식 메뉴의 조리에 사용되는 지역 특산품에 대한 정보를 포함하고, 상기 지역 특산품에 대한 정보는 특산품 가격 정보, 특산품 지역 정보, 특산품 판매 매장 정보를 포함하는 증강현실을 이용한 음식 정보 처리 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 음식 메뉴에 대한 정보는 이미지 또는 동영상 중 적어도 하나의 타입으로 출력되고,
    화면상에서 상기 음식 메뉴의 위치를 근거로 하여 상기 이미지 또는 동영상이 표시된 위치를 결정하는 단계; 및
    상기 결정된 위치에 상기 이미지 또는 동영상을 표시하는 단계;
    를 포함하는 증강현실을 이용한 음식 정보 처리 방법.

  6. 삭제
KR1020170157622A 2017-11-23 2017-11-23 증강현실을 이용한 음식 정보 처리 방법 KR102108535B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170157622A KR102108535B1 (ko) 2017-11-23 2017-11-23 증강현실을 이용한 음식 정보 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170157622A KR102108535B1 (ko) 2017-11-23 2017-11-23 증강현실을 이용한 음식 정보 처리 방법

Publications (2)

Publication Number Publication Date
KR20190059728A KR20190059728A (ko) 2019-05-31
KR102108535B1 true KR102108535B1 (ko) 2020-06-16

Family

ID=66656878

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170157622A KR102108535B1 (ko) 2017-11-23 2017-11-23 증강현실을 이용한 음식 정보 처리 방법

Country Status (1)

Country Link
KR (1) KR102108535B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220039863A (ko) 2020-09-20 2022-03-30 주식회사 코아소프트 고객과 상호작용하는 증강현실 비대면 음식주문결제 서비스 제공장치
WO2022086304A1 (ko) * 2020-10-23 2022-04-28 주식회사 누비랩 음식 정보 입력 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113906415A (zh) * 2019-03-27 2022-01-07 日本烟草产业株式会社 信息处理装置、程序及信息提供系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100651826B1 (ko) * 2005-12-21 2006-12-01 주식회사 팬택 카메라가 장착된 휴대 단말기에서의 부분적인 이미지인식을 통한 기능 실행 방법 및 그 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140068332A (ko) * 2012-11-27 2014-06-09 (주) 씨이랩 증강현실 마커 인식을 이용한 메뉴판광고 서비스시스템 및 그 방법
KR20140111369A (ko) * 2013-03-11 2014-09-19 주식회사 엘지유플러스 주문 단말 및 주문 단말의 동작 방법
KR20150029257A (ko) * 2013-09-09 2015-03-18 계명대학교 산학협력단 증강현실을 이용한 음식물 정보 제공 방법 및 시스템
KR101585330B1 (ko) * 2014-06-16 2016-01-15 김기석 게임을 이용한 프랜차이즈 운영 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100651826B1 (ko) * 2005-12-21 2006-12-01 주식회사 팬택 카메라가 장착된 휴대 단말기에서의 부분적인 이미지인식을 통한 기능 실행 방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220039863A (ko) 2020-09-20 2022-03-30 주식회사 코아소프트 고객과 상호작용하는 증강현실 비대면 음식주문결제 서비스 제공장치
WO2022086304A1 (ko) * 2020-10-23 2022-04-28 주식회사 누비랩 음식 정보 입력 방법 및 장치

Also Published As

Publication number Publication date
KR20190059728A (ko) 2019-05-31

Similar Documents

Publication Publication Date Title
US11017603B2 (en) Method and system for user interaction
US20230245400A1 (en) Sharing virtual content in a mixed reality scene
CN102722517B (zh) 用于观看者选择的视频对象的增强信息
US10803315B2 (en) Electronic device and method for processing information associated with food
US8554250B2 (en) Remote object recognition
KR102108535B1 (ko) 증강현실을 이용한 음식 정보 처리 방법
US10692113B2 (en) Method for providing customized information through advertising in simulation environment, and associated simulation system
US10089680B2 (en) Automatically fitting a wearable object
KR102209741B1 (ko) 음식과 관련된 정보를 처리하기 위한 전자 장치 및 방법
CN111506758B (zh) 物品名称确定方法、装置、计算机设备及存储介质
KR101620938B1 (ko) 의류 제품 판매 지원 장치와 이와 통신 가능한 의류 제품 정보 관리 서버, 의류 연관 제품 추천 서버 및 의류 제품 정보 제공 방법
US10200560B2 (en) Automated sharing of digital images
EP3299935A1 (en) Method for providing demonstration information in simulation environment, and associated simulation system
KR20140068332A (ko) 증강현실 마커 인식을 이용한 메뉴판광고 서비스시스템 및 그 방법
CN113055724A (zh) 直播数据处理方法、装置、服务器、终端、介质及产品
JP2014081888A (ja) 注文支援装置、注文支援方法および注文支援プログラム
JP2019192091A (ja) 食品情報提供システム
US10617234B2 (en) Device for interaction of an object exhibited with the aid of a robotic arm
CN109448132B (zh) 显示控制方法及装置、电子设备、计算机可读存储介质
KR20150127472A (ko) 증강 현실 제공 장치 및 방법
US20180096262A1 (en) Method for control of outputting sequence information and server supporting the same
WO2023026546A1 (ja) 情報処理装置
CN114724312B (zh) 储物柜开柜方法、装置、设备及计算机可读存储介质
JP2016180718A (ja) 食事ナビゲーション装置
US20170038796A1 (en) Wearable terminal device, display method, program, and service providing system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)