KR101839117B1 - Augmented reality marker attached to food containers and mobile terminal and method for using the same - Google Patents

Augmented reality marker attached to food containers and mobile terminal and method for using the same Download PDF

Info

Publication number
KR101839117B1
KR101839117B1 KR1020170118516A KR20170118516A KR101839117B1 KR 101839117 B1 KR101839117 B1 KR 101839117B1 KR 1020170118516 A KR1020170118516 A KR 1020170118516A KR 20170118516 A KR20170118516 A KR 20170118516A KR 101839117 B1 KR101839117 B1 KR 101839117B1
Authority
KR
South Korea
Prior art keywords
augmented reality
food container
contents
marker
markers
Prior art date
Application number
KR1020170118516A
Other languages
Korean (ko)
Inventor
공근우
Original Assignee
공근우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 공근우 filed Critical 공근우
Priority to KR1020170118516A priority Critical patent/KR101839117B1/en
Application granted granted Critical
Publication of KR101839117B1 publication Critical patent/KR101839117B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention provides an augmented reality providing terminal. The augmented reality providing terminal includes a camera for photographing a food container with an augmented reality marker or the holder of the food container, a control part for recognizing the food container and the augmented reality marker and providing augmented reality data corresponding to a recognized object, and a display part for outputting the augmented reality data provided by the control part so as to be positioned in the food container. A user can enjoy augmented reality content.

Description

식품용기에 부착된 증강현실마커, 이를 이용한 증강현실 제공 단말기 및 증강현실 제공 방법 {AUGMENTED REALITY MARKER ATTACHED TO FOOD CONTAINERS AND MOBILE TERMINAL AND METHOD FOR USING THE SAME}Technical Field [0001] The present invention relates to an augmented reality marker attached to a food container, an augmented reality providing terminal using the augmented reality marker, and a method of providing an augmented reality using the augmented reality providing terminal.

본 발명은 식품용기에 부착된 증강현실마커와, 이를 이용한 증강현실 제공 단말기 및 증강현실 제공 방법에 관한 것이다.The present invention relates to an augmented reality marker attached to a food container, and to an augmented reality providing terminal and an augmented reality providing method using the same.

증강 현실(AR; Augmented Reality)은 가상현실의 한 분야로, 사용자가 눈으로 보는 현실의 세계에 가상의 사물이나 정보를 겹쳐 보여주는 기술로서, 현실의 세계에 실시간으로 부가정보를 갖는 가상의 세계를 합쳐 하나의 영상으로 보여주므로 혼합 현실(MR; Mixed Reality)라고도 한다.Augmented Reality (AR) is a field of virtual reality. It is a technology that superimposes a virtual object or information on the real world that the user sees. It is a virtual world that has additional information in real time in the real world. It is also referred to as mixed reality (MR) because it is displayed as a single image.

증강 현실 서비스가 가능한 사용자 단말기는 카메라에 의해 촬영된 영상을 이용하여 촬영된 영상을 분석하고, 분석 결과를 바탕으로 부가적인 정보를 제공한다.A user terminal capable of an augmented reality service analyzes captured images using an image captured by a camera, and provides additional information based on the analysis results.

한편, 부모들은 편식하는 아이 때문에 고민이 많다. 아이가 밥 대신 사탕이나 과자 같은 단 음식을 지나치게 먹는가 하면, 밥, 채소, 과일 등은 전혀 먹지 않는 경우가 대부분이기 때문이다. 이는 부모의 노력만으로 고치기가 쉽지 않으며 자칫하면 아이에게 상처를 줄 수도 있기 때문에, 이와 같은 문제를 기술적인 측면에서 해소하기 위한 노력이 필요한 실정이다.Parents, on the other hand, have a lot of trouble because of their unbalanced children. If your child eats too much sweet foods such as candy or sweets instead of rice, then most of the time you do not eat rice, vegetables or fruit at all. This is because it is not easy to repair by parents' efforts alone and it may cause injury to the child. Therefore, it is necessary to endeavor to solve the problem from the technical side.

KRKR 10-121006510-1210065 B1B1 KRKR 10-129991010-1299910 B1B1

본 발명은 컵이나 식판 따위의 식품용기를 통해 사용자와 상호작용하여, 증강현실 콘텐츠를 사용자가 즐길 수 있도록 하는 식품용기에 부착된 증강현실마커, 이를 이용한 증강현실 제공 단말기 및 증강현실 제공 방법을 제공하고자 한다.The present invention provides an augmented reality marker attached to a food container that allows a user to enjoy the augmented reality contents by interacting with a user through a food container such as a cup or a plate, an augmented reality providing terminal using the same, and an augmented reality providing method I want to.

상기 과제를 해결하기 위하여 본 발명은, 증강현실마커가 부착된 식품용기 또는 상기 식품용기의 홀더를 촬영하기 위한 카메라, 상기 식품용기와 상기 증강현실마커를 인식하고, 인식된 객체에 대응하는 증강현실 데이터를 제공하는 제어부 및 상기 제어부에 의해 제공된 증강현실 데이터를 상기 식품용기 내 위치하도록 화면 출력하는 디스플레이부를 포함하는 증강현실 제공 단말기를 제공한다.According to an aspect of the present invention, there is provided a food container including a food container having an augmented reality marker attached thereto or a camera for photographing a holder of the food container, an augmented reality device for recognizing the food container and the augmented reality marker, And a display unit for displaying the augmented reality data provided by the controller on the screen so that the augmented reality data is positioned in the food container.

일 실시예에 따라, 상기 증강현실마커는, 투명한 식품용기의 양 측면에 부착된 제1 및 제2 증강현실마커를 포함하되, 상기 제어부는, 상기 카메라에 의해 촬영된 제1 및 제2 증강현실마커를 인식하고, 상기 제1 및 제2 증강현실마커 중 후면에 위치한 증강현실마커가 상기 식품용기의 내용물에 의해 가려지거나 노출된 부분을 근거로 상기 식품용기의 내용물 잔존량을 산출할 수 있다.According to one embodiment, the augmented reality marker includes first and second augmented reality markers attached to both sides of a transparent food container, wherein the control unit controls the first and second augmented reality cameras The marker can be recognized and the remaining amount of the contents of the food container can be calculated on the basis of a portion where the augmented reality marker located on the rear side of the first and second augmented reality markers is covered or exposed by the contents of the food container.

일 실시예에 따라, 상기 식품용기는, 구획이 나누어진 복수의 칸을 포함하되, 상기 제어부는, 상기 칸 각각의 저면에 부착된 증강현실마커를 인식하고, 칸 별로 위치한 상기 증강현실마커의 가려지거나 노출된 부분을 근거로 상기 칸 별로 내용물의 잔존량을 산출할 수 있다.According to one embodiment, the food container includes a plurality of compartments divided into a plurality of compartments, wherein the controller recognizes the augmented reality markers attached to the bottom of each of the compartments, The remaining amount of the contents can be calculated on the basis of the parts exposed or exposed.

일 실시예에 따라, 상기 디스플레이부는, 상기 칸마다 서로 다른 캐릭터 영상을 출력하되, 상기 칸 별로 산출된 내용물의 잔존량에 따라 서로 다른 캐릭터들이 서로 조합되어 또 다른 형태의 캐릭터 영상을 출력할 수 있다.According to an embodiment, the display unit may output different character images for each cell, and different characters may be combined according to the remaining amount of the content calculated for each cell to output another character image .

또한, 본 발명은 상기 증강현실 제공 단말기의 카메라에 의해 촬영되는 피사체인 상기 식품용기에 부착되는 증강현실마커를 제공한다.Also, the present invention provides an augmented reality marker attached to the food container, which is a subject photographed by a camera of the augmented reality providing terminal.

일 실시예에 따라, 상기 증강현실마커는 스티커 타입으로 양면에 상기 증강현실 제공 단말기에 의해 인식 가능한 마커가 표시되어 있을 수 있다.According to an embodiment, the augmented reality marker may be a sticker type and markers recognizable by the augmented reality providing terminal on both sides thereof may be displayed.

또한, 본 발명은 카메라는 증강현실마커가 부착된 식품용기 또는 상기 식품용기의 홀더를 촬영하는 단계, 제어부는, 상기 식품용기와 상기 증강현실마커를 인식하고, 인식된 객체에 대응하는 증강현실 데이터를 제공하는 단계 및 디스플레이부는, 상기 제어부에 의해 제공된 증강현실 데이터를 상기 식품용기 내 위치하도록 화면 출력하는 단계를 포함하는 증강현실 제공 방법을 제공한다.Further, the present invention provides a method of controlling a camera, comprising the steps of photographing a food container having an augmented reality marker attached thereto or a holder of the food container, the control unit recognizing the food container and the augmented reality marker, And the display unit displays the augmented reality data provided by the controller on the screen so that the augmented reality data is positioned in the food container.

일 실시예에 따라, 상기 증강현실마커는, 투명한 식품용기의 양 측면에 부착된 제1 및 제2 증강현실마커를 포함하되, 상기 제어부는, 상기 카메라에 의해 촬영된 제1 및 제2 증강현실마커를 인식하고, 상기 제1 및 제2 증강현실마커 중 후면에 위치한 증강현실마커가 상기 식품용기의 내용물에 의해 가려지거나 노출된 부분을 근거로 상기 식품용기의 내용물 잔존량을 산출하는 단계를 더 포함할 수 있다.According to one embodiment, the augmented reality marker includes first and second augmented reality markers attached to both sides of a transparent food container, wherein the control unit controls the first and second augmented reality cameras Recognizing the marker and calculating the remaining amount of the contents of the food container on the basis of the portion where the augmented reality marker located on the rear side of the first and second augmented reality markers is covered or exposed by the contents of the food container .

일 실시예에 따라, 상기 디스플레이는, 상기 내용물 잔존량에 따라 서로 다른 콘텐츠를 출력할 수 있다.According to one embodiment, the display can output different contents according to the remaining amount of contents.

일 실시예에 따라, 상기 식품용기는, 구획이 나누어진 복수의 칸을 포함하되, 상기 제어부는, 상기 칸 각각의 저면에 부착된 증강현실마커를 인식하고, 칸 별로 위치한 상기 증강현실마커의 가려지거나 노출된 부분을 근거로 상기 칸 별로 내용물의 잔존량을 산출하는 단계를 더 포함할 수 있다.According to one embodiment, the food container includes a plurality of compartments divided into a plurality of compartments, wherein the controller recognizes the augmented reality markers attached to the bottom of each of the compartments, And calculating the remaining amount of the contents on the basis of the exposed or exposed portions.

본 발명에 따르면, 컵이나 식판 따위의 식품용기를 통해 사용자와 상호작용함으로써, 증강현실 콘텐츠를 사용자가 즐길 수 있도록 한다.According to the present invention, by interacting with a user through a food container such as a cup or a plate, the user can enjoy the augmented reality contents.

또한, 본 발명에 따르면 식품용기의 내용물 잔존량을 산출할 수 있음은 물론 이를 활용하여 서로 다른 콘텐츠를 사용자에게 제공함으로써, 사용자로 하여금 내용물의 소비를 촉진시킬 수 있다.Further, according to the present invention, not only can the remaining amount of the contents of the food container be calculated, but also different contents can be provided to the user utilizing the same, thereby promoting consumption of contents by the user.

도 1은 본 발명의 일 실시예에 따른 증강현실 제공 단말기의 구성도이다.
도 2a는 본 발명의 일 실시예에 따른 식품용기의 예시도이다.
도 2b는 본 발명의 일 실시예에 따른 증강현실 제공 단말기가 도 2a의 식품용기를 촬영하였을 때 출력하는 화면의 예시도이다.
도 3a는 본 발명의 일 실시예에 따른 스티커 형태의 증강현실마커의 예시도이다.
도 3b는 본 발명의 일 실시예에 따른 스티커 형태의 증강현실마커가 식품용기에 부착된 모습을 나타낸 도면이다.
도 3c는 본 발명의 일 실시예에 따른 증강현실 제공 단말기가 도 3b의 식품용기를 촬영하였을 때 출력하는 화면의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 증강현실 제공 단말기의 실제 화면 출력 예시도이다.
도 5a 및 5b는 본 발명의 일 실시예에 따라 양면에 증강현실마커를 가진 식품용기의 예시도이다.
도 6은 본 발명의 일 실시예에 따라 식품용기의 내용물 잔존량을 산출하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 또 다른 일 실시예에 따른 증강현실 제공 방법의 단계별 흐름도이다.1 is a configuration diagram of an augmented reality providing terminal according to an embodiment of the present invention.
2A is an exemplary view of a food container according to an embodiment of the present invention.
FIG. 2B is an exemplary view illustrating a screen displayed when the augmented reality providing terminal according to the embodiment of the present invention photographs the food container of FIG. 2A.
3A is an exemplary diagram of a sticky-shaped augmented reality marker according to an embodiment of the present invention.
FIG. 3B is a view showing a sticky type augmented reality marker attached to a food container according to an embodiment of the present invention.
FIG. 3C is a view illustrating a screen displayed when the augmented reality providing terminal according to the embodiment of the present invention photographs the food container of FIG. 3B. FIG.
4 is a diagram illustrating an actual screen output of an augmented reality providing terminal according to an embodiment of the present invention.
5A and 5B are illustrations of a food container having augmented reality markers on both sides according to one embodiment of the present invention.
6 is a diagram for explaining a method of calculating the remaining amount of contents of a food container according to an embodiment of the present invention.
FIG. 7 is a flowchart illustrating a method for providing an augmented reality according to another embodiment of the present invention.

이하에서는 본 발명의 바람직한 실시예를 첨부한 도면을 참고하여 상세하게 설명한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그 상세한 설명을 생략하기로 한다. 도면에서 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략하였고, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 부여하였다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to clearly illustrate the present invention, parts not related to the description are omitted, and like parts are denoted by similar reference numerals throughout the specification. Also, throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements, not excluding other elements, unless specifically stated otherwise.

증강현실 제공 단말기Augmented reality providing terminal

본 발명의 증강현실 제공 단말기(본 명세서에서는 "단말기"로 약칭/혼용함)는 일 예로 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable device) 등이 포함될 수 있다.A mobile terminal, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a personal digital assistant (PDA) A portable multimedia player (PMP), navigation, a slate PC, a tablet PC, an ultrabook, a wearable device, and the like.

도 1은 본 발명의 일 실시예에 따른 증강현실 제공 단말기의 구성도이다.1 is a configuration diagram of an augmented reality providing terminal according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 증강현실 제공 단말기(100)는 제어부(101), 출력부(102), 저장부(103), 통신부(104), 카메라(105), 사용자 입력부(106), 전원 공급부(107) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수도 있다.1, the augmented reality providing terminal 100 includes a control unit 101, an output unit 102, a storage unit 103, a communication unit 104, a camera 105, a user input unit 106, A supply unit 107, and the like. The components shown in FIG. 1 are not essential, and a mobile terminal having more or fewer components may be implemented.

이하, 각 구성요소들에 대해 차례로 살펴본다.Hereinafter, each component will be described in turn.

출력부(102)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 출력부(102)는 디스플레이부(1021) 및 음향출력부(1022) 등을 포함할 수 있다.The output unit 102 may include a display unit 1021, an acoustic output unit 1022, and the like.

디스플레이부(1021)는 단말기(100)에서 처리되는 정보를 화면에 출력할 수 있다. 예를 들어, 단말기(100)가 촬영 모드인 경우에 디스플레이부(1021)는 촬영 또는/및 수신된 영상 또는 이와 관련된 UI 등을 표시하거나, 동영상 미디어를 재생하는 경우에 디스플레이부(1021)는 재생 영상 및/또는 이와 관련된 UI 등을 표시할 수 있다.The display unit 1021 can output information processed by the terminal 100 to the screen. For example, when the terminal 100 is in the photographing mode, the display unit 1021 displays the photographed and / or received image, the UI associated therewith, or the like, Video and / or related UIs.

이러한 디스플레이부(1021)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.The display unit 1021 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED) a flexible display, a 3D display, and an e-ink display.

단말기(100)의 구현 형태에 따라 디스플레이부(1021)가 2개 이상 존재할 수 있으며, 일 예로, 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또 서로 다른 면에 각각 배치될 수도 있다.According to an embodiment of the terminal 100, there may be two or more display units 1021. For example, a plurality of display units may be spaced apart from one another or may be disposed integrally with each other, .

음향출력부(1022)는 호신호 수신, 통화 모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 통신부(104)로부터 수신되거나 저장부(103)에 저장된 오디오 데이터를 출력할 수 있다. 물론 음향출력부(1022)은 단말기(100)에서 수행되는 각종 기능(예를 들어, 호신호 수신, 메시지 수신 등의 알람 신호)과 관련된 음향 신호를 출력할 수도 있다. 이러한 음향출력부(1022)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.The audio output unit 1022 may output audio data received from the communication unit 104 or stored in the storage unit 103 in a call signal reception mode, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, Of course, the sound output unit 1022 may output an acoustic signal related to various functions (e.g., an alarm signal such as call signal reception, message reception, etc.) performed in the terminal 100. [ The sound output unit 1022 may include a receiver, a speaker, a buzzer, and the like.

저장부(103)는 제어부(101)의 동작을 위한 적어도 하나의 프로그램을 저장할 수 있고, 그에 따라 입출력되는 데이터들(일 예로, 동영상 미디어, 사운드 미디어 등)을 저장할 수 있다.The storage unit 103 may store at least one program for the operation of the controller 101 and may store input / output data (for example, a moving picture medium, a sound medium, etc.).

저장부(103)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 단말기(100)는 인터넷(internet) 상에서 상기 저장부(103)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.The storage unit 103 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory) A random access memory (SRAM), a read-only memory (ROM), an electrically erasable programmable read-only memory (EEPROM), a programmable read-only memory (PROM) A magnetic disk, and / or an optical disk. The terminal 100 may operate in association with a web storage that performs the storage function of the storage unit 103 on the Internet.

통신부(104)는 단말기(100)와 각종 네트워크 간에 통신 가능하도록 연결하기 위한 것으로서, 적어도 하나의 네트워크를 통해 원격의 각종 형태의 단말기나 서버 등과 데이터를 송수신할 수 있다.The communication unit 104 is for connecting the terminal 100 and the various networks so as to communicate with each other. The communication unit 104 can transmit and receive data to and from various types of terminals, servers, and the like through at least one network.

본 발명의 일 실시예에 따른 단말기(100)는 각종 서버와 단말기 등과 통신 가능하도록 연결되어, 화면에 출력할 컨텐츠에 대한 정보를 내려받거나, 또는 제어부(101)가 식품용기, 홀더 또는 증강현실마커 등의 대상을 인식하기 위해 요구되는 기준 정보를 내려받거나, 또는 사용자가 시간의 흐름에 따라 섭취한 음식물의 양을 서버에 전송할 수 있다.The terminal 100 according to an embodiment of the present invention may be connected to various servers and terminals to download information about contents to be displayed on a screen or may be connected to a food container, Etc., or the amount of food consumed by the user over time can be transmitted to the server.

통신부(104)는 단말기(100)에 내장 또는 외장 가능한 것으로서, WLAN(Wireless LAN), WiFi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등과 같은 무선 인터넷 모듈이나 이동통신 모듈일 수 있고, 또는 블루투스(BluetoothTM, RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등과 같은 근거리 통신(short range communication) 모듈일 수도 있다.The communication unit 104 may be a wireless LAN (WLAN), a wireless fidelity (WFI) Direct, a DLNA (Digital Living Network Alliance), a Wibro (Wireless broadband), a Wimax (World Interoperability for Microwave Access ), HSDPA (High Speed Downlink Packet Access) can be a wireless Internet module and a mobile communication module such as a, or Bluetooth (Bluetooth TM, RFID (radio Frequency Identification), infrared data association (infrared Data Association; IrDA), UWB (Ultra Wideband ), ZigBee, Near Field Communication (NFC), or the like.

카메라(105)는 비디오 신호 입력을 위한 것으로, 카메라(105)는 화상 통화 모드 또는 촬영 모드 등에서 이미지 센서를 통해 얻어지는 화상 프레임을 처리함으로써 정지 영상 또는 동영상 등을 디스플레이부(1021)에 표시하거나 저장부(103)에 저장할 수 있다.The camera 105 is for inputting a video signal. The camera 105 processes an image frame obtained through the image sensor in a video communication mode, a photographing mode, or the like, thereby displaying a still image or moving image on the display unit 1021, (103).

사용자 입력부(106)는 사용자로부터 인가되는 각종 명령을 입력받고 그에 따른 입력 데이터를 발생시킬 수 있다. 사용자 입력부(106)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압 또는 정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.The user input unit 106 may receive various commands received from the user and generate input data corresponding thereto. The user input unit 106 may include a key pad, a dome switch, a touch pad (static or static), a jog wheel, a jog switch, and the like.

본 발명에 따른 사용자 입력부(106)는 사용자로부터 각종 문자나 펜 입력 등을 받아 설정된 컨텐츠를 증강현실 데이터로 디스플레이부(1021)를 통해 화면 출력하도록 할 수 있다.The user input unit 106 according to the present invention may receive various characters or pen input from the user and output the set contents to the display unit 1021 through the display unit 1021 as augmented reality data.

전원 공급부(107)는 제어부(101)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 단말기(100) 각 구성요소들의 동작에 필요한 전원을 공급한다.The power supply unit 107 receives external power and internal power under the control of the control unit 101 and supplies power required for operation of the respective components of the terminal 100.

제어부(controller, 101)는 통상적으로 단말기(100)의 전반적인 동작을 제어하는 수단으로서, 각종 연산을 수행하거나 각종 정보를 처리할 수 있다.The controller 101 is a means for controlling the overall operation of the terminal 100, and may perform various operations or process various information.

이와 관련하여, 본 발명의 일 실시예에 따른 제어부(101)는 저장부(103)에 저장된 각종 프로그램(일 예로 카메라 촬영 프로그램, 피사체 인식 프로그램, 동영상 미디어 플레이어 등)을 제어 또는 구동할 수 있으며, 이와 관련하여 저장부(103)에 저장된 각종 데이터를 이용할 수 있다.In this regard, the control unit 101 according to an embodiment of the present invention can control or drive various programs stored in the storage unit 103 (e.g., a camera shooting program, a subject recognition program, a video media player, etc.) In this regard, various data stored in the storage unit 103 can be used.

이에 대한 구체적인 설명은 후술하는 증강현실 제공 단말기 및 증강현실 제공 방법에서 하기로 한다.A detailed description thereof will be given in the augmented reality providing terminal and the augmented reality providing method described later.

이하에서는, 본 발명에 따른 증강현실 제공 단말기 또는 증강현실 제공 방법에 대한 구체적인 실시예를 설명하기로 한다.Hereinafter, embodiments of the augmented reality providing terminal or the augmented reality providing method according to the present invention will be described in detail.

본 발명의 일 실시예에 따른 단말기(100)는, 카메라(105)를 이용하여 식품용기(10) 또는 상기 식품용기(10)의 홀더(미도시, 홀더는 상기 식품용기에 장착되어 사용자가 이를 매개로 식품용기(10)를 들 수 있도록 하는 수단을 가리킨다)에 부착되는 증강현실마커(11)를 촬영하면, 제어부(101)는 상기 식품용기(10)와 증강현실마커(11)를 인식하고, 인식된 객체에 대응하는 증강현실 데이터를 디스플레이부(1021)가 화면에 출력할 수 있도록 생성 및 제공할 수 있다. 이에 따라 디스플레이부(1021)는 상기 제어부에 의해 제공된 증강현실 데이터를 화면에 출력하되, 바람직하게는 인식되어 화면에 출력되는 식품용기(10)의 내측에 위치하도록 출력하는 것이 좋다.A terminal 100 according to an embodiment of the present invention can be installed in a food container 10 or a holder of a food container 10 using a camera 105, The control unit 101 recognizes the food container 10 and the augmented reality marker 11 when the augmented reality marker 11 attached to the food container 10 is photographed And generate and provide the augmented reality data corresponding to the recognized object so that the display unit 1021 can output it to the screen. Accordingly, it is preferable that the display unit 1021 outputs the augmented reality data provided by the control unit on the screen, preferably positioned inside the food container 10 that is recognized and output to the screen.

상기 제어부(101)가 카메라(105)에 의해 촬영되는 피사체로부터 상기 식품용기(10)나 증강현실마커(11)를 인식하기 위해, 저장부(103)에 저장된 상기 식품용기(10)나 증강현실마커(11)에 대한 더미(dummy) 정보와 비교할 수 있다.The control unit 101 may recognize the food container 10 or the augmented reality marker 11 stored in the storage unit 103 to recognize the food container 10 or the augmented reality marker 11 from a subject photographed by the camera 105. [ It can be compared with the dummy information for the marker 11.

구체적으로, 제어부(101)는 화상 프레임으로부터 인식되는 객체들, 또는 화상 프레임으로부터 인식되는 객체들의 경계를 식별하고, 식별된 경계와 상기 저장부(103)에 저장된 더미 정보를 비교하여 상기 식품용기(10)나 증강현실마커(11)를 인식할 수 있다.Specifically, the control unit 101 identifies the boundaries of the objects recognized from the image frame, or the objects recognized from the image frame, and compares the identified boundary with the dummy information stored in the storage unit 103, 10) or the augmented reality marker 11 can be recognized.

여기서, 식품용기(10)는 음식물을 수용할 수 있는 용기인 것이면 특별히 한정하지 않으며, 일 예로 텀블러, 물병, 유리컵, 식판 등일 수 있다. 만약 식품용기(10)가 구획이 나누어진 복수의 칸을 가진 식판 따위인 경우, 상기 제어부(101)는 복수의 칸 각각마다 별개로 인식하고 개별적으로 증강현실 데이터를 제공하여 디스플레이부(1021)에는 각 칸마다 서로 다른 내용의 컨텐츠가 출력되도록 할 수 있다.Here, the food container 10 is not particularly limited as long as it is a container capable of accommodating food, for example, a tumbler, a water bottle, a glass cup, a plate, and the like. If the food container 10 is a plate having a plurality of compartments, the control unit 101 recognizes each of the plurality of compartments separately and separately provides the augmented reality data, and the display unit 1021 It is possible to output contents having different contents for each space.

일 예로, 상기 디스플레이부(1021)는 칸마다 서로 다른 캐릭터 영상을 출력할 수 있으며, 후술하는 바와 같이 산출된 내용물의 잔존량에 따라 서로 다른 캐릭터들이 서로 조합되어 또 다른 형태의 캐릭터 영상을 출력할 수 있다. 구체적으로, 5개의 칸으로 나누어진 식판의 경우 5칸 중 2칸의 내용물의 잔존량이 0인 경우 2칸 각각에 대응하는 캐릭터들이 결합된 모습을 출력하도록 하고, 5칸 중 5칸의 내용물 잔존량이 0인 경우에만 5칸 각각에 대응하는 캐릭터들 전체가 결합된 모습을 출력하도록 하여 편식하는 아이들이 식판에 담겨진 음식물을 모두 섭취할 수 있도록 유도할 수 있다.For example, the display unit 1021 may output different character images for each cell, and different characters may be combined according to the remaining amount of the calculated content to output another character image . Specifically, in the case of a plate divided into five spaces, if the remaining amount of the contents of two spaces out of the five spaces is 0, the combination of the characters corresponding to the two spaces is output, and the remaining contents of five spaces 0, it is possible to display the combined state of all the characters corresponding to each of the five boxes so that the kids who are singled out can take all the foods contained in the plate.

결국, 제어부(101)는 인식된 식품용기(10)를 일 요소로, 그리고 인식된 증강현실마커(11)를 또 다른 요소로 하여, 두 요소를 근거로 이에 대응하는 증강현실 데이터를 선정할 수 있다. As a result, the control unit 101 can select the augmented reality data corresponding to the two elements based on the recognized food container 10 as one element and the recognized augmented reality marker 11 as another element have.

여기서, 증강현실 데이터는 단말기(100)를 통해 출력하고자 하는 출력물 또는 컨텐츠로서, 일 예로 캐릭터 영상, 이미지, 오디오, 텍스트 등일 수 있고, 특별히 그 형태나 내용을 한정하지 않는다.Here, the augmented reality data may be output images or contents to be outputted through the terminal 100, for example, a character image, an image, audio, text, and the like.

한편, 도 2a는 본 발명의 일 실시예에 따른 식품용기의 예시도이다. 도 2a에 도시한 바와 같이 제어부(101)가 물컵 형태의 식품용기(10)와 상기 식품용기(10)의 전면 중앙부에 사람 얼굴 형태의 증강현실마커(11)를 인식한 경우, 인식된 식품용기(10) 및/또는 증강현실마커(11)에 대응하는 증강현실 데이터를 디스플레이부(1021)에 제공할 수 있다.2A is an exemplary view of a food container according to an embodiment of the present invention. 2A, when the controller 101 recognizes the water container type food container 10 and the human face type augmented reality marker 11 at the center front of the food container 10, The augmented reality data corresponding to the augmented reality marker 10 and / or the augmented reality marker 11 can be provided to the display unit 1021. [

디스플레이부(1021)는 상기 증강현실 데이터를 화면에 출력하되, 식품용기(110) 내에 위치하도록 출력할 수 있다. 일 실시예에 따라, 후술하는 바와 같이, 제어부(101)가 내용물 잔존량을 산출하는 경우, 내용물 잔존량에 따라 서로 다른 모습을 하고 있는 캐릭터 영상을 출력하도록 하는 것이 바람직하다. 구체적으로 물컵에 담겨진 물의 양에 따라, 물의 양이 기 설정된 수준 이상인 경우에는 수영하고 있는 캐릭터 영상을 출력하도록 하고, 물의 양이 기 설정된 수준 이하인 경우에는 캐릭터가 목말라하고 있는 캐릭터 영상이나 그에 따른 효과음을 출력하여, 타인에게 물컵에 물을 채워야 할 시기를 알려주도록 할 수 있다.The display unit 1021 outputs the augmented reality data to be displayed on the screen, but is located in the food container 110. [ According to one embodiment, as described later, when the control unit 101 calculates the remaining amount of content, it is preferable to output a character image having a different appearance depending on the remaining amount of content. Specifically, when the amount of water contained in the water cup is equal to or higher than a predetermined level, the swimming image of the character is outputted. When the amount of water is less than a predetermined level, the character image of the character is said to be thirsty, So that the user can be informed of the time when water should be filled in the water cup.

또한, 본 발명의 일 실시예에 따라 상기 증강현실 데이터를 화면에 출력하되, 식품용기(110) 내에 증강현실 데이터를 출력함은 물론, 증강현실마커(111) 뒤에 출력할 수 있다. 이와 같이, 화면에 캐릭터 영상을 출력하는 경우, 캐릭터가 식품용기(110) 내에 담겨진 것으로 나타내어짐으로써, 사용자에게 가상의 물체가 현실의 세계에 있는 듯한 착각을 불러일으켜, 사용자에게 생동감을 줄 수 있다.According to an embodiment of the present invention, the augmented reality data may be displayed on the screen, and the augmented reality data may be output in the food container 110 as well as the augmented reality marker 111 may be output. When a character image is displayed on the screen as described above, the character is displayed as being contained in the food container 110, thereby causing the user to perceive that the virtual object is in the real world, thereby giving the user a feeling of liveliness .

한편, 본 발명의 일 실시예에 따른 증강현실마커는 외부에서 식별가능하도록 식품용기의 내측면 또는 외측면에 위치하면 족하며, 일 예로 식품용기에 인쇄되거나 식품용기에 부착될 수 있다.Meanwhile, the augmented reality marker according to an embodiment of the present invention may be located on the inner or outer surface of the food container so as to be identifiable from the outside. For example, the augmented reality marker may be printed on a food container or attached to a food container.

도 3a는 본 발명의 일 실시예에 따른 스티커 형태의 증강현실마커의 예시도이고, 도 3b는 본 발명의 일 실시예에 따른 스티커 형태의 증강현실마커가 식품용기에 부착된 모습을 나타낸 도면이다.FIG. 3A is an exemplary view of a sticky-shaped augmented reality marker according to an embodiment of the present invention, and FIG. 3B is a view showing a sticky-shaped augmented reality marker attached to a food container according to an embodiment of the present invention .

도 3a에 도시한 바와 같이, 본 발명의 일 실시예에 다른 증강현실마커는 스티커 형태로 구현될 수 있고, 스티커 형태로 구현된 증강현실마커(200)는 투명한 식품용기(10)의 일 측면에 부착될 수 있다.3A, the augmented reality markers 200 may be embodied as stickers, and the augmented reality markers 200 embodied in a sticker shape may be formed on one side of the transparent food container 10 .

증강현실마커(200)가 부착된 식품용기(10)를 촬영한 단말기(100)는 상기 식품용기(10) 및 상기 증강현실마커(200)를 인식하여, 디스플레이부(1021)를 통해 화면에 식품용기 출력물(110) 내에 캐릭터 영상(120)이 위치하도록 출력하되, 상기 캐릭터 영상(120)이 증강현실마커 출력물(111)의 뒤에 위치하도록 하여 사용자에게 가상의 캐릭터가 실제하는 듯한 착각을 불러일으키도록 하는 것이 바람직하다. 도 4는 본 발명의 일 실시예에 따른 증강현실 제공 단말기의 실제화면 출력 예시도로서, 단말기는 도 4에 도시한 바와 같이, 화면 출력할 수 있다.The terminal 100 that has photographed the food container 10 with the augmented reality marker 200 recognizes the food container 10 and the augmented reality marker 200 and displays them on the screen through the display unit 1021. [ The character image 120 is positioned behind the augmented reality marker output 111 so as to cause the user to imagine that the virtual character 120 is actually located within the container output 110. [ . FIG. 4 is a diagram illustrating an actual screen output of the augmented reality providing terminal according to an embodiment of the present invention, and the terminal can output a screen as shown in FIG.

한편, 본 발명의 일 실시예에 따라, 도 5a 및 5b에 도시한 바와 같이, 상기 증강현실마커는 본 발명의 일 실시예에 따라 투명한 식품용기의 양 측면에 부착될 수 있다.Meanwhile, according to one embodiment of the present invention, as shown in FIGS. 5A and 5B, the augmented reality markers may be attached to both sides of a transparent food container according to an embodiment of the present invention.

구체적으로 제1 및 제2 증강현실마커는 투명도가 있는 식품용기의 양 측면에 서로 대향하도록 부착되어, 어느 한 방향에서 식품용기를 바라보았을 때, 시선과 마주하는 제1 및 제2 증강현실마커들은 각각 정면과 배면으로 서로 다른 면일 수 있다.Specifically, the first and second augmented reality markers are attached to opposite sides of a food container having transparency so as to face each other, and when the food container is viewed from one direction, first and second augmented reality markers They can be on different sides, front and back, respectively.

제어부(101)는 상기 제1 및 제2 증강현실마커를 인식하되, 증강현실마커의 정면은 물론이고 좌우반전된 모습도 인식하여, 증강현실마커의 정면과 후면을 서로 구분하여 인식할 수 있고, 또 제1 및 제2 증강현실마커 각각의 일부분 및 전체에 대해 인식할 수 있다.The controller 101 recognizes the first and second augmented reality markers and not only the front face of the augmented reality markers but also the left and right reversed faces so that the front face and the rear face of the augmented reality markers can be distinguished from each other, Further, the first and second augmented reality markers can be recognized in part and in whole.

이를 통해 상기 제어부(101)는 상기 제1 증강현실마커(210~212)와 제2 증강현실마커(220~222) 중 후면에 위치한 증강현실마커가 식품용기 내 수용된 내용물에 의해 가려지거나 노출된 부분의 영역의 크기(또는 비율)를 근거로 상기 식품용기의 내용물 잔존량을 산출할 수 있다.The control unit 101 controls the augmented reality markers located at the rear of the first augmented reality markers 210 to 212 and the second augmented reality markers 220 to 222 to be blocked or exposed by the contents contained in the food container The content of the food container can be calculated based on the size (or ratio) of the area of the food container.

즉, 후면에 위치한 증강현실마커는 투명한 식품용기에 수용된 내용물에 의해 적어도 일부가 가려지기 때문에, 후면에 위치한 증강현실마커의 노출된 영역의 크기(또는 비율)를 산출하고 이를 근거로 식품용기 내 내용물 잔존량을 산출할 수 있다. 이때, 제어부(101)가 후면에 위치한 증강현실마커의 노출된 영역의 크기(또는 비율)를 산출하기 위해, 일 실시예에 따라 전면에 위치한 증강현실마커를 기준으로 후면에 위치한 증강현실마커의 노출된 영역의 크기(또는 비율)를 산출할 수 있으나, 반드시 이에 한하는 것은 아니다.That is, since the augmented reality marker located on the rear side is at least partially covered by the contents contained in the transparent food container, the size (or ratio) of the exposed area of the augmented reality marker located on the back side is calculated, The remaining amount can be calculated. At this time, in order to calculate the size (or ratio) of the exposed region of the augmented reality marker located on the rear side of the controller 101, the augmented reality marker located on the front side, based on the augmented reality marker, The size (or ratio) of the region of interest can be calculated, but this is not necessarily the case.

나아가, 식품용기에 높이를 달리하여 복수 쌍의 증강현실마커가 부착된 경우, 제어부(101)는 식품용기 내 내용물 잔존량을 보다 세밀하게 산출할 수 있다. 도 6에 도시한 바와 같이, 하부에 위치한 후면 증강현실마커(222)의 하부 1/3만 식별되지 않고, 하부에 위치한 후면 증강현실마커(222)의 상부 2/3, 중부 및 상부에 위치한 후면 증강현실마커(220, 221)이 모두 식별된다면, 제어부(101)는 식품용기 내 내용물이 5% 수준인 것으로 산출할 수 있다. 마찬가지로 하부, 중부, 상부 각각에 위치한 후면 증강현실마커(220~222)의 식별된 노출 영역의 비율에 따라 제어부(101)는 식품용기 내 내용물의 수준을 상세하게 산출할 수 있다.Furthermore, when a plurality of pairs of augmented reality markers are attached to the food container at different heights, the control unit 101 can more finely calculate the remaining amount of contents in the food container. As shown in FIG. 6, only the lower 1/3 of the rear augmented reality markers 222 located at the lower part is not identified, but the rear augmented reality markers 222 located at the lower 2/3, If all of the augmented reality markers 220 and 221 are identified, the control unit 101 can calculate that the content in the food container is 5%. Likewise, the controller 101 can calculate the level of contents in the food container according to the ratio of the identified exposed areas of the rear augmented reality markers 220 to 222 located at the lower, middle, and upper portions.

이와 같이, 본 발명의 일 실시예에 따라, 제어부(101)가 식품용기 내 내용물의 잔존량을 산출한 경우, 디스플레이부(1021)는 내용물 잔존량에 따라 서로 다른 컨텐츠, 일 예로 서로 다른 모습을 하고 있는 캐릭터 영상을 출력하여, 특히 아이들의 음식 섭취 유도를 할 수 있다.In this way, according to one embodiment of the present invention, when the control unit 101 calculates the remaining amount of contents in the food container, the display unit 1021 displays different contents, for example, different shapes , And can induce food consumption of children in particular.

한편, 본 발명의 또 다른 실시예에 따라, 상기 식품용기가 식판인 경우, 제어부(101)는 식판에 구획된 영역 중 어느 하나를 인식하고, 해당 영역의 저면에 부착된 증강현실마커가 노출된 일부분을 인식하여, 인식된 칸과 인식된 증강현실마커의 노출 영역의 크기(또는 비율)를 근거로 상기 식품용기의 내용물 잔존량을 산출할 수 있다.According to another embodiment of the present invention, when the food container is a plate, the controller 101 recognizes any one of the areas partitioned by the plate, and the augmented reality marker attached to the bottom of the area is exposed The remaining amount of the contents of the food container can be calculated on the basis of the recognized space and the size (or ratio) of the exposed area of the recognized augmented reality marker.

즉, 증강현실마커의 노출된 부분이 전체 증강현실마커 중 차지하는 비율을 근거로 구획 영역 내 내용물 잔존량을 산출할 수 있으며, 상기 구획 영역의 내용물 잔존량에 따라 그리고 식판의 또 다른 구획 영역의 내용물 잔존량에 따라 화면에 출력된 캐릭터 영상이나 음향을 달리하여, 편식하는 아이들의 음식물 섭취 의욕도를 향상시킬 수 있다.That is, based on the ratio of the exposed portion of the augmented reality marker to the total augmented reality markers, the remaining amount of content in the divided region can be calculated. Depending on the remaining content of the divided region and the content of another divided region of the plate It is possible to improve the desire for food intake by the children who are biased by changing the character image or sound output on the screen according to the remaining amount.

또 전술한 바와 같이, 상기 디스플레이부(1021)는 칸마다 서로 다른 캐릭터 영상을 출력하되, 칸마다 산출된 내용물의 잔존량에 따라 서로 다른 캐릭터들이 서로 조합되어 또 다른 형태의 캐릭터 영상을 출력함으로써, 편식하는 아이들이 식판에 담겨진 음식물을 모두 섭취할 수 있도록 유도할 수 있다.Also, as described above, the display unit 1021 outputs different character images for each cell, and the different characters are combined according to the remaining amount of the contents calculated for each cell to output another character image, It is possible to induce unbalanced children to eat all the foods contained in the plate.

증강현실 제공 방법How to provide Augmented Reality

도 7은 본 발명의 또 다른 일 실시예에 따른 증강현실 제공 방법의 단계별 흐름도이다.FIG. 7 is a flowchart illustrating a method for providing an augmented reality according to another embodiment of the present invention.

도 7에 도시한 바와 같이, 본 발명의 일 실시예에 따른 증강현실 제공 방법은, 카메라(105)가 증강현실마커(11)가 부착된 식품용기(10) 또는 상기 식품용기의 홀더를 촬영하는 단계(S110), 제어부(101)가, 상기 식품용기(10)와 상기 증강현실마커(11)를 인식하고, 인식된 객체에 대응하는 증강현실 데이터를 제공하는 단계(S120)와, 디스플레이부(1021)가, 상기 제어부(101)에 의해 제공된 증강현실 데이터를 상기 식품용기(10) 내, 바람직하게는 상기 증강현실마커(11) 뒤에위치하도록 화면을 출력하는 단계(S130)를 포함할 수 있다.7, the method for providing an augmented reality according to an embodiment of the present invention is a method for providing an augmented reality to a camera 105 in which a camera 10 captures a food container 10 to which an augmented reality marker 11 is attached, In operation S110, the control unit 101 recognizes the food container 10 and the augmented reality marker 11 and provides the augmented reality data corresponding to the recognized object S120. 1021 may output a screen such that the augmented reality data provided by the control unit 101 is located in the food container 10, preferably after the augmented reality marker 11 (S130) .

또한, 본 발명의 일 실시예에 따라, 상기 제어부(101)는, 상기 카메라(105)에 의해 촬영된 제1 및 제2 증강현실마커(210~212, 220~222)를 인식하고, 상기 제1 및 제2 증강현실마커 중 후면에 위치한 증강현실마커(220~222)가 상기 식품용기(10)의 내용물에 의해 가려지거나 노출된 부분을 근거로 상기 식품용기의 내용물 잔존량을 산출하는 단계(S140)를 더 포함할 수 있다.According to an embodiment of the present invention, the control unit 101 recognizes the first and second augmented reality markers 210 to 212 and 220 to 222 photographed by the camera 105, The step of calculating the remaining amount of the contents of the food container on the basis of the portions of the food container 10 where the augmented reality markers 220 to 222 located on the rear side of the first and second augmented reality markers are obscured or exposed by the contents of the food container 10 S140).

또한, 본 발명의 일 실시예에 따라, 상기 식품용기는, 구획이 나누어진 복수의 칸을 포함한 식판 따위일 수 있고, 이 경우 상기 제어부(101)는, 상기 칸 각각의 저면에 부착된 증강현실마커를 인식하고, 칸 별로 위치한 상기 증강현실마커의 가려지거나 노출된 부분을 근거로 상기 칸 별로 내용물의 잔존량을 산출하는 단계(미도시)를 더 포함할 수 있다. 이때, 상기 디스플레이부(1021)는, 상기 칸마다 서로 다른 캐릭터 영상을 출력하되, 상기 칸 별로 산출된 내용물의 잔존량에 따라 서로 다른 캐릭터들이 서로 조합되어 또 다른 형태의 캐릭터 영상을 출력할 수 있다.According to an embodiment of the present invention, the food container may be a plate including a plurality of compartments divided into a plurality of compartments. In this case, (Not shown) of recognizing the marker and calculating the remaining amount of the contents on the basis of the obscured or exposed part of the augmented reality marker located on the basis of the box. At this time, the display unit 1021 may output different character images for each cell, and different characters may be combined according to the remaining amount of the contents calculated for each cell to output another character image .

다만, 도 7에 도시된 단계가 필수적인 것은 아니어서, 그보다 많은 단계들을 갖거나 그보다 적은 단계들을 갖는 증강현실 제공 방법이 구현될 수도 있다.However, the steps shown in Fig. 7 are not essential, so that an augmented reality providing method having more steps or fewer steps may be implemented.

각 단계에 대한 설명은 전술한 내용과 중복되므로, 그에 갈음하고 자세한 설명은 생략하기로 한다.Since the description of each step is the same as that described above, the detailed description will be omitted.

삭제delete

컴퓨터 판독 가능한 기록 매체Computer readable recording medium

이상 설명된 본 발명의 일 실시예에 따른 증강현실 제공 방법은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. The method of providing an augmented reality according to an embodiment of the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium.

상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer-readable recording medium may be those specially designed and constructed for the present invention or may be those known and used by those skilled in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for performing the processing according to the present invention, and vice versa.

이상으로 본 발명의 바람직한 실시예를 도면을 참고하여 상세하게 설명하였다. 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.The preferred embodiments of the present invention have been described in detail with reference to the drawings. It will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention as defined by the appended claims.

따라서, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미, 범위 및 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Accordingly, the scope of the present invention is defined by the appended claims rather than the foregoing detailed description, and all changes or modifications derived from the meaning, range, and equivalence of the claims are included in the scope of the present invention Should be interpreted.

10: 식품용기 11: 증강현실마커
100: 증강현실 제공 단말기 101: 제어부
102: 출력부 1021: 디스플레이부
1022: 음향출력부 103: 저장부
104: 통신부 105: 카메라
106: 사용자 입력부 107: 전원공급부
110: 식품용기 출력물 111: 증강현실마커 출력물
120: 출력 컨텐츠 200: 스티커 형태의 증강현실마커
210~212: 제1 증강현실마커 출력물 220~222: 제2 증강현실마커 출력물
C: 내용물 D: 디스플레이 화면10: food container 11: augmented reality marker
100: augmented reality providing terminal 101:
102: output unit 1021: display unit
1022: Acoustic output unit 103:
104: communication unit 105: camera
106: user input unit 107: power supply unit
110: Food container output 111: Augmented reality marker output
120: output content 200: a sticky augmented reality marker
210 to 212: first augmented reality marker output 220 to 222: second augmented reality marker output
C: Contents D: Display screen

Claims (10)

증강현실마커가 부착된 식품용기 또는 상기 식품용기의 홀더를 촬영하기 위한 카메라;
상기 식품용기와 상기 증강현실마커를 인식하고, 인식된 객체에 대응하는 증강현실 데이터를 제공하는 제어부; 및
상기 제어부에 의해 제공된 증강현실 데이터를 상기 식품용기 내 위치하도록 화면 출력하는 디스플레이부;
를 포함하되,
적어도 하나의 상기 증강현실마커는, 외부에서 식별가능하도록 상기 식품용기의 내측면 또는 외측면에 위치하고,
상기 제어부는, 상기 카메라에 의해 촬영된 상기 증강현실마커를 인식하여 상기 식품용기의 내용물에 의해 가려지거나 노출된 부분을 근거로 상기 식품용기의 내용물 잔존량을 산출하는 것을 특징으로 하는 증강현실 제공 단말기.A camera for photographing a food container to which an augmented reality marker is attached or a holder of the food container;
A controller for recognizing the food container and the augmented reality marker and providing augmented reality data corresponding to the recognized object; And
A display unit for displaying the augmented reality data provided by the control unit on a screen so as to be positioned in the food container;
, ≪ / RTI &
The at least one augmented reality marker is located on the inner or outer surface of the food container so as to be identifiable from the outside,
Wherein the control unit recognizes the augmented reality markers photographed by the camera and calculates the remaining amount of the contents of the food container based on a portion covered or exposed by the contents of the food container. . 제 1 항에 있어서,
상기 증강현실마커는, 투명한 식품용기의 양 측면에 부착된 제1 및 제2 증강현실마커를 포함하되,
상기 제어부는, 상기 카메라에 의해 촬영된 제1 및 제2 증강현실마커를 인식하고, 상기 제1 및 제2 증강현실마커 중 후면에 위치한 증강현실마커가 상기 식품용기의 내용물에 의해 가려지거나 노출된 부분을 근거로 상기 식품용기의 내용물 잔존량을 산출하는 것을 특징으로 하는 증강현실 제공 단말기.The method according to claim 1,
Wherein the augmented reality marker comprises first and second augmented reality markers attached to both sides of a transparent food container,
Wherein the controller recognizes the first and second augmented reality markers photographed by the camera and displays the augmented reality marker located on the rear of the first and second augmented reality markers when the augmented reality marker is obscured or exposed by the contents of the food container And the remaining amount of the contents of the food container is calculated based on the portion of the container. 제 1 항에 있어서,
상기 식품용기는, 구획이 나누어진 복수의 칸을 포함하되,
상기 제어부는, 상기 칸 각각의 저면에 부착된 증강현실마커를 인식하고, 칸 별로 위치한 상기 증강현실마커의 가려지거나 노출된 부분을 근거로 상기 칸 별로 내용물의 잔존량을 산출하는 것을 특징으로 하는 증강현실 제공 단말기.The method according to claim 1,
Wherein the food container comprises a plurality of compartments divided into sections,
Wherein the controller recognizes the augmented reality markers attached to the bottom of each of the bins and calculates the remaining amount of the contents for each bins on the basis of the obscured or exposed portions of the augmented reality markers located on the bins, Realistic terminal. 제 3 항에 있어서,
상기 디스플레이부는, 상기 칸마다 서로 다른 캐릭터 영상을 출력하되, 상기 칸 별로 산출된 내용물의 잔존량에 따라 서로 다른 캐릭터들이 서로 조합되어 또 다른 형태의 캐릭터 영상을 출력하는 것을 특징으로 하는 증강현실 제공 단말기.The method of claim 3,
Wherein the display unit outputs different character images for each cell, and the different characters are combined with each other according to the remaining amount of the content calculated for each cell to output another character image, . 제 1 항 내지 제 4 항 중 어느 한 항에 따른 증강현실 제공 단말기의 카메라에 의해 촬영되는 피사체인 상기 식품용기에 부착되는 증강현실마커.An augmented reality marker attached to the food container, which is a subject photographed by a camera of an augmented reality providing terminal according to any one of claims 1 to 4. 제 5 항에 있어서,
상기 증강현실마커는 스티커 타입으로 양면에 상기 증강현실 제공 단말기에 의해 인식 가능한 마커가 표시되어 있는 것을 특징으로 하는 증강현실마커.6. The method of claim 5,
Wherein the augmented reality marker is a sticker type and markers recognizable by the augmented reality providing terminal are displayed on both sides thereof. 카메라는 증강현실마커가 부착된 식품용기 또는 상기 식품용기의 홀더를 촬영하는 단계;
제어부는, 상기 식품용기와 상기 증강현실마커를 인식하고, 인식된 객체에 대응하는 증강현실 데이터를 제공하는 단계; 및
디스플레이부는, 상기 제어부에 의해 제공된 증강현실 데이터를 상기 식품용기 내 위치하도록 화면 출력하는 단계;
를 포함하되,
적어도 하나의 상기 증강현실마커는, 외부에서 식별가능하도록 상기 식품용기의 내측면 또는 외측면에 위치하고,
상기 제어부는, 상기 카메라에 의해 촬영된 상기 증강현실마커를 인식하여 상기 식품용기의 내용물에 의해 가려지거나 노출된 부분을 근거로 상기 식품용기의 내용물 잔존량을 산출하는 것을 특징으로 하는 증강현실 제공 방법.Wherein the camera comprises the steps of photographing a food container to which an augmented reality marker is attached or a holder of the food container;
The control unit recognizing the food container and the augmented reality marker and providing the augmented reality data corresponding to the recognized object; And
Displaying on the display unit the augmented reality data provided by the control unit so as to be located in the food container;
, ≪ / RTI &
The at least one augmented reality marker is located on the inner or outer surface of the food container so as to be identifiable from the outside,
Wherein the controller recognizes the augmented reality markers photographed by the camera and calculates the remaining amount of the contents of the food container on the basis of the portion covered or exposed by the contents of the food container . 제 7 항에 있어서,
상기 증강현실마커는, 투명한 식품용기의 양 측면에 부착된 제1 및 제2 증강현실마커를 포함하되,
상기 제어부는, 상기 카메라에 의해 촬영된 제1 및 제2 증강현실마커를 인식하고, 상기 제1 및 제2 증강현실마커 중 후면에 위치한 증강현실마커가 상기 식품용기의 내용물에 의해 가려지거나 노출된 부분을 근거로 상기 식품용기의 내용물 잔존량을 산출하는 단계;
를 더 포함하는 것을 특징으로 하는 증강현실 제공 방법.8. The method of claim 7,
Wherein the augmented reality marker comprises first and second augmented reality markers attached to both sides of a transparent food container,
Wherein the controller recognizes the first and second augmented reality markers photographed by the camera and displays the augmented reality marker located on the rear of the first and second augmented reality markers when the augmented reality marker is obscured or exposed by the contents of the food container Calculating a remaining amount of the contents of the food container based on the portion of the food container;
The method of claim 1, further comprising: 제 8 항에 있어서,
상기 디스플레이는, 상기 내용물 잔존량에 따라 서로 다른 콘텐츠를 출력하는 것을 특징으로 하는 증강현실 제공 방법.9. The method of claim 8,
Wherein the display outputs different contents according to the remaining amount of contents. 제 7 항에 있어서,
상기 식품용기는, 구획이 나누어진 복수의 칸을 포함하되,
상기 제어부는, 상기 칸 각각의 저면에 부착된 증강현실마커를 인식하고, 칸 별로 위치한 상기 증강현실마커의 가려지거나 노출된 부분을 근거로 상기 칸 별로 내용물의 잔존량을 산출하는 단계;
를 더 포함하는 것을 특징으로 하는 증강현실 제공 방법.8. The method of claim 7,
Wherein the food container comprises a plurality of compartments divided into sections,
The control unit recognizing the augmented reality markers attached to the bottom of each of the bins and calculating the remaining amount of the contents for each bins based on the blinded or exposed portions of the augmented reality markers located in the bins;
The method of claim 1, further comprising:
KR1020170118516A 2017-09-15 2017-09-15 Augmented reality marker attached to food containers and mobile terminal and method for using the same KR101839117B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170118516A KR101839117B1 (en) 2017-09-15 2017-09-15 Augmented reality marker attached to food containers and mobile terminal and method for using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170118516A KR101839117B1 (en) 2017-09-15 2017-09-15 Augmented reality marker attached to food containers and mobile terminal and method for using the same

Publications (1)

Publication Number Publication Date
KR101839117B1 true KR101839117B1 (en) 2018-03-16

Family

ID=61910260

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170118516A KR101839117B1 (en) 2017-09-15 2017-09-15 Augmented reality marker attached to food containers and mobile terminal and method for using the same

Country Status (1)

Country Link
KR (1) KR101839117B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200036314A (en) * 2018-09-28 2020-04-07 가천대학교 산학협력단 Guide card for food information recognition, food information recognition system and method thereof
KR20200071407A (en) * 2018-12-11 2020-06-19 최재영 Method for providing augmented reality contents using play item and server using the same
WO2024004572A1 (en) * 2022-06-28 2024-01-04 パナソニックＩｐマネジメント株式会社 Food management method, program, food management system, and food management tag

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200036314A (en) * 2018-09-28 2020-04-07 가천대학교 산학협력단 Guide card for food information recognition, food information recognition system and method thereof
KR102243452B1 (en) 2018-09-28 2021-04-22 가천대학교 산학협력단 Guide card for food information recognition, food information recognition system and method thereof
KR20200071407A (en) * 2018-12-11 2020-06-19 최재영 Method for providing augmented reality contents using play item and server using the same
KR102215118B1 (en) 2018-12-11 2021-02-09 최재영 Method for providing augmented reality contents using play item and server using the same
WO2024004572A1 (en) * 2022-06-28 2024-01-04 パナソニックＩｐマネジメント株式会社 Food management method, program, food management system, and food management tag

Similar Documents

Publication Publication Date Title
Bunz et al. The internet of things
CN104395935B (en) Method and apparatus for being presented based on the visual complexity of environmental information come modification information
CN102541497B (en) Transparent display interaction
CN104777958B (en) Display device and its control method
KR101839117B1 (en) Augmented reality marker attached to food containers and mobile terminal and method for using the same
RU2609757C2 (en) Method and device for displaying weather
US20200151943A1 (en) Display system for presentation of augmented reality content
CN107089191A (en) Active window for information of vehicles He virtual reality
CN111738537A (en) Shelf display method, shelf display apparatus, and storage medium
US9613270B2 (en) Weather displaying method and device
US11119567B2 (en) Method and apparatus for providing immersive reality content
US20180174356A1 (en) Display apparatus and control method thereof
CN102385482B (en) Methods and apparatuses for enhancing wallpaper display
EP3677861A1 (en) Home appliance and control method thereof
KR101289626B1 (en) Toy set compising a block equipped with NFC tag and operation method thereof
CN111567055A (en) Data processing method and electronic equipment thereof
MX2015006435A (en) Systems and methods for using images to generate digital interaction.
CN109947506A (en) Interface switching method, device and electronic equipment
Szklanny et al. Creating an interactive and storytelling educational physics app for mobile devices
WO2024039957A1 (en) Text-guided sticker generation
CN114780181B (en) Resource display method, device, computer equipment and medium
KR20170086201A (en) The method for providing user with mobile game based on augmented reality
Scargill et al. Demo abstract: Catch my eye: Gaze-based activity recognition in an augmented reality art gallery
CN114730304A (en) Augmented reality by using radio to capture signals
CN111062299A (en) Learning method, device, equipment and computer readable storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant