WO2019057978A1 - Procédé pour fournir une interface homme-machine à au moins un utilisateur se trouvant dans un lieu de consommation et dispositif pour la mise en œuvre du procédé - Google Patents

Procédé pour fournir une interface homme-machine à au moins un utilisateur se trouvant dans un lieu de consommation et dispositif pour la mise en œuvre du procédé Download PDF

Info

Publication number
WO2019057978A1
WO2019057978A1 PCT/EP2018/075831 EP2018075831W WO2019057978A1 WO 2019057978 A1 WO2019057978 A1 WO 2019057978A1 EP 2018075831 W EP2018075831 W EP 2018075831W WO 2019057978 A1 WO2019057978 A1 WO 2019057978A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
data
dish
image
restaurant
Prior art date
Application number
PCT/EP2018/075831
Other languages
English (en)
Inventor
Guillaume Chican
Original Assignee
Guillaume Chican
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR1771011A external-priority patent/FR3071650A1/fr
Application filed by Guillaume Chican filed Critical Guillaume Chican
Publication of WO2019057978A1 publication Critical patent/WO2019057978A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • the present invention has the main objective of limiting the interactions of a server with one or more customers wishing to consume food in a restaurant, such as a restaurant.
  • the invention aims in particular to optimize or facilitate the order of one or more dishes, drinks or other culinary preparations.
  • the invention finds a privileged application in the field of catering and hospitality.
  • a place of restoration will be defined as any place where customers may consume on the premises, any type of culinary preparation prepared in the kitchen and offered for sale, ie food and / or beverages.
  • the term dish will be used later to designate such a culinary preparation.
  • the term restaurant place will mean, for example a restaurant, a tavern, a brewery, a canteen, a hostelry, an inn. More generally, the invention may be used or implemented in any environment or place having a catering service, in particular transport vehicles, such as trains, planes, buses, ships or boats.
  • the present invention relates to a method for providing a user with a tangible projected interface, in particular for selecting and viewing in three dimensions and on a real scale dishes of a menu of a restaurant directly on a table, for one or more users simultaneously, and order dishes from the table of the user or users.
  • the invention also relates to a device for implementing said method.
  • the method according to the invention enables the user (ie customer of a restaurant) to view or perceive the dish at its actual size and thus to better understand the portions served before ordering the dish. Such perception is generally difficult with pictures of dishes, in the form of two-dimensional images, as presented in non-interactive menus conventionally printed on paper.
  • the real scene is captured by a camera integrated in the mobile terminal, which the user holds in his hands and that he orients towards the surface of the table in front of which it is located, in order to view the dish in this environment, on the screen of its mobile terminal.
  • the present invention aims to provide a solution to achieve the above objective, while overcoming the disadvantages of the KabaQ application.
  • an augmented reality method for viewing restaurant dishes comprising:
  • each image is deformed according to the average position of the user's eyes and the geometry of the environment so as to give the illusion to the user to perceive virtual dishes in three dimensions, on a real scale, directly on the restaurant table, from its different angles with the right perspective.
  • the method further optionally includes receiving the positions and orientations of the skeleton portions of the user's hand to create a tangible projected interface allowing the user to select the virtual dish to be viewed in three dimensions.
  • the invention also relates to a device for implementing this method.
  • This device comprises in particular:
  • a sensor system configured to receive the data necessary for calculating the average position of the eyes of the user in real time
  • a sensor system configured to receive the data necessary to calculate the geometry of the user's environment, and a sensor system configured to receive the data necessary for detecting the user's hands and calculating the positions. and skeleton parts orientations of the user's hands in real time; all being embedded in a single portable device.
  • a method for creating a tangible projected interface for selecting, real-scale, three-dimensional visualization of restaurant menu dishes directly on the table of the user or users including receiving data necessary to calculate the average eye position of each user, where the projected image is divided into sections corresponding to the space in front of each user, and where each image for the associated section is deformed according to the position of the user. corresponding user to create the 3D illusion of the dishes.
  • the process according to the invention further comprises, optionally, taken separately or according to all the possible combinations:
  • the invention also relates to a device for implementing this method.
  • This device includes:
  • a sensor system configured to receive the data necessary for detecting the points of contact of the hands of each user with the surface of the table
  • a sensor system configured to receive the data necessary to calculate the average eye position of each user in real time; - an electronic system for transmitting information to the kitchens of the restaurant;
  • a method for providing an interactive human-machine interface to at least one user in a place of restoration exploits at least one database comprising digitally one or more images.
  • the method comprises: a step of acquiring data relating to the user; and a step of direct projection on a flat surface, preferably a table, opposite said user, of at least one of said images according to said data relating to the user.
  • said digitized image or images comprise two-dimensional and / or three-dimensional images.
  • these images are intended to display the contents of a menu of a restaurant and / or the representation of the dishes of the menu in three dimensions and on a real scale.
  • Two-dimensional images include textual and / or graphical elements such as virtual buttons for selecting dishes to be viewed and / or ordering a selected dish.
  • the data relating to the user comprises:
  • presence data data relating to a presence of the user vis-à-vis the flat surface
  • the acquisition of the presence data advantageously makes it possible to project the menu of the dishes available to the order, as soon as the user sits at a table, without having to wait for a waiter to bring him the menu.
  • the interaction between the restaurant client and the server is reduced. This advantageously makes it possible to reduce the waiting time for a customer to acquaint with the contents of the menu, which contributes to facilitating the order of a dish.
  • the three-dimensional images comprise so-called reference images of a dish viewed from different angles and the method further comprises a calculation step making it possible to establish in digitized form the data of a said modified image of the plate according to the average position of the eyes of the user and said reference images, the image projected during the projection step being said modified image.
  • the image of the plate can be visualized in three dimensions and at an angle by the user directly on the flat surface taking into account the average position of the eyes of the user.
  • the selection data comprise data relating to points of presence of the user vis-à-vis said flat surface, including points of contact of a hand of the user. with said flat surface, in particular the surface of the table.
  • the detection of the points of contact of a user's hand with the flat surface makes it possible to provide a tactile and non-intrusive interface for navigating through the menu and selecting dishes to be visualized in three real-world dimensions.
  • the menu is directly projected on the area of the table in front of which the user is, without forcing the latter to use accessories. It follows that the user can navigate through the menu while maintaining a good level of interactivity with other people sitting at the table.
  • the method further comprises a step of designing the selected dish, according to which design options of the dish are projected on the flat surface. For example, a list predetermined ingredients i thus offered to the user to allow him to customize his dish before ordering.
  • the method further comprises the following steps: - acquisition of environment data;
  • the deformation of the image advantageously makes it possible to adapt the visualization of the dish in three dimensions according to the environmental data.
  • the acquisition of environmental data makes it possible, in particular, to detect the presence of obstacles located in the projection zone facing the user, such as a plate, a bowl, a cup, a towel, cutlery.
  • the method comprises the following additional steps:
  • the order of the dish can be advantageously validated autonomously by the user, that is to say without requiring interaction with a server of the place of restoration.
  • the order information is then transmitted directly to the kitchens of the place of restoration, so that a cook can quickly prepare the ordered dish, without waiting for the information to be transmitted to the cook by a server.
  • the order of a dish can be more easily performed by the user and processed by the restaurant staff, avoiding any interaction between the customer and one or more servers.
  • geolocation data associated with said control information is provided in association with the control information.
  • Geolocation data allows the server to accurately identify the exact location in the place of restoration, where the dish should be served as soon as it is prepared in the kitchen.
  • the geolocation data comprise a unique identifier of a table of a place of restoration and / or the zone of said table from which the command carried out by the user,
  • the dish can be easily served by a server at the table, from which the order was issued or more directly directly to the user (or customer) who ordered the dish in the area of the table in front of which he sits, while the server had no prior interaction with the client.
  • the method further comprises an electronic payment step, during which the user makes an electronic payment of said order.
  • the user can proceed completely independently to the payment of his order as soon as he has made the choice of his dish, that is to say without requiring interaction with a server of the place of restoration .
  • the method is configured to process the data corresponding to each user, in particular by dividing the space into sections corresponding to the space in front of each user, in particular by dividing the and / or the projected images according to the sections corresponding to the space in front of each user.
  • the invention also relates to a device for providing an interactive human-machine interface to at least one user who is in a place of restoring according to the method described above, said device comprising: storage space for storing said at least one database comprising digitally one or more images;
  • - Direct projection means on a flat surface, preferably a table, vis-à-vis which is said user, at least one of said images according to said data relating to the user.
  • the device according to the invention may have the following characteristics, taken separately or in any possible combination: - said storage space, said acquisition means and said projection means are integrated in a common portable unit ,
  • said portable unit is common to several users, said acquisition means and / or said projection means being configured to operate by dividing the space into sections corresponding to the space in front of each user, said device comprises furthermore a computer unit configured to perform all or part of the steps of the method described above, said computer unit possibly being integrated in said portable unit,
  • said direct projection means comprise an ultra-short focal length pico-projector
  • said acquisition means comprise a first sensor system for detecting points of contact of the user's hand with the flat surface
  • said acquisition means comprise a second sensor system adapted to provide the average position of the user's eyes in real time
  • said acquisition means comprise presence sensor, preferably infrared radiation.
  • said device further comprises a control module adapted to supply control information for controlling a dish, said control module optionally being integrated into said portable unit,
  • said device further comprises a communication interface coupled to said control module so as to send said control information, said communication interface possibly being integrated in said portable unit,
  • said device furthermore comprises an electronic payment terminal coupled to the control module so as to make a payment of said order, said terminal possibly being integrated in said portable unit.
  • the device according to the invention is based notably on a projection system. Ultra short throw (ultra short throw in English) and a sensor system allowing the visualization of different images such as images of restaurant dishes in three dimensions, without compelling the user to wear any equipment - such as augmented reality glasses worn on the face or screens of terminals held in the hands of the user.
  • the visualization of the images is done directly in its environment, i.e. on the table of the user.
  • the method of the invention data necessary for calculating the position of the user's face are received and the image to be projected is deformed or modified according to this position, so as to create an illusion of optiqi of the dishes in real time.
  • the user by moving his face, can see the virtual dish under its different perspectives in three dimensions, on a real scale and directly on the table.
  • the method can also receive contact point information between the hand and the table surface and create a tangible projected interface allowing the user to select the dish to be viewed.
  • the object of the present invention thus relates to a method for creating a tangible projected interface for a user allowing, in particular, real-scale, three-dimensional visualization of the dishes of a menu of a restaurant directly on the table and possibly the selection of said dishes.
  • the interface is functional for one or more users simultaneously.
  • the method of the present invention comprises a step of receiving data necessary to calculate the average position of the eyes of each user, a step of projecting an image on the surface of the table, the projected image being divided if necessary into sections each corresponding to a space in front of each user, and where each image for the associated section is deformed according to the position of the corresponding user to create the 3D illusion.
  • the object of the invention also relates to a device for implementing the method.
  • This device embeds a sensor system configured to receive the data needed to calculate the average eye position of each user in real time.
  • the device can be advantageously placed at the end of the table to eliminate any clutter.
  • the method according to the invention further comprises a step of receiving the information of the order of each user, and a step of transmitting said control information to the kitchens of the restaurant, so that each user can place orders directly from his table and at any time of the meal.
  • the method is adapted to also transmit the location of the table of the user or users to the servers so as to facilitate the table service.
  • the device for the implementation of the method embeds an electronic system for the transmission of this information in the kitchen.
  • the method of the present invention further comprises a step of receiving electronic payment information.
  • the device according to the invention embeds an electronic payment terminal.
  • the presence of a user at the table is detected, as well as the position of the place occupied by this user at the table. The detection then triggers the projection of content on the region of the table associated with the occupied place.
  • the device according to the invention further comprises a sensor system configured to receive the data necessary for the detection of a user placing himself at the table in real time.
  • Each user can design the dish he wants (The personalized dish).
  • the tangible interface provided by the method according to the invention allows it to choose ingredients for the design of this dish.
  • the deformation of the section of the projected image according to the position of the corresponding user allows him to visualize the personalized dishes in three dimensions with the right perspective. It also allows him to understand the portions of the dishes.
  • the accompanying drawing illustrates an embodiment of the invention.
  • Figure 1 shows an example of implementation of the invention in a restaurant.
  • the device according to the invention is arranged on the table of a restaurant, on which are identified four areas (1, 2, 3, 4) corresponding to four seats at the table.
  • the projected image is partitioned into four sections (105a, 105b, 105c, 105d), corresponding to the space in front of the four available squares (1, 2, 3, 4) of the table.
  • Each section of the projected image is distorted according to the position of the corresponding user, in particular at the average position of his eyes, so as to create a 3D optical illusion for this position, allowing him to see a particular dish.
  • a virtual restaurant (104) as if it were real and directly on the restaurant table.
  • the device according to the invention comprises a pico-projector ultra short throw (101) capable of projecting images directly on the table of the user.
  • the ultra-short focal length makes it possible to obtain a compact and non-bulky system.
  • the device according to the invention comprises a portable unit embodying the pico-projector ultra short focal length. Said portable unit can be placed at the end of the table making its presence very discreet on the table.
  • the projector can be of higher projection ratio and embedded in the device according to the invention, so as to be fixed to the ceiling of the restaurant.
  • a sensor system (102) is configured to receive the data necessary to track the average eye position of each user in the space. It can be a video camera with a slow: wide angle, or multiple video cameras whose optical axis is in the direction of each possible place at the table, or one or more stereo cameras, or one or more depth sensors. or any other means for detecting these data.
  • the method according to the invention implements computer vision and machine learning algorithms (i), which calculate the average position of the eyes of each user in the space in real time, based on data of said sensor system.
  • mean position we understand the position in the space of the interocular point, Le. point on the line connecting the two eyes, equidistant from both eyes.
  • the sensor system (102) is furthermore advantageously configured to acquire data relating to a designation by the user of a region of the plane surface, in particular of the table, where one of the images is projected, for example to detect the points of contact of the flat surface of the table with the hands of the users.
  • the portable unit includes, in particular, a camera located high part.
  • real-time 3D capture techniques of the environment can be used to calculate contact points, for example techniques known as structured light, stereo and / or propagation time.
  • this sensor system may also be constituted by a system based on a more elaborate method which calculates the positions and orientations of the skeleton members of the hands of each user.
  • This system is, for example, an infrared stereo camera such as Leap Motion (trademark).
  • Leap Motion trademark
  • the method then comprises the implementation of computer vision algorithms and automatic learning.
  • This sensor system thus creates a tangible projected interface allowing each user to choose the virtual dish to be visualized in three dimensions.
  • the pico-projector comprises a computing unit comprising at least one processor and a memory space.
  • the pico-projector and the one or more sensor systems are calibrated together.
  • a structured light approach may allow the calibration of the pico-projector, sensor system (s) (ie the calculation of their parameters). intrinsic), as well as the calibration of the sensor (s) - projector (ie the calculation of the position and orientation of the pico-projector with respect to the position and orientation of each sensor that analyzes the lights structured).
  • Calibration makes it possible to create a unique coordinate system for the pico-projector, the sensor (s) and the virtual world. If the geometry of the environment of the user is complex and contains, for example a plate, then the image to be projected, in particular each section of the image to be projected, can be rendered in two passages.
  • a rendering of the virtual scene is made from the position of the face of the user, either the single user or the one corresponding to the section.
  • the synthesized texture is projected from the average position of the eyes of this user on the corresponding environment, including a maiilage of the captured environment.
  • a rendering is made from a virtual camera placed at the position of the real pico-projector and having the same intrinsic parameters as the actual pico-projector.
  • the image of this rendering is sent to the pico-projector to be projected.
  • the images of this rendering for each user are concatenated into a single image, which is sent "co-projector to be projected.
  • a first rendering is made from the position of the user's face.
  • a homography for the user, or each user, for each rendering image can be computed and then used to deform each corresponding section of the image to be projected. More precisely, a homography can be calculated between the image of the table plane captured by the camera of the first rendering and the image of the table yawn captured by a virtual camera having the same pose as the real pico projector and the same intrinsic parameters.
  • the vector of the coordinates of the pixel is multiplied by the homography; the color of the image of the first rendered at the coordinates obtained by the multiplication is copied to give the color of the image of the final rendering at this pixel.
  • the method also takes into account the geometry of the environment of the user to deform the image that is projected. Taking into account environment data, such as the geometry of the environment, the surrounding brightness or other environmental parameters is optional.
  • the environment is known and previously configured in the device according to the invention, without necessarily being updated at each use. In this case, it is not necessary to receive environment data, let alone to acquire the data.
  • the 3D optical illusion created by the method of the present invention is based on several depth effects including the perspective effect and the parallax effect.
  • the dishes on the restaurant menu can be pre-scanned by photogrammetry. This data is saved as scanned images. These images can be stored in a database.
  • the database may be stored entirely or partially in a memory space of the device according to the invention.
  • all or part of the library can be stored on a remote server accessible by the device according to the invention via any type of res -; appropriate communication.
  • Photogrammetry is about creating three-dimensional digital models from pictures taken from different points of view.
  • the present invention offers the user the opportunity to see three dimensional models of dishes from all angles with the right perspective.
  • a digital model created by photogrammetry thus allows the user who uses the present invention to see photorealistic details from all angles.
  • the device according to the invention comprises wireless or wired communication means, such as a Wi-Fi card or Ethernet card.
  • Each user can order a dish at any time, which is particularly suitable for dishes that need to be eaten immediately after preparation such as ice cream or hot drink.
  • the location of the table is also passed to the kitchen, so the server does not waste time looking for the user in the restaurant. This information is even more important that the server did not necessarily meet the user at the time of order because the invention allows the passage of control without assistance from the server.
  • the Deter system (102) is further configured to detect the presence of a user at a restaurant table, as well as the place occupied by that user. It can be a video camera with a wide angle lens, or several video cameras whose optical axis is in the direction of every possible place at the table, or one or more stereo cameras, or one or more depth sensors.
  • the method according to the invention is adapted to implement computer vision and machine learning algorithms which ensure the detection of the average eye position of the user, from the data of said sensor system.
  • the method may rely on the face detection method in the Viola and Jones image or on a convolutional neural network method.
  • the method may be based on the detection of solid points in the space above the square that would be empty without occupant. The detection then triggers the projection of content on the region of the table associated with the occupied place. An interactive button is projected and allows to turn on or off the projection.
  • the restaurant table When the projection is off, the restaurant table is unobstructed, unencumbered by any screen and is thus indistinguishable from any restaurant table.
  • the interface of the present invention is thus non-intrusive (non-invasive in English).
  • three-dimensional animations related to the selected dish are projected in front of each user.
  • a small, animated, three-dimensional character tells culinary stories in relation to the dish selected by each user. This character can be the mascot of the restaurant brand.
  • the three-dimensional animations are particularly useful for the user to wait during the preparation of dishes.
  • the deformation of the section of the projected image according to the position of the corresponding user, in particular the average position of his eyes, enables him to visualize the animations in three dimensions and with the right perspective.
  • the sensor system (102) may be configured to measure the emotions of each user. It can be a video camera with a wide-angle lens, or multiple video cameras whose optical axis is in the direction of each possible place at the table, or one or more stereo cameras, or one or more depth sensors.
  • the method according to the invention is adapted to implement computer vision and machine learning algorithms that calculate the emotions of each user in real time, from the data of said sensor system.
  • the measured emotional reactions provide accurate information to the restorer on the behavior of the users in relation to the projected content. The restaurateur can then know which dishes are successful and can make decisions with confidence.
  • each user can design the dish he wants insofar as the tangible interface provided by the method according to the invention allows him to choose specific ingredients or recipes for the preparation of his dish.
  • the deformation of the section of the projected image according to the perspective of the corresponding user allows him to visualize the personalized dishes, their portions, and to evaluate them.
  • This design step can be advantageously implemented by the computer unit of the device according to the invention before placing an order, in particular when viewing a three-dimensional dish by a user or when selecting a dish from the menu before viewing the dish in three dimensions.
  • a method for providing an interactive human-machine interface to at least one user in a restaurant place such as a restaurant is provided.
  • the method exploits at least one database comprising digitally one or more images.
  • the digitized images represent dishes of the restaurant and are obtained by photogrammetry as previously described.
  • the base can be stored in a memory space of the device according to the invention. Alternatively, it can be stored totally or partially on an application server accessible by the device according to the invention via the Internet via a wireless communication interface, such as a Wi-Fi card.
  • the device according to the invention can also be equipped with a wired communication interface, such as an Ethernet card, to overcome transmission conditions.
  • Difficult radio in the premises of the restaurant In a first stage of projection, the pico-projector projects the menu of the restaurant including a list of dishes available to order. For this, the pico-projector projects the menu in digital form, that is to say in the form of a graphical interface comprising textual elements and / or graphics, such as virtual buttons.
  • These textual and / or graphic elements are stored locally in a read-only memory or on a hard disk integrated in the device according to the invention, for example in said database. They can also be downloaded from an application server so that they can be updated centrally.
  • the projection is performed on an area of the flat surface, e.g. on the table, directly in front of the user.
  • the projection surface can be divided into as many areas as there are customers sitting at the restaurant table.
  • the device according to the invention comprises means for acquiring data relating to the user, in particular one or more presence sensors, such as an infrared radiation sensor. At a minimum, only one projection area is defined in the case where only one user is seated at the table.
  • the device according to the invention detects the presence of a user at the table, it determines the place occupied at the table by the latter, and triggers the projection of content on the region of the table associated with the occupied place. .
  • the device comprises a first sensor system for the ection of contact points of the user's hand with the flat surface as previously described.
  • the first sensor system obtains selection data including data relating to points of contact of a user's hand with said flat surface.
  • a second projection step is implemented to project on said zone a representation of the selected dish.
  • the projection is adapted to provide from the images stored in the database a representation of the selected dish in three dimensions and on a real scale directly on said surface, without compelling the user to wear or use an accessory.
  • the device according to the invention extracts from the database the reference three-dimensional images of the selected dish viewed from different angles and implements a calculation step making it possible to establish in digitized form the data of an image modified said dish according to the average position of the eyes of the user and said reference images, the ima discarded during said projection step being said ima dified.
  • the present invention allows the user to accurately visualize the appearance, texture, and actual scale size of the dishes prior to consuming them.
  • the invention provides a highly interactive interface in that the user can view the dishes in three dimensions from all angles and with the right perspective and that the selection of these dishes is simply by a tactile interaction on the flat surface of projection.
  • the solution provided by the invention is non-intrusive insofar as it uses no screen or accessory to allow the visualization of images, in particular the images of dishes in three dimensions.
  • the invention provides the user with a very ergonomic way to select and visualize dishes while enhancing the user-friendliness between people sitting at the same table to the extent that no obstacle comes hinder their field of vision (eg screen of a tablet or mobile phone).
  • the presentation of dishes in three dimensions naturally allows to overcome the language barrier, which is particularly advantageous in places frequented by tourists.
  • the digital menu may include a recommendation engine adapted to proactively suggest flat uvels to be included in the menu.
  • the method according to the invention can provide a design design step of the selected dish, according to which design options of the dish are projected on the flat surface. For example, a list of predetermined ingredients; thus offered to the user to allow him to customize his dish before ordering. In this case, the selection of the options is done by tactile interaction on the flat surface as previously described.
  • the projection of the dish in three dimensions is adapted according to the options selected by the user who can then visualize the personalized dish in three dimensions and on a real scale.
  • a control module adapted to provide control information for controlling a dish is implemented at the interface.
  • this module is adapted to project the image of a virtual button on the projection area in front of the user and to detect the position of his finger according to the data obtained by the infrared sensor as described above.
  • the device Before finalizing the order, an electronic payment step is implemented.
  • the device has an electronic payment module.
  • This module can be integrated into the device according to the invention and coupled to the control module so as to make a payment of the order.
  • the payment module includes an interface allowing the user to proceed to a credit card payment in a conventional manner.
  • the control information is sent by the device according to the invention by means of a conventional communication interface (eg, Wi-Fi or Ethernet).
  • the communication interface is coupled to the control module so as to send said control information to a terminal located in cuîsim restaurant so that a cook can take charge of the preparation of the ordered dish.
  • the order information of the dish includes a user-controlled dish identifier and an identifier of said user.
  • Each dish is previously referenced in the database by a unique identifier.
  • Each projection zone is identified by a second number identifying the user who placed the order.
  • the method of the invention advantageously allows a customer to place an order for one or more dishes, as soon as he sits at a table or at any time of his meal, and without requiring prior interaction with one or more servers of the place of restoration.
  • the restaurant's servers no longer have to worry about taking orders from customers and passing them on to the kitchens and therefore can only focus on serving the dishes to the customers as soon as they have been prepared in the kitchen. .
  • the choice of a dish to be ordered by the user is all the more easy as the prior viewing of the dish is carried out in three dimensions and on a real scale compared to a conventional situation where the customer of a restaurant needs 'talk with a server to get more information about the dishes on the menu before you can choose.
  • This preliminary visualization makes the user autonomous for the choice of his dish, since the projection of the dish in three dimensions and u real size gives him a realistic representation of the dish and according to the real proportions.
  • the electronic payment of the order is done autonomously and without requiring interaction with a server.
  • a step of broadcasting a multimedia content in three dimensions relating to the dish that has been ordered advantageously makes it possible to wait for the customer during the preparation of his dish in the kitchen while providing him cultural and / or culinary trmations in connection with the dish ordered.
  • a three-dimensional avatar can be projected on the table and interact with the user.
  • the projection of the avatar in three dimensions can be performed from images stored in the database as for the visualization of three-dimensional dishes as described above.
  • any type of three-dimensional content such as animations or special effects, can be broadcast whenever the menu content of the restaurant evolves or during special events (eg 3D content dedicated to parties Christmas or end of the year).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Development Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Procédé créant une interface projetée tangible pour la sélection, la visualisation 3D et la commande des plats d'un menu d'un restaurant directement depuis la table du restaurant, ainsi qu'un dispositif pour la mise en œuvre du procédé. L'invention concerne un procédé créant une interface projetée tangible pour la sélection, la visualisation en trois dimensions et la commande de plats de restaurants, ainsi qu'un dispositif pour la mise en œuvre dudit procédé. Le dispositif repose sur un système de projecteur et de capteurs. Le procédé partitionne l'image projetée en sections correspondant à l'espace devant chaque utilisateur à table. Chaque image pour la section associée est déformée en fonction de la position de l'utilisateur correspondant pour créer l'illusion 3D des plats. Chaque utilisateur peut sélectionner le plat à visualiser grâce à une interface projetée tangible. L'utilisateur peut commander les plats directement depuis sa table. Le procédé selon l'invention est particulièrement destiné à l'industrie de la restauration et de l'hôtellerie.

Description

Procédé pour fournir une interafce homme-machine à au moins un utilisateur se trouvant dans un lieu de consommation et dispositif
pour la mise en œuvre du procédé
La présente invention a pour principal objectif de limiter les interactions d'un serveur avec un ou plusieurs clients souhaitant consommer des plats dans un lieu de restauration, tel qu'un restaurant. L'invention vise notamment à optimiser ou faciliter la commande d'un ou plusieurs plats, boissons ou autres préparations culinaires. L'invention trouve une application privilégiée dans le domaine de la restauration et de l'hôtellerie.
Par la suite, on désignera par lieu de restauration tout endroit où des clients peuvent consommer sur place, tout type de préparation culinaire élaborée en cuisine et proposée à la vente, i.e. nourriture et/ou boissons. Le terme plat sera utilisé par la suite pour désigner une telle préparation culinaire.
De manière classique, le terme lieu de restauration désignera, par exemple un restaurant, une taverne, une brasserie, une cantine, une hostellerie, une auberge. De manière plus générale, l'invention pourra être utilisée ou mise en œuvre dans tout environnement ou lieu disposant d'un service de restauration, en particulier des véhicules de transports, tels que des trains, avions, bus, navires ou bateaux.
La présente invention concerne un procédé pour fournir à un utilisateur une interface projetée tangible permettant en particulier de sélectionner et de visualiser en trois dimensions et à échelle réelle de plats d'un menu d'un restaurant directement sur une table, pour un ou plusieurs utilisateurs simultanément, et de commander des plats depuis la table du ou des utilisateurs. L'invention vise egalement un dispositif pour la mise en oeuvre dudit procédé.
Par tangible, on entend, en particulier, visualisable sous la forme d'un objet en trois dimensions, même si ces objets en trois dimensions ne sont que des images virtuelles 3D d'objet réels, autrement dit des illusions d'optique 3D. Par la suite, on comprend qu'une visualisation à échelle réelle d'un objet est une visualisation restituant de manière fidèle les dimensions réelles de cet objet dans le champ de vision de l'observateur. De manière avantageuse, le procédé selon l'invention perme utilisateur (i.e. client d'un restaurant) de visualiser ou percevoir le plat à sa taille réelle et ainsi de mieux appréhender les portions servies avant de commander le plat. Une telle perception est généralement difficile avec des photos de plats, sous la forme d'images en deux dimensions, telles que présentées dans des menus non- interactifs classiquement imprimés sur du papier.
A cet égard, il est connu de l'état de la technique, une application mobile appelée KabaQ (https://youtu.be/2IFeT6lo78s) permettant de visualiser des plats de restaurant en réalité augmentée. Cette application met en œuvre des techniques de réalité augmentée consistant à superposer à l'image d'une scène réelle visualisée sur l'écran d'un terminal mobile, une image virtuelle d'un objet, tel que le plat d'un restaurant.
Dans le cas de l'application KabaQ, la scène réelle est captée par une caméra intégrée dans le terminal mobile, que l'utilisateur tient entre ses mains et qu'il oriente en direction de la surface de la table devant laquelle il se trouve, de manière à visualiser le plat dans cet environnement, sur l'écran de son terminal mobile.
Cette solution a pour limite de contraindre l'utilisateur à porter un équipement : une tablette ou un smartphone. De plus, l'utilisateur ne regarde pas directement l'environnement mais un écran, ce qui amoindrit l'immersion. Enfin, l'écran est placé entre les utilisateurs, ce qui diminue la convivialité recherchée dans un restaurant. La présente invention vise à apporter une solution pour atteindre l'objectif ci- dessus, tout en surmontant les inconvénients de l'application KabaQ.
Selon un premier aspect de la présente invention, il est prévu un procédé de réalité augmentée pour la visualisation de plats de restaurant comprenant :
- la réception de la position moyenne des yeux de l'utilisateur en temps réel, la réception éventuelle de la géométrie de l'environnement de l'utilisateur,
- la projection d'un flux d'image en temps réel, où chaque image est déformée en fonction de la position moyenne des yeux de l'utilisateur et de la géométrie de l'environnement de façon à donner l'illusion à l'utilisateur de percevoir les plats virtuels en trois dimensions, à échelle réelle, directement sur la table du restaurant, sous ses différents angles avec la bonne perspective.
Le procédé comprend en outre éventuellement la réception des positions et orientations des parties du squelette de la main de l'utilisateur pour créer une interface projetée tangible permettant à l'utilisateur de sélectionner le plat virtuel à visualiser en trois dimensions.
L'invention vise également un dispositif pour la mise en œuvre de ce procédé. Ce dispositif comprend notamment :
- un pico-projecl ocale ultra courte (ultra short throw en anglais), - une unité informatique configurée pour héberger les calculs suivant le procédé,
- un système de capteurs configuré pour recevoir les données nécessaires au calcul de la position moyenne des yeux de l'utilisateur en temps réel,
- un système de capteurs configuré pour recevoir les données nécessaires au calcul la géométrie de l'environnement de l'utilisateur, et - un système de capteurs configuré pour recevoir les données nécessaires à la détection des mains de l'utilisateur et au calcul des positions et orientations des parties des squelettes des mains de l'utilisateur en temps réel; le tout étant embarqué dans un unique dispositif portable.
Selon un deuxième aspect de la présente invention, il est prévu un procédé pour créer une interface projetée tangible pour la sélection, la visualisation en trois dimensions à échelle réelle des plats du menu du restaurant directement sur la table du ou des utilisateurs, comprenant la réception des données nécessaires au calcul de la position moyenne des yeux de chaque utilisateur, où l'image projetée est divisée en sections correspondant à l'espace devant chaque utilisateur, et où chaque image pour la section associée est déformée en fonction de la position de l'utilisateur correspondant pour créer l'illusion 3D des plats. Le procédé selon l'invention comprend en outre, éventuellement, pris séparément ou selon toutes les combinaisons possibles :
- la réception des informations de la commande, et leur transmission vers les cuisines du restaurant, de sorte que chaque utilisateur puisse passer des commandes directement depuis sa table et à tout moment du repas;
- la transmission de l'emplacement de la table du ou des utilisateurs aux serveurs de façon à faciliter le service à table;
- le paiement électronique de la commande;
- la détection de la présence d'un utilisateur à la table, ainsi que la place occupée à la table, permettant de déclencher la projection de contenu sur la région de la table associée à la place occupée;
- la conception des plats par chaque utilisateur à partir du choix des ingrédients, où l'interface tangible permet la sélection des ingrédients, et où la déformation de la section de l'image projetée en fonction de la position de l'utilisateur correspondant lui permet de visualiser et d'évaluer les plats personnalisés en trois dimensions et leurs portions.
L'invention vise également un dispositif pour la mise en œuvre de ce procédé. Ce dispositif embarque notamment :
- un pico-project ocale ultra courte, - une unité informatique configurée pour héberger les calculs suivant le procédé,
- un système de capteurs configuré pour recevoir les données nécessaires à la détection des points de contact des mains de chaque utilisateur avec la surface de la table;
- un système de capteurs configuré pour recevoir les données nécessaires au calcul de la position moyenne des yeux de chaque utilisateur en temps réel; - un système électronique de transmission des informations vers des cuisines du restaurant;
- un terminai de paiement électronique.
Selon un troisième aspect de l'invention, qui pourra être combiné avec les précédents, il est prévu un procédé pour fournir une interface homme-machine interactive à au moins un utilisateur se trouvant dans un lieu de restauration. Le procédé exploite au moins une base de données comprenant de façon numérisée une ou plusieurs images. Le procédé comprend : une étape d'acquisition de données relatives à l'utilisateur; et - une étape de projection directe sur une surface plane, de préférence une table, en vis-à-vis de laquelle se trouve ledit utilisateur, d'au moins une desdites images en fonction desdites données relatives à l'utilisateur.
Selon une caractéristique de l'invention, ladite ou lesdites images numérisées comprennent des images en deux dimensions et/ou en trois dimensions. En particulier, ces images sont prévues pour afficher le contenu d'un menu d'un restaurant et/ou la représentation des plats du menu en trois dimensions et à échelle réelle. Parmi les images en deux dimensions figurent des éléments textuels et/ou graphiques tels que des boutons virtuels pour la sélection de plats à visualiser et/ou pour passer commande d'un plat sélectionné. Selon une autre caractéristique de l'invention, les données relatives à l'utilisateur comprennent :
- des données relatives à une présence de l'utilisateur en vis-à-vis de la surface plane, dites données de présence ;
- des données relatives à une désignation par l'utilisateur d'une région de la surface plane où l'une des images est projetée, dites données de sélection ;
- une position moyenne des yeux de l'utilisateur, dites données d'orientation. Selon une particularité de l'invention, l'acquisition des données de présence permet avantageusement de projeter le menu des plats disponibles à la commande, dès que l'utilisateur s'assied à une table, sans avoir à attendre qu'un serveur lui apporte le menu. Ainsi, l'interaction entre le client du restaurant et le serveur est réduite. Ceci permet avantageusement de réduire le temps d'attente d'un client pour prendre connaissance du contenu du menu, ce qui contribue à faciliter la commande d'un plat.
Selon une autre caractéristique de l'invention, les images en trois dimensions comprennent des images dites de référence d'un plat vu sous différents angles et le procédé comprend en outre une étape de calcul permettant d'établir sous forme numérisée les données d'une image, dite modifiée, du plat en fonction de la position moyenne des yeux de l'utilisateur et desdites images de référence, l'image projetée lors de l'étape de projection étant ladite image modifiée.
Ainsi, l'image du plat peut être visualisée en trois dimensions et à éche Ile par l'utilisateur directement sur la surface plane en tenant compte de la position moyenne des yeux de l'utilisateur.
Selon une autre caractéristique de l'invention, les données de sélection comprennent des données relatives à des points de présence de l'utilisateur en vis-à-vis de ladite surface plane, notamment des points de contacts d'une main de l'utilisateur avec ladite surface plane, notamment la surface de la table. De manière avantageuse, la détection des points de contacts d'une main de l'utilisateur avec la surface plane permet de fournir une interface tactile et non intrusive pour naviguer à travers le menu et sélectionner des plats à visualiser en trois dimensions e helle réelle. En effet, le menu est directement projeté sur la zone de la table devant laquelle l'utilisateur se trouve, sans contraindre ce dernier à utiliser des d'accessoires. Il s'en suit que l'utilisateur peut naviguer à travers le menu tout en conservant un bon niveau d'interactivité avec les autres personnes assises à la table.
Selon un mode de réalisation particulier de l'invention, le procédé comprend en outre une étape de conception du plat sélectionné, selon laquelle des options de conception du plat sont projetées sur la surface plane. Par exemple, une liste d'ingrédients prédétermin i ainsi proposée à l'utilisateur pour lui permettre de personnaliser son plat avant de le commander.
Selon une autre caractéristique de l'invention, le procédé comprend en outre les étapes suivantes : - acquisition de données d'environnement ;
- déformation de l'image du plat en fonction des données d'environnement.
La déformation de l'image permet avantageusement d'adapter la visualisation du plat en trois dimensions en fonction des données d'environnement. L'acquisition de données d'environnement permet notamment de détecter la présence d'obstacles situés dans la zone de projection en vis-à-vis de l'utilisateur, tels qu'une assiette, un bol, une tasse, une serviette, des couverts.
Selon une autre caractéristique de l'invention, le procédé comprend les étapes supplémentaires suivantes :
- réception d'informations d'une commande d'un plat comprenant un identifiant du plat commandé par l'utilisateur et un identifiant dudit utilisateur ;
- transmission desdites informations de commande à un terminal localisé dans un lieu de préparation des plats.
Ainsi, la commande du plat peut être avantageusement validée de manière autonome par l'utilisateur, c'est-à-dire sans nécessiter d'interaction avec un serveur du lieu de restauration. Les informations de commande sont alors transmises directement dans des cuisines du lieu de restauration, de sorte qu'un cuisinier puisse rapidement préparer le plat commandé, sans attendre que l'information soit transmise au cuisinier par un serveur. De cette manière, la commande d'un plat peut être plus facilement effectuée par l'utilisateur et traitée par le personnel du restaurant, en s'affranchissant de toute interaction entre le client et un ou plusieurs serveurs. Selon une autre caractéristique de l'invention, des données de géolocalisation associées auxdites informations de commande sont fournies en association avec les informations de commande.
Les données de géolocalisation permettent au serveur d'identifier précisément l'emplacement exact dans le lieu de restauration, où le plat devra être servi dès sa préparation en cuisine.
Selon une autre caractéristique de l'invention, les données de géolocalisatîon comprennent un identifiant unique d'une table d'un lieu de restauration et/ou de la zone de ladite table depuis laquelle la command effectuée par l'utilisateur, Ainsi, le plat peut être facilement servi par un serveur à la table, depuis laquelle a été émise la commande ou plus précisément directement à l'utilisateur (ou client) ayant commandé le plat dans la zone de la table devant laquelle il est assis, alors que le serveur n'a eu aucune interaction préalable avec le client.
Selon une autre caractéristique de l'invention, le procédé comprend en outre une étape de paiement électronique, lors de laquelle l'utilisateur effectue un paiement électronique de ladite commande.
De manière avantageuse, l'utilisateur peut procéder de manière totalement autonome au paiement de sa commande dès lors qu'il a fait le choix de son plat, c'est-à- dire sans nécessiter d'interactions avec un serveur du lieu de restauration. Selon cet aspect de l'invention, en cas de pluralité d'utilisateurs, le procédé est configuré pour traiter les données correspondant à chaque utilisateur, notamment en divisant l'espace en sections correspondant à l'espace à l'avant de chaque utilisateur, en particulier en divisant la et/ou les images projetées selon les sections correspondant à l'espace devant chaque utilisateur. Toujours selon cet aspect, l'invention concerne encore un dispositif pour fournir une interface homme-machine interactive à au moins un utilisateur se trouvant dans un lieu de restauration suivant le procédé décrit plus haut, ledit dispositif comprenant : - un espace de stockage pour stocker ladite au moins une base de données comprenant de façon numérisée une ou plusieurs images;
- des moyens d'acquisition de données relatives à l'utilisateur;
- des moyens de projection directe sur une surface plane, de préférence une table, en vis-à-vis de laquelle se trouve ledit utilisateur, d'au moins une desdites images en fonction desdites données relatives à l'utilisateur.
Selon différents modes de réalisation, le dispositif conforme à l'invention pourra présenter les caractéristiques suivantes, prises séparément ou selon toute combinaison possible : - ledit espace de stockage, lesdits moyens d'acquisition et lesdits moyens de projections sont intégrés dans une unité portable commune,
- ladite unité portable est commune à plusieurs utilisateurs, lesdits moyens d'acquisition et/ou lesdits moyens de projection étant configurés pour fonctionner en divisant l'espace en sections correspondant à l'espace à l'avant de chaque utilisateur, - ledit dispositif comprend en outre une unité informatique configurée pour exécuter tout ou partie des étapes du procédé décrit plus haut, ladite unité informatique étant éventuellement intégrée dans ladite unité portable,
- lesdits moyens de projection directe comprennent un pico-projecteur à focale ultra courte, - lesdits moyens d'acquisition comprennent un premier système de capteurs pour la détection de points de contacts de la main de l'utilisateur avec la surface plane,
- lesdits moyens d'acquisition comprennent un deuxième système de capteurs adapté à fournir la position moyenne des yeux de l'utilisateur en temps réel,
- lesdits moyens d'acquisition comprennent capteur de présence, de préférence à rayonnement infrarouge. - ledit dispositif comprend en outre un module de commande adapté à fournir des informations de commande pour commander un plat, ledit module de commande étant éventuellement intégré dans ladite unité portable,
- ledit dispositif comprend en outre une interface de communication couplée audit module de commande de manière à envoyer lesdites informations de commande, ladite interface de communication étant éventuellement intégrée dans ladite unité portable,
- ledit dispositif comprend en outre un terminal de paiement électronique couplé au module de commande de manière à effectuer un paiement de ladite commande, ledit terminal étant éventuellement intégré dans ladite unité portable, Le dispositif selon l'invention repose notamment sur un système de projection à focale ultra courte (ultra short throw en anglais) et un système de capteurs permettant la visualisation de différentes images telles que des images de plats de restaurant en trois dimensions, sans contraindre l'utilisateur à porter un quelconque équipement - comme des lunettes de réalité augmentée portées sur le visage ou des écrans de terminaux tenus dans les mains de l'utilisateur. Ainsi, la visualisation des images se fait directement dans son environnement, i.e. sur la table de l'utilisateur.
Selon le procédé de l'invention, des données nécessaires au calcul de la position du visage de l'utilisateur sont reçues et l'image à projeter est déformée ou modifiée en fonction de cette position, de façon à créer une illusion d'optiqi des plats en temps réel. L'utilisateur, en déplaçant son visage, peut voir le plat virtuel sous ses différentes perspectives en trois dimensions, à échelle réelle et directement sur la table. Le procédé peut également recevoir les informations de points de contact entre la main et la surface de la table et créé une interface projetée tangible permettant à l'utilisateur de sélectionner le plat à visualiser. L'objet de la présente invention concerne ainsi un procédé pour créer une interface projetée tangible pour un utilisateur permettant en particulier la visualisation en trois dimensions à échelle réelle des plats d'un menu d'un restaurant directement sur la table et éventuellement la sélection desdits plats. L'interface est fonctionnelle pour un ou plusieurs utilisateurs simultanément. Le procédé de la présente invention comprend une étape de réception des données nécessaires au calcul de la position moyenne des yeux de chaque utilisateur, une étape de projection d'une image sur la surface de la table, l'image projetée étant au besoin divisée en sections correspondant chacune à un espace devant chaque utilisateur, et où chaque image pour la section associée est déformée en fonction de la position de l'utilisateur correspondant pour créer l'illusion 3D.
L'objet de l'invention concerne également un dispositif pour la mise en œuvre du procédé. Ce dispositif embarque un système de capteurs configuré pour recevoir les données nécessaires au calcul de la position moyenne des yeux de chaque utilisateur en temps réel. Le dispositif peut être avantageusement placé en bout de table pour supprimer tout encombrement. Le procédé selon l'invention comprend en outre une étape de réception des informations de la commande de chaque utilisateur, et une étape de transmission desdites informations de commande vers les cuisines du restaurant, de sorte que chaque utilisateur puisse passer des commandes directement depuis sa table et à tout moment du repas. Selon une particularité de l'invention, le procédé est adapté pour transmettre également l'emplacement de la table du ou des utilisateurs aux serveurs de façon à faciliter le service à table. A cet effet, le dispositif pour la mise en œuvre du procédé embarque un système électronique pour la transmission de ces informations en cuisine. Le procédé de la présente invention comprend en outre une étape de réception des informations électroniques de paiement. A cet effet, le dispositif selon l'invention embarque un terminal de paiement électronique. Selon une particularité de l'invention, la présence d'un utilisateur à la table est détectée, ainsi que la position de la place occupée par cet utilisateur à la table. La détection déclenche alors la projection de contenu sur la région de la table associée à la place occupée. A cet effet, le dispositif selon l'invention comprend en outre un système de capteur configuré pour recevoir les données nécessaires à la détection d'un utilisateur se plaçant à la table en temps réel. Chaque utilisateur peut concevoir le plat qu'il souhaite (Le. plat personnalisé). A cet effet, l'interface tangible fournie par le procédé selon l'invention lui permet de choisir des ingrédients pour la conception de ce plat. La déformation de la section de l'image projetée en fonction de la position de l'utilisateur correspondant lui permet de visualiser les plats personnalisés en trois dimensions avec la bonne perspective. Elle lui permet également de comprendre les portions des plats. Le dessin annexé illustre un mode isation de l'invention.
La figure 1 représente un exemple de mise en œuvre de l'invention dans un restaurant. Par exemple, le dispositif selon l'invention est disposé sur la table d'un restaurant, sur laquelle sont identifiées quatre zones (1 , 2, 3, 4) correspondant à quatre places assises à la table.
L'image projetée est partitionnée en quatre sections (105a, 105b, 105c, 105d), correspondant à l'espace devant les quatre places (1 , 2, 3, 4) disponibles de la table. Chaque section de l'image projetée est déformée en fonction de la position de l'utilisateur correspondant, notamment à la position moyenne de ses yeux, de façon à créer une illusion d'optique 3D pour cette position, lui permettant de voir un plat d'un restaurant virtuel (104) comme s'il était réel et directement sur la table du restaurant.
Le dispositif selon l'invention comprend un pico-projecteur à focale ultra courte (ultra short throw en anglais) (101 ) apte à projeter des images directement sur la table de l'utilisateur. La focale ultra courte permet d'obtenir un système compact et non encombrant. De préférence, le dispositif selon l'invention comprend une unité portable embarquant le pico-projecteur à focale ultra courte. Ladite unité portable peut être placée à l'extrémité de la table rendant sa présence très discrète sur la table. Toutefois selon d'autres modes de réalisation, le projecteur peut être de rapport de projection plus élevé et embarqué dans le dispositif selon l'invention, de sorte à être fixé au plafond du restaurant. Un système de capteurs (102) est configuré pour recevoir les données nécessaires au suivi de la position moyenne des yeux de chaque utilisateur dans l'espace. Il peut être une caméra vidéo avec une lent: jrand angle, ou plusieurs caméras vidéo dont l'axe optique est dans la direction de chaque place possible à la table, ou une ou plusieurs caméras stéréo, ou un ou plusieurs capteurs de profondeur. ou encore tout autre moyen permettant de détecter ces données.
Le procédé selon l'invention met en œuvre des algorithmes de vision par ordinateur et d'apprentissage automatique (machine learning en angl; i assurent le calcul de la position moyenne des yeux de chaque utilisateur dans l'espace en temps réel, à partir des données dudit système de capteurs. Par position moyenne, on comprend la position dans l'espace du point interoculaire, Le. point situé sur la ligne reliant les deux yeux, à égale distance des deux yeux. Le système de capteurs (102) est en outre avantageusement configuré pour acquérir des données relatives à une désignation par l'utilisateur d'une région de la surface plane, notamment de la table, où l'une des images est projetée, par exemple pour détecter les points de contact de la surface plane de la table avec les mains des utilisateurs.
Selon le présent mode de réalisation, il s'agit d'un système émettant un plan de lumière infrarouge parallèlement au plan de table et couplé à un capteur en haut du dispositif détectant les points lumineux correspondant aux réflexions du signal infrarouge avec les objets touchant la surface, tels que les doigts de l'utilisateur. Pour cela, l'unité portable comprend, notamment, une caméra située partie haute.
Si la surface est complexe, des techniques de capture 3D de l'environnement en temps réel permettent de calculer les points de contact, par exemple des techniques connues sous les noms de lumière structurée, la stéréo et/ou le temps de propagation.
Selon d'autres mode de réalisation, ce système de capteurs peut également être constitué par un système reposant sur un procédé plus élaboré qui calcule les positions et orientations des membres de squelette des mains de chaque utilisateur. Ce système est, par exemple, une caméra stéréo infrarouge comme le Leap Motion (marque déposée). Dans ce cas, le procédé comprend alors la mise en œuvre d'algorithmes de vision par ordinateur et d'apprentissage automatique.
Ce système de capteurs crée ainsi une interface projetée tangible permettant à chaque utilisateur de choisir le plat virtuel à visualiser en trois dimensions.
Le pico-projecteur comprend une unité de calcul comprenant au moins un processeur et un espace de mémoire.
Le pico-projecteur ainsi que le ou les systèmes de capteurs sont calibrés ensemble. Une approche par lumière structurée peut permettre la calibration du pico- projecteur, du ou des systèmes de capteurs (c'est-à-dire le calcul de leurs paramètres intrinsèques), ainsi que la calibration de l'ensemble capteur(s) - projecteur (c'est-à-dire le calcul de la position et orientation du pico-projecteur par rapport à la position et orientation de chaque capteur qui analyse les lumières structurées). La calibration permet de créer un unique système de coordonnées pour le pico-projecteur, le ou les capteurs et fe monde virtuel. Si la géométrie de l'environnement de l'utilisateur est complexe et contient, par exemple une assiette, alors l'image à projeter, notamment chaque section de l'image à projeter, peut être rendue en deux passages. Dans un premier passage, un rendu de ia scène virtuelle est réalisé depuis la position du visage de l'utilisateur, soit de l'utilisateur unique, soit celui correspondant à la section. La texture synthétisée est projetée depuis la position moyenne des yeux de cet utilisateur sur l'environnement correspondant, notamment un maiilage de l'environnement capturé. Dans un deuxième passage, un rendu est réalisé depuis une caméra virtuelle placée à la position du pico-projecteur réel et ayant les mêmes paramètres intrinsèques que le pico-projecteur réel. L'image de ce rendu est envoyée au pico-projecteur pour être projetée. En cas de pluralité d'utilisateurs, les images de ce rendu pour chaque utilisateur sont concaténées en une seule image, qui est envoy "co-projecteur pour être projetée.
Si la géométrie de l'environnement est simplement un plan de table, alors un premier rendu est réalisé depuis la position du visage de l'utilisateur. Une homographie pour l'utilisateur, ou chaque utilisateur, à chaque image de rendu peut être calculée, puis utilisée pour déformer chaque section correspondante de l'image à projeter. Plus précisément, une homographie peut être calculée entre l'image du plan de table capturée par la caméra du premier rendu et l'image du pian de table capturée par une caméra virtuelle ayant la même pose que le picoprojecteur réel et les mêmes paramètres intrinsèques. Pour chaque pixel de l'image de rendu final, le vecteur des coordonnées du pixel est multiplié par l'homographie; la couleur de l'image du premier rendu aux coordonnées obtenues par la multiplication est copiée pour donner la couleur de l'image du rendu final à ce pixel.
On aura donc compris que, selon le présent mode de réalisation, le procédé tient compte en outre de la géométrie de l'environnement de l'utilisateur pour déformer l'image qui est projetée. La prise en compte de données d'environnement, telles que la géométrie de l'environnement, la luminosité environnante ou d'autres paramètres d'environnement est optionnelle.
En variante, l'environnement est connu et préalablement configuré dans le dispositif selon l'invention, sans être mis à jour nécessairement à chaque utilisation. Dans ce cas, il n'est pas nécessaire de recevoir des données d'environnement et a fortiori d'effectuer l'acquisition de ces données. L'illusion d'optique 3D créée par le procédé de la présente invention repose sur plusieurs effets de profondeur dont l'effet perspective et l'effet de parallaxe. Les plats de la carte du restaurant peuvent être scannés préalablement par photogrammétrie. Ces données sont enregistrée sous la forme d'images numérisées. Ces images peuvent être stockées dans une base de données. La base de données peut être enregistrée entièrement ou partiellement dans un espace de mémoire du dispositif selon l'invention. En variante, tout ou partie de la bc ' inées peut être stockée sur un serveur distant accessible par le dispositif selon l'invention via tout type de rés - ; communication approprié.
La photogrammétrie consiste à créer des modèles numériques en trois dimensions à partir de photos prises sous différents points de vue. La présente invention offre à l'utilisateur la possibilité de voir les modèles des plats en trois dimensions sous tous ses angles avec la bonne perspective. Un modèle numérique créé par photogrammétrie permet ainsi à l'utilisateur qui utilise la présente invention de voir des détails photoréalistes sous tous les angles.
Par bonne perspective, on entend une représentation visuelle fidèle à la réalité d'un objet représenté en trois dimensions, selon des techniques classiques connues de l'Homme du Métier. La projection de l'image en fonction de la position moyenne des yeux de l'utilisateur selon le procédé de l'invention permet avantageusement de visualiser l'objet sous différents angles qui correspondent à différentes positions moyennes des yeux de l'utilisateur. Les informations des plats commandés sont envoyées en cuisine par réseau sans fil ou par réseau filaire. Pour cela, ie dispositif selon l'invention comprend des moyens de communication sans fil ou filaire, tels qu'une carte Wi-Fi ou carte Ethernet.
Chaque utilisateur peut commander à n'importe quel instant un plat, ce qui est particulièrement adapté aux plats nécessitant d'être consommés juste après ia préparation comme une glace ou une boisson chaude.
L'emplacement de la table est également transmis en cuisine, de sorte que le serveur ne perd pas de temps à rechercher l'utilisateur dans le restaurant. Cette information est d'autant plus importante que le serveur n'a pas nécessairement rencontré l'utilisateur au moment de la commande car l'invention permet le passage de commande sans assistance du serveur.
Chaque utilisateur peut procéder au paiement de sa commande depuis sa place assise en utilisant un terminal de paiement électronique (103). Ce terminal de paiement électronique peut être intégré au dispositif selon l'invention. Le systèr Dteurs (102) est encore configuré pour détecter la présence d'un utilisateur à une table du restaurant, ainsi que la place occupée par cet utilisateur. Il peut ë s caméra vidéo avec une lentille grand angle, ou plusieurs caméras vidéo dont l'axe optique est dans la direction de chaque place possible à la table, ou une ou plusieurs caméras stéréo, ou encore un ou plusieurs capteurs de profondeur. Le procédé selon l'invention est adapté à mettre en œuvre des algorithmes de vision par ordinateur et d'apprentissage automatique qui assurent la détection de la position moyennes de yeux de l'utilisateur, à partir des données dudit système de capteurs.
Il existe de nombreuses techniques pour calculer la position du visage d'un utilisateur dans l'espace et/ou obtenir les positions de points remarquables du visage de l'utilisateur dans une image, notamment la position moyenne des yeux. Il est par exemple possible d'utiliser une méthode de machine learning comme des méthodes fondées sur des réseaux de neurones convolutifs ou des arbres de régression, combinée à une méthode de suivi comme des méthodes KLT (pour « Kanade-Lucas- Tomasi ») ou (pour « kernelized corrélation filters »).
Si le dispositif utilisé est une caméra vidéo, alors le procédé peut reposer sur la méthode de détection de visage dans l'image de Viola et Jones ou sur une méthode de réseau neuronal convolutif.
Si le dispositif est un capteur de profondeur, alors le procédé peut reposer sur la détection de points solides dans l'espace au-dessus de la place qui serait vide sans occupant. La détection déclenche alors la projection de contenu sur la région de la table associée à la place occupée. Un bouton interactif est projeté et permet d'allumer ou d'éteindre la projection.
Lorsque la projection est éteinte, la table du restaurant est dégagée, non encombrée d'un quelconque écran et est ainsi non différenciable d'une table quelconque de restaurant. L'interface de la présente invention est ainsi non intrusive (non invasive en anglais). De manière optionnelle, des animations en trois dimensions en lien avec le plat sélectionné sont projetées devant chaque utilisateur. Par exemple, un petit personnage en trois dimensions et animé raconte des histoires culinaires en relation avec le plat sélectionné par chaque utilisateur. Ce personnage peut être la mascotte de la marque du restaurant. Les animations en trois dimensions ont notamment pour intérêt de faire patienter l'utilisateur pendant la préparation des plats. La déformation de la section de l'image projetée en fonction de la position de l'utilisateur correspondante, notamment la position moyenne de ses yeux, lui permet de visualiser les animations en trois dimensions et avec la bonne perspective.
Le système de capteurs (102) pourra être configuré pour mesurer les émotions de chaque utilisateur. Il peut être une caméra vidéo avec une lentille à grand angle, ou plusieurs caméras vidéo dont l'axe optique est dans la direction de chaque place possible à la table, ou une ou plusieurs caméras stéréo, ou encore un ou plusieurs capteurs de profondeur. Par exemple, le procédé selon l'invention est adapté à mettre en oeuvre des algorithmes de vision par ordinateur et d'apprentissage automatique qui assurent le calcul des émotions de chaque utilisateur en temps réel, à partir des données dudit système de capteurs. il existe actuellement des algorithmes capables de détection les émotions humaines par analyse d'un signal de voix et/ou des déformations du visage. De manière avantageuse, les réactions émotives mesurées apportent des informations précises au restaurateur sur les comportements des utilisateurs par rapport au contenu projeté. Le restaurateur peut alors savoir quels plats ont du succès et peut prendre des décisions avec confiance.
De manière optionnelle, chaque utilisateur peut concevoir le plat qu'il souhaite dans la mesure où l'interface tangible fournie par le procédé selon l'invention lui permet de choisir des ingrédients ou recettes spécifiques pour la préparation de son plat. La déformation de la section de l'image projetée en fonction de la perspective de l'utilisateur correspondant lui permet de visualiser les plats personnalisés, leurs portions, et de les évaluer. Cette étape de conception peut être avantageusement mise en œuvre par l'unité informatique du dispositif selon l'invention avant de passer commande, en particulier lors de la visualisation d'un plat en trois dimensions par un utilisateur ou lors de la sélection d'un plat à partir du menu avant la visualisation du plat en trois dimensions.
Selon un mode de réalisation particulier, il est prévu un procédé pour fournir une interface homme-machine interactive à au moins un utilisateur se trouvant dans un lieu de restauration tel qu'un restaurant.
Le procédé exploite au moins une base de données comprenant de façon numérisée une ou plusieurs images. Les images numérisées représentent des plats du restaurant et sont obtenues par photogrammétrie comme décrit précédemment.
La base inées peut être stockée dans un espace mémoire du dispositif selon l'invention. Alternativement, elle peut être stockée totalement ou partiellement sur un serveur applicatif accessible par le dispositif selon l'invention par Internet via une interface de communication sans fil, telle qu'une carte Wi-Fi. Par sécurité, le dispositif selon l'invention peut être également équipé d'une interface de communication filaire, telle qu'un carte Ethernet, pour pallier à des conditions de transmission radio difficiles dans les locaux du restaurant, Lors d'une première étape de projection, le pico-projecteur projette le menu du restaurant comprenant une liste de plats disponibles à la commande. Pour cela, le pico- projecteur projette le menu sous forme numérique, c'est-à-dire sous la forme d'une interface graphique comprenant des d'éléments textuels et/ou graphiques, tels que des boutons virtuels. Ces éléments textuels et/ou graphiques sont stockés localement dans une mémoire morte ou sur un disque dur intégré au dispositif selon l'invention, par exemple dans ladite base de données. Ils peuvent être également téléchargés à partir d'un serveur applicatif de manière à être mis à jour de manière centralisée.
La projection est effectuée sur une zone de la surface plane, e.g. sur la table, directement devant l'utilisateur. La surface de projection peut être découpée en autant de zones qu'il existe de clients assis à la table du restaurant. A cet effet, le dispositif selon l'invention comprend des moyens d'acquisition de données relatives à l'utilisateur, notamment un ou plusieurs capteurs de présence, tel qu'un capteur à rayonnement infrarouge. Au minimum, une seule zone de projection est définie dans le cas où un seul utilisateur est assis à la table. Dès lors que le dispositif selon l'invention détecte la présence d'un utilisateur à la table, il détermine la place occupée à la table par celui-ci, et déclenche la projection de contenu sur la région de la table associée à la place occupée.
Dès lors que le menu est projeté directement sur la table, chaque utilisateur peut naviguer et sélectionner un plat à visualiser. Pour permettre une telle interaction, le dispositif selon l'invention comprend un premier système de capteurs pour ection de points de contacts de la main de l'utilisateur avec la surface plane comme décrit précédemment. Ainsi, l'utilisateur peut sélectionne des plats par interaction tactile sur la zone de la surface à partir du menu projeté. Le premier système de capteurs obtient des données de sélection comprenant des données relatives à des points de contacts d'une main de l'utilisateur avec ladite surface plane.
Dès le Ï l'utilisateur a sélectionné un plat à visualiser, une deuxième étape de projection est mise en œuvre pour projeter sur ladite zone une représentation du plat sélectionné.
La projection est adaptée à fournir à partir des images stockées dans la base de données une représentation du plat sélectionné en trois dimensions et à échelle réelle directement sur ladite surface, sans contraindre l'utilisateur à porter ou à utiliser un accessoire. Pour cela, le dispositif selon l'invention extrait de la base de données les images en trois dimensions de référence du plat sélectionné vu sous différents angles et met en œuvre une étape de calcul permettant d'établir sous forme numérisée les données d'une image modifiée dudit plat en fonction de la position moyenne des yeux de l'utilisateur et desdites images de référence, l'ima jetée lors de ladite étape de projection étant ladite ima difiée.
Les modifications opérées sur l'image de référence en fonction des données d'orientation, i.e. position moyenne de yeux de l'utilisateur sont conformes à celles décrites précédemment.
Ainsi, la présente invention permet à l'utilisateur de visualiser avec précision l'apparence, la texture ainsi que la taille à échelle réelle des plats avant de les consommer. L'invention fournit une interface hautement interactive dans la mesure où l'utilisateur peut visualiser les plats en trois dimensions sous tous ses angles et avec la bonne perspective et que la sélection de ces plats se fait simplement par une interaction tactile sur la surface plane de projection. Par ailleurs, la solution fournie par l'invention est non intrusive dans la mesure où elle uiert aucun écran ou accessoire pour permettre la visualisation des images, en particulier les images de plats en trois dimensions. Ainsi, l'invention fournit à l'utilisateur un moyen très ergonomique de sélectionner et de visualiser des plats tout en renforçant la convivialité entre les personnes assises à une même table dans la mesure où aucun obstacle ne vient entraver leur champ de vision (e.g. écran d'une tablette ou d'un téléphone portable). La présentation des plats en trois dimensions permet naturellement de s'affranchir de la barrière linguistique, ce qui est particulièrement avantageux dans les lieux fréquentés par les touristes. Par exemple, le menu numérique peut inclure un moteur de recommandations adapté à suggérer de manière proact uveaux plats à inclure dans le menu.
Ainsi, l'enrichissement nu se trouve facilité.
Pour augmenter l'interactivité avec l'utilisateur, le procédé selon l'invention peut prévoir une étape de conception de conception du plat sélectionné, selon laquelle des options de conception du plat sont projetées sur la surface plane. Par exemple, une liste d'ingrédients prédétermin ; ainsi proposée à l'utilisateur pour lui permettre de personnaliser son plat avant de le commander. Dans ce cas, la sélection des options se fait par interaction tactile sur la surface plane comme décrit précédemment. La projection du plat en trois dimensions est adaptée en fonction des options sélectionnées par l'utilisateur qui peut alors visualiser le plat personnalisé en trois dimensions et à échelle réelle.
Dès lors que l'utilisateur a fait le choix d'un plat, il peut enregistrer la commande. A cet effet, un module de commande adapté à fournir des informations de commande pour commander un plat est mis en œuvre au niveau de l'interface. Par exemple, ce module est adapté à projeter l'image d'un bouton virtuel sur la zone de projection située devant l'utilisateur et à détecter la position de son doigt en fonction des données obtenus par le capteur à rayonnement infrarouge comme décrit précédemment.
Avant de finaliser la commande, une étape de paiement électronique est mise en œuvre. A cet effet, le dispositif selon dispose d'un module de paiement électronique. Ce module peut être intégré au dispositif selon l'invention et couplé au module de commande de manière à effectuer un paiement de la commande. Par exemple, le module de paiement inclut une interface permettant à l'utilisateur de procéder à un paiement par carte bancaire de manière classique. Dès tors que le paiement est effectué, les informations de commande sont envoyées par le dispositif selon l'invention au moyen d'une interface de communication classique (e.g, Wi-Fi ou Ethernet). L'interface de communication est couplée au module de commande de manière à envoyer lesdites informations de commande vers un terminal localisé dans des cuîsim restaurant de sorte qu'un cuisinier puisse prendre en charge la préparation du plat commandé.
Les informations de commande du plat comprennent un identifiant du plat commandé par l'utilisateur et un identifiant dudit utilisateur. Chaque plat est préalablement référencé dans la base de données par un identifiant unique. Chaque table < :aurant est préalablement identifiée par un premier numéro. Chaque zone de projection est préalablement identifiée par un deuxième numéro permettant d'identifier l'utilisateur ayant passé la commande. Ainsi, l'association de l'identifiant unique at commandé à un identifiant d'emplacement obtenu par concaténation des premier et deuxième numéros permet au serveur d'apporter le plat commandé à l'utilisateur ayant commandé le plat, sans nécessiter d'interaction avec le serveur.
Ainsi, selon cet exemple de réalisation particulier, le procédé de l'invention permet avantageusement à un client de passer une commande d'un ou plusieurs plats, dès qu'il s'assoit à une table ou bien à n'importe quel moment de son repas, et sans nécessiter d'interaction préalable avec un ou plusieurs serveurs du lieu de restauration. De manière avantageuse, les serveurs du restaurant n'ont plus à se soucier de prendre les commandes des clients et de les transmettre aux cuisines et par conséquent peuvent se concentrer uniquement sur le service des plats aux clients dès qu'il a été préparé en cuisine.
Le choix d'un plat à commander par l'utilisateur se trouve d'autant plus facilité que la visualisation préalable du plat est réalisée en trois dimensions et à échelle réelle par comparaison à une situation classique où le client d'un restaurant a besoin d'échanger avec un serveur pour obtenir des compléments d'informations sur les plats proposés dans le menu avant de pouvoir faire son choix. Cette visualisation préalable rend l'utilisateur autonome pour le choix de son plat, dans la mesure où la projection du plat en trois dimensions et u taille réelle lui donne une représentation réaliste du plat et selon les proportions réelles.
Aussi, le paiement électronique de la commande se fait de manière autonome et sans nécessiter d'interaction avec un serveur.
Selon l'invention, il est également prévu une étape de diffusion d'un contenu multimédia en trois dimensions relatif au plat qui a été commandé. Cette étape de diffusion permet avantageusement de faire patienter le client pendant la préparation de- son plat en cuisine tout en lui fournissant c trmations culturelles et/ou culinaires en lien avec le plat commandé. Par exemple, un avatar en trois dimensions peut être projeté sur la table et interagir avec l'utilisateur. Dans ce cas, la projection de l'avatar en trois dimensions peut être réalisée à partir d'images stockées dans la base de données comme pour la visualisation de plats en trois dimensions telle que décrite précédemment. De manière générale, tout type de contenu en trois dimensions, tels que des animations ou effets spéciaux peuvent être diffusés à chaque fois que le contenu du menu du restaurant évolue ou bien à l'occasion d'événements spéciaux (e.g. contenu 3D dédié aux fêtes de Noël ou de fin d'année).
On pourra également prévoir une étape de diffusion d'un contenu multimédia en trois dimensions au moment de la sélection du plat de l'utilisateur, de manière à l'aider à choisir un plat.
Les moyens techniques mis en œuvre dans cet exemple, notamment pour réaliser la projection du menu, la projection des plats en trois dimensions, la diffusion de contenus 3D et/ou d'un avatar 3D, l'acquisition des données d'environnement, d'orientation et de sélection peuvent être ceux déjà décrits précédemment. L'homme du métier pourra donc s'y référer pour réaliser l'invention selon cet exemple.
La présente invention a été décrite de manière détaillée pour une utilisation dans un restaurant. Bien évidemment, l'homme du métier pourra l'adapter en fonction du contexte dans lequel elle est utilisée tout en restant dans l'esprit de l'invention. Par exemple, certaines étapes optionnelles, telles que l'acquisition de données d'environnement, la diffusion de contenu multimédia ou le paiement électronique de la commande pourront être omises dans des modes de réalisations alternatifs.

Claims

Revendications
1 . Procédé pour fournir une interface projetée pour la sélection et la visualisation en trois dimensions à échelle réelle des plats d'un menu d'un restaurant (104) directement sur la table du ou des utilisateurs, ledit procédé étant caractérisé en ce qu'il comprend les étapes suivantes :
- réception de données nécessaires à un calcul de la position moyenne des yeux de chaque utilisateur;
- calcul de la position moyenne des yeux de l'utilisateur;
- projection de contenu comprenant au moins une image divisée en sections (105) correspondant à un espace devant chaque utilisateur, et où chaque image pour la section associée est déformée en fonction de la position de l'utilisateur correspondant pour créer l'illusion 3D des plats.
2. Procédé selon la revendication 1 , caractérisé en ce qu'il comprend en outre les étapes suivantes : - réception d'informations d'une commande d'au moins un utilisateur;
- transmission desdites informations de commande vers des cuisines du restaurant, de soi chaque utilisateur puisse passer des commandes directement depuis sa table et à tout moment du repas.
3. Procédé selon la revendication 2, caractérisé en ce qu'il comprend en outre la transmission d'une information d'emplacement de la table du ou des utilisateurs aux serveurs de façon à faciliter le service à table.
4. Procédé selon l'une quelconque des revendications 2 et 3, caractérisé en ce qu'il comprend en outre une étape de paiement électronique de ladite commande.
5. Procédé selon l'une quelconque des revendications 1 à 4, caractérisé en ce qu'il comprend en outre une étape de détection de la présence d'un utilisateur à la table, ainsi que la place occupée à la table, de sorte à déclencher la projection de contenu sur la région de la table associée à la place occupée.
6. Procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce qu'il comprend une étape de conception des plats, lors de laquelle chaque utilisateur sélectionne sur la table au moyen de l'interface des ingrédients parmi une liste d'ingrédients affichée, l'image projetée étant déformée en fonction de la position de l'utilisateur correspondant de manière à visualiser des plats personnalisés en trois dimensions et d'évaluer leurs portions.
7. Procédé pour fournir une interface homme-machine interactive à au moins un utilisateur se trouvant dans un lieu de restauration, ledit procédé exploitant au moins une base de données comprenant de façon numérisée une ou plusieurs images, ledit procédé étant caractérisé en ce qu'il comprend : une étape d'acquisition de données relatives à l'utilisateur; et une étape de projection directe sur une surface plane, de préférence une table. en vis-à-vis de laquelle se trouve ledit utilisateur, d'au moins une desdites images en fonction desdites données relatives à l'utilisateur.
8. Procédé selon la revendication 7, caractérisé en > ladite ou lesdites images numérisées comprennent des images en deux dimensions et/ou en trois dimensions.
9. Procédé selon l'une quelconque des revendications 7 à 8, caractérisé en ce que les données relatives à l'utilisateur comprennent :
- des données relative 3 présence de l'utilisateur en vis-à-vis de la surface plane, dites données de présence ;
- des données relatives à une désignation par l'utilisateur d'une région de la surface plane où l'une des images est projetée, dites données de sélection ; - une position moyenne des yeux de l'utilisateur, dites données d'orientation.
10. Procédé selon la revendication 9, caractérisé en ce que lesdites images en trois dimensions comprennent des images dites de référence d'un piat vu sous différents angles et en ce tpe ledit procédé comprend en outre une étape de calcul permettant d'établir sous forme numérisée les données d'une image, dite modifiée, dudit piat en fonction de la position moyenne des yeux de l'utilisateur et desdites images de référence, l'image projetée lors de ladite étape de projection étant ladite image modifiée.
1 1. Procédé selon l'une quelconque des revendications 9 à 10, caractérisé en ce que les données de sélection comprennent des données relatives à des points de contacts d'i in de l'utilisateur avec ladite surface plane.
12. Procédé selon l'une quelconque des revendications 7 à 1 1 , caractérisé en ce qu'il comprend en outre les étapes suivantes :
- acquisition de données d'environnement ;
- déformation de l'image du plat en fonction des données d'environnement.
13. Procédé selon l'une quelconque des revendications 7 à 12, caractérisé en ce qu'il comprend les étapes supplémentaires suivantes : réception d'informations d'une commande d'un plat comprenant un identifiant du plat commandé par l'utilisateur et un identifiant dudit utilisateur ; transmission desdites informations de commande à un terminal localisé dans un lieu de préparation des plats.
14. Procédé selon l'une quelconque des revendications 7 à 13, caractérisé en ce que des données de géolocalisation associées auxdites informations de commande sont fournies en association avec les informations de commande.
15. Procédé selon la revendication 14, caractérisé en ce que les données de géolocalisation comprennent un identifiant unique d'une table ou de la zone d'une table d'un restaurant depuis laquelle la commande a été effectuée par l'utilisateur. 16, Procédé selon l'une quelconque des revendications 1 3 à 1 5, caractérisé en ce qu'il comprend en outre une étape de paiement électronique, lors de laquelle l'utilisateur effectue un paiement électronique de ladite commande.
17, Dispositif pour la mise en œu )cédé selon la revendication 1 , caractérisé en ce qu'il comprend :
- un pico-projecteur à focale ultra courte ité informatique configurée pour héberger les calculs suivant le procédé des revendications 1 à 6,
- un système de capteurs configuré pour recevoir les données nécessaires à la détection des points de contact des mains de chaque utilisateur avec la surface de la table; ledit dispositif étant caractérisé en ce qu'il comprend en outre un système de capteurs (102) configuré pour recevoir les données nécessaires au calcul de la position moyenne des yeux de chaque utilisateur en temps réel. 18, Dispositif selon la revendication 17, caractérisé en ce qu'il comprend en outre un système électronique de transmission des informations vers les cuisines du restaurant,
13. Dispositif selon l'une quelconque des revendications 1 7 à 18, caractérisé en ce qu'il comprend en outn rrninal de paiement électronique (103).
20. Dispositif pour fournir une interface homme-machine interactive à au moins un utilisateur se trouvant dans un lieu de restauration suivant le procédé selon la revendication 7, ledit dispositif comprenant :
- un espace de stockage pour stocker ladite au moins une base de données comprenant de façon numérisée une ou plusieurs images;
- des moyens d'acquisition de données relatives à l'utilisateur: - des moyens de projection directe sur une surface plane, de préférence une table, en vis-à-vis de laquelle se trouve ledit utilisateur, d'au moins une desdites images en fonction desdites données relativ Jtilîsateur.
21 . Dispositif selon la revendication 20, caractérisé en ce qu'il comprend en outre une unité informatique configurée pour exécuter tout ou partie des étapes du procédé selon l'une quelconque des revendications 7 à 16.
22. Dispositif selon l'une quelconque des revendications 20 à 21 , caractérisé en ce que lesdits moyens de projection directe comprennent un pico-projecteur à focale ultra courte.
23. Dispositif selon l'une quelconque des revendications , caractérisé en ce que lesdits moyens de projection directe comprennent un pico-projecteur à focale ultra courte.
24. Dispositif selon l'une quelconque des revendications 20 à 23, caractérisé en ce que lesdits moyens d'acquisition comprennent un premier système de capteurs pour la détection de points de contacts de la main de l'utilisateur avec la surface plane.
25. Dispositif selon l'une quelconque des revendications iractérisé en ce que lesdits moyens d'acquisition comprennent un deuxième système de capteurs adapté à fournir la position moyenne des yeux de l'utilisateur en temps réel.
26. Dispositif selon l'une quelconque des revendications iractérisé en ce que lesdits moyens d'acquisition comprennent capteur de présence, de préférence à rayonnement infrarouge.
27. Dispositif selon l'une quelconque des revendication , caractérisé en ce qu'il comprend en outre un module de commande adapté à fournir des informations de commande pour commander un plat.
28. Dispositif selon la revendication 27, caractérisé en ce qu'il comprend en outre une interface de communication couplée audit module de commande de manière à envoyer lesdites informations de commande. 29, Dispositif selon la revendication aractérisé en ce qu'il comprend en outre un terminal de paiement électronique couplé au module de commande de manière à effectuer un paiement de ladite commande.
PCT/EP2018/075831 2017-09-24 2018-09-24 Procédé pour fournir une interface homme-machine à au moins un utilisateur se trouvant dans un lieu de consommation et dispositif pour la mise en œuvre du procédé WO2019057978A1 (fr)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
FR1771011 2017-09-24
FR1771011A FR3071650A1 (fr) 2017-09-24 2017-09-24 Procede de realite augmentee pour la visualisation de plats de restaurant
FR1870581A FR3071635A1 (fr) 2017-09-24 2018-05-20 Procede creant une interface projetee tangible pour la selection, la visualisation 3d et la commande des plats du menu directement depuis la table du restaurant, ainsi qu'un dispositif pour la mise en oeuvre du procede.
FR1870581 2018-05-20

Publications (1)

Publication Number Publication Date
WO2019057978A1 true WO2019057978A1 (fr) 2019-03-28

Family

ID=63637905

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/075831 WO2019057978A1 (fr) 2017-09-24 2018-09-24 Procédé pour fournir une interface homme-machine à au moins un utilisateur se trouvant dans un lieu de consommation et dispositif pour la mise en œuvre du procédé

Country Status (1)

Country Link
WO (1) WO2019057978A1 (fr)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110515529A (zh) * 2019-08-28 2019-11-29 北京农业信息技术研究中心 智慧餐厅
CN111161295A (zh) * 2019-12-30 2020-05-15 神思电子技术股份有限公司 一种菜品图像背景剥离方法
CN112101494A (zh) * 2020-08-28 2020-12-18 广州铁路职业技术学院（广州铁路机械学校） 一种高铁车厢专用id箱式存储的订取餐系统
CN115914591A (zh) * 2021-09-22 2023-04-04 卡西欧计算机株式会社 投影处理装置、记录介质以及投影方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010238118A (ja) * 2009-03-31 2010-10-21 Promise Co Ltd オーダリングシステム
US20150029140A1 (en) * 2013-07-24 2015-01-29 Coretronic Corporation Portable display device
US20150051991A1 (en) * 2006-12-13 2015-02-19 Compurants Limited Interactive food and drink ordering system
US20150213565A1 (en) * 2014-01-24 2015-07-30 Tillster, Inc. System and method for a wireless mobile device interface integrated with a restaurant point of sale system and with a cloud-accessible data center for querying a database of customer information
US20160244311A1 (en) * 2010-04-14 2016-08-25 Restaurant Technology Inc. Structural food preparation systems and methods
US20170163937A1 (en) * 2014-09-25 2017-06-08 Steve H. McNelley Transparent projection communication terminals
US20170262154A1 (en) * 2013-06-07 2017-09-14 Sony Interactive Entertainment Inc. Systems and methods for providing user tagging of content within a virtual scene

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150051991A1 (en) * 2006-12-13 2015-02-19 Compurants Limited Interactive food and drink ordering system
JP2010238118A (ja) * 2009-03-31 2010-10-21 Promise Co Ltd オーダリングシステム
US20160244311A1 (en) * 2010-04-14 2016-08-25 Restaurant Technology Inc. Structural food preparation systems and methods
US20170262154A1 (en) * 2013-06-07 2017-09-14 Sony Interactive Entertainment Inc. Systems and methods for providing user tagging of content within a virtual scene
US20150029140A1 (en) * 2013-07-24 2015-01-29 Coretronic Corporation Portable display device
US20150213565A1 (en) * 2014-01-24 2015-07-30 Tillster, Inc. System and method for a wireless mobile device interface integrated with a restaurant point of sale system and with a cloud-accessible data center for querying a database of customer information
US20170163937A1 (en) * 2014-09-25 2017-06-08 Steve H. McNelley Transparent projection communication terminals

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GRÉGOIRE HUVELIN: "ARKit : prévisualisez vos menus en réalité augmentée - GoGlasses", 28 August 2017 (2017-08-28), XP055467139, Retrieved from the Internet <URL:https://www.goglasses.fr/realite-augmentee/previsualiser-repas-arkit> [retrieved on 20180413] *
MARGAUX DUSSERT: "Choisissez vos plats en réalité augmentée | L'ADN", 8 September 2017 (2017-09-08), XP055467137, Retrieved from the Internet <URL:http://www.ladn.eu/mondes-creatifs/realite-virtuelle/choisissez-votre-steak-frites-en-realite-augmentee/> [retrieved on 20180413] *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110515529A (zh) * 2019-08-28 2019-11-29 北京农业信息技术研究中心 智慧餐厅
CN111161295A (zh) * 2019-12-30 2020-05-15 神思电子技术股份有限公司 一种菜品图像背景剥离方法
CN111161295B (zh) * 2019-12-30 2023-11-21 神思电子技术股份有限公司 一种菜品图像背景剥离方法
CN112101494A (zh) * 2020-08-28 2020-12-18 广州铁路职业技术学院（广州铁路机械学校） 一种高铁车厢专用id箱式存储的订取餐系统
CN115914591A (zh) * 2021-09-22 2023-04-04 卡西欧计算机株式会社 投影处理装置、记录介质以及投影方法

Similar Documents

Publication Publication Date Title
WO2019057978A1 (fr) Procédé pour fournir une interface homme-machine à au moins un utilisateur se trouvant dans un lieu de consommation et dispositif pour la mise en œuvre du procédé
AU2019246856B2 (en) Devices, systems and methods of capturing and displaying appearances
US8982109B2 (en) Devices, systems and methods of capturing and displaying appearances
US20170286993A1 (en) Methods and Systems for Inserting Promotional Content into an Immersive Virtual Reality World
KR20190083997A (ko) 광학 내로우캐스팅을 이용하는 소셜 미디어
US20130135295A1 (en) Method and system for a augmented reality
US10803988B2 (en) Color analysis and control using a transparent display screen on a mobile device with non-transparent, bendable display screen or multiple display screen with 3D sensor for telemedicine diagnosis and treatment
CN109658167B (zh) 试妆镜设备及其控制方法、装置
FR3034889A1 (fr) Bracelet electronique pour l’affichage d’un contenu numerique interactif destine a etre projete sur une zone d’un bras
JP2018101312A (ja) ３ｄプロジェクションマッピング出力システムおよび３ｄプロジェクションマッピング出力方法
KR102108535B1 (ko) 증강현실을 이용한 음식 정보 처리 방법
CA3238715A1 (fr) Menu de realite augmentee
EP3210378B1 (fr) Méthode pour collecter des données d&#39;images destinées à produire une vidéo immersive et méthode de visualisation d&#39;un espace sur base de ces données d&#39;images
FR3071635A1 (fr) Procede creant une interface projetee tangible pour la selection, la visualisation 3d et la commande des plats du menu directement depuis la table du restaurant, ainsi qu&#39;un dispositif pour la mise en oeuvre du procede.
KR101885669B1 (ko) 투명 디스플레이 기반의 지능화 상품 전시 시스템 및 그 방법
FR3064768A1 (fr) Systeme de transparence pour camera banalisee
FR3034890A1 (fr) Dispositif electronique de projection interactif
FR3088458A1 (fr) Procede de reconnaissance et de description contextuelles d&#39;un objet d&#39;interet pour un utilisateur deficient visuel, dispositif mettant en oeuvre ledit procede
FR3025083A1 (fr) Dispositif d&#39;interaction d&#39;un objet expose a l&#39;aide d&#39;un bras robotique
EP1124212B1 (fr) Procédé et dispositif de présentation visuelle d&#39;un espace virtuel à trois dimentsions simulant un véhicule automobile
EP3351007B1 (fr) Procédé de visualisation de données relatives à un événement et système associé
EP3724749B1 (fr) Appareil pour application de réalité augmentée
CH711803A2 (fr) Procédé d&#39;interaction par surface miroir interactive.
FR2805056A1 (fr) Systeme de presentation visuelle d&#39;un espace virtuel a trois dimensions
EP3985490A1 (fr) Borne de commande interactive sans contact

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18772810

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18772810

Country of ref document: EP

Kind code of ref document: A1