WO2019171866A1 - 情報処理装置、料理の提供タイミングの決定方法、及びプログラム - Google Patents

情報処理装置、料理の提供タイミングの決定方法、及びプログラム Download PDF

Info

Publication number
WO2019171866A1
WO2019171866A1 PCT/JP2019/004275 JP2019004275W WO2019171866A1 WO 2019171866 A1 WO2019171866 A1 WO 2019171866A1 JP 2019004275 W JP2019004275 W JP 2019004275W WO 2019171866 A1 WO2019171866 A1 WO 2019171866A1
Authority
WO
WIPO (PCT)
Prior art keywords
party
timing
dinner
determination unit
captured image
Prior art date
Application number
PCT/JP2019/004275
Other languages
English (en)
French (fr)
Inventor
和哉 浦部
純平 松永
貴宏 高山
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2019171866A1 publication Critical patent/WO2019171866A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated

Definitions

  • the present invention relates to an information processing apparatus, a cooking provision timing determination method, and a program.
  • the controller refers to the menu-tableware related master and the serving procedure master based on the order data of the customer received from the terminal carried by the store clerk who provides the customer serving service, and the cooking procedure for the dish cooked according to the order data
  • serving data that indicates and transmitting the serving data to the terminal when cooking of the dish is completed
  • it detects whether the human body is moving by detecting infrared rays radiated from the human body heading to the table, and whether the movement of the human body is a eating action that consumes food based on the detection frequency of the human body Is known (for example, Patent Document 2).
  • JP 2007-328385 A Japanese Patent Application Laid-Open No. 2004-081471
  • This invention is made
  • the first aspect of the present invention provides an acquisition unit that acquires a captured image of a dinner party having a dinner at a place where food and drink are provided, a determination unit that determines the state of the dinner party using the captured image, and the dinner party.
  • An information processing apparatus including: a determination unit that determines a provision timing of a dish to be provided second or later among a plurality of dishes to be provided with a time interval based on the state of the party.
  • the information processing apparatus it is possible to determine the provision timing of the food to be provided second or later based on the state of the dinner party determined based on the captured image. For this reason, the provision timing of cooking can be delayed or advanced according to the atmosphere of the dinner (for example, the place is exciting or not). For example, when the place is exciting, the provision timing is delayed so as not to pour water. Or when the place is not excited, the provision timing is advanced in order to change the place (provide a topic). In this way, food can be provided to the dinner party at an appropriate timing.
  • the location where the food is provided includes, for example, a party meal, that is, a store (restaurant) and a facility (hall, court, etc.) where multiple people can gather and eat.
  • the restaurants are restaurants, pubs, etc., but the business forms of the stores and facilities, the types of food and drink provided (dishes), and the number of types that can be provided are the time when the stores and facilities have multiple dishes (menus) There is no limitation as long as it can take the form provided with a gap.
  • the state of the eating party includes, for example, facial expressions of the eating party and changes thereof, and movement of a predetermined part of the body of the eating party.
  • the predetermined part of the human body includes a hand, a head, an upper body, and the like.
  • the captured image of the dinner party may be a visible light image or a non-visible light image as long as the state of the dinner party can be determined.
  • the non-visible light image includes, for example, an infrared image.
  • the plurality of dishes provided with time may be different types of dishes, some of them may be the same type of dishes, or all may be the same type of dishes.
  • the information processing apparatus may employ the following configuration, for example.
  • the determination unit determines the facial expression of the dinner party using the captured image, and the determination unit determines the provision timing of the food to be provided after the second based on the facial expression. May be.
  • the determination unit provides a provision timing of the next food to be provided To slow down.
  • the facial expression is determined to be a negative facial expression, or when the facial expression is determined to be a change to a negative facial expression
  • the determination unit advances the timing of the next dish to be provided.
  • the dish is provided at a timing that does not break the atmosphere of the place, or the dish at a timing when the atmosphere or topic is to be changed Can be provided.
  • the positive facial expression includes, for example, a facial expression showing smile, joy and surprise.
  • Negative facial expressions include, for example, facial expressions that indicate no smile, no expression, anger, and sadness. However, the number of types of facial expressions can be selected as appropriate.
  • the information processing apparatus may employ the following configuration.
  • the determination unit determines a movement of a predetermined portion of the human body of the eating party using the captured image, and the determination unit determines the provision timing of the food to be provided after the second is predetermined of the human body. You may determine based on a motion of a part.
  • the determination unit may determine a movement amount of a predetermined part of the human body in a predetermined time, and the determination unit may determine a provision timing of the next food to be provided based on the movement amount.
  • the determination unit determines the number of times that the predetermined part of the human body is detected in a predetermined area in the captured image in a predetermined time, and the determination unit provides a dish to be provided next based on the number of times. May be determined. For example, when the amount of movement or the number of times is greater than a predetermined value, it can be determined that the way to advance the meal is fast, and the provision timing of the next dish can be advanced, and the customer is uncomfortable that the next dish does not come out You can avoid the situation that you remember.
  • the information processing apparatus may employ the following configuration. For example, when the eating party's face is detected from the captured image, the determination unit determines a change in the expression of the eating party using the captured image, and the determination unit provides the second and later. When the provisional timing of cooking is determined based on the facial expression, and the face of the eating party is not detected from the captured image, the determination unit uses the captured image to move a predetermined part of the human body of the eating party While determining, the provision timing of the food provided after the second by the determination unit is determined based on the movement of the predetermined part of the human body. In this way, depending on whether or not a face can be detected from a captured image, the state determination method can be used properly. Therefore, it is possible to avoid the determination using the facial expression until the face cannot be detected.
  • the information processing apparatus may employ the following configuration. For example, when a group of a plurality of dinner eaters perform a dinner in parallel, the determination unit determines the state of the party for each of the plurality of dinner eater groups, and the determination unit includes a plurality of dinner meals. The cooking order of the plurality of groups of dinner eaters is changed based on the state of the party eater for each of the groups. In this case, for example, the determination unit, based on the state of the dinner party for each of the group of dinner party, the cooking order of the first group in the group of dinner party, The cooking order for the second group among the group of the plurality of dinner eaters different from the first group is delayed.
  • the determination unit determines the state of the dinner party for the plurality of groups, and the determination unit includes the determination for the group. Based on the state of the dinner party, the priority of food provision timing for a predetermined group of the plurality of groups may be set lower than the food provision timing for a group other than the predetermined group.
  • the priority of the group's food delivery timing is set to the other ordering of food at a later timing than the group's order timing. Lower than group. Thereby, the timing at which the food is provided to the other group can be advanced. Thereby, the impression that the provision of the food is not waited can be given to the diners, and the customer satisfaction can be increased.
  • the second aspect of the present invention is to obtain a captured image of a dinner party having a dinner at a place where food and drink are provided, determine the state of the dinner party using the captured image, and provide a plurality of dishes to be provided to the dinner party.
  • the method for determining the provision timing of the food includes determining the provision timing of the food to be provided after the second time based on the state of the dinner party.
  • the third aspect of the present invention provides a step for obtaining a captured image of a dinner party having a dinner at a place where food and drink are provided, a step for determining the state of the dinner party using the captured image, and a provision for the dinner party.
  • FIG. 1 is a schematic explanatory diagram of a control system according to an embodiment of the present invention.
  • FIG. 2 schematically shows a configuration example of the control system shown in FIG.
  • FIG. 3 is a flowchart illustrating an example of processing in the server according to the first embodiment.
  • FIG. 4 is a table for explaining a facial expression determination method.
  • FIG. 5 is a flowchart illustrating an example of processing in the server according to the second embodiment.
  • FIG. 6 is a flowchart illustrating an example of processing in the server according to the third embodiment.
  • FIG. 7 is a schematic explanatory diagram of a control system according to the fourth embodiment.
  • FIG. 8 schematically illustrates the configuration of a control system according to the fourth embodiment.
  • FIG. 9 is a flowchart illustrating a processing example of the server according to the fourth embodiment.
  • FIG. 1 is a schematic explanatory diagram of a control system according to an embodiment of the present invention.
  • the control system includes a network 1, a camera 101 connected to the network 1, a server 103, an ordering terminal 104, and a display 105.
  • the server 103 is an example of an information processing apparatus according to the present invention, and executes a cooking provision timing determination method.
  • a chair 202 and a table 203 used for eating and drinking by a plurality of dinner parties 201 are installed.
  • a table-type ordering terminal 104 is provided on the table 203. It has been placed.
  • the ordering terminal 104 has a camera 104 ⁇ / b> A, and the camera 104 ⁇ / b> A has a meeting, for example, a plurality of dinner party 201 sits on a chair 202 and talks while eating dishes stacked on the tableware 204 on the table 203.
  • the state is imaged.
  • the captured image of the camera 104A is sent to the server 103 via the network 1.
  • a monitoring camera 101 is installed above the table 203, and a captured image of the camera 101 is sent to the server 103 via the network 1.
  • the captured image may be an image captured by the camera 104 ⁇ / b> A or an image captured by the camera 101 as long as it is possible to capture the state of the dinner meal of the plurality of dinner attendants 201 with a resolution capable of determining the state of the dinner party 201.
  • the dinner party 201 operates the ordering terminal 104 to input a menu of a plurality of dishes to be ordered from the choices (menus) of the dishes that the restaurant can provide, and performs an operation of confirming the order contents.
  • Information indicating menus of a plurality of dishes for which orders have been confirmed (referred to as order content information) is transmitted to the server 103 via the network 1.
  • the server 103 receives the order content information and determines a provisional timing that is provisional provision timing for each of the ordered menus of the plurality of dishes.
  • the provision timing is the timing of starting to carry out cooking from the kitchen to the eating and drinking place, and the provisional timing is determined on the premise that preparation for cooking and carrying out to the provision place is completed by that time.
  • Imaging of the dinner party 201 using the camera 101 is started, for example, in response to the provision (distribution) of the first dish. However, imaging may be started before and after the provision of the first dish.
  • the start and end of imaging by the camera 101 are controlled by an instruction from the server 103 or another device, for example.
  • the server 103 determines the state of the dinner party 201 using the captured image. For example, as a state, the facial expression of the dinner party 201 and its change are determined. However, the state may be determined with respect to the movement of a predetermined part (hand, head, state, etc.) of the human body of the eating party 201.
  • the server 103 when determining the facial expression and its change, extracts the facial image of the eating party 201 from the captured image and analyzes the facial expression.
  • the server 103 performs facial expression analysis on a plurality of captured images (frames) captured at intervals.
  • a negative facial expression for example, from non-smile to smile
  • the server 103 delays the provision timing of the next dish to be provided from the provisional timing. Thereby, it is possible to prolong the state in which the conversation is exciting.
  • the server 103 advances the provision timing of the next food to be provided earlier than the provisional timing. This is to change the atmosphere of the place and create a conversation opportunity by providing the next dish.
  • the server 103 displays the cooking provision timing changed from the provisional timing on the display 105 connected to the server 103, for example, in the kitchen, and notifies the cook and the serving person.
  • a cook or a servant refers to the provision timing after the change, and carries out cooking or cooking to a restaurant.
  • the server 103 determines the provision timing of the dish according to the change in the facial expression (in the application example, the provisional timing is changed).
  • the dish can be provided at a timing that favorably acts on the atmosphere of the dinner and the situation of the conversation. As a result, customer satisfaction can be improved.
  • FIG. 1 is a schematic explanatory diagram of a control system according to Embodiment 1 of the present invention.
  • FIG. 2 schematically shows a configuration example of the control system shown in FIG.
  • the control system includes a network 1, a camera 101, a server 103, an ordering terminal 104, and a display 105.
  • the network 1 is, for example, a LAN or WAN, and may include a cellular network or a wireless network.
  • the order terminal 104 is placed on a table 203, for example.
  • the ordering terminal 104 includes a camera 104 ⁇ / b> A and images a plurality of dinner attendants 201 having dinner using a chair 202 and a table 203.
  • the monitoring camera 101 can also capture the appearance of a plurality of dinner party 201.
  • the camera 101 may be a single unit or may be provided in the human sensor.
  • the camera 104 ⁇ / b> A and the camera 101 can be arranged at appropriate positions as long as a captured image suitable for obtaining the state of the dinner party 201 can be taken, such as above and to the side of the dinner party 201.
  • a captured image captured by the camera 104 ⁇ / b> A or the camera 101 is transmitted to the server 103 via the network 1.
  • the order terminal 104 includes, for example, a display and a touch panel.
  • the display shows menus (selections) of dishes that can be ordered, and the dinner party 201 uses the touch panel to order the contents of a plurality of menus desired to be ordered (order contents) and the confirmation of the order contents.
  • Input to the terminal 104 is possible.
  • the confirmed order content is transmitted to the server 103 via the network 1.
  • the order reception may be performed using a terminal carried by a store employee or the like instead of the ordering terminal 104.
  • a plurality of dinner eaters 201 order a plurality of types of dishes and often share these dishes.
  • the dinner party 201 may additionally order the same kind or different kinds of dishes.
  • a situation occurs in which a plurality of dishes are provided to the dinner party 201 at an interval.
  • the dinner party 201 orders a set of a plurality of dishes that are provided with time, such as a course meal, a situation occurs in which a plurality of dishes are provided to the dinner party 201 with time.
  • the server 103 determines the provision timing of the second and subsequent dishes based on the state of the dinner party 201 in the captured image.
  • the server 103 includes a control unit 11, an image acquisition unit 12, an image processing unit 13, a captured image data storage unit 14, an order reception unit 15, a provisional timing calculation unit 16, and order content data.
  • storage part 17, the state determination part 18, and the timing change part 19 are included.
  • the control unit 11 performs control related to the provision timing determination process.
  • the imaging unit 21 images the dinner party 201.
  • the camera 104A and the camera 101 are examples of the imaging unit 21.
  • the image acquisition unit 12 is an example of an acquisition unit according to the present invention, and acquires a captured image captured by the imaging unit 21, for example, a captured image received by the server 103 from the camera 104A via the network 1.
  • the image processing unit 13 receives a captured image from the image acquisition unit 12 and performs predetermined image processing.
  • the predetermined image processing is, for example, face image extraction.
  • the storage unit 14 stores captured image data including captured image data and face image data.
  • the order information input unit 22 is used for inputting order details and confirming the order details.
  • the ordering terminal 104 shown in FIG. 1 is an example of the order information input unit 22.
  • the order receiving unit 15 receives confirmed order contents, for example, information indicating the order contents received by the server 103 from the order terminal 104 via the network 1.
  • the provisional timing calculation unit 16 indicates, for example, each menu (dish) included in the order contents and the required time for providing the menu (if the menu is a course dish, provision time for each dish included in the course). Information is managed.
  • the provisional timing calculation unit 16 calculates the scheduled time (provisional timing) for providing each of the ordered menu dishes to the dinner party 201 using the information indicating the required time and the scheduled provision time.
  • the provisional timing calculation unit 16 stores the order contents and information indicating provisional timing corresponding to each menu in the storage unit 17.
  • the state determination unit 18 is an example of a determination unit according to the present invention.
  • the state determination unit 18 receives a notification of completion of image processing from the image processing unit 13 and determines the state of the dinner party 201 using the captured image data stored in the storage unit 14.
  • the state is, for example, a change in facial expression of the dinner party 201.
  • the state is, for example, when it is determined that the facial expression has changed to a positive facial expression, it is presumed that the meeting place is exciting. In this case, the progress of eating and drinking is considered to be slow (such as being crazy about conversation).
  • the facial expression has changed to a negative facial expression
  • the timing changing unit 19 is an example of a determining unit according to the present invention.
  • the timing changing unit 19 receives the determination result of the state of the eating party 201 from the state determination unit 18 and operates.
  • the timing changing unit 19 provides the provision timing (stored in the storage unit 17) for the next serving (an example of the dish provided after the second serving). Change).
  • the timing changing unit 19 delays the provision timing of the next provided dish.
  • the timing changing unit 19 advances the provision timing of the next provided dish. In this way, the provisional timing (providing timing) stored in the storage unit 17 is updated with the providing timing changed (determined) by the timing changing unit 19.
  • the change of provisional timing may be targeted for some or all of the dishes provided after the next.
  • the provision timing of a dish scheduled to be provided at the next provision timing (the earliest from the present) may be delayed or advanced in comparison with the provisional timing.
  • the provisional timing may be changed by widening or shortening the provision timing intervals of some or all of the following and subsequent dishes.
  • the determination of the state of the dinner party 201 focuses on the determination result of the state of one of the plurality of dinner guests 201, so the determination result of the state for two or more dinner party 201 is scored, and the average value or total of the scores
  • the state may be determined based on whether the value exceeds a threshold value.
  • the information output unit 23 outputs information indicating provisional timing, presence / absence of change from the provisional timing, and information indicating provision timing after change when there is a change.
  • the display 105 illustrated in FIG. 1 is an example of the information output unit 23.
  • the information can be output by outputting sound from a speaker, lighting a lamp, blinking, or a combination thereof.
  • Temporary timing and provision timing after change are expressed in time, for example.
  • the provision timing after the change may be indicated by a relative value from the time indicating the provisional timing (for example, “+5 minutes” (delay 5 minutes), “ ⁇ 5 minutes” (promote 5 minutes), etc.).
  • the provision timing after the change may be information indicating the relationship with the provisional timing (for example, “delay”, “accelerate”, etc.).
  • the level of detail of the provision timing information after the change can be set as appropriate.
  • the provision timing including the provisional timing may be expressed as a relative value from the timing at which the dish can be carried out from the kitchen (the timing at which it can be carried out).
  • provisional timing For example, if 2 minutes elapsed from the unloadable timing is provisional timing, change the elapsed time to 3 minutes and delay the provision timing, or change the elapsed time to 1 minute and advance the provision timing Also good.
  • the provisional timing and the expression format of the provision timing after the change are not limited as long as the food can be provided at an appropriate timing.
  • the server 103 described above includes, for example, a CPU (processor), a main storage device (memory), an auxiliary storage device (a large-capacity storage device such as a hard disk or a solid state drive), a communication I / F, and an input device (such as a keyboard and a pointing device). It can be configured by installing a necessary program in a computer having a display device or the like. In this case, the image acquisition unit 12, the image processing unit 13, the order reception unit 15, the provisional timing calculation unit 16, the state determination unit 18, and the timing change unit 19 described above are executed by the CPU using a program stored in the auxiliary storage device. This is realized by deploying and executing in a storage device.
  • the storage unit 14 and the storage unit 17 are created on a main storage device or an auxiliary storage device. It should be noted that a part of operations or processes performed by the server 103 as the control unit 11, the image acquisition unit 12, the image processing unit 13, the order reception unit 15, the provisional timing calculation unit 16, the state determination unit 18, and the timing change unit 19, or All may be realized by a circuit such as ASIC or FPGA. Alternatively, some of these functions may be distributedly processed using other computers, or processing may be requested from the cloud server and the result obtained. 2 is performed by the imaging unit 21, the image acquisition unit 12, and the image processing unit 13 illustrated in FIG. 2 from imaging to image processing (such as detection of a target (a face or a predetermined portion of a human body) from the captured image).
  • a configuration executed by one device or apparatus may be employed.
  • the device or device transmits not the image data such as the face image extracted from the captured image but the numerical data obtained by the image processing such as the face coordinates, the expression, and the coordinates of the human body to the server 103. It is preferable to adopt a configuration. Since the size of the numerical data can be smaller than the size of the image data, the traffic amount of the network 1 can be reduced and the load on the network 1 can be reduced.
  • image data includes information that needs to be handled as personal information such as a face image
  • numerical data can be abstracted to the extent that an individual cannot be identified, so that the risk of personal information leakage can be reduced.
  • FIG. 3 is a flowchart illustrating an example of processing in the server 103 according to the first embodiment.
  • the order receiving unit 15 receives the order contents from the order information input unit 22.
  • the order reception unit 15 delivers the order details to the provisional timing calculation unit 16.
  • the provisional timing calculation unit 16 calculates provisional timings for a plurality of food menus indicated by the order details, and stores information indicating the order details and provisional timings in the storage unit 17.
  • the control unit 11 receives a notification indicating the end of the calculation of the provisional timing (timing calculation end notification) from the provisional timing calculation unit 16, and displays the order contents and the provisional timing from the storage unit 17.
  • the information shown is read and output to the information output unit 23 (for example, the display 105).
  • the cook and the layperson can work in accordance with the output (display) from the information output unit 23.
  • Information indicating the order contents and provisional timing is displayed in customer management units (for example, table units or group units of the dinner party 201).
  • the control unit 11 monitors the provisional timing (providing timing) stored in the storage unit 17 and determines whether or not the present time is the providing timing (S03). For example, when the current time comes to the latest provision timing (YES in S03), the control unit 11 performs a dish distribution process (S04). For example, the control unit 11 causes the information output unit 23 to output a dish distribution instruction corresponding to the provision timing. In response to the instruction of the serving, the serving person takes out (distributes) the food to the eating and drinking place (table 203). If the provisional timing is not changed at the time of S03, the provisional timing is used as it is, and if the provisional timing is changed, the provision timing after the change is used. In the present embodiment, among a plurality of dishes provided with a time interval, a dish provided for the first time is provided at a provisional timing.
  • the control unit 11 determines whether the provision of the dishes is complete, that is, whether the provision timing of all the dishes has arrived. If it is determined that all the provision timings have arrived (YES in S05), the processing in FIG. 3 ends. On the other hand, when determining that all provision timings have not arrived (NO in S05), the control unit 11 gives an imaging instruction to the imaging unit 21 (S06). In response to the imaging instruction, the imaging unit 21 generates a captured image obtained by capturing the dinner party 201 and sends the captured image to the server 103. Imaging is performed periodically and repeatedly.
  • facial expression extraction and determination processing are performed as an example of processing for determining the state of the dinner party 201.
  • the image processing unit 13 performs a process of extracting the face image of the dinner party 201 from the captured image obtained from the image acquisition unit 12.
  • face detection any existing face detection method can be applied. For example, it is performed by discriminating whether all the subwindows in the image are faces using a discriminator constructed using a large number of face and non-face learning samples.
  • a method is used in which facial contours (edges), texture, color components, positional relations of facial parts, etc. are extracted as feature quantities, and whether or not the face is determined based on empirically determined rules and models. Also good.
  • the captured image and the face image are stored in the storage unit 14.
  • the end of the image processing (face detection) is notified to the state determination unit 18.
  • the state determination unit 18 that has received the notification starts determination of the state of the dinner party 201.
  • FIG. 4 is a table for explaining a facial expression determination method.
  • the state determination unit 18 determines, for example, whether the facial expression of the eating party 201 is positive or negative using the following two determination methods. (1) Determination of facial expression based on smile level (first determination method) (2) Expression determination based on expression type (second determination method)
  • the storage device main storage device or auxiliary storage device
  • the storage device stores rule information for calculating whether the face is a smile or a non-smile, or a smile level based on the shape of the face or the mouth.
  • the state determination unit 18 determines the smile level (for example, a score having a value range of 0 to 100) using the shape of the eyes and mouth in the face image of the dinner party 201 and the rule information.
  • a predetermined threshold for example, 50
  • the state determination unit 18 determines that the facial expression of the eating party 201 is a smile (positive expression). Is determined.
  • an average value of smile scores is taken.
  • the facial expression is positive or negative based on the five facial expressions (joy, surprise, anger, sadness, no expression (true face)).
  • the storage device (main storage device or auxiliary storage device) included in the server 103 has rule information for calculating which of the five facial expressions the face corresponds to based on the shape of facial parts such as the eyes and mouth of the face. It is remembered.
  • the state determination unit 18 determines (estimates) the facial expression of the eating party 201 using the shape of the facial parts in the facial image of the eating party 201 and the rule information. At this time, joy and surprise are positioned as positive facial expressions, and no expression, anger, and sadness are positioned as negative facial expressions.
  • a degree of pleasure and surprise for example, a score having a value range of 0 to 100
  • the state determination unit 18 compares the total value of the pleasure score and the surprise score with a threshold value. Then, determine whether the facial expression is positive or negative.
  • an average value of the total value of the joy level and the surprise level is calculated and compared with a threshold value.
  • the state determination unit 18 determines whether or not the provision timing needs to be changed. Specifically, the state determination unit 18 stores the facial expression determination result (positive or negative) obtained using at least one of the first or second determination methods in the storage unit 14. In addition, the state determination unit 18 refers to a past facial expression determination result based on a past frame (captured image) and a current facial expression determination result (facial expression history). In this reference, when the history of facial expressions shows the following pattern, for example, it is determined that the provision timing should be changed. (First pattern) The previous negative facial expression is now positive. (Second pattern) The reverse of the first pattern (the expression that was positive last time has changed to negative this time).
  • the expression changes from negative to positive, and then the positive state continues for a predetermined number of times n or more.
  • (Fourth pattern) The facial expression changes from positive to negative, and then the negative state continues for a predetermined number n or more.
  • the first and third patterns show a change from negative to positive.
  • the second and fourth patterns show a change from positive to negative. Note that an appropriate natural number of 1 or more can be applied to the value of n in the third and fourth patterns.
  • the timing changing unit 19 changes the provision timing. Specifically, the timing changing unit 19 receives the determination result of the state change (change from negative to positive, change from positive to negative) from the state determining unit 18. If the determination result is a change from negative to positive (for example, the first or third pattern), the timing changing unit 19 delays the provision timing. This is because the place is thought to be exciting. On the other hand, when the determination result is a change from positive to negative (for example, the second or fourth pattern), the timing changing unit 19 advances the provision timing. This is because the place is exciting and you want to change the place by providing food.
  • the change of the provision timing is performed, for example, by adding a predetermined time or subtracting the predetermined time from the current provision timing (which may be provisional timing).
  • the length of the predetermined time can be set as appropriate. However, the delivery timing cannot be advanced before the most recently completed time. Further, when the provision timing is delayed (addition of a predetermined time), for example, the length of the predetermined time is determined in consideration of the completion time of the next dish.
  • the timing changing unit 19 rewrites (updates) information indicating the provision timing stored in the storage unit 17 to information indicating the provision timing after the change when the provision timing is changed.
  • the timing changing unit 19 gives an update notification indicating an update of information indicating the provision timing to the control unit 11.
  • the control unit 11 Upon receiving the update notification, the control unit 11 reads information indicating the updated provision timing from the storage unit 17 and sends the information to the information output unit 23. Thereby, the information output part 23 outputs the information which shows the provision timing after an update, and the change of provision timing is alert
  • the provision timing is delayed every time a positive facial expression is determined in S08 (if a negative facial expression is continuously determined, the provision timing is advanced each time. ).
  • an upper limit may be set for the number of times of change in the direction to advance the provision timing and the number of changes in the direction of delay.
  • the provision timing of cooking can be delayed or advanced based on the facial expression that is the state of the dinner party 201.
  • the cooking provision timing can be changed at a later timing so as not to break the place when it is excited, and at an early timing so that the topic and the place can be changed when it is raised.
  • Embodiment 2 of the present invention will be described. Since the second embodiment has the same configuration as that of the first embodiment, mainly different configurations will be described, and descriptions related to the same configurations will be omitted. Depending on the installation position of the camera 104 ⁇ / b> A and the camera 101, it may be impossible to appropriately capture the face of the dinner party 201. In this case, it is not possible to determine whether or not the provision timing needs to be changed based on facial expressions. In the second embodiment, whether or not to change the provision timing is determined based on the movement of the human body of the eating party 201 instead of the facial expression.
  • the predetermined part of the human body is, for example, the hand, head, upper body, and the like.
  • Embodiment 2 demonstrates as an example the case where the predetermined part of a human body is a hand.
  • the configuration of the control system according to the second embodiment is the same as that shown in FIGS. However, the second embodiment is different from the first embodiment in the following points.
  • the camera 101 provided above the dinner party 201 (for example, the ceiling) is used for imaging the dinner party 201. This is because it is considered that the hand of the dinner party 201 can be captured more reliably than the camera 104A on the table.
  • the use of the camera 104A is also conceivable as long as a human body (such as a hand) can be appropriately imaged.
  • the processes related to the image processing unit 13 and the state determination unit 18 are different from those in the first embodiment.
  • the image processing unit 13 extracts a hand image from the captured image.
  • the hand extraction method is similar to face image extraction, for example, using a discriminator constructed using a large number of hand and non-hand learning samples, and whether or not it is a hand for all sub-windows in the image. This is done by making a determination.
  • the storage unit 17 stores captured images for each frame and information indicating the position of the hand extracted from each captured image.
  • the state determination unit 18 determines the amount of hand movement as follows. The processing of Example 1 and Example 2 is performed for all hands in the captured image. For the sake of simplicity, it is assumed that the hand of each dinner party 201 is included in the captured image. (Example 1) For a plurality of captured images (frames), the position of the hand in the XY coordinate system of the frame is detected, and the movement amount of the hand in the XY coordinate system is accumulated. The state determination unit 18 determines that “the hand movement is large” if the cumulative movement amount of the hand for a predetermined time (for example, 5 minutes) is equal to or greater than the threshold value, and determines that “the hand movement is small” if it is less than the threshold value. To do.
  • a predetermined time for example, 5 minutes
  • Example 2 Frequency at which a hand is detected during a predetermined time (for example, 5 minutes) in a predetermined region in the captured image (for example, in the central portion of the upper surface of table 203 on which tableware 204 or tableware 204 is placed). Get (number of times). If this frequency is equal to or higher than the threshold value, it is determined that “the hand movement is large”, and if it is less than the threshold value, it is determined that “the hand movement is small”.
  • Example 3 Simply, the difference between frames of the image near the table 203 at a predetermined time (subtraction of pixel values of simple images) is taken, and if the difference is larger than the threshold value, it is determined that there is a lot of movement, and the difference If is small, it may be determined that “there is little movement”. However, since this method includes a lot of noise, it is considered that the accuracy is inferior to the methods shown in Examples 1 and 2.
  • FIG. 5 is a flowchart illustrating an example of processing in the server 103 according to the second embodiment.
  • the processes in S01 to S05 are the same as those in the first embodiment, and thus the description thereof is omitted.
  • the control unit 11 gives an imaging instruction to the imaging unit 21 (camera 101) to image the dinner party 201.
  • the captured image obtained by the imaging unit 21 is given to the image processing unit 13 via the image acquisition unit 12.
  • the image processing unit 13 extracts the target (hand) from the captured image.
  • the state determination unit 18 determines the “amount of hand movement” using the captured image and the hand image. For the determination of the amount of hand movement, any of the methods shown in Examples 1 to 3 described above can be applied. The state determination unit 18 determines that “the (hand) movement is large” that the meal progresses (meal speed) is fast, and “the (hand) movement is small” indicates that the meal progress is slow. Is determined. The determination result of the state determination unit 18 is given to the timing change unit 19.
  • the timing changing unit 19 changes the current provision timing. That is, when it is determined that the way of eating is slow, the timing changing unit 19 updates a time obtained by adding a predetermined time to the current provision timing as a new provision timing. On the other hand, when it is determined that the progress of the meal is fast, the timing changing unit 19 updates the time obtained by subtracting the predetermined time from the current provision timing as a new provision timing. After the end of S13, the process returns to S03.
  • the provision timing can be changed based on the amount of movement of the human body (hand).
  • FIG. 6 is a flowchart illustrating an example of processing in the server 103 according to the third embodiment.
  • the process of S21 is performed after the processes of S01 and S02 shown in FIGS.
  • the control unit 11 issues an imaging instruction to the imaging unit 21 and obtains a captured image of the dinner party 201.
  • the image processing unit 13 performs face detection from the captured image.
  • the processing of S23 to S25 is performed by the control unit 11, for example.
  • the image processing unit 13 determines whether or not face detection has been performed.
  • the image processing unit 13 When it is determined that face detection has been performed (YES in S23), the image processing unit 13 notifies the state determination unit 18 that the face has been detected, and the state determination unit 18 determines the facial expression as a sensing target (detection target). (S24). Thereafter, the processes after S03 shown in FIG. 3 are executed. On the other hand, when it is determined that face detection has failed (NO in S23), the image processing unit 13 notifies the state determination unit 18 that face detection has failed, and the state determination unit 18 moves the hand or the like. Is determined as a sensing target (detection target) (S25). Thereafter, the processing after S03 shown in FIG. 5 is executed.
  • the provision timing determination based on facial expressions and the provision timing determination based on movement are selectively used depending on whether or not a face can be detected.
  • the configuration of the third embodiment is, for example, an eating and drinking place where the arrangement of the chair 202 and the table 203 changes frequently.
  • the relative position with respect to the camera 101 or the camera 104A is also changed. For this reason, whether or not an expression can be captured from the camera 101 or the camera 104A also changes.
  • the user of the control system may switch the setting of whether to use facial expressions or see the movement, but it is troublesome to manually set each time the arrangement of the chair 202 or the table 203 is changed. Therefore, as in the third embodiment, if the control system automatically determines whether to use facial expressions or movements at the time of activation or order reception, the user's troublesomeness can be reduced.
  • both the determination of the provision timing based on the facial expression and the determination of the provision timing based on the movement can be performed and used to improve the determination accuracy of the degree of excitement based on the facial expression. That is, the accuracy of determination based on facial expressions varies between people with rich facial expressions and those who do not change their facial expressions very much. Therefore, the accuracy can be improved by using the determination based on the movement together.
  • FIG. 7 is a schematic explanatory diagram of a control system according to the fourth embodiment.
  • a difference from the first embodiment (FIG. 1) is that a plurality of tables 203 (FIG. 7 illustrates the tables 203a and 203b) are provided, and different groups of dinner parties are arranged in parallel on different tables 203, respectively. It is a point where you can have dinner.
  • a group of a plurality of dinner parties there are a dinner party group (referred to as a first group) using the table 203a and a dinner party group (referred to as a second group) different from the first group using the table 203b.
  • the case where these first group and second group have meals in parallel will be described as an example.
  • order terminals 104a and 104b each having a camera 104A are placed on the tables 203a and 203b.
  • FIG. 8 schematically shows a configuration of a control system according to the fourth embodiment. Differences from the first embodiment are as follows. That is, the order receiving unit 15 receives the orders of the first and second groups from the order terminals 104a and 104b, which are examples of the plurality of order information input units 22.
  • the provisional timing calculation unit 16 calculates the cooking order (provisional cooking order) of the ordered cooking menu and the provision timing (provisional timing) of cooking for each party group for the entire plurality of dinner party groups.
  • the provisional timing calculation unit 16 causes the storage unit 17 to store order content data (a plurality of dishes, provision timing) for each dinner party group and cooking order data.
  • the cameras 104A included in the order terminals 104a and 104b are used as the plurality of imaging units 21, and the control unit 11 sends an imaging instruction to each imaging unit 21 at an appropriate timing.
  • the provisional timing calculation unit 16 gives an end notification indicating the end of the provisional cooking order and provisional timing calculation to the control unit 11, and the control unit 11 issues an imaging instruction when the end notification is received. 21.
  • the control unit 11 reads out information indicating the order contents, provisional cooking order, and provisional timing from the storage unit 17 and supplies the information to the information output unit 23, and outputs (displays) the information from the information output unit 23.
  • the image acquisition unit 12, the image processing unit 13, and the state determination unit 18 perform the process related to the necessity determination of the provision timing change based on the facial expression described in the first embodiment.
  • the state determination unit 18 further makes a comprehensive determination on the provision timing between the tables 203a and 203b.
  • the timing changing unit 19 updates the provision timing determined to change the provision timing based on the comprehensive determination. Further, the timing changing unit 19 determines whether or not the cooking order needs to be changed along with the change of the provision timing, and if the change is necessary, changes the cooking order.
  • FIG. 9 is a flowchart illustrating a processing example of the server 103 according to the fourth embodiment.
  • the order receiving unit 15 receives an order from either the table 203a (first group) or the table 203b (second group). For example, assume that an order is received from the table 203a.
  • the provisional timing calculation unit 16 determines provisional timing regarding the table 203a and also determines provisional cooking order for all ordered dishes (referred to as provisional cooking order). For example, efficient (based on the types of dishes (appetizers / small bowls, soup, main, dessert, etc.) and their priorities, cooking time for each dish, kitchen equipment data, etc. stored in advance by the server 103 ( Determine a cooking order that is at least in time for provisional timing.
  • the process returns to S101, and the provisional cooking order for the tables 203a and 203b is determined.
  • the order contents from the table 203a and the table 203b, the provisional timing corresponding to each order contents, and the provisional cooking order are stored in the storage unit 17.
  • the provisional cooking order may be stored in the storage unit 17 manually (for example, using the input device 24) by a cook. As long as there is no change, the cook performs cooking according to the provisional cooking order.
  • S104 it is determined whether or not the dish is completed. This determination is performed by the control unit 11, for example. For example, when the cook completes cooking, the control unit 11 determines whether or not the cooking is completed by determining whether or not information (signal) indicating completion of cooking is input to the server 103 using the input device 24. It can be judged whether it is completed.
  • the input device 24 is a key, a button, a touch panel, or the like.
  • the control unit 11 stops the provision timing of the cooking (S105), and instructs the information output unit 23 to carry out the cooking (distribution) by the serving instruction output to the information output unit 23 (S106). . Thereafter, the control unit 11 determines whether all the ordered dishes are completed (S107), and ends the process when all the dishes are completed. If all the dishes are not completed, the process proceeds to S108.
  • the imaging unit 21, the image acquisition unit 12, the image processing unit 13, and the state determination unit 18 determine whether or not to change the provision timing based on the facial expression similar to that described in the first embodiment. This determination process is performed for each of the tables 203a and 203b.
  • the timing changing unit 19 performs a comprehensive determination on the provision timing of the table 203a and the provision timing of the table 203b. For example, suppose that it is decided to delay the next provision timing in the table 203a while it is decided to delay the next provision timing, while it is decided to advance the next provision timing in the table 203b.
  • the cooking time of the next dish (referred to as dish X) provided to the table 203b is longer than the cooking time of the next dish (referred to as dish Y) provided to the table 203a, and the cooking order of the dish Y is higher than that of the dish X. Assume early that both dishes X and Y have not yet started cooking.
  • the timing changing unit 19 determines to change (reverse) the cooking order of the dishes X and Y. By doing so, it is possible not only to advance the timing at which the dish X can be provided to the table 203b on the schedule, but also to realize the early provision of the dish X at an earlier time point. As for the food Y, the venue is exciting, so even if the provision timing is somewhat delayed, the dinner party 201 does not mind the delay.
  • the timing changing unit 19 updates the provisional cooking order by writing the changed cooking order in the storage unit 17, and the control unit 11 changes the cooking order transmitted to the cook via the information output unit 23. Specifically, when the provision timing and the cooking order are changed, the timing changing unit 19 rewrites the information indicating the provision timing and the cooking order stored in the storage unit 17 with information indicating the changed provision timing and the cooking order. (Update). By changing the cooking order, the priority of the provision timing of the table 203a (first group) is lowered than the provision timing of the table 203b (second group).
  • the timing changing unit 19 provides the control unit 11 with an update notification indicating an update of information indicating provision timing and cooking order.
  • the control unit 11 reads information indicating the updated provision timing and cooking order from the storage unit 17 and sends the information to the information output unit 23.
  • the information output unit 23 outputs the updated provision timing and cooking order.
  • the cooking order (provisional cooking order) is determined for all tables, the provision timing is changed in units of tables 203, and the cooking order is changed in accordance with the change in provision timing. Is preferred, the cooking order is changed. Even if it is preferable to advance the provision timing of the food from the atmosphere of the place, the food can not be provided unless the food has been completed, so the room for the advancement of the provision timing depends on the completion timing of the dish.
  • the cooking order can be changed and the completion timing of cooking can be advanced, so that the food that can change the place can be provided to the table 203b where the place is rising early. As a result, customer satisfaction can be improved.
  • the determination as to whether the provision timing needs to be changed is performed using a captured image.
  • the above determination can be performed not only with the captured image but also with sound.
  • the accuracy of the excitement can be improved by including the amount of conversation obtained from voice in the determination parameter.
  • Embodiments 2 and 3 it is determined whether or not the provision timing needs to be changed based on movement.
  • movement for example, whether the hand is moving toward the tableware 204 (dish, bowl, etc.) or whether it is moved with a chopstick, fork, spoon, etc. It is a judgment target. This excludes hand movements (gesture gestures, gestures, etc.) unrelated to meals from the determination. Therefore, the accuracy of the determination result can be increased.
  • the meal speed may be determined in consideration of gender and age information. For example, women eat less food in a single movement than men, so meals are slower. For this reason, even if there is much movement amount of a hand, the speed of a meal is not necessarily fast. Therefore, by taking into account attributes such as age and sex, the accuracy of the determination regarding the speed of meal can be improved.
  • Embodiments 1 to 4 described above are merely illustrative examples of the configuration of the present invention.
  • the present invention is not limited to the specific form described above, and various modifications are possible within the scope of the technical idea.
  • An acquisition unit (12) that acquires a captured image of a dinner party (201) having a dinner at a place where food and drink are provided, A determination unit (18) that determines the state of the eating party (201) using the captured image; A determination unit (19) that determines a provision timing of the second and subsequent dishes among a plurality of dishes provided with time for the dinner party (201) based on the state of the dinner party (201).
  • An information processing apparatus (103) including: (2) Obtain a captured image of a dinner party (201) having a dinner at a place where food and drink are provided, Using the captured image, determine the state of the party (201), Providing a dish including determining a provision timing of a dish to be provided second or later among a plurality of dishes provided with time to the dinner party (201) based on the state of the party party (201) How to determine timing.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

情報処理装置は、飲食物の提供場所で会食する会食者の撮像画像を取得する取得部と、撮像画像を用いて会食者の状態を判定する判定部と、会食者に時間を空けて提供される複数の料理のうち、２番目以降に提供する料理の提供タイミングを会食者の状態に基づいて決定する決定部とを含む。

Description

情報処理装置、料理の提供タイミングの決定方法、及びプログラム
　本発明は、情報処理装置、料理の提供タイミングの決定方法、及びプログラムに関する。
　レストランや居酒屋等の飲食店におけるサービス向上に関する従来技術として以下のものがある。例えば、顧客に給仕サービスを行う店員が携帯する端末から受信した顧客のオーダデータに基づいて、コントローラがメニュー－テーブルウェア関連マスタと配膳手順マスタとを参照し、オーダデータに従って調理した料理の配膳手順を示す配膳データを生成し、配膳データを料理の調理の完了時点で端末に送信する技術がある（例えば、特許文献１）。また、食卓に向かう人体から放射される赤外線を検知することで当該人体が動いているか否かを検出し、人体の検出頻度に基づいて人体の動きが食物を摂取する食事行動であるか否かを判別する技術がある（例えば、特許文献２）。
特開２００７－３２８３８５号公報 特開２００４－０８１４７１号公報
　飲食店において、顧客に対する料理の提供タイミングが適切でないと、ＣＳ（顧客満足）の低下につながる。しかし、従来技術では、配膳手順を生成するだけで、適切な配膳タイミングを導くことはできない。また、人体の動きが食事行動であるか否かを判別できたとしても、その結果は最適な提供タイミングの決定に繋がらない。
　本発明は、上記実情に鑑みなされたものであって、会食者に適切なタイミングで料理を提供することのできる技術を提供することを目的とする。
　本発明の第一側面は、飲食物の提供場所で会食する会食者の撮像画像を取得する取得部と、前記撮像画像を用いて前記会食者の状態を判定する判定部と、前記会食者に時間を空けて提供される複数の料理のうち、２番目以降に提供する料理の提供タイミングを前記会食者の状態に基づいて決定する決定部とを含む情報処理装置である。
　本発明に係る情報処理装置によれば、撮像画像に基づいて判定される会食者の状態に基づいて、２番目以降に提供する料理の提供タイミングを決定することができる。このため、会食の雰囲気（例えば、場が盛り上がっている、盛り上がっていないなど）に合わせて料理の提供タイミングを遅らせたり早めたりすることができる。例えば、場が盛り上がっている場合には、水を差さないように提供タイミングを遅らせる。或いは、場が盛り上がっていない場合には、場を変える（話題を提供する）ために提供タイミングを早める。このように、会食者に適切なタイミングで料理を提供することができる。
　料理の提供場所は、例えば、会食、すなわち複数人が集まって飲食することが可能な店舗（飲食店）や施設（ホールやコートなど）を含む。飲食店は、レストランや居酒屋などであるが、店舗や施設の営業形態、提供される飲食物（料理）の種類や提供可能な種類の数は、店舗や施設が複数の料理（メニュー）が時間を空けて提供される形態を採れる限り制限されない。会食者の状態は、例えば、会食者の顔の表情やその変化、会食者の人体の所定部分の動きを含む。人体の所定部分は、手、頭、上体などを含む。会食者の撮像画像は、会食者の状態を判定し得る限り、可視光画像であっても非可視光画像であってもよい。非可視光画像は、例えば、赤外線画像を含む。時間を空けて提供される複数の料理は、全て異なる種類の料理であっても、一部が同種の料理であっても、全て同種の料理であってもよい。
　本発明に係る情報処理装置は、例えば、以下のような構成を採用してもよい。例えば、前記判定部は、前記撮像画像を用いて、前記会食者の顔の表情を判定し、前記決定部は、前記２番目以降に提供する料理の提供タイミングを、前記表情に基づいて決定してもよい。また、例えば、前記決定部は、前記顔の表情がポジティブな表情と判定される場合や、前記顔の表情がポジティブな表情への変化と判定される場合に、次に提供する料理の提供タイミングを遅くする。或いは、前記決定部は、前記表情がネガティブな表情と判定される場合や、前記顔の表情がネガティブな表情への変化と判定される場合に、次に提供する料理のタイミングを早める。或いは、このように、顔の表情から場の盛り上がり具合を判定し、料理の提供タイミングを決定することで場の雰囲気を壊さないタイミングで料理を提供したり、雰囲気や話題を変えたいタイミングで料理を提供したりすることができる。これにより、顧客満足度の向上を図ることができる。ここに、ポジティブな表情は、例えば、笑顔、喜びや驚きを示す表情を含む。ネガティブな表情は、例えば、非笑顔、無表情、怒り、悲しみを示す表情を含む。ただし、表情の種類の数は適宜選択することができる。
　また、本発明に係る情報処理装置は、以下の構成を採用してもよい。例えば、前記判定部は、前記撮像画像を用いて、前記会食者の人体の所定部分の動きを判定し、前記決定部は、前記２番目以降に提供する料理の提供タイミングを、前記人体の所定部分の動きに基づいて決定してもよい。例えば、前記判定部は、所定時間における前記人体の所定部分の移動量を判定し、前記決定部は、前記移動量に基づいて、次に提供する料理の提供タイミングを決定してもよい。或いは、前記判定部は、所定時間における、前記撮像画像中の所定エリア内に前記人体の所定部分が検出される回数を判定し、前記決定部は、前記回数に基づいて、次に提供する料理の提供タイミングを決定してもよい。例えば、移動量や回数が所定値より多い場合に、食事の進み方が速いと判断して、次の料理の提供タイミングを早めることができ、顧客が次の料理が出てこないことに不快感を覚えるような状況を回避することができる。
　また、本発明に係る情報処理装置は、以下の構成を採用してもよい。例えば、前記撮像画像から前記会食者の顔が検出される場合に、前記判定部が前記撮像画像を用いて前記会食者の表情の変化を判定するとともに、前記決定部が前記２番目以降に提供する料理の提供タイミングを前記表情に基づいて決定し、前記撮像画像から前記会食者の顔が検出されない場合に、前記判定部が前記撮像画像を用いて前記会食者の人体の所定部分の動きを判定するとともに、前記決定部が前記２番目以降に提供する料理の提供タイミングを前記人体の所定部分の動きに基づいて決定する。このようにすれば、撮像画像から顔が検出できるか否かに応じて、状態の判定手法を使い分けることができる。従って、顔が検出できない場合にまで、顔の表情を用いる判定がなされるのを回避することができる。
　また、本発明に係る情報処理装置は、以下の構成を採用してもよい。例えば、複数の会食者のグループが並列に会食を行う場合に、前記判定部は、前記複数の会食者のグループの夫々についての前記会食者の状態を判定し、前記決定部は、複数の会食者のグループの夫々についての前記会食者の状態に基づいて、前記複数の会食者のグループについての料理の調理順を変更する。この場合、例えば、前記決定部は、前記複数の会食者のグループの夫々についての前記会食者の状態に基づいて、前記複数の会食者のグループ中の第１グループへの料理の調理順を、前記第１グループと異なる前記複数の会食者のグループ中の第２グループへの料理の調理順より遅らせる。このようにすれば、第１グループの場が盛り上がっていて料理の提供の多少の遅れを気にしない状態になっている一方で第２グループの場が盛り下がっているような場合に、調理順を変更して第２グループに料理が早期に提供されるようにすることができる。また、例えば、複数の会食者のグループが並列に会食を行う場合に、前記判定部は、前記複数のグループについての前記会食者の状態を判定し、前記決定部は、前記各グループについての前記会食者の状態に基づいて、前記複数のグループ中の所定グループについての料理の提供タイミングの優先順位を所定グループ以外についての料理の提供タイミングより下げてもよい。例えば、複数の会食者のグループが存在し、あるグループの会話が盛り上がっている場合に、そのグループの料理の提供タイミングの優先順位を、そのグループの注文タイミングより遅いタイミングで料理を注文した他のグループより下げる。これによって、当該他のグループに料理が提供されるタイミングを早めることができる。これにより、料理の提供を待たせない、という印象を会食者に与え、顧客満足度を高めることができる。
　本発明の第二側面は、飲食物の提供場所で会食する会食者の撮像画像を取得し、前記撮像画像を用いて前記会食者の状態を判定し、前記会食者に提供する複数の料理のうち、２番目以降に提供する料理の提供タイミングを前記会食者の状態に基づいて決定することを含む料理の提供タイミングの決定方法である。
　本発明の第三側面は、飲食物の提供場所で会食する会食者の撮像画像を取得するステップと、前記撮像画像を用いて前記会食者の状態を判定するステップと、前記会食者に提供する複数の料理のうち、２番目以降に提供する料理の提供タイミングを前記会食者の状態に基づいて決定するステップとをコンピュータに実行させるプログラムである。
　本発明によれば、会食者に適切なタイミングで料理を提供することができる。
図１は、本発明の実施形態に係る制御システムの概要説明図である。 図２は、図１に示した制御システムの構成例を模式的に示す。 図３は、実施形態１に係るサーバにおける処理の例を示すフローチャートである。 図４は、表情の判断手法を説明する表である。 図５は、実施形態２に係るサーバにおける処理の例を示すフローチャートである。 図６は、実施形態３に係るサーバにおける処理の例を示すフローチャートである。 図７は、実施形態４に係る制御システムの概要説明図である。 図８は、実施形態４に係る制御システムの構成を模式的に示す。 図９は、実施形態４に係るサーバの処理例を示すフローチャートである。
　＜適用例＞
　図１は、本発明の実施形態に係る制御システムの概要説明図である。図１において、制御システムは、ネットワーク１と、ネットワーク１に接続されたカメラ１０１、サーバ１０３、注文用端末１０４、ディスプレイ１０５を含んでいる。サーバ１０３は、本発明に係る情報処理装置の一例であり、料理の提供タイミングの決定方法を実行する。
　レストラン（飲食物の提供場所の一例）には、複数の会食者２０１が料理の飲食に使用する椅子２０２及びテーブル２０３が設置されており、テーブル２０３上には、卓上タイプの注文用端末１０４が置かれている。注文用端末１０４はカメラ１０４Ａを有しており、カメラ１０４Ａは、会食の様子、例えば、複数の会食者２０１が椅子２０２に座ってテーブル２０３上の食器２０４に盛られた料理を食しながら会話する様子を撮像する。カメラ１０４Ａの撮像画像は、ネットワーク１を介してサーバ１０３へ送られる。また、テーブル２０３の上方には、監視用のカメラ１０１が設置されており、カメラ１０１の撮像画像は、ネットワーク１を介してサーバ１０３へ送られる。撮像画像は、会食者２０１の状態を判定し得る解像度で複数の会食者２０１の会食の様子を撮像することができる限り、カメラ１０４Ａで撮像されたものでもカメラ１０１で撮像されたものでもよい。
　会食者２０１は、注文用端末１０４を操作して、レストランが提供可能な料理の選択肢（メニュー）から、注文したい複数の料理のメニューを入力し、その注文内容を確定する操作を行う。注文が確定された複数の料理のメニューを示す情報（注文内容情報と称する）は、ネットワーク１を介してサーバ１０３へ送信される。
　サーバ１０３は、注文内容情報を受け付け、注文された複数の料理のメニューの夫々についての暫定的な提供タイミングである暫定タイミングを決定する。例えば、提供タイミングは、厨房から飲食場所への料理の搬出開始のタイミングであり、暫定タイミングは、それまでの間に調理及び提供場所への搬出準備が完了することを前提として定められる。カメラ１０１を用いた会食者２０１の撮像は、例えば、最初の料理の提供（配膳）を契機に開始される。但し、最初の料理の提供の前後で撮像が開始されてもよい。カメラ１０１の撮像の開始及び終了は、例えば、サーバ１０３又は他の装置からの指示によって制御される。
　サーバ１０３は、撮像画像を用いて会食者２０１の状態を判定する。例えば、状態として、会食者２０１の顔の表情やその変化を判定する。但し、状態は、会食者２０１の人体の所定部分（手、頭、状態など）の動きについて判定してもよい。
　一例として、表情やその変化を判定する場合、サーバ１０３は、会食者２０１の顔画像を撮像画像から抽出し、顔の表情を解析する。サーバ１０３は、表情の解析を、間隔を空けて撮像された複数の撮像画像（フレーム）について行う。解析の結果、例えば、表情がポジティブな表情である、又はネガティブな表情へ変化（例えば非笑顔から笑顔へ変化）していると判定する場合には、場が盛り上がっている、或いは会話が弾んでいると考えられる。この場合、サーバ１０３は、次に提供する料理の提供タイミングを暫定タイミングより遅らせる。これにより、会話が盛り上がっている状態を長引かせることができる。
　これに対し、例えば、表情がネガティブな表情である、又はネガティブな表情に変化（例えば、笑顔から非笑顔へ変化）していると判定する場合には、場が盛り下がっている、或いは会話が弾んでいないと考えられる。この場合、サーバ１０３は、次に提供する料理の提供タイミングを暫定タイミングより早める。次の料理の提供を以て、場の雰囲気を変えたり、会話のきっかけをつくったりするためである。
　サーバ１０３は、暫定タイミングから変更された料理の提供タイミングを、サーバ１０３に接続され、例えば厨房に置かれたディスプレイ１０５に表示して、調理人や配膳人に報知する。調理人や配膳人は、変更後の提供タイミングを参照して、調理や料理の飲食場所への搬出を行う。
　このように、制御システムによれば、サーバ１０３が、表情の変化に応じた料理の提供タイミングを決定する（適用例では、暫定タイミングからの変更を行う）。これによって、会食の雰囲気や会話の状況に対して好適に作用するようなタイミングで料理を提供することができる。これによって、顧客満足度の向上を図ることができる。
　＜実施形態１＞
　＜＜構成＞＞
　図１は、本発明の実施形態１に係る制御システムの概要説明図である。また、図２は、図１に示した制御システムの構成例を模式的に示す。図１において、制御システムは、ネットワーク１と、カメラ１０１、サーバ１０３、注文用端末１０４、ディスプレイ１０５を含んでいる。ネットワーク１は、例えば、ＬＡＮやＷＡＮであり、セルラー網や無線網などを含む場合もある。
　注文用端末１０４は、例えば、テーブル２０３の上などに置かれる。注文用端末１０４はカメラ１０４Ａを有し、椅子２０２及びテーブル２０３を用いて会食を行う複数の会食者２０１を撮像する。また、監視用のカメラ１０１も、複数の会食者２０１の会食の様子を撮像することができる。カメラ１０１は、単体であっても人感センサ内に備えられていてもよい。カメラ１０４Ａ及びカメラ１０１は、会食者２０１の上方、側方など、会食者２０１の状態を得るに適した撮像画像を撮像できる限り、適宜の位置へ配置可能である。カメラ１０４Ａやカメラ１０１によって撮像された撮像画像は、ネットワーク１を介してサーバ１０３へ送信される。
　注文用端末１０４は、例えば、ディスプレイとタッチパネルとを含む。ディスプレイには、注文可能な料理のメニュー（選択肢）が表示され、会食者２０１は、タッチパネルを用いて、注文を所望する複数のメニューの内容（注文内容）と、注文内容の確定とを注文用端末１０４に入力することができる。確定された注文内容は、ネットワーク１を介してサーバ１０３に送信される。なお、注文の受付は、注文用端末１０４の代わりに、店舗の従業員等が携帯する端末を用いて行われてもよい。
　複数の会食者２０１は、複数種類の料理を注文し、これらの料理を分け合って食べることが少なくない。また、会食者２０１が同種又は異種の料理を追加注文する場合もある。これらの場合に、個々の料理の調理時間の違いや注文のタイミングの違いによって、会食者２０１に複数の料理が時間を空けて提供される状況が生じる。また、コース料理のような、時間を空けて提供される複数の料理のセットを会食者２０１が注文した場合にも、会食者２０１に複数の料理が時間を空けて提供される状況が生じる。サーバ１０３は、上記の状況において、２番目以降に提供する料理の提供タイミングを、撮像画像における会食者２０１の状態に基づいて決定する。
　図２において、サーバ１０３は、制御部１１と、画像取得部１２と、画像処理部１３と、撮像画像データの記憶部１４と、注文受付部１５と、暫定タイミング算出部１６と、注文内容データの記憶部１７と、状態判定部１８と、タイミング変更部１９とを含む。
　制御部１１は、提供タイミングの決定処理に係る制御を行う。撮像部２１は会食者２０１を撮像する。カメラ１０４Ａやカメラ１０１は撮像部２１の一例である。画像取得部１２は、本発明に係る取得部の一例であり、撮像部２１によって撮像された撮像画像、例えば、ネットワーク１を介してサーバ１０３がカメラ１０４Ａから受信した撮像画像を取得する。画像処理部１３は、画像取得部１２から撮像画像を受け取り、所定の画像処理を行う。所定の画像処理は、例えば顔画像の抽出である。記憶部１４は、撮像画像や顔画像のデータを含む撮像画像データを記憶する。
　注文情報入力部２２は、注文内容の入力やその注文内容の確定の入力に使用される。図１に示した注文用端末１０４は、注文情報入力部２２の一例である。注文受付部１５は、確定された注文内容、例えば、サーバ１０３がネットワーク１を介して注文用端末１０４から受信した注文内容を示す情報を受け付ける。
　暫定タイミング算出部１６は、例えば、注文内容に含まれる各メニュー（料理）と、そのメニューの提供の所要時間（コース料理のメニューであれば、コースに含まれる各料理の提供予定時間）を示す情報を管理している。暫定タイミング算出部１６は、所要時間や提供予定時間を示す情報を用いて、注文されたメニューの料理の夫々を会食者２０１に提供する予定時刻（暫定タイミング）を算出する。暫定タイミング算出部１６は、注文内容と、各メニューに対応する暫定タイミングを示す情報とを記憶部１７に記憶する。
　状態判定部１８は、本発明に係る判定部の一例である。状態判定部１８は、例えば、画像処理部１３からの画像処理の終了通知を受けて、記憶部１４に記憶された撮像画像データを用いて、会食者２０１の状態を判定する。状態は、例えば、会食者２０１の顔の表情の変化である。例えば、表情がポジティブな表情に変化していると判定される場合、会食の場が盛り上がっていると推定される。この場合、飲食の進行が遅くなる（会話に夢中など）と考えられる。これに対し、表情がネガティブな表情に変化していると判定される場合、会食の場が盛り下がっていると推定される。この場合、飲食の進行は早い（次の料理の提供を場を変える手段として利用したい）と考えられる。
　タイミング変更部１９は、本発明に係る決定部の一例である。タイミング変更部１９は、例えば、状態判定部１８から、会食者２０１の状態の判定結果を受け取って動作する。タイミング変更部１９は、状態の変化を示す判定結果が示された場合に、次に提供タイミングが到来する料理（２番目以降に提供される料理の一例）についての提供タイミング（記憶部１７に記憶されている）を変更する。例えば、ポジティブな表情への変化と判定された場合に、タイミング変更部１９は、次に提供される料理の提供タイミングを遅らせる。逆に、ネガティブな表情への変化と判定された場合に、タイミング変更部１９は、次に提供される料理の提供タイミングを早める。このようにして、タイミング変更部１９が変更した（決定した）提供タイミングによって、記憶部１７に記憶された暫定タイミング（提供タイミング）が更新される。
　また、暫定タイミングの変更は、次以降に提供される料理のうちの一部を対象としても全てを対象としてもよい。例えば、次の（現時点から最先の）提供タイミングでの提供が予定される料理の提供タイミングを暫定タイミングとの比較において遅らせたり早めたりしてもよい。また、次以降の料理のうちの一部又は全部の提供タイミングの間隔を広げたり縮めたりすることで、暫定タイミングからの変更を図ってもよい。
　会食者２０１の状態の判定は、複数人の会食者２０１の一人の状態の判定結果に着目するのでも、２以上の会食者２０１についての状態の判定結果をスコア化し、スコアの平均値や合計値が閾値を超過するかによって状態を判定するようにしてもよい。
　情報出力部２３は、暫定タイミングを示す情報と、暫定タイミングからの変更の有無と、変更がある場合の変更後の提供タイミングを示す情報とを出力する。例えば、図１に示したディスプレイ１０５は、情報出力部２３の一例である。但し、情報の出力は、ディスプレイ１０５（表示装置）による情報表示の他に、スピーカからの音声出力、ランプの点灯、点滅、或いはこれらの組み合わせによって行うことができる。
　暫定タイミングや変更後の提供タイミングは、例えば時刻で表現する。もっとも、変更後の提供タイミングは、暫定タイミングを示す時刻からの相対値（例えば、「＋５分」（５分遅くする）や「－５分」（５分早める）など）で示してもよい。或いは、変更後の提供タイミングは、暫定タイミングとの関係を示す情報（例えば、「遅くする」、「早める」など）であってもよい。要は、変更後の提供タイミングの情報の詳細度は適宜設定可能である。また、暫定タイミングを含む提供タイミングは、料理を厨房から搬出可能となったタイミング（搬出可能タイミング）からの相対値で表現されてもよい。例えば、搬出可能タイミングから２分経過時点が暫定タイミングである場合に、経過時点を３分に変更して提供タイミングを遅めたり、経過時点を１分に変更して提供タイミングを早めたりしてもよい。要は、料理の提供を適切なタイミングで行い得る限りにおいて、暫定タイミングや変更後の提供タイミングの表現形式は問わない。
　上述したサーバ１０３は、例えば、ＣＰＵ（プロセッサ）、主記憶装置（メモリ）、補助記憶装置（ハードディスクやソリッドステートドライブなどによる大容量ストレージ）、通信Ｉ／Ｆ、入力装置（キーボードやポインティングデバイスなど）、表示装置などを有するコンピュータに、必要なプログラムを実装することより構成することができる。この場合、上述した画像取得部１２、画像処理部１３、注文受付部１５、暫定タイミング算出部１６、状態判定部１８、タイミング変更部１９は、補助記憶装置に記憶されているプログラムをＣＰＵが主記憶装置に展開し実行することにより実現されることとなる。また、記憶部１４及び記憶部１７は、主記憶装置や補助記憶装置上に作成される。なお、サーバ１０３が制御部１１、画像取得部１２、画像処理部１３、注文受付部１５、暫定タイミング算出部１６、状態判定部１８、タイミング変更部１９として行う動作又は処理のうちの一部又は全部を、ＡＳＩＣやＦＰＧＡなどの回路で実現してもよい。あるいは、これらの機能のうちの一部を他のコンピュータを用いて分散処理したり、クラウドサーバに処理を依頼しその結果を取得したりしても構わない。また、図２に示した撮像部２１、画像取得部１２、画像処理部１３によって行われる、撮像から画像処理（撮像画像からの対象（顔や人体の所定部分）の検出など）までの処理が、一つのデバイス又は機器によって実行される構成が採用されてもよい。この場合、デバイス又は機器が、サーバ１０３に対し、撮像画像から抽出された顔画像などの画像データではなく、顔座標、表情、人体の座標などの、画像処理によって得られた数値データを送信する構成を採用するのが好ましい。数値データのサイズは画像データのサイズより小さくできるため、ネットワーク１のトラフィック量を削減し、ネットワーク１への負荷を軽減することができる。また、画像データは顔画像などの個人情報としての扱いが必要な情報を含むのに対し、数値データは個人を特定できない程度に抽象化できるため、個人情報流出のリスクを低減することができる。
　＜＜処理例＞＞
　図３は、実施形態１に係るサーバ１０３における処理の例を示すフローチャートである。図３において、Ｓ０１では、注文受付部１５が、注文情報入力部２２からの注文内容を受け付ける。注文受付部１５は、注文内容を暫定タイミング算出部１６に引き渡す。
　Ｓ０２では、暫定タイミング算出部１６が、注文内容で示される複数の料理のメニューについての暫定タイミングを算出し、注文内容及び暫定タイミングを示す情報を記憶部１７に記憶する。なお、本実施形態では、一例として、制御部１１が、暫定タイミング算出部１６から暫定タイミングの計算終了を示す通知（タイミング算出の終了通知）を受けて、記憶部１７から注文内容及び暫定タイミングを示す情報を読み出し、情報出力部２３（例えばディスプレイ１０５）に出力する。これによって、調理人及び配膳人が情報出力部２３からの出力（表示）に合わせて作業を行うことが可能となる。注文内容及び暫定タイミングを示す情報は、顧客の管理単位（例えば、テーブル単位や会食者２０１のグループ単位など）で表示される。
　制御部１１は、記憶部１７に記憶された暫定タイミング（提供タイミング）を監視し、現時点が提供タイミングになったかを判定する（Ｓ０３）。例えば、現時刻が直近の提供タイミングになると（Ｓ０３のＹＥＳ）、制御部１１は料理の配膳処理を行う（Ｓ０４）。例えば、制御部１１は、提供タイミングに対応する料理の配膳の指示を情報出力部２３に出力させる。配膳人は配膳の指示を受けて、料理を飲食場所（テーブル２０３）へ搬出（配膳）する。なお、Ｓ０３の時点で暫定タイミングが変更されていなければ、暫定タイミングがそのまま使用され、暫定タイミングが変更されている場合には、変更後の提供タイミングが使用される。本実施形態では、時間を空けて提供される複数の料理のうち、初回に提供される料理については、暫定タイミングにて提供が行われる。
　Ｓ０５では、制御部１１が、料理の提供が終了、すなわち、全ての料理の提供タイミングが到来したかを判定する。全ての提供タイミングが到来済みと判定する場合には（Ｓ０５のＹＥＳ）、図３の処理は終了する。これに対し、全ての提供タイミングが到来していないと判定する場合には（Ｓ０５のＮＯ）、制御部１１は、撮像部２１に撮像指示を与える（Ｓ０６）。撮像部２１は、撮像指示に応じて、会食者２０１を撮像した撮像画像を生成し、サーバ１０３へ送る。撮像は、周期的に、繰り返し行われる。
　Ｓ０７では、会食者２０１の状態を判定する処理の一例として、表情抽出及び判定処理が行われる。具体的には、画像処理部１３は、画像取得部１２から得られた撮像画像から会食者２０１の顔画像を抽出する処理を行う。顔検出は、既存のあらゆる顔検出方法を適用可能である。例えば、大量の顔と非顔の学習サンプルを使って構築された判別器を使って、画像中の全てのサブウィンドウに対して顔かどうかの判別を行うことで行われる。或いは、顔の輪郭（エッジ）、テクスチャー、色成分、顔のパーツの位置関係などを特徴量として抽出し、経験的に求められたルールやモデルによって顔か否かを判別する手法が用いられてもよい。撮像画像及び顔画像は、記憶部１４に記憶される。画像処理（顔検出）の終了は、状態判定部１８に通知される。通知を受けた状態判定部１８は、会食者２０１の状態の判定を開始する。
　図４は、表情の判断手法を説明する表である。状態判定部１８は、例えば、以下の二つの判断手法を用いて、会食者２０１の表情がポジティブであるかネガティブであるかを判定する。
（１）笑顔度に基づく表情の判定（第１の判定方法）
（２）表情の種別に基づく表情の判定（第２の判定方法）
　第１の判定方法では、笑顔度に基づいて表情がポジティブであるかネガティブであるかを判定する。サーバ１０３が備える記憶装置（主記憶装置や補助記憶装置）には、顔の目や口の形状等に基づいて顔が笑顔か非笑顔か、或いは笑顔度を算出するルール情報が記憶されている。例えば、状態判定部１８は、会食者２０１の顔画像中の目や口の形状とルール情報とを用いて、笑顔度（例えば０～１００の値域を持つスコア）を判定する。笑顔度の値が所定の閾値（例えば５０）以上である場合、状態判定部１８は会食者２０１の表情が笑顔（ポジティブな表情）であると判定し、そうでない場合には非笑顔（ネガティブ）と判定する。１つの撮像画像から複数の顔が検出された場合には、例えば、笑顔度のスコアの平均値が採られる。
　第２の判定方法では、人の５つの表情（喜び、驚き、怒り、悲しみ、無表情（真顔））に基づいて表情がポジティブであるかネガティブであるかを判定する。サーバ１０３が備える記憶装置（主記憶装置や補助記憶装置）には、顔の目や口などの顔のパーツの形状等に基づいて顔が５表情のいずれに該当するかを算出するルール情報が記憶されている。状態判定部１８は、会食者２０１の顔画像中の顔のパーツの形状とルール情報とを用いて、会食者２０１の表情を判別（推定）する。このとき、喜びや驚きは、ポジティブな表情に位置づけられ、無表情、怒り、悲しみは、ネガティブな表情に位置づけられる。５表情のうち、例えば、喜びと驚きに度合い（例えば０～１００の値域を持つスコア）が設定され、状態判定部１８は、喜び度のスコアと驚き度のスコアとの合計値を閾値と比較して、顔の表情がポジティブかネガティブかを判定する。１つの撮像画像から複数の顔が検出された場合には、例えば、喜び度と驚き度との合計値の平均値が算出され、閾値と比較される。
　Ｓ０７では、状態判定部１８が、提供タイミングの変更を要する状態か否かを判定する。具体的には、状態判定部１８は、第１又は第２の判定方法の少なくとも一方を用いて得られた表情の判定結果（ポジティブかネガティブか）を記憶部１４に記憶する。また、状態判定部１８は、過去のフレーム（撮像画像）に基づく過去の表情の判定結果と今回の表情の判定結果（表情の履歴）を参照する。この参照において、表情の履歴が例えば以下のパターンを示す場合に、提供タイミングを変更すべき状態と判定する。
（第１パターン）前回ネガティブであった表情が今回ポジティブに変わっている。
（第２パターン）第１パターンの逆（前回ポジティブであった表情が今回ネガティブに変わっている。）
（第３パターン）表情がネガティブからポジティブへ変化し、その後ポジティブの状態が所定回数ｎ以上連続している。
（第４パターン）表情がポジティブからネガティブへ変化し、その後ネガティブの状態が所定回数ｎ以上連続している。
　第１及び第３パターンは、ネガティブからポジティブへの変化を示す。第２及び第４パターンは、ポジティブからネガティブへの変化を示す。なお、第３及び第４パターンにおけるｎの値は１以上の適宜の自然数を適用できる。
　Ｓ０８において、提供タイミングの変更を要する状態と判定される場合には（Ｓ０８のＹＥＳ）、処理がＳ０９に進む。これに対し、提供タイミングの変更を要しない状態と判定される場合には（Ｓ０８のＮＯ）、処理がＳ０３へ戻る。
　Ｓ０９では、タイミング変更部１９が提供タイミングを変更する。具体的には、タイミング変更部１９は、状態判定部１８から状態変化の判定結果（ネガティブからポジティブへの変化、ポジティブからネガティブへの変化）を受け取る。判定結果がネガティブからポジティブへの変化（例えば第１又は第３パターン）である場合には、タイミング変更部１９は提供タイミングを遅らせる。場が盛り上がっていると考えられるからである。これに対し、判定結果がポジティブからネガティブへの変化（例えば第２又は第４パターン）である場合には、タイミング変更部１９は提供タイミングを早める。場が盛り下がっており料理の提供で場を変えたいと考えられるからである。
　提供タイミングの変更は、例えば、現在の提供タイミング（暫定タイミングの場合もある）に、所定時間を追加したり、所定時間分を減じたりすることによって行われる。所定時間の長さは、適宜設定可能である。但し、提供タイミングを直近の料理の完成時刻より前に早めることはできない。また、提供タイミングを遅くする（所定時間を追加する）場合、例えば、その次の料理の完成時刻を考慮して所定時間の長さが決定される。Ｓ０９の処理が終了すると、処理がＳ０３に戻る。なお、タイミング変更部１９は、上述した提供タイミングを変更した場合に、記憶部１７に記憶された提供タイミングを示す情報を変更後の提供タイミングを示す情報に書き換える（更新する）。タイミング変更部１９は、提供タイミングを示す情報の更新を示す更新通知を制御部１１に与える。制御部１１は、更新通知を受けて、更新された提供タイミングを示す情報を記憶部１７から読み出し、情報出力部２３に送る。これによって、情報出力部２３が更新後の提供タイミングを示す情報を出力し、提供タイミングの変更が調理人や配膳人に報知される。
　なお、図３のフローでは、Ｓ０８にてポジティブの表情が連続して判定される毎に、提供タイミングが遅くされる（ネガティブの表情が連続して判定される場合はその度に提供タイミングが早められる）。但し、提供タイミングを早める方向への変更回数や遅くする方向への変更回数に上限を設けてもよい。
　実施形態１によれば、会食者２０１の状態である顔の表情に基づいて、料理の提供タイミングを遅くしたり早めたりすることができる。これによって、盛り上がっている場合には場を壊さないように遅いタイミングに、盛り下がっている場合には話題や場を変えられるように早いタイミングに、料理の提供タイミングを変更することができる。これによって、飲食物を提供する店舗や施設に対する顧客満足度を向上させることができる。
　＜実施形態２＞
　次に、本発明の実施形態２について説明する。実施形態２は、実施形態１と同様の構成を有するので、主として異なる構成について説明し、同じ構成に係る説明は省略する。カメラ１０４Ａやカメラ１０１の設置位置によっては、会食者２０１の顔を適切に撮像できない場合があり得る。この場合、顔の表情に基づく提供タイミング変更要否を判定できない。実施形態２では、顔の表情の代わりに、会食者２０１の人体の動きに基づいて提供タイミングの変更要否を判定する。人体の所定部分は、例えば手、頭、上体などである。実施形態２では一例として、人体の所定部分が手である場合について説明する。
　実施形態２に係る制御システムの構成は、図１及び図２に示したものと同様となるので説明を省略する。但し、実施形態２は、以下の点で実施形態１と異なる。実施形態２では、会食者２０１の上方（例えば天井）に設けられたカメラ１０１を、会食者２０１の撮像に用いる。卓上のカメラ１０４Ａよりも確実に会食者２０１の手を撮像できると考えられるからである。但し、人体（手など）を適切に撮像できる限り、カメラ１０４Ａの使用も考えられる。また、実施形態２では、画像処理部１３及び状態判定部１８に係る処理が実施形態１と異なる。
　実施形態２では、画像処理部１３は、撮像画像から手画像を抽出する。手の抽出方法は、例えば顔画像の抽出と同様に、例えば、大量の手と非手の学習サンプルを使って構築された判別器を使って、画像中の全てのサブウィンドウに対して手かどうかの判別を行うことで行われる。記憶部１７には、フレーム毎の撮像画像と、各撮像画像から抽出された手の位置を示す情報とが記憶される。
　状態判定部１８は、以下のようにして、手の動きの量を判定する。例１及び例２の処理は、撮像画像中の全ての手を対象に行われる。話の簡単のため、各会食者２０１の手は撮像画像中に含まれていることとする。
（例１）複数の撮像画像（フレーム）に関して、フレームのＸＹ座標系での手の位置を検出し、そのＸＹ座標系での手の移動量を累積していく。状態判定部１８は、所定時間（例えば５分間）の手の累積移動量が閾値以上であれば「手の動きが多い」と判定し、閾値未満であれば「手の動きが少ない」と判定する。
（例２）所定時間（例えば５分間）の間に、撮像画像内の所定の領域（例えば、食器２０４や、食器２０４が配置されるテーブル２０３上面の中央部分内）で手が検出された頻度（回数）を得る。この頻度が閾値以上であれば「手の動きが多い」と判定し、閾値未満であれば「手の動きが少ない」と判定する。
（例３）単純に、所定時間における、テーブル２０３付近の画像のフレーム間差分（単純な画像同士の画素値の引き算）をとり、差分が閾値より大きければ「動きが多い」と判定し、差分が小さければ「動きが少ない」と判定してもよい。但し、この方法はノイズが多く含まれるので、例１や例２に示した方法よりも精度が劣ると考えられる。
　図５は、実施形態２に係るサーバ１０３における処理の例を示すフローチャートである。図５において、Ｓ０１～Ｓ０５の処理は、実施形態１と同様であるので説明を省略する。Ｓ１０では、制御部１１が撮像部２１（カメラ１０１）に対して撮像指示を与えて会食者２０１を撮像する。撮像部２１にて得られた撮像画像は、画像取得部１２を介して画像処理部１３に与えられる。
　Ｓ１１では、画像処理部１３が対象（手）を撮像画像から抽出する。Ｓ１２では、状態判定部１８が、撮像画像及び手の画像を用いて、「手の動きの量」を判定する。手の動きの量の判定は、上記した例１～例３に示した方法のいずれかを適用できる。状態判定部１８は、「（手の）動きが多い」ことを、食事の進み方（食事のスピード）が速いと判定し、「（手の）動きが少ない」ことを食事の進み方が遅いと判定する。状態判定部１８の判定結果はタイミング変更部１９に与えられる。
　Ｓ１３では、タイミング変更部１９が、現在の提供タイミングを変更する。すなわち、食事の進み方が遅いと判定される場合、タイミング変更部１９は、現在の提供タイミングの時間に所定時間を加えた時間を新たな提供タイミングとして更新する。これに対し、食事の進み方が速いと判定される場合に、タイミング変更部１９は、現在の提供タイミングの時間から所定時間を減じた時間を新たな提供タイミングとして更新する。Ｓ１３の終了後、処理はＳ０３に戻る。
　実施形態２によれば、人体（手）の動きの量に基づいて提供タイミングを変更することができる。
　＜実施形態３＞
　次に、本発明の実施形態３について説明する。実施形態３は、実施形態１及び実施形態２と同様の構成を有するので、主として異なる構成について説明し、同じ構成に係る説明は省略する。
　図６は、実施形態３に係るサーバ１０３における処理の例を示すフローチャートである。図６において、Ｓ２１の処理は、図３や図５に示したＳ０１及びＳ０２の処理の後に行われる。Ｓ２１では、制御部１１が撮像部２１に撮像指示を出し、会食者２０１の撮像画像を得る。Ｓ２２では、画像処理部１３が撮像画像からの顔検出を行う。Ｓ２３～Ｓ２５の処理は、例えば制御部１１が行う。Ｓ２３では、画像処理部１３は、顔検出ができたか否かを判定する。
　顔検出ができたと判定する場合（Ｓ２３のＹＥＳ）、画像処理部１３が顔検出ができた旨を状態判定部１８へ通知し、状態判定部１８が表情をセンシング対象（検出対象）に決定する（Ｓ２４）。その後、図３に示したＳ０３以降の処理が実行される。これに対し、顔検出ができなかったと判定する場合（Ｓ２３のＮＯ）、画像処理部１３が顔検出ができなかった旨を状態判定部１８へ通知し、状態判定部１８が、手などの動きをセンシング対象（検出対象）に決定する（Ｓ２５）。その後、図５に示したＳ０３以降の処理が実行される。
　実施形態３では、顔の検出可否に応じて、表情に基づく提供タイミング決定と動きに基づく提供タイミング決定とを使い分ける。実施形態３の構成は、例えば、椅子２０２やテーブル２０３の配置が頻繁に変わる飲食場所である。椅子２０２やテーブル２０３の位置が変わると、カメラ１０１やカメラ１０４Ａとの相対位置も変わる。このため、カメラ１０１やカメラ１０４Ａから表情を捉えられるか否かも変わる。その都度、制御システムのユーザが表情を使うか動きを見るかの設定を切り替えてもよいが、椅子２０２やテーブル２０３の配置を変えるたびに手動で設定するのは煩わしい。それゆえ、実施形態３のように、制御システムが起動時や注文受付時などに表情と動きのいずれを使うかを自動判定すると、ユーザの煩わしさを軽減できる。
　もっとも、実施形態３の変形例として、表情に基づく提供タイミングの判定と、動きに基づく提供タイミングの判定との双方を行い、表情に基づく盛り上がり度合いの判定精度の向上に用いることができる。すなわち、表情の豊かな人とあまり表情を変えない人とでは、表情に基づく判定精度にばらつきがでる。そこで、動きに基づく判定も併用することで、精度向上を図ることができる。
　＜実施形態４＞
　次に、本発明の実施形態４について説明する。実施形態４は、実施形態１と同様の構成を有するので、主として異なる構成について説明し、同じ構成に係る説明は省略する。
　図７は、実施形態４に係る制御システムの概要説明図である。実施形態１（図１）と異なる点は、複数のテーブル２０３（図７には、テーブル２０３ａ、２０３ｂを例示）が設けられており、異なる会食者のグループが、夫々異なるテーブル２０３にて並列に会食を行うことができる点である。以下、複数の会食者のグループの例示として、テーブル２０３ａを用いる会食者グループ（第１グループと称する）とテーブル２０３ｂを用いる、第１グループと異なる会食者グループ（第２グループと称する）とがあり、これらの第１グループ及び第２グループが並列に会食する場合を例に説明する。テーブル２０３ａ、２０３ｂには、カメラ１０４Ａをそれぞれ有する注文用端末１０４ａ、１０４ｂが置かれている。
　図８は、実施形態４に係る制御システムの構成を模式的に示す。実施形態１と異なる点は以下である。すなわち、注文受付部１５は、複数の注文情報入力部２２の一例である注文用端末１０４ａ、１０４ｂから第１及び第２グループの夫々の注文を受け付ける。暫定タイミング算出部１６は、複数の会食者グループ全体を対象として、注文された料理メニューの調理順（暫定調理順）と、各会食者グループに対する料理の提供タイミング（暫定タイミング）とを算出する。暫定タイミング算出部１６は、会食者グループ毎の注文内容データ（複数の料理、提供タイミング）と、調理順データとを記憶部１７に記憶させる。
　注文用端末１０４ａ、１０４ｂが夫々備えるカメラ１０４Ａを複数の撮像部２１として用い、制御部１１が適宜のタイミングで各撮像部２１に撮像指示を送る。例えば、暫定タイミング算出部１６は、暫定調理順及び暫定タイミングの算出終了時に、その終了を示す終了通知を制御部１１に与え、この終了通知の受信を契機に制御部１１が撮像指示を撮像部２１に与える。また、制御部１１は、注文内容、暫定調理順、暫定タイミングを示す情報を記憶部１７から読み出して情報出力部２３に供給し、これらの情報を情報出力部２３から出力（表示等）させる。画像取得部１２及び画像処理部１３及び状態判定部１８は、実施形態１で説明した顔の表情に基づく提供タイミングの変更の要否判定に係る処理を行う。状態判定部１８は、さらに、テーブル２０３ａ、２０３ｂ間での提供タイミングについての総合的な判断を行う。タイミング変更部１９は、総合判断に基づいて、提供タイミングの変更要とされた提供タイミングについての更新を行う。また、タイミング変更部１９は、提供タイミングの変更に伴い、調理順の変更要否を判定し、変更が要であれば、調理順の変更を行う。
　図９は実施形態４に係るサーバ１０３の処理例を示すフローチャートである。Ｓ１０１において、注文受付部１５は、テーブル２０３ａ（第１グループ）及びテーブル２０３ｂ（第２グループ）のいずれかからの注文を受け付ける。例えばテーブル２０３ａからの注文を受け付けたとする。Ｓ１０２では、暫定タイミング算出部１６は、テーブル２０３ａに関する暫定タイミングを決定するとともに、注文された料理全てを対象とする暫定的な調理順（暫定調理順という）を決定する。例えば、サーバ１０３が予め記憶する、料理の種別（前菜・小鉢、スープ、メイン、デザートなど）やその優先順位、料理毎の調理の所要時間、厨房設備のデータ、などに基づいて、効率的（少なくとも暫定タイミングに間に合う）な調理順を決定する。Ｓ１０３で、テーブル２０３ａからの追加注文やテーブル２０３ｂからの注文があれば、処理をＳ１０１に戻し、テーブル２０３ａ及びテーブル２０３ｂを対象とする暫定調理順が決定される。テーブル２０３ａ及びテーブル２０３ｂからの注文内容、各注文内容に対応する暫定タイミング、及び暫定料理順は、記憶部１７に記憶される。但し、暫定調理順は調理人が作成したものがマニュアルにより（例えば入力装置２４を用いて）記憶部１７に記憶されてもよい。調理人は、変更の無い限り、暫定調理順に従って調理を行う。
　Ｓ１０４では、料理が完成したか否かが判定される。この判定は、例えば制御部１１が行う。例えば、制御部１１は、調理人が料理を完成させた場合に、入力装置２４を用いてサーバ１０３に入力する、料理完成を示す情報（信号）の入力の有無を判定することで、料理が完成したかを判定することができる。なお、入力装置２４は、キー、ボタン、タッチパネルなどである。制御部１１は、料理完成の信号を得ると、その料理の提供タイミングになるのをまって（Ｓ１０５）、料理の搬出（配膳）を情報出力部２３への配膳指示出力によって指示する（Ｓ１０６）。その後、制御部１１は、注文された全ての料理が完成したかを判定し（Ｓ１０７）、全ての料理が完成した場合には処理を終了する。全ての料理が完成していない場合には、処理がＳ１０８に進む。
　Ｓ１０８では、撮像部２１、画像取得部１２、画像処理部１３、状態判定部１８によって、実施形態１で説明したのと同様の表情に基づく提供タイミングの変更要否の判定処理が行われる。この判定処理は、テーブル２０３ａ、テーブル２０３ｂのそれぞれに関して行われる。
　Ｓ１０９では、例えば、タイミング変更部１９（制御部１１でもよい）が、テーブル２０３ａの提供タイミングとテーブル２０３ｂの提供タイミングとについての総合的な判断を行う。例えば、テーブル２０３ａで場が盛り上がっていて次の提供タイミングを遅くすることが決定されている一方、テーブル２０３ｂで場が盛り下がっていて次の提供タイミングを早めることが決定されているとする。ここで、次にテーブル２０３ｂに提供する料理（料理Ｘとする）の調理時間が次にテーブル２０３ａに提供する料理（料理Ｙとする）の調理時間より長く、料理Ｙの調理順が料理Ｘより早く、料理Ｘ及びＹの双方ともまだ調理開始されていないと仮定する。このような場合に、タイミング変更部１９は、料理Ｘと料理Ｙとの調理順を変更する（逆にする）ことを決定する。そのようにすれば、テーブル２０３ｂへの料理Ｘを提供できるタイミングをスケジュール上で早めるだけでなく、料理Ｘの完成時点も早めて早期の提供を実現することができる。料理Ｙについては、場が盛り上がっていることから、提供のタイミングが多少遅れても会食者２０１が遅れを気にすることはない。
　Ｓ１０９の判断において、調理順の変更要否が判定され（Ｓ１１０）、調理順の変更を要する場合には、調理順の変更処理が行われる（Ｓ１１１）。例えば、タイミング変更部１９が、変更後の調理順を記憶部１７に書き込むことで暫定調理順を更新し、制御部１１が情報出力部２３を介して調理人に伝達する調理順を変更する。詳細には、タイミング変更部１９は、提供タイミングや調理順を変更した場合に、記憶部１７に記憶された提供タイミングや調理順を示す情報を変更後の提供タイミングや調理順を示す情報に書き換える（更新する）。調理順の変更によって、テーブル２０３ａ（第１グループ）の提供タイミングの優先順位がテーブル２０３ｂ（第２グループ）の提供タイミングよりも下がる。タイミング変更部１９は、提供タイミングや調理順を示す情報の更新を示す更新通知を制御部１１に与える。制御部１１は、更新通知を受けて、更新された提供タイミングや調理順を示す情報を記憶部１７から読み出し、情報出力部２３に送る。これによって、情報出力部２３が更新後の提供タイミングや調理順を出力する。
　このように、実施形態４では、全てのテーブルについての調理順（暫定調理順）が決定され、テーブル２０３単位で提供タイミングの変更が行われ、提供タイミングの変更に伴い、調理順を変更することが好ましい場合には、調理順が変更される。場の雰囲気から料理の提供タイミングを早めることが好ましい状況でも、料理が完成していなければ提供できないため、提供タイミングを早められる余地は、料理の完成タイミングに依存していた。実施形態４では、調理順を変えて料理の完成タイミングを早めることができるため、場が盛り下がっているテーブル２０３ｂに対し、場を変え得る料理を早期に提供することができる。これによって、顧客満足度の向上を図ることができる。
　＜変形例＞
　上述した実施形態１～４に関しては、以下のような変形が可能である。提供タイミングの変更要否の判定は、撮像画像を用いて行われている。もっとも、撮像画像だけでなく、さらに音声を以て上記の判定を行い得る。例えば、音声から得られる会話量を判定パラメータに含めることで、盛り上がり具合の精度を上げることができる。
　また、実施形態２及び３では、動きに基づく提供タイミングの変更要否の判定を行った。動きに関して、例えば、手が食器２０４（皿やボウルなど）に向かって動いているか、箸やフォーク、スプーンなどを手に持って動かしているか、などを、食事の進み方（食事のスピード）の判断対象とする。これにより、食事と無関係の手の動き（身振り手振り、ジェスチャーなど）が判断から除外される。従って、判定結果の精度を上げることができる。
　また、実施形態２及び３で説明した動きに関して、性別や年齢の情報も考慮して、食事のスピードを判定してもよい。例えば、女性は男性に比べて一回の動作で口に入れる食料の量が少ないため、食事のスピードは遅い。このため、手の移動量が多くても、食事のスピードが早いとは限らない。そこで、年齢や性別などの属性を考慮することで、食事のスピードについての判定の精度を向上させることができる。
　＜その他＞
　上記した実施形態１～４は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
　＜付記＞
（１）　飲食物の提供場所で会食する会食者（２０１）の撮像画像を取得する取得部（１２）と、
　前記撮像画像を用いて前記会食者（２０１）の状態を判定する判定部（１８）と、
　前記会食者（２０１）に時間を空けて提供される複数の料理のうち、２番目以降に提供される料理の提供タイミングを前記会食者（２０１）の状態に基づいて決定する決定部（１９）と
を含む情報処理装置（１０３）。
（２）　飲食物の提供場所で会食する会食者（２０１）の撮像画像を取得し、
　前記撮像画像を用いて前記会食者（２０１）の状態を判定し、
　前記会食者（２０１）に時間を空けて提供される複数の料理のうち、２番目以降に提供する料理の提供タイミングを前記会食者（２０１）の状態に基づいて決定する
ことを含む料理の提供タイミングの決定方法。
（３）　飲食物の提供場所で会食する会食者（２０１）の撮像画像を取得するステップと、
　前記撮像画像を用いて前記会食者（２０１）の状態を判定するステップと、
　前記会食者（２０１）に時間を空けて提供される複数の料理のうち、２番目以降に提供する料理の提供タイミングを前記会食者（２０１）の状態に基づいて決定するステップとをコンピュータに実行させるプログラム。
１・・・ネットワーク
１１・・・制御部
１２・・・画像取得部
１３・・・画像処理部
１４、１７・・・記憶部
１５・・・注文受付部
１６・・・暫定タイミング算出部
１８・・・状態判定部
１９・・・タイミング変更部
２１・・・撮像部
２２・・・注文情報入力部
２３・・・情報出力部
１０１、１０４Ａ・・・カメラ
１０３・・・サーバ
１０４・・・注文用端末
１０５・・・ディスプレイ
２０１・・・会食者
２０２・・・椅子
２０３・・・テーブル
２０４・・・食器

Claims (12)

  1. 　飲食物の提供場所で会食する会食者の撮像画像を取得する取得部と、
    　前記撮像画像を用いて前記会食者の状態を判定する判定部と、
    　前記会食者に時間を空けて提供される複数の料理のうち、２番目以降に提供される料理の提供タイミングを前記会食者の状態に基づいて決定する決定部と
    を含む情報処理装置。
  2. 　前記判定部は、前記撮像画像を用いて、前記会食者の表情を判定し、
    　前記決定部は、前記２番目以降に提供する料理の提供タイミングを、前記会食者の表情に基づいて決定する
    請求項１に記載の情報処理装置。
  3. 　前記決定部は、前記表情がポジティブな表情と判定される場合に、次に提供する料理の提供タイミングを遅くする
    請求項２に記載の情報処理装置。
  4. 　前記決定部は、前記表情がネガティブな表情と判定される場合に、次に提供する料理のタイミングを早める
    請求項２又は３に記載の情報処理装置。
  5. 　前記判定部は、前記撮像画像を用いて、前記会食者の人体の所定部分の動きを判定し、
    　前記決定部は、前記２番目以降に提供する料理の提供タイミングを、前記人体の所定部分の動きに基づいて決定する
    請求項１に記載の情報処理装置。
  6. 　前記判定部は、所定時間における前記人体の所定部分の移動量を判定し、
    　前記決定部は、前記移動量に基づいて、次に提供する料理の提供タイミングを決定する請求項５に記載の情報処理装置。
  7. 　前記判定部は、所定時間における、前記撮像画像中の所定の領域内で前記人体の所定部分が検出される頻度を判定し、
    　前記決定部は、前記頻度に基づいて、次に提供する料理の提供タイミングを決定する
    請求項５又は６に記載の情報処理装置。
  8. 　前記撮像画像から前記会食者の顔が検出される場合に、前記判定部が前記撮像画像を用いて前記会食者の表情を判定するとともに、前記決定部が前記２番目以降に提供する料理の提供タイミングを前記表情に基づいて決定し、
    　前記撮像画像から前記会食者の顔が検出されない場合に、前記判定部が前記撮像画像を用いて前記会食者の人体の所定部分の動きを判定するとともに、前記決定部が前記２番目以降に提供する料理の提供タイミングを前記会食者の人体の所定部分の動きに基づいて決定する
    請求項１に記載の情報処理装置。
  9. 　複数の会食者のグループが並列に会食を行う場合に、前記判定部は、前記複数の会食者のグループの夫々についての前記会食者の状態を判定し、前記決定部は、複数の会食者のグループの夫々についての前記会食者の状態に基づいて、前記複数の会食者のグループについての料理の調理順を変更する
    請求項１から８のいずれか１項に記載の情報処理装置。
  10. 　前記決定部は、前記複数の会食者のグループの夫々についての前記会食者の状態に基づいて、前記複数の会食者のグループ中の第１グループへの料理の調理順を、前記第１グループと異なる前記複数の会食者のグループ中の第２グループへの料理の調理順より遅らせる
    請求項９に記載の情報処理装置。
  11. 　飲食物の提供場所で会食する会食者の撮像画像を取得し、
    　前記撮像画像を用いて前記会食者の状態を判定し、
    　前記会食者に時間を空けて提供される複数の料理のうち、２番目以降に提供する料理の提供タイミングを前記会食者の状態に基づいて決定する
    ことを含む料理の提供タイミングの決定方法。
  12. 　飲食物の提供場所で会食する会食者の撮像画像を取得するステップと、
    　前記撮像画像を用いて前記会食者の状態を判定するステップと、
    　前記会食者に時間を空けて提供される複数の料理のうち、２番目以降に提供する料理の提供タイミングを前記会食者の状態に基づいて決定するステップと
    をコンピュータに実行させるプログラム。
PCT/JP2019/004275 2018-03-09 2019-02-06 情報処理装置、料理の提供タイミングの決定方法、及びプログラム WO2019171866A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018042653A JP2019159524A (ja) 2018-03-09 2018-03-09 情報処理装置、料理の提供タイミングの決定方法、及びプログラム
JP2018-042653 2018-03-09

Publications (1)

Publication Number Publication Date
WO2019171866A1 true WO2019171866A1 (ja) 2019-09-12

Family

ID=67846522

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/004275 WO2019171866A1 (ja) 2018-03-09 2019-02-06 情報処理装置、料理の提供タイミングの決定方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP2019159524A (ja)
WO (1) WO2019171866A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021256287A1 (ja) * 2020-06-19 2021-12-23 京セラ株式会社 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252497A (ja) * 2002-01-15 2004-09-09 Masanobu Kujirada 飲食店において料理又は飲料を提供するための方法及びシステム
JP2015138452A (ja) * 2014-01-23 2015-07-30 東芝テック株式会社 料理残量検出装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252497A (ja) * 2002-01-15 2004-09-09 Masanobu Kujirada 飲食店において料理又は飲料を提供するための方法及びシステム
JP2015138452A (ja) * 2014-01-23 2015-07-30 東芝テック株式会社 料理残量検出装置及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Analysis of Gaze, Hand- motion and Turn-taking in Three-party Table Talk", IEICE TECHNICAL REPORT, vol. 108, no. 187, pages 31 - 36 *
OTSUKA, YUICHIRO: "Adaptive tabletop dish recommendation system by the recognition of realtime dining activity of multiple participants", IPSJ SIG TECHNICAL REPORTS, 2010, pages 1 - 7 *

Also Published As

Publication number Publication date
JP2019159524A (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
CN107924548B (zh) 使用可穿戴设备自动监视一位置处的实时活动以确定等待时间的系统和方法
US11364638B2 (en) Robot-based waiter operation based on monitoring of customer consumption activity
US10731992B2 (en) Information processing device, information processing method, and program
RU2642334C2 (ru) Способ управления и управляющее устройство для устройства "умного дома"
US20140156319A1 (en) Wireless communication systems and processes for hospitality services
US11093995B2 (en) Monitoring of customer consumption activity and management based on monitoring
CN104584096A (zh) 由智能数字助理进行的中断的上下文相关处理
JP7420077B2 (ja) 情報処理装置、情報処理方法、および、プログラム
KR101998324B1 (ko) 모드를 조정하기 위한 방법 및 장치
CN110235156A (zh) 一种送餐数据处理方法和送餐设备
WO2018150756A1 (ja) 情報処理装置、情報処理方法及び記憶媒体
JP2004252497A (ja) 飲食店において料理又は飲料を提供するための方法及びシステム
WO2019171866A1 (ja) 情報処理装置、料理の提供タイミングの決定方法、及びプログラム
CN110211000A (zh) 桌位状态信息处理方法、装置及系统
US10607427B2 (en) Information processing device, information processing method, and program for recognizing a user
CN111240320A (zh) 一种视听场所机器人送餐方法、装置和介质
CN108113231B (zh) 一种多人群组用分屏系统及智能餐桌
CN109670986A (zh) 一种点餐方法及系统
CN112837186A (zh) 一种智能点餐系统
JP4069048B2 (ja) 注文管理システム
CN109346152A (zh) 一种用户饮食习惯信息采集系统及方法
JP7363163B2 (ja) 監視装置、監視方法、および、プログラム、並びに、監視システム
TWI616838B (zh) 伺服器、點餐系統及方法
US20220221933A1 (en) Information processing device, information processing system, information processing method, and program
KR20180083784A (ko) 식탁 영역의 영상 처리를 이용한 정보 제공 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19764266

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19764266

Country of ref document: EP

Kind code of ref document: A1